-
Gebiet
-
Die vorliegende Offenbarung betrifft ein Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche. Genauer gesagt unterstützt das Verfahren und das System die Detektion von gefährlichen Hindernissen auf einer Straßenoberfläche, zum Beispiel zerbrochenem Glas, Nägeln oder anderen scharfen Objekten.
-
Hintergrund
-
Die Detektion von Straßenhindernissen ist ein häufiges Problem, für das viele Lösungen im Gebiet der autonomen und semiautonomen Fahrzeuge vorhanden sind. Eine Lösung besteht zum Beispiel in der Verwendung einer pixelbasierten Segmentierung des Straßengebiets unter Verwendung eines SVM-Klassifizierers (SVM: Support Vector Machine) mithilfe von Farb- und Texturmerkmalen, wie in einer Veröffentlichung von Bendjaballah, M., Graovac, S. & Boulahlib, „A classification of on-road obstacles according to their relative velocities“, M.A. J Image Video Proc. (2016) 2016: 41, offenbart. Die obige Lösung oder ähnliche Lösungen sind jedoch auf große Hindernisse ausgerichtet.
-
Daher scheitern die obigen Lösungen bei der Identifizierung und Unterscheidung kleiner Hindernisse wie etwa einer potenziell gefährlichen Glasscherbe auf der Straße. Ferner weist ein kleines unklassifiziertes Hindernis wie etwa eine zerbrochene Glasscherbe eine kleine relative Tiefe auf, die zu gering sind, um sie wahrzunehmen. Außerdem können derartige kleine Hindernisse nicht in eine einzige Klasse gruppiert werden, da es Erscheinungs-, Farb- und Texturvariationen in derartigen kleinen Hindernissen gibt.
-
Im Grunde können Ziegel, Nägel, Flaschenstücke, zerbrochenes Glas oder andere scharfkantige Objekte und dergleichen häufig auf einer Straße vorgefunden werden. Falls derartige Objekte nicht erkannt werden, dann können diese Stücke einen Autoreifen beschädigen oder durchstechen. In vielen Fällen kann dies sogar zu einem Unfall führen.
-
Daher ist es notwendig, derartige kleine scharfkantige Objekte zu detektieren, um kostspielige Schäden und Unfälle zu verhindern.
-
Daher gibt es einen ungelösten und unerfüllten Bedarf für ein Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche, sodass ein autonomes oder semiautonomes Fahrzeug derartige kleine unklassifizierte Objekte vermeiden kann und daher Schäden an dem Fahrzeug verhindert und/oder Unfälle vermieden werden können.
-
Kurzfassung
-
Die vorliegende Erfindung betrifft ein Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche, wie in den angehängten Ansprüchen dargelegt. Genauer gesagt unterstützt das Verfahren und das System die Detektion von gefährlichen Hindernissen auf einer Straßenoberfläche, zum Beispiel von zerbrochenem Glas, Nägeln oder scharfen Objekten, unter Verwendung eines semi-überwachten Klassifizierers.
-
Bei einer Ausführungsform ist ein Verfahren zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche bereitgestellt, das Verarbeiten eines oder mehrerer Bilder, die durch eine oder mehrere Bildaufnahmeeinrichtungen aufgenommen werden, durch ein erstes neuronales Netzwerk und Identifizieren eines Gebiets von Interesse in dem einen oder den mehreren Bildern basierend auf einem vorbestimmten Kriterium umfasst. Das vorbestimmte Kriterium umfasst, dass ein Straßengebiet in dem einen oder den mehreren Bildern durch eine pixelbasierte Segmentierung, die durch das erste neuronale Netzwerk implementiert wird, identifiziert wird.
-
Bei einer Ausführungsform umfasst das vorbestimmte Kriterium, dass ein Drittel des Straßengebiets in dem einen oder den mehreren Bildern identifiziert wird, wobei das Drittel des Straßengebiets am nächsten zu der einen oder den mehreren Bildaufnahmeeinrichtungen liegt.
-
Bei einer Ausführungsform umfasst das Verfahren Empfangen von codierten Merkmalskarten und der Tiefenbilder für das identifizierte Gebiet von Interesse von jedem Codierer des ersten neuronalen Netzwerks und Verarbeiten der codierten Merkmalskarten und der Tiefenbilder für das identifizierte Gebiet von Interesse durch ein zweites neuronales Netzwerk, das einen semi-überwachten Klassifizierer umfasst, um die kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu detektieren.
-
Bei einer Ausführungsform umfasst das zweite neuronale Netzwerk eine Verlustfunktion, die ein Signal für eine lokale und/oder globale Abweichung von einer flachen Oberfläche des identifizierten Gebiets von Interesse bereitstellt. Bei einer Ausführungsform werden die lokalen und/oder globalen Abweichungen von einer flachen Oberfläche des identifizierten Gebiets von Interesse als anomale Gebiete identifiziert, die potenziell kleine unklassifizierte Hindernisse auf der Straßenoberfläche umfassen.
-
Bei einer Ausführungsform werden die lokalen und globalen Abweichungen basierend auf einer Rückmeldung eines Ruckdetektionsmoduls, das Bremsschwellen oder andere bekannte Straßenoberflächenmerkmale identifiziert, gefiltert. Bei einer anderen Ausführungsform umfasst das zweite neuronale Netzwerk einen Detektor zum Detektieren von anomalen Gebieten in dem Gebiet von Interesse, die lokale Erscheinungsvariationen und/oder niedrigere Konfidenz einer Pixelsegmentierungsbewertung zur Straßen- und Tiefenschätzung aus der pixelbasierten Segmentierung, die durch das erste neuronale Netzwerk implementiert wird, aufweisen. Bei einer Ausführungsform umfassen die Erscheinungsvariationen eine Variation in der Farbe oder Schattierung der detektierten anomalen Gebiete.
-
Bei einer Ausführungsform wird die Bildauflösung der detektierten/identifizierten anomalen Gebiete unter Verwendung einer Superauflösungstechnik verbessert, wobei die Superauflösungstechnik die Bildauflösung der detektierten/identifizierten anomalen Gebiete basierend auf mehreren aufeinanderfolgenden Bildern der detektierten/identifizierten anomalen Gebiete verbessert. Die verbesserte Bildauflösung der detektierten/identifizierten anomalen Gebiete wird durch den semi-überwachten Klassifizierer des zweiten neuronalen Netzwerks gefiltert, um die kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu detektieren.
-
Bei einer Ausführungsform umfasst das Verfahren ferner Bereitstellen eines Signals zum Manövrieren eines autonomen Fahrzeugs, um die detektierten kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu vermeiden. Bei einer Ausführungsform umfasst das Verfahren ferner Warnen eines Fahrers des autonomen Fahrzeugs vor dem detektierten kleinen unklassifizierten Objekt und Transferieren der Steuerung zu dem Fahrer, um das Fahrzeug zu manövrieren.
-
Gemäß einer anderen Ausführungsform ist ein System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche bereitgestellt, das eine oder mehrere Bildaufnahmeeinrichtungen und einen oder mehrere Prozessoren, die mit der einen oder den mehreren Bildaufnahmeeinrichtungen gekoppelt sind, umfasst. Bei einer Ausführungsform ist ein Speicher funktionsfähig mit den Prozessoren gekoppelt, wobei der Speicher computerlesbare Anweisungen umfasst, die bewirken, dass der Prozessor das oben offenbarte Verfahren implementiert.
-
Bei einer Ausführungsform ist bzw. sind einer oder mehrere der Prozessoren für Folgendes ausgelegt:
- Verarbeiten eines oder mehrerer Bilder, die durch eine oder mehrere Bildaufnahmeeinrichtungen aufgenommen werden, durch ein erstes neuronales Netzwerk;
- Identifizieren eines Gebiets von Interesse in dem einen oder den mehreren Bildern basierend auf einem vorbestimmten Kriterium;
- Empfangen von codierten Merkmalskarten und den Tiefenbildern für das identifizierte Gebiet von Interesse von jedem Codierer des ersten neuronalen Netzwerks;
- Verarbeiten der codierten Merkmalskarten und der Tiefenbilder für das identifizierte Gebiet von Interesse durch ein zweites neuronales Netzwerk, das einen semi-überwachten Klassifizierer umfasst, um die kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu detektieren.
-
Bei einer Ausführungsform umfassen die eine oder die mehreren Bildaufnahmeeinrichtungen eine Fischaugenkamera.
-
Bei einer Ausführungsform umfasst das vorbestimmte Kriterium, dass ein Straßengebiet in dem einen oder den mehreren Bildern durch eine pixelbasierte Segmentierung, die durch das erste neuronale Netzwerk implementiert wird, identifiziert wird.
-
Bei einer Ausführungsform umfasst das vorbestimmte Kriterium, dass ein Drittel des Straßengebiets in dem einen oder den mehreren Bildern identifiziert wird, wobei das Drittel des Straßengebiets am nächsten zu der einen oder den mehreren Bildaufnahmeeinrichtungen liegt.
-
Bei einer Ausführungsform, wobei das zweite neuronale Netzwerk eine Verlustfunktion umfasst, die ein Signal für eine lokale und/oder globale Abweichung von einer flachen Oberfläche des identifizierten Gebiets von Interesse bereitstellt.
-
Bei einer Ausführungsform werden die lokalen und/oder globalen Abweichungen von einer flachen Oberfläche des identifizierten Gebiets von Interesse als anomale Gebiete identifiziert, die potenziell kleine unklassifizierte Hindernisse auf der Straßenoberfläche umfassen. Die lokalen und/oder globalen Abweichungen werden basierend auf einer Rückmeldung eines Ruckdetektionsmoduls gefiltert, das Bremsschwellen oder andere bekannte Straßenoberflächenmerkmale identifiziert.
-
Bei einer Ausführungsform umfasst das zweite neuronale Netzwerk einen Detektor zum Detektieren von anomalen Gebieten in dem Gebiet von Interesse, die lokale Erscheinungsvariationen und/oder niedrigere Konfidenz einer Pixelsegmentierungsbewertung zur Straßen- und Tiefenschätzung aus der pixelbasierten Segmentierung, die durch das erste neuronale Netzwerk implementiert wird, aufweisen. Die Erscheinungsvariationen umfassen eine Variation in der Farbe oder Schattierung der detektierten anomalen Gebiete.
-
Bei einer Ausführungsform wird die Bildauflösung der detektierten/identifizierten anomalen Gebiete unter Verwendung einer Superauflösungstechnik verbessert, wobei die Superauflösungstechnik die Bildauflösung der detektierten/identifizierten anomalen Gebiete basierend auf mehreren aufeinanderfolgenden Bildern der detektierten/identifizierten anomalen Gebiete verbessert. Die verbesserte Bildauflösung der detektierten/identifizierten anomalen Gebiete wird durch den semi-überwachten Klassifizierer des zweiten neuronalen Netzwerks gefiltert, um die kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu detektieren.
-
Bei einer Ausführungsform ist bzw. sind der eine oder die mehreren Prozessoren ferner zum Bereitstellen eines Signals zum Manövrieren eines autonomen Fahrzeugs ausgelegt, um die detektierten kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu vermeiden.
-
Es ist auch ein Computerprogramm bereitgestellt, das Programmanweisungen umfasst, um zu bewirken, dass ein Computerprogramm das obige Verfahren ausführt, die auf einem Aufzeichnungsmedium, Trägersignal oder Nurlesespeicher umgesetzt sein können.
-
Figurenliste
-
Die Erfindung wird aus der folgenden Beschreibung einer nur beispielshalber dargelegten Ausführungsform von dieser unter Bezugnahme auf die begleitenden Zeichnungen deutlicher verstanden, in denen gilt:
- 1 veranschaulicht beispielhaft ein Flussdiagramm zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche gemäß manchen Ausführungsformen der vorliegenden Erfindung;
- 2 veranschaulicht beispielhaft ein Blockdiagramm eines Systems zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche gemäß manchen Ausführungsformen der vorliegenden Erfindung;
- 3 veranschaulicht beispielhaft ein Blockdiagramm eines Systems zur Detektion von kleinen unklassifizierten Hindernissen unter Verwendung eines semi-überwachten Klassifizierers gemäß manchen Ausführungsformen der vorliegenden Erfindung.
-
Ausführliche Beschreibung der Zeichnungen
-
Die vorliegende Erfindung betrifft ein Verfahren und System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche. Genauer gesagt unterstützt das System und das Verfahren die Detektion von gefährlichen Hindernissen auf einer Straßenoberfläche, zum Beispiel von zerbrochenem Glas, Nägeln oder scharfen Objekten, unter Verwendung eines semi-überwachten Klassifizierers.
-
1 veranschaulicht beispielhaft ein Flussdiagramm zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche gemäß einer Ausführungsform der vorliegenden Erfindung. Das Verfahren zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche umfasst Verarbeiten 101 eines oder mehrere Bilder, die durch eine oder mehrere Bildaufnahmeeinrichtungen aufgenommen werden, durch ein erstes neuronales Netzwerk und Identifizieren 102 eines Gebiets von Interesse in dem einen oder den mehreren Bildern basierend auf einem vorbestimmten Kriterium. Das vorbestimmte Kriterium umfasst, dass ein Straßengebiet in dem einen oder den mehreren Bildern durch eine pixelbasierte Segmentierung, die durch das erste neuronale Netzwerk implementiert wird, identifiziert wird. Bei einer anderen Ausführungsform umfasst das vorbestimmte Kriterium, dass ein Drittel des Straßengebiets in dem einen oder die mehreren Bildern identifiziert wird, wobei das Drittel des Straßengebiets am nächsten zu der einen oder den mehreren Bildaufnahmeeinrichtungen liegt.
-
Ferner umfasst das Verfahren bei 103 Empfangen von codierten Merkmalskarten und den Tiefenbildern für das identifizierte Gebiet von Interesse von jedem Codierer des ersten neuronalen Netzwerks und Verarbeiten 104 der codierten Merkmalskarten und Tiefenbilder für das identifizierte Gebiet von Interesse durch ein zweites neuronales Netzwerk, das einen semi-überwachten Klassifizierer umfasst, um die kleinen unklassifizierten Hindernisse oder Straßenoberfläche zu detektieren. Die dekonvolutierten Bilder von jedem Decodierer des ersten neuronalen Netzwerks werden zu einem Straßenextrahierungsmodul des ersten neuronalen Netzwerks gepusht. Das Straßenextrahierungsmodul ist für die Segmentierung von Straßen-/Nichtstraßengebieten für ein gegebenes empfangenes Bild verantwortlich. Ferner werden dann straßensegmentierte spezifische Gebiete zu einem semi-überwachten Straßenanomalieobjektdetektionsmodul des zweiten neuronalen Netzwerks weitergeleitet. Das Straßenanomalieobjektdetektionsmodul nimmt codierte Merkmalskarten des Gebiets von Interesse von jedem Codierer und die Tiefenbilder von jedem Codierer des ersten neuronalen Netzwerks an, um die kleinen Hindernisse auf der Straßenoberfläche zu detektieren.
-
Das zweite neuronale Netzwerk umfasst eine Verlustfunktion, die ein Signal für eine lokale und/oder globale Abweichung von einer flachen Oberfläche des identifizierten Gebiets von Interesse bereitstellt. Die lokalen und/oder globalen Abweichungen von einer flachen Oberfläche des identifizierten Gebiets von Interesse werden als anomale Gebiete identifiziert, die potenziell kleine unklassifizierte Hindernisse auf der Straßenoberfläche umfassen. Ferner werden die lokalen und globalen Abweichungen basierend auf einer Rückmeldung eines Ruckdetektionsmoduls gefiltert, das Bremsschwellen oder andere bekannte Straßenoberflächenmerkmale identifiziert. Bei einer anderen Ausführungsform umfasst das zweite neuronale Netzwerk einen Detektor zum Detektieren von anomalen Gebieten in dem Gebiet von Interesse, die lokale Erscheinungsvariationen und/oder niedrigere Konfidenz einer Pixelsegmentierungsbewertung zur Straßen- und Tiefenschätzung aus der pixelbasierten Segmentierung, die durch das erste neuronale Netzwerk implementiert wird, aufweisen. Bei einer Ausführungsform umfassen die Erscheinungsvariationen eine Variation in der Farbe oder Schattierung der detektierten anomalen Gebiete.
-
Die Verlustfunktion bestraft eine lokale und globale Abweichung von einer flachen Oberfläche, was als ein Hilfsverlust zum Bestrafen der normalen überwachten Verlustfunktion modelliert wird. Die Straßenoberfläche wird als eine einzelne Ebene modelliert oder unter Verwendung mehrerer Ebenen angepasst, um Straßenkrümmungen und Variabilität in Straßenoberflächen zu behandeln. Danach wird (werden) (eine) derartige Ebene(n) zum Detektieren von Gebieten verwendet, die das Flachheitskriterium nicht bestehen, und dies wird als ein Hilfsverlustbestrafungsterm in die normale überwachte Verlustfunktion eingespeist.
-
Bei einer anderen Ausführungsform werden Bilder von jedem Decodierer des ersten neuronalen Netzwerks zu einem Fahrzeugdetektionsmodul des ersten neuronalen Netzwerks transferiert. Das Fahrzeugdetektionsmodul des ersten neuronalen Netzwerks umfasst einen Klassifizierer, der detektiert, ob es irgendein führendes Fahrzeug in der Szene gibt. Falls dem nicht so ist, dann wird derselbe Satz von Bildern, die von jedem Decodierer empfangen werden, zu einem Ruckdetektionsmodul des ersten neuronalen Netzwerks transferiert. Das Ruckdetektionsmodul unterstützt, dass derartige Hindernisse wie etwa Bremsschwellen identifiziert werden, und segmentiert/filtert das Gebiet heraus, bei dem das Vorhandensein eines Rucks identifiziert wurde.
-
Die Bildauflösung der detektierten/identifizierten anomalen Gebiete kann unter Verwendung einer Superauflösungstechnik verbessert werden, wobei die Superauflösungstechnik die Bildauflösung der detektierten/identifizierten anomalen Gebiete basierend auf mehreren aufeinanderfolgenden Bildern der detektierten/identifizierten anomalen Gebiete verbessert. Die verbesserte Bildauflösung der detektierten/identifizierten anomalen Gebiete wird durch den semi-überwachten Klassifizierer des zweiten neuronalen Netzwerks gefiltert, um die kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu detektieren.
-
3 veranschaulicht beispielhaft ein Blockdiagramm eines Systems zur Detektion von kleinen unklassifizierten Hindernissen unter Verwendung eines semi-überwachten Klassifizierers, das jetzt ausführlicher beschrieben wird. 3 veranschaulicht ein beispielhaftes MTL-Framework (MTL: Multi-Task Learning), das zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche ausgelegt ist. Es sind vier unterschiedliche Kameras veranschaulicht, die vier Eingabequellen (11, 12, 13, 14) bereitstellen können, wobei jede Kameraquelle in einen separaten Satz von Codierer/Decodierer-Modulen 301, 302 eingegeben wird. Es versteht sich, dass eine beliebige Anzahl von Kameraquellen verwendet werden kann und nur für Veranschaulichungszwecke vier beschrieben sind. Darüber hinaus kann ein einzelnes Codierer/Decodierer-Modul 301, 302 dazu ausgelegt sein, mehrere Eingaben von einer beliebigen Anzahl von Kameras zu empfangen. Die dekonvolutierten Bilder von jedem Decodierer 302 werden zu einem Straßenextrahierungsmodul 303 gepusht, das zum Segmentieren von Straßen-/Nichtstraßengebieten für ein gegebenes Bild verantwortlich ist. Straßensegmentierte spezifische Gebiete werden dann zu einem semi-überwachten Straßenanomalieobjektdetektionsmodul 304 weitergeleitet.
-
Das Straßenextrahierungsblockmodul 303 ist dazu ausgelegt, Straßengebiete unter Verwendung eines standardmäßigen Decodierers mit pixelbasierter Segmentierung zu extrahieren. In dem Straßengebiet werden anomale Straßengebietskandidaten basierend auf mehreren Hinweisen extrahiert, nämlich lokalen Erscheinungsvariationen (Farb- und Schattierungsinformationen), niedrigerer Konfidenz einer Segmentierungsbewertung zur Straßen- und Tiefenschätzung. Für die extrahierten Kandidatengebiete wird ein Superauflösungsalgorithmus ausgeführt, um die Einzelheiten der anomalen Straßengebiete zu verbessern. Superauflösung ist eine Technik zur Verbesserung der Pixelinformationen in einem Bild, um Bildinformationen mit höherer Auflösung durch das Nutzen von aufeinanderfolgenden Einzelbildern zu synthetisieren. Ein Superauflösungsalgorithmus kann einer von zwei Typen sein: 1) Bildgrößenanpassung und 2) Erhöhen von DPI (Dots Per Inch), während die Bildgröße gleich gelassen wird.
-
Im Kontext der vorliegenden Erfindung kann der Superauflösungsalgorithmus zur Bildgrößenanpassung verwendet werden. Die kleinen Gruppen von extrahierten Pixeln können mehr Informationen für eine weitere Analyse aufweisen. Tiefeninformationen für hochskalierte Bilder unterstützen die Isolierung eines flachen Objekts und scharfkantiger Objekte, da flache Objekte im Vergleich zu nichtflachen Objekten weniger Tiefe besitzen, die von dem Tiefenschätzungsmodul 305 erhalten werden. Die Pixel der durch Superauflösung verbesserten anomalen Straßengebiete können dann basierend auf Tiefendifferenz und Farb-/Schattierungsgleichförmigkeit gruppiert werden. Varianzmetriken werden in der Gruppe von Pixeln erzeugt, um die Kohäsion dieses Clusters zu schätzen. Diese Metriken werden zusammen mit den codierten Merkmalskarten von dem Tiefenschätzungsmodul 305 zu dem oben beschriebenen semi-überwachten Straßenanomalieobjektdetektionsmodul 304 eingespeist, um kleine unklassifizierte Hindernisse auf einer Straßenoberfläche zu detektieren.
-
Optional unterstützt ein Ruckdetektionsmodul 306, derartige Hindernisse wie etwa Bremsschwellen zu identifizieren, und segmentiert/filtert das Gebiet heraus, in dem das Vorhandensein eines Rucks identifiziert wurde. Die Ausgabe des Ruckdetektionsmoduls 306 kann mit der Ausgabe des semi-überwachten Straßenanomalieobjektdetektionsmoduls 304 zusammengeführt werden, um identifizierte Ruckbilder zu entfernen.
-
Das Verfahren umfasst ferner Bereitstellen eines Signals zum Manövrieren eines autonomen oder semiautonomen Fahrzeugs, um die detektierten kleinen unklassifizierten Objekte auf der Straßenoberfläche zu vermeiden.
-
Das System zur Detektion von kleinen unklassifizierten Hindernissen auf einer Straßenoberfläche umfasst eine oder mehrere Bildaufnahmeeinrichtungen 203 und einen oder mehrere Prozessoren 201, die mit der einen oder den mehreren Bildaufnahmeeinrichtungen 203 gekoppelt sind. Bei einer Ausführungsform ist ein Speicher 202 funktionsfähig mit dem einen oder den mehreren Prozessoren 201 gekoppelt, wobei der Speicher 202 computerlesbare Anweisungen umfasst, die bewirken, dass der Prozessor das oben offenbarte Verfahren implementiert.
-
Der eine oder die mehreren Prozessoren 201 sind für Folgendes ausgelegt:
- Verarbeiten eines oder mehrerer Bilder, die durch eine oder mehrere Bildaufnahmeeinrichtungen aufgenommen werden, durch ein erstes neuronales Netzwerk;
- Identifizieren eines Gebiets von Interesse in dem einen oder den mehreren Bildern basierend auf einem vorbestimmten Kriterium;
- Empfangen von codierten Merkmalskarten und den Tiefenbildern für das identifizierte Gebiet von Interesse von jedem Codierer des ersten neuronalen Netzwerks; und
- Verarbeiten der codierten Merkmalskarten und der Tiefenbilder für das identifizierte Gebiet von Interesse durch ein zweites neuronales Netzwerk, das einen semi-überwachten Klassifizierer umfasst, um die kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu detektieren.
-
Die eine oder die mehreren Bildaufnahmeeinrichtungen 203 können eine Fischaugenkamera umfassen. Das vorbestimmte Kriterium kann umfassen, dass ein Straßengebiet in dem einen oder den mehreren Bildern durch eine pixelbasierte Segmentierung, die durch das erste neuronale Netzwerk implementiert wird, identifiziert wird. Bei einer anderen Ausführungsform umfasst das vorbestimmte Kriterium, dass ein Drittel des Straßengebiets in dem einen oder den mehreren Bildern identifiziert wird, wobei das Drittel des Straßengebiets am nächsten zu der einen oder den mehreren Bildaufnahmeeinrichtungen liegt.
-
Das zweite neuronale Netzwerk umfasst eine Verlustfunktion, die ein Signal für eine lokale und/oder globale Abweichung von einer flachen Oberfläche des identifizierten Gebiets von Interesse bereitstellt. Die lokalen und/oder globalen Abweichungen von einer flachen Oberfläche des identifizierten Gebiets von Interesse werden als anomale Gebiete identifiziert, die potenziell kleine unklassifizierte Hindernisse auf der Straßenoberfläche umfassen. Die lokalen und/oder globalen Abweichungen werden basierend auf einer Rückmeldung eines Ruckdetektionsmoduls gefiltert, das Bremsschwellen oder andere bekannte Straßenoberflächenmerkmale identifiziert.
-
Bei einer anderen Ausführungsform umfasst das zweite neuronale Netzwerk einen Detektor zum Detektieren von anomalen Gebieten in dem Gebiet von Interesse, die lokale Erscheinungsvariationen und/oder niedrigere Konfidenz einer Pixelsegmentierungsbewertung zur Straßen- und Tiefenschätzung aus der pixelbasierten Segmentierung, die durch das erste neuronale Netzwerk implementiert wird, aufweisen. Die Erscheinungsvariationen umfassen eine Variation in der Farbe oder Schattierung der detektierten anomalen Gebiete.
-
Die Bildauflösung der dedizierten/identifizierten anomalen Gebiete kann unter Verwendung einer Superauflösungstechnik verbessert werden, wobei die Superauflösungstechnik die Bildauflösung der detektierten/identifizierten anomalen Gebiete basierend auf mehreren aufeinanderfolgenden Bildern der detektierten/identifizierten anomalen Gebiete verbessert. Die verbesserte Bildauflösung der detektierten/identifizierten anomalen Gebiete wird durch den semi-überwachten Klassifizierer des zweiten neuronalen Netzwerks gefiltert, um die kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu detektieren.
-
Bei einer Ausführungsform sind der eine oder die mehreren Prozessoren 201 ferner zum Bereitstellen eines Signals zum Manövrieren eines autonomen oder semiautonomen Fahrzeugs ausgelegt, um die detektierten kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu vermeiden. Bei einer anderen Ausführungsform sind der eine oder die mehreren Prozessoren 201 ferner zum Warnen eines menschlichen Fahrers des Fahrzeugs vor den detektierten kleinen unklassifizierten Hindernissen auf der Straßenoberfläche und zum Transferieren der Steuerung zu dem menschlichen Fahrer, um die detektierten kleinen unklassifizierten Hindernisse auf der Straßenoberfläche zu manövrieren, ausgelegt.
-
Dadurch kann ein autonomes Fahrzeug das Fahrzeug manövrieren, um derartige kleine unklassifizierte Objekte zu vermeiden und dadurch Schäden an dem Fahrzeug zu verhindern und/oder Unfälle zu vermeiden.
-
Ferner wird ein Durchschnittsfachmann verstehen, dass die verschiedenen veranschaulichenden logischen/funktionalen Blöcke, Module, Schaltungen und Prozessschritte, die in Verbindung mit den hierin offenbarten Ausführungsformen beschrieben sind, als elektronische Hardware oder eine Kombination von Hardware und Software implementiert werden können. Um diese Austauschbarkeit von Hardware und einer Kombination von Hardware und Software deutlich zu veranschaulichen, sind verschiedene veranschaulichende Komponenten, Blöcke, Module, Schaltungen und Schritte oben allgemein hinsichtlich ihrer Funktionalität beschrieben worden. Ob eine derartige Funktionalität als Hardware oder eine Kombination von Hardware und Software implementiert wird, hängt von der Designwahl eines Durchschnittsfachmanns ab. Derartige Fachleute können die beschriebene Funktionalität auf verschiedene Weisen für jede spezielle Anwendung implementieren, aber derartige offensichtliche Designwahlen sollten nicht so interpretiert werden, dass sie ein Abweichen vom Schutzumfang der vorliegenden Erfindung verursachen.
-
Der in der vorliegenden Offenbarung beschriebene Prozess kann unter Verwendung verschiedener Mittel implementiert werden. Zum Beispiel kann die in der vorliegenden Offenbarung beschriebene Vorrichtung in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert werden. Für eine Hardwareimplementierung können die Verarbeitungseinheiten oder der eine oder die mehreren Prozessoren oder die eine oder die mehreren Steuerungen in einer (einem) oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), Digitalsignalprozessoren (DSPs), Digitalsignalverarbeitungseinrichtungen (DSPDs), programmierbaren Logikvorrichtungen (PLDs), feldprogrammierbaren Gate-Arrays (FPGAs), Prozessoren, Steuerungen, Mikrocontrollern, Mikroprozessoren, elektronischen Einrichtungen, anderen elektronischen Einheiten, die zum Durchführen der hierin beschriebenen Funktionen konzipiert sind, oder einer Kombination davon implementiert werden.
-
Für eine Firmware- und/oder Softwareimplementierung können Softwarecodes in einem Speicher gespeichert und durch einen Prozessor ausgeführt werden. Der Speicher kann in der Prozessoreinheit oder extern zu der Prozessoreinheit implementiert werden. Wie hierin verwendet, bezieht sich der Begriff „Speicher“ auf einen beliebigen Typ von flüchtigem Speicher oder nichtflüchtigem Speicher.
-
In der Spezifizierung werden die Begriffe „umfassen, umfasst und umfassend“ oder eine beliebige Variation davon und die Begriffe „beinhalten, beinhaltet, beinhaltend und einschließlich“ oder eine beliebige Variation davon als vollständig austauschbar angesehen, und ihnen sollte die größtmögliche Interpretation gewährt werden, und umgekehrt.
-
Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, sondern kann in sowohl Konstruktion als auch Detail variiert werden.
