DE102022206404A1

DE102022206404A1 - Ein System, das dazu angepasst ist, einen Straßenzustand in einem Fahrzeug zu erkennen, und ein Verfahren dafür

Info

Publication number: DE102022206404A1
Application number: DE102022206404.6A
Authority: DE
Inventors: Sathish Kumar Jayaraj; Nemani Rama Aditya; Hegde Anand Ashok; Calagandhra Harinath Suman Reddy
Original assignee: Robert Bosch GmbH; Robert Bosch Engineering and Business Solutions Pvt Ltd
Current assignee: Robert Bosch GmbH; Bosch Global Software Technologies Pvt Ltd
Priority date: 2021-07-19
Filing date: 2022-06-24
Publication date: 2023-01-19
Also published as: JP2023015015A; US12014512B2; US20230046137A1

Abstract

Die vorliegende Offenbarung schlägt ein System vor, das dazu angepasst ist, einen Straßenzustand in einem Fahrzeug zu erkennen, und ein Verfahren dafür, durch Verwenden von geometrischen Laserprojektionen und eines Bildverarbeitungssystems. Das System umfasst eine Laserquelle (1), eine Abbildungseinheit (2) und mindestens eine Verarbeitungseinheit (3). Die Laserquelle (1) ist dazu angepasst, geometrische Laserprojektionen auf die Straße zu projizieren. Die Abbildungseinheit (2) ist dazu angepasst, Bilder der geometrischen Projektionen zu erfassen. Die Verarbeitungseinheit (3) ist dazu ausgelegt, eine Oberflächenreflexion für die projizierte geometrische Projektion zu berechnen. Ferner ist sie dazu ausgelegt, geometrische Parameter der Projektionen in regelmäßigen Zeitintervallen basierend auf den erfassten Bildern zu berechnen. Sie bestimmt einen Straßenzustand basierend auf der Oberflächenreflexion und den geometrischen Parametern.

Description

Vollständige Spezifikation:
Die folgende Spezifikation beschreibt und bestimmt die Art dieser Erfindung und die Art und Weise, in der sie ausgeführt werden soll.
Feld der Erfindung
Die vorliegende Offenbarung bezieht sich auf ein System, das dazu angepasst ist, einen Straßenzustand in einem Fahrzeug zu erkennen, und ein Verfahren dafür. Insbesondere offenbart die Erfindung ein basierendes Verfahren zum Erkennen eines Straßenzustands, wie zum Beispiel einer Straßenbeschädigung oder eines Hindernisses, und die relevanten Hardware-Beschränkungen dafür.
Hintergrund der Erfindung
Automatisierte Fahrzeuge oder Fahrzeuge, die mit einem bestimmten Maß an Fahrerassistenz ausgerüstet sind, müssen die Straßenbedingungen korrekt antizipieren und entsprechend reagieren. Die vorausschauenden Straßenzustandsdienste helfen dem System, Gefahren, wie zum Beispiel Straßenbeschädigungen, Schlaglöcher oder Hindernisse aus einer Entfernung zu erkennen, bevor eine kritische Situation auftritt. Viele bestehende Lösungen stellen dem Fahrzeug durch Verwenden von Internet- oder Cloud-basierten Plattformen Informationen in Echtzeit über die Umgebungsbedingungen und damit verbundene potenzielle Gefahren, wie zum Beispiel Aquaplaning, Eis oder Schnee, bereit. Bestimmte andere Lösungen verwenden auf maschinellem Sehen basierende Techniken, radarbasierte Erkennung, usw. Obwohl diese Techniken dabei helfen, die meisten Straßenzustände zu identifizieren, sind sie jedoch bei dem Erkennen von Straßenbeschädigungen, wie zum Beispiel Schlaglöchern und Rissen, ineffektiv. Außerdem sind diese Techniken teuer und schwierig in ein kostengünstiges Fahrzeug zu integrieren. Daher besteht ein Bedarf für ein kostengünstiges und genaues Verfahren zum Erkennen von Straßenbeschädigungen durch ein sich bewegendes Fahrzeug.
Die Patentanmeldung US2006104481 AA mit dem Titel „Vehicle Safety Control System by Image Processing“ offenbart ein Bildverarbeitungssystem, das dazu angepasst ist, einen Bereich um ein Fahrzeug herum abzubilden, wobei es einen Bildprozessor umfasst, der dazu angepasst ist, Informationen zu empfangen, die ein Bild eines Bereichs in der unmittelbaren Nähe des Fahrzeugs anzeigen, das automatisch durch ein Bilderfassungsgerät erfasst wird, wobei der Bildprozessor Logik beinhaltet, um die Informationen zu analysieren, die das Bild in der unmittelbaren Nähe des Fahrzeugs anzeigen, und automatisch zu bestimmen, ob die Informationen, die das Bild eines Bereichs in der Nähe des Fahrzeugs angeben, mindestens eine vorbestimmte Umgebung anzeigen. In einigen Ausführungsformen wird dieses Bildverarbeitungssystem zur Unfallverhütung und Unfallaufzeichnung verwendet. In einigen Ausführungsformen wird dieses Bildverarbeitungssystem dazu verwendet, eine erhöhte Unfallwahrscheinlichkeit und/oder das Auftreten eines Unfalls zu identifizieren, und/oder Unfallvermeidungs- und/oder Unfallsicherheitsgeräte zu implementieren.
Figurenliste
Eine Ausführungsform der Erfindung wird unter Bezugnahme auf die folgenden begleitenden Zeichnungen beschrieben:

1 stellt ein System dar, das dazu angepasst ist, den Straßenzustand in einem Fahrzeug (10) zu erkennen;
2B stellt die Komponenten des Systems (100) dar, das dazu angepasst ist, den Straßenzustand in einem Fahrzeug zu erkennen;
3 veranschaulicht geometrische Laserprojektionen, die von einer Laserquelle ausgehen; und
4 veranschaulicht Verfahrensschritte zum Erkennen eines Straßenzustands in einem Fahrzeug.

Detaillierte Beschreibung der Zeichnungen
1 stellt ein System dar, das dazu angepasst ist, den Straßenzustand in einem Fahrzeug zu erkennen. Das System befindet sich in einem Fahrzeug als separate Hardwarebeschränkungen, die nicht auf die in dieser Offenbarung ausgearbeiteten Funktionen beschränkt sind. In einer Ausführungsform der Offenbarung ist das System jedoch in einem Gerät manifestiert, das kompatibel ist oder in modernen Fahrzeugen nachgerüstet werden kann. 2 stellt die Komponenten des Systems dar, das dazu angepasst ist, den Straßenzustand in einem Fahrzeug zu erkennen. Das System umfasst Laserquelle (1), Abbildungseinheit (2) und mindestens eine Verarbeitungseinheit (3). In modernen Fahrzeugen sind andere unabhängig arbeitende Komponenten, wie zum Beispiel Modul des elektronischen Bremsmodulators (4) und Modul des Bremssystems (5) ebenfalls dazu ausgelegt, mit dem System gekoppelt zu werden.
Die Laserquelle (1) ist dazu angepasst, geometrische Laserprojektionen auf die Straße zu projizieren. Die geometrischen Projektionen können entweder ein Polygon oder eine Ellipse sein. 3 veranschaulicht geometrische Laserprojektionen, die von einer Laserquelle ausgehen. Die geometrischen Laserprojektionen werden in einem vordefinierten Mindestabstand von dem Fahrzeug projiziert. Dieser Mindestabstand entspricht dem Bremsabstand, der erforderlich ist, um ein Fahrzeug basierend auf der momentanen Geschwindigkeit des Fahrzeugs zum Stillstand zu bringen. Dieser Abstand wird gemäß gut bekannten Bewegungsgleichungen in der klassischen Physik einfach berechnet. Daher ist die Laserquelle (1) dazu angepasst, die Laserprojektionen in variierenden Abständen entsprechend der momentanen Geschwindigkeit der Fahrzeuge zu projizieren. Außerdem hat die Laserquelle (1) in einer beispielhaften Ausführungsform auch diffraktive optische Elemente, die den Laserstrahl in eine kreisförmige oder elliptische Projektion umwandeln.
Die Abbildungseinheit (2) ist dazu angepasst, Bilder der geometrischen Projektionen zu erfassen. Für Bildgebungszwecke in der Automobilindustrie sind solche Kameras kommerziell verfügbar und in dem Stand der Technik gut bekannt.
Die Verarbeitungseinheit (3) umfasst einen intelligenten Datenverarbeitungs-Chip, der dafür verantwortlich ist, durch die Verarbeitungseinheit (3) empfangene Signale in aussagekräftige Informationen zu übersetzen. Wiederum umfasst in einer beispielhaften Ausführungsform der vorliegenden Erfindung die Verarbeitungseinheit (3) ferner eine spezialisierte Schaltung, die die gesamte notwendige Steuerung und arithmetische Logik implementiert, die zum Ausführen von Algorithmen für maschinelles Lernen erforderlich ist. Die Algorithmen für maschinelles Lernen der Verarbeitungseinheit (3) sind dazu ausgelegt, eine Oberflächenreflexion für die projizierte geometrische Projektion zu berechnen. Ferner sind sie dazu ausgelegt, geometrische Parameter der Projektionen in regelmäßigen Zeitintervallen basierend auf den erfassten Bildern zu berechnen. Sie bestimmen einen Straßenzustand basierend auf der Oberflächenreflexion und den geometrischen Parametern. Außerdem bestimmt die sich ändernde Fläche der Projektionen in Abhängigkeit von den anderen geometrischen Parametern den Abstand zu dem erkannten Straßenzustand.
4 veranschaulicht Verfahrensschritte zum Erkennen eines Straßenzustands in einem Fahrzeug. Das Fahrzeug umfasst eine Laserquelle (1), eine Abbildungseinheit (2) und mindestens eine Verarbeitungseinheit (3) gemäß der Beschreibung von 1. In Verfahrensschritt 201 wird mittels der Laserquelle (1) eine geometrische Laserprojektion auf die Straße projiziert. Die geometrischen Projektionen können entweder ein Polygon oder eine Ellipse sein. Wie oben diskutiert, werden die geometrischen Projektionen basierend auf der momentanen Geschwindigkeit des Fahrzeugs in einem vorbestimmten Abstand (sicherer Bremsabstand) projiziert. In einer Ausführungsform ist diese geometrische Projektion eine Ellipse.
Schritt 202 umfasst das Erfassen von Bildern der geometrischen Projektionen mittels der Abbildungseinheit (2). Weitere Schritte umfassen das Verarbeiten erfasster Bilder mittels der Verarbeitungseinheit (3) durch Verwenden von Bildverarbeitungstechniken. In einer Ausführungsform können die Bildverarbeitungstechniken mittels Modellen für maschinelles Lernen ausgeführt werden. Verfahrensschritt 203 umfasst das Berechnen einer Oberflächenreflexion für die projizierte geometrische Projektion. Die Oberflächenabstrahlung oder -reflexion ist definiert als das Verhältnis des reflektierten Strahlungsflusses (optische Leistung) zu dem auftreffenden Fluss auf einer Oberfläche - zum Beispiel einer Straßenoberfläche. Sie hängt im Allgemeinen von der Richtung des auftreffenden Lichts und von der optischen Frequenz oder Wellenlänge ab. Die Berechnung der Oberflächenreflexion erfolgt durch Verwenden eines mathematischen Modells für diffuse Reflexion, um die Reflexion der Oberfläche zu schätzen, wie zum Beispiel das Lambertsche Modell, das Torrence-Sparrow-Modell und dergleichen.¹ In dem Fall einer Straßenbeschädigung unterscheidet sich die Oberflächenreflexion von der einer gleichmäßigen Straße. Ebenso unterscheidet sich die Oberflächenstrahlung in dem Fall, dass ein Straßenhindernis für die projizierte geometrische Projektion vorhanden ist, von dem gleichmäßigen Straßenzustand.
Verfahrensschritt 204 umfasst das Berechnen geometrischer Parameter der Projektionen in regelmäßigen Zeitintervallen basierend auf den erfassten Bildern. Geometrische Parameter umfassen Parameter wie zum Beispiel Umfang, Fläche und dergleichen. In dem Fall einer elliptischen Projektion umfassen die Parameter ferner zwei Ellipsenbrennpunkte, Ellipsenkonstanten, Ellipsenmittelpunkt, Exzentrizität und dergleichen. Verfahrensschritt 205 umfasst das Bestimmen eines Straßenzustands basierend auf der Oberflächenreflexion und den geometrischen Parametern. Die sich ändernde Fläche der Projektionen in Abhängigkeit von den anderen geometrischen Parametern bestimmt den Abstand zu dem erfassten Straßenzustand.
Grundsätzlich kann die Änderung der Ellipse (geometrische Projektion) und ihrer Eigenschaften, die von der Laserprojektion auf der Straßenoberfläche kommen, als eine Eingabe verwendet werden, um die Auswirkungen der Straßenbeschädigungsbedingungen zu verstehen. Da die Ellipsengleichung optimiert werden kann, um die Radposition auf der
¹Nayar, S.K., Ikeuchi, K. und Kanade, T., 1991. Surface reflection: physical and geometrical perspectives.
Straße nachzuahmen, ist dies die empfohlene zu verwendende geometrische Projektion. Die Kamera erfasst die Bilder der projizierten Ellipse auf der Straße.
Das Ausgabebild wird an die Verarbeitungseinheit (3) gesendet, die eine Bildverarbeitungstechnik verwendet, die zum Beispiel eine Gleichmäßigkeit oder Verzerrung der geometrischen Projektion, die von der Bildausgabe reflektiert wird, analysiert. Diese Bewertung der geometrischen Projektion zusammen mit der Oberflächenreflexion ergibt einen Straßenbeschädigungszustand.
Zum Beispiel wird in dem Fall eines Schlaglochs die geometrische Projektion einen nicht kontinuierlichen Umfang haben. In ähnlicher Weise ergibt die sich ändernde Fläche der geometrischen Projektion, sobald ein Schlagloch erkannt wird, den Abstand zu der Straßenbeschädigung. Um Unbehagen aufgrund von ruckartigem oder plötzlichem Bremsen zu reduzieren, kann der Abstand zu der Straßenbeschädigung dazu verwendet werden, eine Reaktionsmaßnahme des elektronischen Bremsmodulators (4) oder eines Bremssystems (5) des Fahrzeugs zu erzwingen. Die Zeit, die das oben genannte System benötigt, um das Bild zu verarbeiten und zu analysieren, beträgt nicht mehr als 100 Millisekunden. Hingegen beträgt die manuelle Reaktionszeit des Fahrers bei Straßenbeschädigung im Durchschnitt 2,5 Sekunden. Die minimale Bremszeit, die benötigt wird, um das Fahrzeug mit einer Anfangsgeschwindigkeit von 100km/h anzuhalten = ~2,5 Sekunden (gemäß den Bewegungsgleichungen nach Newton). Somit entsprechen ohne das oben erwähnte System 2,5 Reaktionszeit + 2,5 Bremszeit 5 Sekunden, um das Fahrzeug zu verzögern. Durch das Verwenden des oben genannten Systems und der oben genannten Methodik kann jedoch die Mindestbremszeit auf nur 2,5 Sekunden reduziert werden.
Diese Idee, ein System zu entwickeln, das dazu angepasst ist, einen Straßenzustand in einem Fahrzeug zu erkennen, und ein Verfahren dafür, reduziert die Reaktionszeit für den Fahrer auf Straßenbeschädigungszustände wie Schlaglöcher, aufgerissene Straßen und andere Hindernisse. Darüber hinaus ist es kostengünstig und bietet eine Funktion mit hohem Mehrwert (Value Added Function - VAF) für ESP-Systeme, insbesondere in indischen und anderen aufstrebenden Märkten.
Es versteht sich, dass die in der obigen detaillierten Beschreibung erläuterten Ausführungsformen nur veranschaulichend sind, und den Umfang dieser Erfindung nicht einschränken. Jegliche Modifikation an einem System, das dazu angepasst ist, den Straßenzustand in einem Fahrzeug zu erfassen, und ein Verfahren dafür, sind beabsichtigt und bilden einen Teil dieser Erfindung. Der Umfang dieser Erfindung wird nur durch die Ansprüche begrenzt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2006104481 [0004]

Claims

System, das dazu angepasst ist, einen Straßenzustand in einem Fahrzeug zu erkennen, wobei das System eine Laserquelle (1), eine Abbildungseinheit (2) und mindestens eine Verarbeitungseinheit (3) umfasst, wobei in diesem System Folgendes charakterisiert ist: die Laserquelle (1), die dazu angepasst ist, geometrische Laserprojektionen auf die Straße zu projizieren; die Abbildungseinheit (2), die dazu angepasst ist, Bilder der geometrischen Projektionen zu erfassen. die Verarbeitungseinheit (3), die dazu ausgelegt ist: eine Oberflächenreflexion für die projizierte geometrische Projektion zu berechnen; geometrische Parameter der Projektionen in regelmäßigen Zeitintervallen basierend auf den erfassten Bildern zu berechnen; einen Straßenzustand basierend auf der Oberflächenreflexion und den geometrischen Parametern zu bestimmen.
System, das dazu angepasst ist, einen Straßenzustand in einem Fahrzeug zu erkennen, nach Anspruch 1, wobei die geometrischen Projektionen entweder ein Polygon oder eine Ellipse sein können.
System, das dazu angepasst ist, einen Straßenzustand in einem Fahrzeug zu erkennen, nach Anspruch 1, wobei die sich ändernde Fläche der Projektionen in Abhängigkeit von den anderen geometrischen Parametern und der Oberflächenreflexion den Abstand zu dem erkannten Straßenzustand bestimmt.
Verfahren, um einen Straßenzustand in einem Fahrzeug zu erkennen, wobei das Fahrzeug eine Laserquelle (1), eine Abbildungseinheit (2) und mindestens eine Verarbeitungseinheit (3) umfasst, wobei die Verfahrensschritte Folgendes umfassen: Projizieren (201) einer geometrischen Laserprojektion auf die Straße mittels der Laserquelle (1); Erfassen (202) von Bildern der geometrischen Projektionen mittels der Abbildungseinheit (2); Verarbeiten erfasster Bilder mittels der Verarbeitungseinheit (3) durch folgende Schritte, die Folgendes umfassen: Berechnen (203) einer Oberflächenreflexion für die projizierte geometrische Projektion; Berechnen (204) geometrischer Parameter der Projektionen in regelmäßigen Zeitintervallen basierend auf den erfassten Bildern; Bestimmen (205) eines Straßenzustands basierend auf der Oberflächenreflexion und den geometrischen Parametern.
Verfahren, um einen Straßenzustand in einem Fahrzeug zu erkennen, nach Anspruch 4, wobei geometrische Projektionen entweder ein Polygon oder eine Ellipse sein können.
Verfahren, um einen Straßenzustand in einem Fahrzeug zu erkennen, nach Anspruch 4, wobei die sich ändernde Fläche der Projektionen in Abhängigkeit von den anderen geometrischen Parametern und der Oberflächenreflexion den Abstand zu dem erkannten Straßenzustand bestimmt.