-
Die vorliegende Offenbarung betrifft ein Fahrassistenzsystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Fahrassistenzsystem, ein Fahrassistenzverfahren für ein Fahrzeug und ein Speichermedium zum Ausführen des Fahrassistenzverfahrens. Die vorliegende Offenbarung betrifft insbesondere eine Sichtweitenabschätzung einer Umgebungssensorik basierend auf semantischer Segmentierung.
-
Stand der Technik
-
Die Entwicklung von Fahrassistenzfunktionen beispielsweise zum (teil-)autonom Fahren gewinnt stetig an Bedeutung. Um eine möglichst präzise Umgebungswahrnehmung für Fahrerassistenzsysteme zu ermöglichen können Sensormessungen von diversen Sensortypen, wie z.B. Kameras, LiDAR und Radaren verwendet werden. Jeder Sensortyp unterliegt anderen physikalischen Messprinzipien. Das Fahrzeugumfeld besteht in der Realität aus sehr vielen unterschiedlichen Objekten/Subjekten wie verschiedenen Fahrzeugtypen, Menschen und Tieren, statischen Objekten wie Mülltonnen, Verkehrsleitsystemen, natürlichen Objekten und Terrain. Da die Wahrnehmung all dieser Objekte/Subjekte jeweils auch vom verwendeten Messprinzip sowie der Reichweite der einzelnen Sensoren abhängig ist, ist es schwierig, eine präzise Umgebungswahrnehmung sicherzustellen.
-
Offenbarung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Offenbarung, ein Fahrassistenzsystem für ein Fahrzeug, ein Fahrzeug mit einem solchen Fahrassistenzsystem, ein Fahrassistenzverfahren für ein Fahrzeug und ein Speichermedium zum Ausführen des Fahrassistenzverfahrens anzugeben, die eine Bestimmung einer Sichtweite einer Umgebungssensorik ermöglichen. Zudem ist es eine Aufgabe der vorliegenden Offenbarung, eine zuverlässige Gefahrenerkennung und Gefahrenvermeidung durch ein Fahrassistenzsystem zu ermöglichen.
-
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
-
Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrassistenzsystem für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrassistenzsystem umfasst eine Umgebungssensorik, die eingerichtet ist, um eine Fahrzeugumgebung zu erfassen und entsprechende Umgebungsdaten bereitzustellen; und ein Auswertemodul, das eingerichtet ist, um basierend auf den Umgebungsdaten eine Klassifikation der Fahrzeugumgebung durchzuführen; basierend auf den Umgebungsdaten Tiefeninformationen zu bestimmen; und basierend auf der Klassifikation und den Tiefeninformationen eine Sichtweite wenigstens eines Sensors der Umgebungssensorik zu bestimmen.
-
Erfindungsgemäß werden Klassifizierungsdaten und Tiefendaten kombiniert, um eine Sichtweite einer Umgebungssensorik, wie beispielsweise einer Kamera, zu bestimmen. Eine derartige Bestimmung der Sichtweite der Umgebungssensorik kann zum Beispiel bei schlechten Wetterbedingungen vorteilhaft sein. Ist die Sichtweite der Umgebungssensorik reduziert, kann zum Beispiel eine Degradation einer Fahrfunktion zum automatisierten Fahren erfolgen. Beispielsweise kann vom assistierten Fahren auf ein manuelles Fahren umgeschaltet werden. In einem weiteren Beispiel können Fahrtparameter und/oder Betriebsparameter des Fahrzeugs, wie eine Geschwindigkeit, an die aktuelle Sichtweite der Umgebungssensorik angepasst werden. Im Ergebnis kann eine Sicherheit im Straßenverkehr verbessert werden.
-
Vorzugsweise umfasst die Umgebungssensorik wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System und/oder wenigstens einen Laserscanner. Die Umgebungssensorik kann die Umgebungsdaten (auch als „Umfelddaten“ bezeichnet) bereitstellen, die den Umgebungsbereich des Fahrzeugs abbilden.
-
Vorzugsweise ist der wenigstens eine Sensor der Umgebungssensorik, für den die Sichtweite bestimmt wird, eine Kamera, insbesondere eine Außenkamera. In diesem Fall können die Umgebungsdaten Bilddaten umfassen oder sein.
-
Der Begriff „Sichtweite“ bezieht sich auf eine Distanz zwischen einem Referenzpunkt am Fahrzeug (z.B. einer Kameralinse oder einer Frontschürze des Fahrzeugs) und einem vom Referenzpunkt beabstandeten Endpunkt oder Bereich, bis zu dem die durch den wenigstens einen Sensor gelieferten Umgebungsdaten zuverlässig verwertbar sind. Beispielsweise kann die Sichtweite eine Distanz angeben, bis zu der eine Objekterkennung mit einer bestimmen minimalen Konfidenz (z.B. mindestens 80%, mindestens 90% oder mindestens 95% Konfidenz) noch möglich ist.
-
Unter Klassifikation wird im Rahmen der Umfelderkennung im Allgemeinen ein Labeln von in den Umfelddaten erkannten Objekten und/oder Subjekten verstanden (z.B. „Fahrzeug“, „Fußgänger“, „Baum“, etc.). Insbesondere kann eine vorgegebene Anzahl von Klassen definiert sein, wobei jedem Segment der Fahrzeugumgebung mindestens eine dieser Klassen zugeordnet wird. Beispielsweise kann im Rahmen der Klassifizierung jedem Pixel eines Kamerabildes mindestens eine Klasse zugeordnet werden.
-
Vorzugsweise ist das Auswertemodul eingerichtet, um die Klassifikation der Fahrzeugumgebung unter Verwendung von semantischer Segmentierung durchzuführen. Unter dem Begriff „semantische Segmentierung“ wird im Allgemeinen eine Klassifikation von Bildsegmenten bzw. Pixeln eines Eingangsbildes in eine (feste) Anzahl von Klassen verstanden. Insbesondere wird bei der semantischen Segmentierung jedem Pixel eines Bilds eine semantische Bedeutung zugewiesen, beispielsweise für eine Unterscheidung von Fahrzeugen, Fußgängern, Fahrrädern, Straßen, Bordsteinen, Gebäuden, Masten, Schildern, etc. Die semantische Segmentierung kann dabei jedem einzelnen Pixel des Eingangsbildes eine Bedeutung zuweisen, und zwar sowohl für nicht zählbare „Zeug“-Klassen (z.B. Straßen) als auch für zählbare „Ding“-Klassen (z.B. Fahrzeuge oder Personen).
-
Vorzugsweise ist das Auswertemodul eingerichtet, um die Klassifikation der Fahrzeugumgebung und das Bestimmen der Tiefeninformationen basierend auf Umgebungsdaten vom selben Typ durchzuführen, wie zum Beispiel basierend auf Bilddaten. Insbesondere können dieselben Umgebungsdaten desselben Sensors verwendet werden, um sowohl die Klassifikation der Fahrzeugumgebung als auch das Bestimmen der Tiefeninformationen durchzuführen. Beispielsweise können in diesem Fall Bilddaten einer Kamera verwendet werden.
-
In einer anderen Ausführungsform kann das Auswertemodul eingerichtet sein, um die Klassifikation der Fahrzeugumgebung und das Bestimmen der Tiefeninformationen basierend auf Umgebungsdaten unterschiedlichem Typs durchzuführen. Insbesondere können unterschiedliche Umgebungsdaten unterschiedlicher Sensortypen verwendet werden, um die Klassifikation der Fahrzeugumgebung auf der einen Seite und das Bestimmen der Tiefeninformationen auf der anderen Seite durchzuführen. Zum Beispiel kann die Klassifikation der Fahrzeugumgebung basierend auf Bilddaten einer Kamera erfolgen, und das Bestimmen der Tiefeninformationen kann basierend auf LiDAR-Daten und/oder Radar-Daten erfolgen. In diesem Fall können also zweidimensionale Bilddaten mit Tiefendaten fusioniert werden.
-
Vorzugsweise verwenden die Klassifikation der Fahrzeugumgebung und das Bestimmen der Tiefeninformationen wenigstens ein neuronales Netz, insbesondere ein trainiertes neuronales Netz.
-
Vorzugsweise ist das Auswertemodul eingerichtet, um die Klassifikation der Fahrzeugumgebung unter Verwendung eines ersten neuronalen Netzes durchzuführen. Das erste neuronale Netz kann ein unter Verwendung von Bilddaten trainiertes neuronales Netz sein. Beispielsweise kann basierend auf einer gelabelten Ground Truth, wo jedem Pixel in einem Kamerabild eine Klasse zugeordnet ist, ein neuronales Netz trainiert werden. Anhand des trainierten neuronales Netzes kann dann für jedes Pixel in einem aktuellen Kamerabild eine Klassenzugehörigkeitswahrscheinlichkeit berechnet werden (z.B. für Vegetation, Terrain, Straße, Leitplanken, Fahrzeuge, Masten, Schilder, Ampeln, Bodenmarkierungen, Himmel, etc.).
-
Vorzugsweise ist das Auswertemodul eingerichtet, um das Bestimmen der Tiefeninformationen unter Verwendung eines zweiten neuronalen Netzes durchzuführen. Das zweite neuronale Netz kann ein unter Verwendung von LiDAR-Daten und/oder Radar-Daten trainiertes neuronalen Netz sein. Beispielsweise kann basierend auf einer zum Kamerabild fusionierten 3D Ground Truth (z.B. mittels LiDAR-Daten und/oder Radar-Daten) ein neuronales Netz trainiert werden, um in Kamerabildern eine Tiefe zu erkennen. Anhand des trainierten neuronalen Netzes kann für jedes Pixel in einem aktuellen Kamerabild ein Tiefenwert, der einer longitudinalen Entfernung entspricht, berechnet werden. Optional kann ein (weiterer) Tiefensensor verwendet werden, der zum Beispiel unabhängig von Wetterbedingungen funktioniert.
-
Vorzugsweise werden die LiDAR-Daten und/oder Radar-Daten nur für ein Training eines Algorithmus, wie eines neuronalen Netzes, für die Tiefenschätzung verwendet. Im Realbetrieb des Fahrzeugs kann die Bestimmung der Tiefeninformationen dann basierend auf Bilddaten bzw. Kameradaten erfolgen.
-
In einigen Ausführungsformen umfasst das Bestimmen der Tiefeninformationen ein Erstellen einer Tiefenkarte.
-
Vorzugsweise ist das Auswertemodul eingerichtet, um für jedes Segment der Fahrzeugumgebung und/oder jede Klasse dreidimensionale Koordinaten (x, y, z) zu bestimmen. Die Bestimmung der dreidimensionalen Koordinaten für jedes Segment der Fahrzeugumgebung und/oder jede Klasse kann insbesondere basierend auf einer Fusion einer semantischen Karte mit einer Tiefenkarte erfolgen.
-
In einigen Ausführungsformen kann für jedes Segment der Fahrzeugumgebung basierend auf den dreidimensionalen Koordinaten eine maximale Sichtweite bestimmt werden. Die maximale Sichtweite kann eine Erkennungsreichweite sein, also eine Reichweite oder Distanz, bis zu der eine Objekterkennung möglich ist (z.B. unter Berücksichtigung einer minimalen Konfidenz bzw. Klassenzugehörigkeitswahrscheinlichkeit).
-
In einigen Ausführungsformen kann die Sichtweite des wenigstens einen Sensors der Umgebungssensorik basierend auf den maximalen Sichtweiten der Segmente der Fahrzeugumgebung bestimmt werden. Beispielsweise kann die Sichtweite des wenigstens einen Sensors basierend auf Heuristiken bestimmt (z.B. Reichweite auf statische Objekte wie Leitplanken, Schilder, Terrain, Vegetation, Ausreißer, Mittelung von Erkennungen, etc.) und eine Einschränkung der Beobachtbarkeit (Observability) ausgegeben werden.
-
Optional kann eine kamerabasierte Wettererkennung (z.B. Regen, Schnee, Nebel, Verdeckung) bei der Abschätzung der Sichtweite berücksichtigt werden. Ergänzend oder alternativ können Umgebungsdaten wenigstens eines (weiteren) Tiefensensors wie LiDAR, Radar und/oder einer IR-Kamera verwendet werden, um einen Abgleich der geschätzten Sichtweite mit einer erwarteten Sichtweite durchzuführen. Dies ermöglicht insbesondere eine Validierung der geschätzten Sichtweite.
-
Vorzugsweise umfasst das Fahrassistenzsystem wenigstens ein Steuermodul, das eingerichtet ist, um wenigstens eine Fahrzeugfunktion basierend auf der Sichtweite des wenigstens einen Sensors der Umgebungssensorik anzusteuern.
-
Das Auswertemodul und das Steuermodul können in einem gemeinsamen Software- und/oder Hardware-Modul realisiert sein. Alternativ dazu können das Auswertemodul und das Steuermodul jeweils in getrennten Software- und/oder Hardware-Modulen realisiert sein.
-
Vorzugsweise ist das wenigstens eine Steuermodul eingerichtet, um die wenigstens eine Fahrzeugfunktion basierend auf der Sichtweite des wenigstens einen Sensors der Umgebungssensorik derart anzusteuern, dass eine akustische und/oder optische und/oder haptische Warnung an einen Fahrzeuginsassen, insbesondere einen Fahrer, ausgegeben wird. Beispielsweise kann der Fahrer darauf hingewiesen werden, dass ein Sichtweite reduziert ist.
-
Die akustische Warnung kann zum Beispiel durch einen Lautsprecher ausgeben werden. Die optische Warnung kann auf einer Anzeigevorrichtung des Fahrzeugs, wie einem Head Up-Display, angezeigt werden. Die haptische Warnung kann über eine Vibration eines Lenkrads ausgegeben werden.
-
Vorzugsweise ist das wenigstens eine Steuermodul eingerichtet, um die wenigstens eine Fahrzeugfunktion basierend auf der Sichtweite des wenigstens einen Sensors der Umgebungssensorik derart anzusteuern, dass eine Fahrtroute, insbesondere eine Navigationsroute, geändert wird. Beispielsweise kann auf einer Straße, die das Fahrzeug befährt, erkannt werden, dass an einem Fluss Nebel aufzieht. In diesem Fall kann eine Route geändert werden, beispielsweise durch eine Umfahrung des nebligen Bereichs. Die Änderung der Fahrtroute kann dabei sowohl im manuellen Fahrbetrieb als auch im automatisierten, insbesondere autonomen, Fahrbetrieb erfolgen. In beiden Fällen kann die
-
Änderung der Fahrtroute einem Fahrzeuginsassen, insbesondere einem Fahrer, vorgeschlagen werden.
-
Vorzugsweise ist das wenigstens eine Steuermodul eingerichtet, um die wenigstens eine Fahrzeugfunktion basierend auf der Sichtweite des wenigstens einen Sensors der Umgebungssensorik derart anzusteuern, dass ein Funktionsumfang und/oder wenigstens ein Fahrtparameter einer Fahrassistenzfunktion zum automatisierten Fahren angepasst werden. In einigen Ausführungsformen kann eine Degradation der Fahrassistenzfunktion zum automatisierten Fahren basierend auf der erkannten Sichtweite erfolgen. Beispielsweise kann ein automatisiert fahrendes Fahrzeug eine Geschwindigkeit reduzieren, wenn die Sichtweite reduziert ist.
-
Vorzugsweise ist das wenigstens eine Steuermodul eingerichtet, um die wenigstens eine Fahrzeugfunktion basierend auf der Sichtweite des wenigstens einen Sensors der Umgebungssensorik derart anzusteuern, dass Informationen in Bezug auf die aktuelle Sichtweite an wenigstens eine externe Einheit gesendet werden. Die wenigstens eine externe Einheit kann zum Beispiel ein Backend und/oder wenigstens ein Fremdfahrzeug sein.
-
Die vorliegende Offenbarung ist jedoch nicht auf die oben genannten Beispiele von Aktionen auf die erkannte Sichtweite begrenzt und es können ergänzend oder alternativ andere Aktionen durch das Fahrassistenzsystem ausgeführt werden. Beispiele hierfür umfassen das Erstellen einer Gefahrenskala und die Ableitung einer Gefahren-Heatmap auf Basis von Karteninformationen (z.B. Orte mit häufig auftretendem Nebel).
-
Vorzugsweise ist das Fahrassistenzsystem eingerichtet, um wenigstens einen Zusatzparameter zu erhalten, insbesondere von extern zu empfangen. Das Steuermodul kann eingerichtet sein, um die wenigstens eine Fahrzeugfunktion weiter basierend auf dem wenigstens einen Zusatzparameter anzusteuern. Insbesondere können die aus den Umgebungsdaten gewonnenen Informationen mit zusätzlichen (bzw. nicht aus den Umgebungsdaten abgeleiteten) Informationen fusioniert werden, um potenzielle Gefahren für das Fahrzeug zu erkennen und/oder geeignete Aktionen abzuleiten.
-
Vorzugsweise ist der wenigstens eine Zusatzparameter aus der Gruppe ausgewählt, die eine Wetterbedingung (z.B. aktueller Wetterbericht, Wind, Niederschlag, etc.), eine Zeit (z.B. Datum, Uhrzeit, Tageszeit, Jahreszeit, etc.) und Karteninformationen (z.B. digitale Kartendaten) umfasst, oder die daraus besteht.
-
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrzeug umfasst das Fahrassistenzsystem gemäß den Ausführungsformen der vorliegenden Offenbarung.
-
Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.
-
Vorzugsweise ist das Fahrassistenzsystem zum automatisierten Fahren eingerichtet.
-
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (BASt) definiert (siehe BASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).
-
Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.
-
Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
-
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Fahrassistenzverfahren für ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrassistenzverfahren umfasst ein Erfassen einer Fahrzeugumgebung durch eine Umgebungssensorik und Bereitstellen entsprechender Umgebungsdaten; ein Durchführen einer Klassifikation der Fahrzeugumgebung basierend auf den Umgebungsdaten; ein Bestimmen von Tiefeninformationen basierend auf den Umgebungsdaten; und ein Bestimmen einer Sichtweite wenigstens eines Sensors der Umgebungssensorik basierend auf der Klassifikation und den Tiefeninformationen.
-
Das Fahrassistenzverfahren kann die Aspekte des in diesem Dokument beschriebenen Fahrassistenzsystems implementieren.
-
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Software (SW) Programm angegeben. Das SW Programm kann eingerichtet werden, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Fahrassistenzverfahren auszuführen.
-
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein Speichermedium angegeben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Fahrassistenzverfahren auszuführen.
-
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist eine Software mit Programmcode zur Durchführung des in diesem Dokument beschriebenen Fahrassistenzverfahrens auszuführen, wenn die Software auf einer oder mehreren softwaregesteuerten Einrichtungen abläuft.
-
Gemäß einem weiteren unabhängigen Aspekt der vorliegenden Offenbarung ist ein System für ein Fahrzeug angegeben. Das System umfasst einen oder mehrere Prozessoren; und wenigstens einen Speicher, der mit dem einen oder den mehreren Prozessoren verbunden ist und Anweisungen enthält, die von dem einen oder den mehreren Prozessoren ausgeführt werden können, um das in diesem Dokument beschriebene Fahrassistenzverfahren auszuführen.
-
Ein Prozessor bzw. ein Prozessormodul ist ein programmierbares Rechenwerk, also eine Maschine oder eine elektronische Schaltung, die gemäß übergebenen Befehlen andere Elemente steuert und dabei einen Algorithmus (Prozess) vorantreibt.
-
Kurze Beschreibung der Zeichnungen
-
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
- 1 schematisch ein Fahrzeug mit einem Fahrassistenzsystem gemäß Ausführungsformen der vorliegenden Offenbarung,
- 2 schematisch ein Fahrzeug auf einer Straße gemäß Ausführungsformen der vorliegenden Offenbarung,
- 3 schematisch ein Fahrzeug mit einem Fahrassistenzsystem zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung, und
- 4 ein Flussdiagram eines Fahrassistenzverfahrens gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Ausführungsformen der Offenbarung
-
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
-
1 zeigt schematisch ein Fahrzeug 10 mit einem Fahrassistenzsystem 100 gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Das Fahrassistenzsystem 100 umfasst eine Umgebungssensorik 110, ein Auswertemodul 120 und optional ein Steuermodul 130.
-
In einigen Ausführungsformen kann die Umgebungssensorik 110 wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System und/oder wenigstens einen Laserscanner umfassen. Die Umgebungssensorik 110 kann Umgebungsdaten (auch als „Umfelddaten“ bezeichnet) bereitstellen, die den Umgebungsbereich des Fahrzeugs 10 abbilden.
-
Das Auswertemodul 120 ist eingerichtet, um basierend auf den Umgebungsdaten eine Klassifikation der Fahrzeugumgebung durchzuführen; basierend auf den Umgebungsdaten Tiefeninformationen zu bestimmen; und basierend auf der Klassifikation und den Tiefeninformationen eine Sichtweite wenigstens eines Sensors der Umgebungssensorik 110 zu bestimmen.
-
Das Steuermodul 130 kann eingerichtet sein, um wenigstens eine Fahrzeugfunktion basierend auf der durch das Auswertemodul 120 bestimmten Sichtweite des wenigstens einen Sensors der Umgebungssensorik anzusteuern.
-
Das erfindungsgemäße Fahrassistenzsystem 100 kann durch die Fusion von Klassifikationsdaten und Tiefendaten eine Sichtweite z.B. einer Kamera abschätzen und geeignete Aktionen veranlassen. Beispielsweise kann das Fahrzeug 10 seine Geschwindigkeit reduzieren, wenn eine geringe Sichtweite erkannt wird. In einem weiteren Beispiel kann das Fahrzeug 10 automatisch eine Navigationsroute ändern, beispielsweise um neblige Gebiete zu umfahren. Hierdurch kann das Auftreten von Gefahrensituationen aufgrund einer reduzierten Sichtweite vermieden werden.
-
2 zeigt schematisch ein Fahrzeug 10 auf einer Straße gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Im in der 2 beispielhaft gezeigten Anwendungsfall kann das Fahrzeug 10, das eine Kamera umfasst, auf einer Straße, wie einer Allee, unterwegs sein. Die Kamera des Fahrzeugs 10 kann die Fahrzeugumgebung erfassen und Bilddaten bzw. ein aktuelles Bild bereitstellen.
-
Im Folgenden ist eine beispielhafte Abfolge von Schritten zum Abschätzen der Sichtweite SW der Kamera dargestellt. Die Anzahl und/oder die konkrete Ausgestaltung der Schritte ist jedoch nicht auf die nachfolgenden Beispiele beschränkt und es können im Rahmen der Erfindung Schritte weggelassen und/oder modifiziert ausgeführt werden, um die Sichtweite SW der Kamera abzuschätzen.
-
In einem ersten Schritt kann das Fahrassistenzsystem 100 aus dem aktuellen Bild eine semantische Karte sowie eine Tiefenkarte berechnen.
-
In einem zweiten Schritt kann das Fahrassistenzsystem 100 die semantische Karte mit der Tiefenkarte fusionieren.
-
In einem dritten Schritt kann das Fahrassistenzsystem 100 für jede semantische Klasse und jedes Segment des aktuellen Bildes eine Lage und Dimension in drei Dimensionen berechnen.
-
In einem vierten Schritt kann das Fahrassistenzsystem 100 für jedes Segment des Bildes eine maximale Sichtweite bestimmen.
-
In einem fünften Schritt kann das Fahrassistenzsystem 100 als Referenz für die maximalen Entfernungen bzw. Sichtweiten der Segmente einen Abgleich mit externen Informationen (semantische Karte und Tiefenkarte), die z.B. von einem Backend bereitgestellt werden können, durchführen.
-
In einem sechsten Schritt kann das Fahrassistenzsystem 100 eine maximale Sichtweite SW der Kamera unter Verwendung von Heuristiken bestimmen (z.B. Reichweite auf statische Objekte wie Leitplanken, Schilder, Terrain, Vegetation, Ausreißer, Mittelung von Erkennungen, etc.) und eine Einschränkung der Beobachtbarkeit ausgegeben. Optional kann im sechsten Schritt eine kamerabasierte Wettererkennung (z.B. Regen, Schnee, Nebel, Verdeckung) für die Abschätzung der Sichtweite der Kamera hinzugezogen werden. Ergänzend oder alternativ kann im sechsten Schritt wenigstens ein (weiterer) Tiefensensor wie LiDAR, Radar oder eine IR-Kamera verwendet werden, um einen Abgleich der geschätzten Sichtweite mit einer erwarteten Sichtweite durchzuführen. Hierdurch kann insbesondere ein Validierung der geschätzten Sichtweite erfolgen
-
In einem siebten Schritt kann das Fahrassistenzsystem 100 die Sichtweitenschätzung über mehrere Bilder hinweg bestimmen und mitteln.
-
In einem achten Schritt kann das Fahrassistenzsystem 100 eine Degradationen von Fahrassistenzfunktionen durchführen, wie zum Beispiel ein Beenden eines automatisierten Fahrens und Übergeben der Fahrzeugführung an den Fahrer.
-
In einem neunten Schritt kann das Fahrassistenzsystem 100 die berechnete semantische Karte und Tiefenkarte inklusive der aktuellen Sichtweitenschätzung an ein Backend übermitteln. Dies ermöglicht das Verwenden der Sichtweitenschätzung durch andere Fahrzeuge einer Flotte.
-
3 zeigt schematisch ein Fahrzeug 10 mit einem Fahrassistenzsystem 300 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
-
Das Fahrassistenzsystem 300 kann das erfindungsgemäße Fahrassistenzsystem umfassen oder sein, und kann eine Sichtweitenabschätzung der Umgebungssensorik durchführen sowie optional eine Gefahrenabschätzung und/oder Gefahrenvermeidung für das Fahrzeug 10 durchführen. Beispielswese kann ein Funktionsumfang und/oder wenigstens ein Fahrtparameter des Fahrassistenzsystems 300 basierend auf der durchgeführten Sichtweitenabschätzung angepasst werden. Insbesondere kann eine Degradation des automatisierten Fahrens basierend auf der durch das Fahrassistenzsystem 300 erkannten Sichtweite erfolgen. Beispielsweise kann das Fahrzeug 10 einen Warnhinweis ausgeben und/oder automatisch eine Geschwindigkeit reduzieren, wenn eine reduzierte Sichtweite erkannt wird.
-
In Bezug auf die 3 erfolgt die Längs- und/oder Querführung des Fahrzeugs 10 beim automatisierten Fahren automatisch. Das Fahrassistenzsystem 300 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 300 den Antrieb 30, das Getriebe 32, die hydraulische Betriebsbremse 34 und die Lenkung 36 über nicht dargestellte Zwischeneinheiten.
-
Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen der Umfeldsensorik, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 300 entgegengenommen. Insbesondere kann das Fahrzeug 10 wenigstens einen Umgebungssensor 12 umfassen, der zur Aufnahme der Umgebungsdaten, die das Fahrzeugumfeld angeben, eingerichtet ist. Der wenigstens eine Umgebungssensor 12 kann beispielsweise ein LiDAR-System, ein oder mehrere Radar-Systeme und/oder eine oder mehrere Kameras und/oder einen oder mehrere Laserscanner umfassen.
-
4 zeigt schematisch ein Flussdiagramm eines Fahrassistenzverfahrens 400 gemäß Ausführungsformen der vorliegenden Offenbarung. Das Fahrassistenzverfahren 400 kann durch eine entsprechende Software implementiert werden, die durch einen oder mehrere Prozessoren (z.B. eine CPU) ausführbar ist.
-
Das Fahrassistenzverfahren 400 umfasst im Block 410 ein Erfassen einer Fahrzeugumgebung durch eine Umgebungssensorik und Bereitstellen entsprechender Umgebungsdaten; im Block 420 ein Durchführen einer Klassifikation der Fahrzeugumgebung basierend auf den Umgebungsdaten; im Block 430 ein Bestimmen von Tiefeninformationen basierend auf den Umgebungsdaten; und im Block 440 ein Bestimmen einer Sichtweite wenigstens eines Sensors der Umgebungssensorik basierend auf der Klassifikation und den Tiefeninformationen.
-
Erfindungsgemäß werden Klassifizierungsdaten und Tiefendaten kombiniert, um eine Sichtweite einer Umgebungssensorik, wie beispielsweise einer Kamera, zu bestimmen. Eine derartige Bestimmung der Sichtweite der Umgebungssensorik kann zum Beispiel bei schlechten Wetterbedingungen vorteilhaft sein. Ist die Sichtweite der Umgebungssensorik reduziert, kann zum Beispiel eine Degradation einer Fahrfunktion zum automatisierten Fahren erfolgen. Beispielsweise kann vom assistierten Fahren auf ein manuelles Fahren umgeschaltet werden. In einem weiteren Beispiel können Fahrtparameter und/oder Betriebsparameter des Fahrzeugs, wie eine Geschwindigkeit, an die aktuelle Sichtweite der Umgebungssensorik angepasst werden. Im Ergebnis kann eine Sicherheit im Straßenverkehr verbessert werden.
-
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehenden Erläuterungen in der Beschreibung, definiert wird.
