-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Modellierung der Umgebung eines automatisierten Fahrzeugs. Die Erfindung betrifft ferner ein Computerprogramm.
-
Stand der Technik
-
Die Offenlegungsschrift
US 2018/292834 A1 zeigt ein Verfahren zur Bestimmung einer Trajektorie eines Fahrzeugs unter Verwendung von Sensor- und Kartendaten. Wird ein Objekt in der Umgebung des Fahrzeugs durch einen externen Sensor (eine Kamera oder ein Radar-Sensor im Fahrzeug) detektiert und schneidet die Bewegung des Objekts die Trajektorie des Fahrzeugs, so wird die Bewegung des Fahrzeugs entsprechend angepasst. Zu jedem Zeitpunkt wird davon ausgegangen, dass alle Daten, insbesondere die des externen Sensors sowie die Kartendaten, vollständig vorhanden und korrekt sind.
-
Die Offenlegungsschrift
US 2020/276983 A1 zeigt ein Verfahren zum Bestimmen, ob zwei von unterschiedlichen Sensoren erfasste Objekte in Wahrheit ein Objekt sind. Bei dieser Bestimmung wird berücksichtigt, ob sich die detektierten Objekte bewegen.
-
Die Offenlegungsschrift
SE 1750156 A1 betrifft ein Verfahren zur autonomen oder teilweise autonomen Räumung eines Gebiets mit einer oder mehreren Räumungseinheiten, insbesondere Schneepflügen. Das Verfahren umfasst das Sammeln von Daten bezüglich der Bedingungen während der Räumung und der Parameter der Räumungseinheit.
-
Die Offenlegungsschrift
US 2018/025643 A1 betrifft ein Verfahren zur Handhabung einer Interfahrzeug-Kommunikation, bei der die Umgebung des Fahrzeugs erfasst wird.
-
Automatisierte Fahrzeuge sind auf die Wahrnehmung der Umgebung mit Sensoren und Detektionsalgorithmen angewiesen, um ein Weltmodell zu erstellen, mit dem z.B. eine Planerkomponente des automatisierten Fahrzeugs die beste Vorgehensweise für die automatisierte Fahrt festlegen kann, z.B. in Form einer von dem Fahrzeug zu befahrenden Trajektorie. Derzeit verwenden automatisierte Fahrzeuge dazu nur Daten, die von am jeweiligen Fahrzeug selbst angebrachten Sensoren geliefert werden. Bei einer zu erwartenden größeren Verfügbarkeit von V2X -Daten (Fahrzeug zu Fahrzeug, Fahrzeug zu Infrastruktur usw.) wird sich dies in Zukunft jedoch zu einer Situation der verteilten Wahrnehmung des Umfelds entwickeln. Dies bedeutet, dass zusätzlich externe Sensoren mit unterschiedlichen Perspektiven verwendet werden können, um ein Weltmodell eines automatisierten Fahrzeugs zu erstellen. Die Herausforderungen einer solchen verteilten Wahrnehmung liegen z.B. im dynamischen Wechsel der verfügbaren Sensoren und dem Aufbau eines vertrauenswürdigen Weltmodells aus den durch diese Sensoren gelieferten Umfeldinformationen.
-
Unter einem Weltmodell wird hierbei die interne Perspektive des automatisierten Fahrzeugs verstanden, die mittels der Daten erzeugt wird, die von den fahrzeugeigenen und den externen Sensoren gewonnen werden. Das Weltmodell kann beispielsweise die Objekte in der Umgebung des Fahrzeugs umfassen, sowie aktuelle Zustände dieser Objekte, wie z.B. Bewegungsrichtungen und Geschwindigkeiten. Weiterhin kann das Weltmodell Umweltbedingungen, wie Wetter, Straßenzustand und/oder Lichtverhältnisse umfassen. Das Weltmodell sollte genau und vollständig genug sein, dass für ein automatisiertes Fahrzeug eine sichere Trajektorie innerhalb des Weltmodells planbar ist, Dazu müssen die von dem Weltmodell umfassten Informationen nicht nur möglichst vollständig, sondern auch möglichst zuverlässig sein. Dazu muss die Wahrnehmung der Umgebung möglichst vollständig und zuverlässig sein.
-
In einer statischen Architektur kann bekanntermaßen ein vertragsbasierter Design-Ansatz („Contract-based-Design“ Cbd) verwendet werden, um eine Signalkette der Wahrnehmung zu verifizieren und die Integrität des erstellten Weltmodells zu überprüfen. Bei dieser Methode wird jede Komponente mit einem Vertrag versehen, d. h. einer Reihe formaler Garantien für ihre Outputs und einer Reihe entsprechender formaler Annahmen für ihre Inputs. Wenn, und nur wenn die Annahmen erfüllt sind, haben auch die Garantien der Komponente Bestand. Zum Zeitpunkt der Auslegung eines Systems können die Annahmen und Garantien aller Komponenten als logisches Programm dargestellt werden und zur Verifikation eines vorliegenden Designs kann ein sogenannter Model Checker verwendet werden. Model Checking (deutsch auch Modellprüfung) ist ein bekanntes Verfahren zur vollautomatischen Verifikation einer Systembeschreibung gegen eine Spezifikation.
-
Offenbarung der Erfindung
-
Die Erfindung betrifft ein Verfahren zur Modellierung der Umgebung eines Fahrerassistenzsystems oder eines automatisierten Fahrzeugs. Das Verfahren kann zur Modellierung der Umgebung des Fahrzeugs fahrzeugeigene Sensoren als Informationsquellen, wie beispielsweise eine Kamera oder einen Radar-Sensor verwenden, sowie externe Daten, die von anderen Fahrzeugen oder Quellen der Infrastruktur, insbesondere Wetterdienste, GPS, oder stationären Sensoren (z.B. Kameras, Radarsensoren...) empfangen werden. Die derart von fahrzeugexternen Informationsquellen empfangenen Daten können dabei beispielsweise unvollständig, nicht vertrauenswürdig oder gar nicht vorhanden sein, sodass bei der Modellierung der Umgebung nicht immer alle Parameter berücksichtigt werden können.
-
Es kann daher als eine der Erfindung zugrundeliegende Aufgabe betrachtet werden, ein Verfahren bzw. eine Vorrichtung zur Modellierung der Umgebung eines Fahrerassistenzsystems oder eines autonomen bzw. eines automatisierten Fahrzeugs anzugeben, die diese Umstände bei der Modellierung der Umgebung berücksichtigt und ein zuverlässiges Weltmodell erstellt.
-
Erfindungsgemäß bleiben bei der Modellierung Daten bzw. daraus abgeleitete Umfeldinformationen unberücksichtigt, die nicht oder nur teilweise vorliegen oder die nicht vertrauenswürdig sind, was sich darin äußert, dass bestimmte diesen Daten zugeordnete Annahmen nicht erfüllt sind. Parallel wird die Umgebung basierend auf allen vorliegenden und vertrauenswürdigen Daten modelliert. Das Modell kann dynamisch angepasst werden, wenn z.B. Umfeldinformationen von fahrzeugexternen Sensoren hinzukommen oder wegfallen.
-
Gemäß einem ersten Aspekt der Erfindung wird demnach ein Verfahren zur Modellierung der Umgebung eines automatisierten Fahrzeugs vorgeschlagen, wobei fortlaufend Umfeldinformationen von einer Mehrzahl von aktuell verfügbaren fahrzeugeigenen und/oder fahrzeugexternen Informationsquellen empfangen werden.
-
Als Informationsquellen kommen hierbei insbesondere fahrzeugeigene Umfeldsensoren, wie beispielsweise Radarsensoren, Lidarsensoren, Ultraschallsensoren oder Kameras (Mono- und/oder Stereokameras) in Betracht. Außerdem können externe Umfeldsensoren, beispielsweise stationäre Kameras oder Regensensoren in der Straßeninfrastruktur als Informationsquellen dienen. Die jeweilige Umfeldinformation wird dabei aus den durch den entsprechenden Umfeldsensor erfassten Messdaten erzeugt. Alternativ oder zusätzlich können als Informationsquellen beispielsweise Datendienste, die z.B. aktuelle und ortsgebundene Informationen über Wetterverhältnisse, Straßenverhältnisse, oder ähnliches als Umfeldinformationen zur Verfügung stellen können. Informationsquellen können als Kamera und/oder Radarsensor und/oder Regensensor und/oder Lidarsensor und/oder Drucksensor und/oder GPS-Empfänger und/oder als Datendienst für Umgebungsdaten, insbesondere für Wetterdaten und/oder Verkehrsinformationen und/oder Verkehrsführungsinformationen ausgebildet sein.
-
Bevorzugt umfassen die Umfeldinformationen Wetterinformationen und/oder Informationen über Größen und/oder Positionen und/oder Geschwindigkeiten und/oder Bewegungsrichtungen von Objekten von Objekten in der Umgebung des Fahrzeugs und/oder Objektklassen und/oder Listen von Objekten und/oder Informationen über Freiflächen. Eine Informationsquelle kann hierbei eine Mehrzahl von Umfeldinformationen bereitstellen, beispielsweise kann eine Kamera eine Liste von erfassten Objekten mit deren Koordinaten sowie zugehörige Objektklassen (z.B. PKW, Fahrrad, Fußgänger...) und/oder den Objekten zugeordnete Bewegungsinformationen (z.B. Geschwindigkeit und Bewegungsrichtung) als Umfeldinformationen bereitstellen. Jeder Umfeldinformation ist dabei eine formale Annahme zugeordnet. Nur wenn diese Annahme erfüllt ist, wird die betreffende Umfeldinformation bei der Erstellung des Weltmodells verwendet.
-
Hierbei stellt jede Informationsquelle eine oder mehrere Umfeldinformationen zur Verfügung und jeder Umfeldinformation ist nach dem Prinzip des Contract-based Design eine formale Annahme und eine formale Garantie zugeordnet. Jede Informationsquelle stellt zusätzlich zu Umfeldinformationen auch diese den der jeweiligen Umfeldinformationen zugeordneten formalen Annahmen und formalen Garantien zur Verfügung. Wenn die der jeweiligen Umfeldinformation zugeordnete formale Annahme erfüllt ist, ist hierbei garantiert, dass die Umfeldinformation die ihr zugeordneten formale Garantie erfüllt.
-
Bevorzugt dienen eine oder mehrere formale Garantien bestimmter Umfeldinformationen als formale Annahmen für mindestens eine andere Umfeldinformation. Es wird nun versucht rechnerisch ein stabiles Weltmodell zu finden, so dass möglichst viele formale Annahmen erfüllt sind. So kann sichergestellt werden, dass möglichst viele der zur Verfügung stehenden Umfeldinformationen in das Weltmodell einfließen und das Weltmodell damit zuverlässiger und sicherer wird.
-
Mittels den so empfangenen Umfeldinformationen wird somit mindestens ein Weltmodell des automatisierten Fahrzeugs berechnet, derart, dass eine Umfeldinformation zu einem gegebenen Zeitpunkt nur zur Berechnung des Weltmodells verwendet wird, wenn die dieser Umfeldinformation zugeordnete formale Annahme zu diesem Zeitpunkt erfüllt ist.
-
Damit wird der technische Vorteil erzielt, ein sicheres und stabiles Weltmodell berechnen zu können, auch bei sich dynamisch verändernden Verfügbarkeiten von Informationsquellen bzw. durch diese zur Verfügung gestellte Umfeldinformationen, insbesondere während der Laufzeit.
-
In einer möglichen Ausführung der Erfindung kann eine Anzahl von aufgrund nicht erfüllter formaler Annahmen nicht verwendeter Umfeldinformationen bestimmt werden und daraus ein Qualitätsmaß für das Weltmodell bestimmt werden. Insbesondere kann vorgesehen sein, dass das Weltmodell nur dann durch das automatisierte Fahrzeug weiterverwendet wird, wenn ein bestimmtes Qualitätsmaß erreicht ist.
-
Falls ein bestimmtes Qualitätsmaß unterschritten wird, können beispielsweise Umfeldinformationen zusätzlicher Informationsquellen angefordert werden, wobei jeder zusätzlichen Informationsquelle wieder ein Satz von formalen Annahmen und formalen Garantien zugeordnet ist. diese zusätzlichen Informationsquellen können für die Berechnung des Weltmodells zusätzlich verwendet werden, wieder unter den Bedingungen, dass die formalen Annahmen erfüllt sind.
-
Somit kann die Qualität, also die Stabilität und Zuverlässigkeit des Weltmodells weiter verbessert werden.
-
Es kann der Fall auftreten, dass nicht genügend der formalen Annahmen erfüllt sind, um ein stabiles Weltmodell abzuleiten oder ein stabiles Weltmodell mit ausreichender Information abzuleiten, z. B. im Fall von zwei Komponenten mit zirkulären Abhängigkeiten zwischen ihren jeweiligen Annahmen und Garantien. Das automatisierte Fahrzeug wird in diesem Fall z. B. in einen sicheren Zustand versetzt, beispielsweise gestoppt oder die Steuerung wird an einen menschlichen Fahrer übergeben.
-
Um dies zu vermeiden können in diesen Fällen beispielsweise die Annahmen von einzelnen Umfeldinformationen bei der Berechnung des Weltmodells sukzessive so abgeändert werden, dass sie immer erfüllt (als wahr gesetzt) sind, und es können so mehrere stabile Weltmodelle für diese modifizierten Annahmen abgeleitet werden. Diese stabilen Weltmodelle repräsentieren verschiedene Möglichkeiten der realen Welt unter Berücksichtigung der verfügbaren Informationen. Wenn der Planer in der Lage ist in all diesen möglichen Weltmodellen eine sichere Trajektorie zu finden, kann damit verhindert werden, dass die automatisierte Fahrt unterbrochen werden muss.
-
Bevorzugt kann mindestens eine Umfeldinformation vorgesehen sein, deren formale Annahme immer erfüllt ist oder als erfüllt angenommen wird. So kann beispielsweise davon ausgegangen werden, dass ein stationärer Regensensor als Garantie immer eine gültige Umfeldinformation liefert, die beinhaltet, ob es am Standort des Regensensors gerade regnet oder nicht. Dazu ist keine weitere formale Annahme zu erfüllen, d.h. die formale Annahme für die Umfeldinformation „Regen“ kann als „wahr“ angenommen werden (formal beschrieben durch Verwendung einer „wahren“ Aussage als Annahme). Dies bedeutet insbesondere, dass ausgehend von denjenigen Umfeldinformationen, die keine Annahmen erfordern, eine Prüfung gestartet werden kann, ob mit den daraus resultierenden Garantien Annahmen für andere Informationsquellen erfüllt werden können. Damit lassen sich insbesondere sequentiell eine Reihe von Garantien bestimmen, deren Annahmen unter den aktuellen Bedingungen mit dem aktuellen Satz von Sensoren und Informationsquellen erfüllt werden können.
-
Bevorzugt kann weiter vorgesehen sein, dass basierend auf einem aktuellen Weltmodell ein zukünftiges Weltmodell berechnet wird. Nach einer bevorzugten Ausführung der Erfindung können mittels mindestens eines aktuellen und falls verfügbar eines zukünftigen Weltmodells eine oder mehrere sichere Trajektorien für das automatisierte Fahrzeug berechnet werden.
-
In einer bevorzugten Ausführung der Erfindung können, insbesondere über einen längeren Zeitraum, diejenigen formalen Annehmen identifiziert werden, die selten oder nie erfüllt werden und darauf basierend zusätzliche Informationsquellen, insbesondere Infrastruktursensoren, bereitgestellt werden, die Umfeldinformationen liefern, die diese formalen Annahmen erfüllen können.
-
Gemäß der Erfindung wird also das Konzept des „Contract-based Design“ auf den Anwendungsfall der verteilten Wahrnehmung erweitert. Damit kann auf der Grundlage der verfügbaren Umfeldinformationen während der Laufzeit ein in sich verlässliches Weltmodell aufgebaut werden.
-
Mit anderen Worten wird somit ein Modell der Fahrzeugumgebung basierend auf den zur Verfügung stehenden Daten erstellt, wobei Umfeldinformationen bzw. Sensordaten dynamisch hinzu oder weggeschaltet werden können.
-
Die Erfindung unterscheidet sich z.B. darin von bekannten Verfahren, dass nicht schon bei der Systementwicklung entschieden werden muss, ob ein gegebener Satz von Umfeldinformationen ein vertrauenswürdiges und damit zuverlässiges Weltmodell liefern kann. Alle verfügbaren Umfeldinformationen werden Form von Verträgen, also mit jeweils einem Satz von formalen Annahmen und daraus resultierenden Garantien, gesammelt und die wechselseitigen Abhängigkeiten zwischen diesen Verträgen löst. So kann in vorteilhafter Weise sukzessive ein Weltmodell aus allen verfügbaren Umfeldinformationen aufgebaut werden, bevorzugt zur Laufzeit.
-
Dazu können die Verträge als Klauseln in einem logischen Programm dargestellt werden. Unter Verwendung etablierter Methoden wie z.B. ASP wird ein sogenanntes stabiles Modell abgeleitet, das besagt, welche Garantien derzeit bestehen. Da diese Garantien die Umfeldinformationen beinhalten, stellt das stabile Modell auch ein für die Sicherheitsanforderungen des automatisierten Fahrzeugs vertrauenswürdiges Weltmodell dar. So können die Annahmen und Garantien aller Komponenten als logisches Programm dargestellt werden und das Weltmodell kann z.B. mittels „Answer Set Programming“ (ASP) zur Laufzeit dynamisch erstellt werden. ASP ist ein deklarativer Programmierstil, der es erlaubt, formale Eigenschaften und Beziehungen zu definieren. Mithilfe dieser Informationen kann ein ASP-Solver ein sogenanntes stabiles Modell, das diese Eigenschaften und Beziehungen erfüllt, miteinander verbinden oder aber beweisen, dass ein solches Modell nicht existiert.
-
Nach einem zweiten Aspekt der Erfindung wird eine Vorrichtung vorgeschlagen, die zur Durchführung eines erfindungsgemäßen Verfahrens ausgebildet ist. Die Vorrichtung umfasst dazu eine Fusionskomponente, die ausgebildet ist, fortlaufend Umfeldinformationen von einer Mehrzahl von fahrzeugeigenen und/oder fahrzeugexternen Informationsquellen zu empfangen und abhängig von den empfangenen Umfeldinformationen mindestens ein Weltmodell für das automatisierte Fahrzeug zu berechnen. Die Fusionskomponente ist dazu ausgebildet, eine Umfeldinformation einer Informationsquelle zu einem gegebenen Zeitpunkt nur dann zur Berechnung des Weltmodells zu verwenden, wenn zu diesem Zeitpunkt die dieser Umfeldinformation zugeordneten formalen Annahmen erfüllt sind, wobei eine Überprüfung ob die einer Umfeldinformation zugeordneten formalen Annahmen erfüllt sind insbesondere während der Laufzeit durchgeführt wird.
-
Die Vorrichtung kann innerhalb es automatisierten Fahrzeugs, z.B. als Teil bzw. Modul eines Steuergeräts ausgebildet sein. Alternativ kann die Vorrichtung fahrzeugextern ausgebildet sein, z.B. als stationäre Einheit mit einem Kommunikationsmodul zum Empfangen von Umfeldinformationen und zugeordneten Verträgen (Annahmen und Garantien) und zum Senden eines Weltmodells und/oder auf dem Weltmodell basierenden Informationen an ein automatisiertes Fahrzeug.
-
Bevorzugt umfasst die Vorrichtung außerdem eine Planerkomponente, welche ausgebildet ist, basierend auf mindestens einem durch die Fusionskomponente berechneten Weltmodell eine oder mehrere sichere Trajektorien für das automatisierte Fahrzeug zu berechnen und dem automatisierten Fahrzeug zu Verfügung zu stellen.
-
Alternativ ist auch denkbar, die Fusionskomponente außerhalb des automatisierten Fahrzeugs vorzusehen und die Planerkomponente innerhalb des automatisierten Fahrzeugs vorzusehen.
-
Die Formulierung „automatisiertes Fahrzeug“ umfasst hierbei einen oder mehrere der folgenden Fälle: assistiertes Führen, teilautomatisiertes Führen, hochautomatisiertes Führen, vollautomatisiertes Führen des Fahrzeugs.
-
Assistiertes Führen bedeutet, dass ein Fahrer des Kraftfahrzeugs dauerhaft entweder die Quer- oder die Längsführung des Kraftfahrzeugs ausführt. Die jeweils andere Fahraufgabe (also ein Steuern der Längs- oder der Querführung des Kraftfahrzeugs) wird automatisch durchgeführt. Das heißt also, dass bei einem assistierten Führen des Kraftfahrzeugs entweder die Quer- oder die Längsführung automatisch gesteuert wird.
-
Teilautomatisiertes Führen bedeutet, dass in einer spezifischen Situation (zum Beispiel: Fahren auf einer Autobahn, Fahren innerhalb eines Parkplatzes, Überholen eines Objekts, Fahren innerhalb einer Fahrspur, die durch Fahrspurmarkierungen festgelegt ist) und/oder für einen gewissen Zeitraum eine Längs- und eine Querführung des Kraftfahrzeugs automatisch gesteuert werden. Ein Fahrer des Kraftfahrzeugs muss selbst nicht manuell die Längs -und Querführung des Kraftfahrzeugs steuern. Der Fahrer muss aber das automatische Steuern der Längs- und Querführung dauerhaft überwachen, um bei Bedarf manuell eingreifen zu können. Der Fahrer muss jederzeit zur vollständigen Übernahme der Kraftfahrzeugführung bereit sein.
-
Hochautomatisiertes Führen bedeutet, dass für einen gewissen Zeitraum in einer spezifischen Situation (zum Beispiel: Fahren auf einer Autobahn, Fahren innerhalb eines Parkplatzes, Überholen eines Objekts, Fahren innerhalb einer Fahrspur, die durch Fahrspurmarkierungen festgelegt ist) eine Längs- und eine Querführung des Kraftfahrzeugs automatisch gesteuert werden. Ein Fahrer des Kraftfahrzeugs muss selbst nicht manuell die Längs -und Querführung des Kraftfahrzeugs steuern. Der Fahrer muss das automatische Steuern der Längs- und Querführung nicht dauerhaft überwachen, um bei Bedarf manuell eingreifen zu können. Bei Bedarf wird automatisch eine Übernahmeaufforderung an den Fahrer zur Übernahme des Steuerns der Längs- und Querführung ausgegeben, insbesondere mit einer ausreichenden Zeitreserve ausgegeben. Der Fahrer muss also potenziell in der Lage sein, das Steuern der Längs- und Querführung zu übernehmen. Grenzen des automatischen Steuerns der Quer- und Längsführung werden automatisch erkannt. Bei einem hochautomatisierten Führen ist es nicht möglich, in jeder Ausgangssituation automatisch einen risikominimalen Zustand herbeizuführen.
-
Vollautomatisiertes Führen bedeutet, dass in einer spezifischen Situation (zum Beispiel: Fahren auf einer Autobahn, Fahren innerhalb eines Parkplatzes, Überholen eines Objekts, Fahren innerhalb einer Fahrspur, die durch Fahrspurmarkierungen festgelegt ist) eine Längs- und eine Querführung des Kraftfahrzeugs automatisch gesteuert werden. Ein Fahrer des Kraftfahrzeugs muss selbst nicht manuell die Längs -und Querführung des Kraftfahrzeugs steuern. Der Fahrer muss das automatische Steuern der Längs- und Querführung nicht überwachen, um bei Bedarf manuell eingreifen zu können. Vor einem Beenden des automatischen Steuerns der Quer- und Längsführung erfolgt automatisch eine Aufforderung an den Fahrer zur Übernahme der Fahraufgabe (Steuern der Quer- und Längsführung des Kraftfahrzeugs), insbesondere mit einer ausreichenden Zeitreserve. Sofern der Fahrer nicht die Fahraufgabe übernimmt, wird automatisch in einen risikominimalen Zustand zurückgeführt. Grenzen des automatischen Steuerns der Quer- und Längsführung werden automatisch erkannt. In allen Situationen ist es möglich, automatisch in einen risikominimalen Systemzustand zurückzuführen.
-
Fahrerloses Steuern bzw. Führen bedeutet, dass unabhängig von einem spezifischen Anwendungsfall (zum Beispiel: Fahren auf einer Autobahn, Fahren innerhalb eines Parkplatzes, Überholen eines Objekts, Fahren innerhalb einer Fahrspur, die durch Fahrspurmarkierungen festgelegt ist) eine Längs- und eine Querführung des Kraftfahrzeugs automatisch gesteuert werden. Ein Fahrer des Kraftfahrzeugs muss selbst nicht manuell die Längs -und Querführung des Kraftfahrzeugs steuern. Der Fahrer muss das automatische Steuern der Längs- und Querführung nicht überwachen, um bei Bedarf manuell eingreifen zu können. Die Längs- und Querführung des Fahrzeugs werden somit zum Beispiel bei allen Straßentypen, Geschwindigkeitsbereichen und Umweltbedingungen automatisch gesteuert. Die vollständige Fahraufgabe des Fahrers wird somit automatisch übernommen. Der Fahrer ist somit nicht mehr erforderlich. Das Kraftfahrzeug kann also auch ohne Fahrer von einer beliebigen Startposition zu einer beliebigen Zielposition fahren. Potentielle Probleme werden automatisch gelöst, also ohne Hilfe des Fahrers.
-
Die Erfindung schlägt das Konzept einer kaskadierenden Bewertung der Fähigkeit eines automatisierten Systems vor, wobei basierend auf gegebenen Eingaben und erfüllten Bedingungen bzw. Annahmen ein vertrauenswürdiges Weltmodell aufgebaut wird. Gerade im Anwendungsfall der „Verteilten Wahrnehmung“, wo sich die Menge der verfügbaren Umfeldinformationen dynamisch verändern kann, bringt dieses Konzept folgende Vorteile:
- Ausgehend von Umfeldnformationen, die keiner Annahme bedürfen, lassen sich sequentiell eine Reihe von Garantien bestimmen, die unter den aktuellen Bedingungen mit dem aktuellen Satz von Sensoren und Informationsquellen erfüllt werden können. Diese Reihe von Garantien kann umfangreicher sein als die Garantien, die nur durch ausschließliche Verwendung von mit fahrzeugseitigen Sensoren erfassten Umfeldinformationen erreicht werden könnten. Anhand dieser Garantien und dem darauf basierenden Weltmodell kann ermittelt werden, welche sicherheitskritischen Aktionen / Verhaltensweisen mit ausreichend geringem Risiko durchgeführt werden können.
- Im Fall, dass für ein bestimmtes gewünschtes sicherheitskritisches Verhalten Garantien fehlen, können von weiteren externen Quellen (z. B. von weiteren Infrastruktur-Sensoren oder von Assistenzsystemen anderer Fahrzeuge) aktiv spezifische Informationen angefordert werden, um die „Vertragskette“ abzuschließen, wodurch der Sensorsatz dynamisch rekonfiguriert wird.
-
Figurenliste
-
Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.
- 1 zeigt eine Verkehrsszene mit einem automatisierten Fahrzeug nach einem Ausführungsbeispiel der Erfindung.
- 2 zeigt schematisch eine Vorrichtung nach einem Ausführungsbeispiel der Erfindung.
- 3 zeigt ein Ablaufdiagramm für ein Verfahren nach einem Ausführungsbeispiel der Erfindung.
-
Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.
-
Bevorzugte Ausführungen der Erfindung
-
In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente gegebenenfalls verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
-
1 zeigt ein automatisiertes Fahrzeug 10, dass auf der rechten Spur 24 einer zweispurigen Fahrbahn 20 fährt. Das Fahrzeug umfasst ein Umfeldsensorsystem, das ausgebildet ist Messdaten über die Umgebung des Fahrzeugs zu erfassen und daraus Umfeldinformationen zu generieren. Beispielsweise kann das Sensorsystem 12 eine oder mehrere Kameras und/oder einen oder mehrere Radarsensoren und/oder einen oder mehrere Lidarsensoren aufweisen. Die Sensoren des Sensorsystems 12 können beispielsweise Objekte in der Umgebung des Fahrzeugs 10 erfassen und diese basierend auf den erfassten Messdaten lokalisieren und klassifizieren. In der dargestellten Situation befinden sich beispielsweise ein Fahrrad 30, ein Fußgänger 32 und ein anderes Fahrzeug 34 auf der Spur 22 in der Umgebung des Fahrzeugs, außerdem noch diverse stationäre Objekte.
-
Weiterhin befinden sich innerhalb der Infrastruktur der Fahrbahn 20 mehrere stationäre, fahrzeugexterne, infrastrukturgebundene Sensoren 14, 16, die in der gegebenen Situation ebenfalls Umfeldinformationen über die momentane Umgebung des Fahrzeugs 10 erfassen und zur Verfügung stellen. Die Sensoren 14, 16 können beispielsweise eine oder mehrere Kameras und/oder einen oder mehrere Radarsensoren und/oder einen oder mehrere Regensensoren aufweisen. Die Sensoren 14, 16 sind in diesem Beispiel ausgebildet, die von ihnen erfassten Umfeldinformationen drahtlos an das Fahrzeug 10 zu übermitteln und weisen dazu entsprechende Kommunikationsmodule auf. Das Fahrzeug 10 kann in diesem Beispiel die von den Sensoren 14, 16 drahtlos gesendeten Umfeldinformationen über ein entsprechendes Empfangsmodul empfangen. Zusammen mit den ermittelten Umfeldinformationen übermitteln die Sensoren 14, 16 außerdem den Umfeldinformationen zugeordnete formale Annahmen und Garantien, wobei, wenn die einer Umfeldinformation zugeordnete formale Annahme erfüllt ist, garantiert ist, dass diese Umfeldinformation die ihr zugeordneten formalen Garantie erfüllt. Auch die von den fahrzeuginternen Sensoren des Sensorsystems 12 erzeugten Umfeldinformationen weisen derartige formale Annahmen und Garantien auf.
-
Mittels der empfangenen Umfeldinformationen und der zugeordneten Annahmen und Garantien kann nun, z.B. durch einen in einer Recheneinheit bzw. Fusionskomponente des Fahrzeugs 10 implementierten ASP-Solver, mindestens ein Weltmodell der Umgebung des automatisierten Fahrzeugs 10 berechnet werden, derart, dass eine Umfeldinformation zu einem gegebenen Zeitpunkt nur zur Berechnung des Weltmodells verwendet wird, wenn die dieser Umfeldinformation zugeordnete formale Annahme zu diesem Zeitpunkt erfüllt ist.
-
Das so erzeugte Weltmodell enthält insbesondere alle sicherheitsrelevanten Objekte bzw. Freiräume in der Umgebung des Fahrzeugs 10, so dass beispielsweise eine Planerkomponente des Fahrzeugs 10 basierend auf mindestens einem durch die Fusionskomponente berechneten Weltmodell eine oder mehrere sichere Trajektorien 40 für das automatisierte Fahrzeug 10 berechnen kann und dem automatisierten Fahrzeug 10 zu Verfügung stellen kann.
-
2 zeigt schematisch eine Vorrichtung 50 zur Modellierung der Umgebung eines automatisierten Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung. Die Vorrichtung 50 umfasst eine Fusionskomponente 54. Die Fusionskomponente 54 empfängt fortlaufend Umfeldinformationen von in diesem Beispiel drei fahrzeugeigene bzw. fahrzeugexternen Informationsquellen 1, 2 und 3. In diesem Beispiel ist die erste Informationsquelle 1 eine fahrzeuggebundene Kamera. Diese kann Objekte im Fahrzeugumfeld erfassen, lokalisieren und klassifizieren. Ferner kann die Kamera erkennen, ob es im Umfeld des Fahrzeugs nebelig ist oder nicht. Die zweite Informationsquelle 2 ist im vorliegenden Beispiel als ein fahrzeuggebundener Radarsensor ausgebildet. Dieser kann Objekte im Fahrzeugumfeld erfassen und lokalisieren. Die dritte Informationsquelle 3 ist im vorliegenden Beispiel als ein fahrzeugexterner, stationärer Regensensor ausgebildet. Dieser kann die Umfeldinformation liefern, ob es an seiner Position gerade regnet oder nicht. Diese Umfeldinformation kann beispielsweise Car-to-Infrastructure-Kommunikation dynamisch zur Verfügung gestellt werden.
-
Jeder Umfeldinformation ist erfindungsgemäß eine formale Annahme und eine formale Garantie zugeordnet. Jede Informationsquelle 1, 2 ,3 übermittelt also einen Satz 61, 62, 63 aus Umfeldinformationen und zugeordneter Annahmen und Garantien, sogenannte Verträge.
-
Die folgende Tabelle listet beispielhaft mögliche Annahmen und Garantien der Informationsquellen 1, 2, 3 und der von den Informationsquellen 1, 2, 3 gelieferten Umfeldinformationen auf: Tabelle 1:
| Sensor 1: Kamera (Fahrzeug) |
| Annahme S1-A1: wahr | Garantie S1 A1-G1: Nebel oder kein Nebel |
| Annahme S1-A2: kein anderes Objekt in der Nähe des erkannten Objekts | Garantie S1 A2-G2: Objekt + Objektklasse an bestimmter Koordinate (x,y,z) |
| Annahme S1-A3: keine Spiegelfläche in der Nähe des erfassten Objekts | Garantie S1 A3-G3: Objekt + Objektklasse an bestimmter Koordinate (x,y,z) |
| Sensor 2: Radar (Fahrzeug) |
| Annahme S2-A1: kein Regen | Garantie S2 A1-G1: Objekt an bestimmter Koordinate (x,y,z) |
| Annahme S2-A2: kein Regen & kein Nebel | Garantie S2 A2-G2: Objekt(e) an bestimmter Koordinate (x,y,z) |
| Sensor 3: Regen (Wettergeber) |
| Annahme S3-A1: wahr | Garantie S3 A1-G1: Regen oder kein Regen |
-
Abhängig von den empfangenen Umfeldinformationen und den Annahmen und Garantien berechnet die Fusionskomponente 54 während der Laufzeit mindestens ein Weltmodell 51 des automatisierten Fahrzeugs, wobei eine Umfeldinformation einer Informationsquelle 1, 2, 3 zu einem gegebenen Zeitpunkt nur dann zur Berechnung des Weltmodells verwendet wird, wenn zu diesem Zeitpunkt die dieser Umfeldinformation zugeordneten formalen Annahmen erfüllt sind. Dazu wird versucht, möglichst viele der vorliegenden Verträge zu erfüllen. Es ergibt sich eine Kaskade von Abhängigkeiten und es können beispielsweise diejenigen Umfeldinformationen identifiziert werden, die nicht das Weltmodell einfließen können, da ihre Annahmen nicht erfüllbar sind.
-
Im obigen Beispiel fällt auf, dass die Umfeldinformation, ob Nebel herrscht oder nicht, die von der fahrzeugeigenen Kamera als Informationsquelle 1 geliefert wird, keine Annahme erfüllen muss, die formale Annahme S1-A1 ist daher immer „wahr“. Es ist also garantiert (Garantie S1 A1-G1), dass auf jeden Fall eine Umfeldinformation vorliegt, die besagt, ob Nebel oder kein Nebel vorliegt. Auch die die Umfeldinformation, ob es regnet oder nicht, die von dem fahrzeugexternen Regensensor als Informationsquelle 3 geliefert wird, muss keine Annahme erfüllen, die formale Annahme S3-A1 ist daher immer „wahr“. Es ist also garantiert (Garantie S3 A1-G1), dass auf jeden Fall eine Umfeldinformation vorliegt, die besagt, ob Regen oder kein Regen vorliegt. Hingegen kann die Kamera nur dann eine sichere Objektklassifikation und - lokalisierung vornehmen, wenn z.B. kein anderes Objekt in der Nähe eines erkannten Objekts erfasst wird (Garantie S1 A2-G2) bzw. wenn keine Spiegelfläche in der Nähe des erfassten Objekts erkannt wurde (Garantie S1 A3-G3). Der Radarsensor kann ein Objekt an der Koordinate (x1,y1,z1) sicher erfassen (Garantie S2 A2-G1), wenn die Annahme erfüllt ist, dass es nicht regnet. Um ein oder mehrere Objekte an der Koordinate (x2,y,z2) sicher erfassen zu können (Garantie S2 A2-G2), muss die Annahme erfüllt sein, dass es nicht regnet und kein Nebel herrscht.
-
Die Genauigkeit/Robustheit einer Messung hat hierbei eine starke Abhängigkeit von der Position der Objekte relativ zum Sensor. Für weiter entfernte Objekte kann dies dazu führen, dass strengere Annahmen erfüllt werden müssen. In diesem Beispiel ist die Position x2,y2,z2 weiter vom Radarsensor entfernt. Dies führt zur zusätzlichen Annahme, dass kein Nebel vorhanden sein darf, damit keine Dämpfung der Signale durch Nebel erfolgt wodurch sich die Messgenauigkeit so verschlechtern würde, dass einzelne Objekte nicht mehr diskriminiert werden könnten.
-
Auch für optische Sensoren, z.B. die Kamera (Sensor 1) können für unterschiedlich weit entfernte Objekte unterschiedliche Annahmen gelten. Auch können für unterschiedliche Objektklassen unterschiedliche Annahmen gelten, da manche Klassen von Objekten für die entsprechenden Bildverarbeitungsalgorithmen schwieriger zu erkennen sind als andere. Um derartige Objektklassen als Garantie ausgeben zu können müssen demnach für eine sichere Klassifizierung strengere Annahmen z.B. bezüglich Lichtverhältnissen oder anderen, angrenzenden Objekten erfüllt werden.
-
Zu einem beispielhaft gewählten Zeitpunkt können z.B. folgende Umfeldinformationen vorliegen: Tabelle 2:
| Sensor 1: Kamera (Fahrzeug) |
| Annahme S1-A1: wahr | Garantie S1 A1-G1: kein Nebel |
| Annahme S1-A2: kein anderes Objekt in der Nähe des erkannten Objekts | Garantie S1 A2-G2: Fahrradfahrer bei (x1,y1,z1) |
| Annahme S1-A3: keine Spiegelfläche in der Nähe des erfassten Objekts | Garantie S1 A3-G3: Fußgänger bei (x2,y2,z2) |
| Sensor 2: Radar (Fahrzeug) |
| Annahme S2-A1: kein Regen | Garantie S2 A1-G1: Einzelobjekt bei (x1,y1,z1) |
| Annahme S2-A2: kein Regen & kein Nebel | Garantie S2 A2-G2: Objekt(e) bei (x2,y2,z2) |
| Sensor 3: Regen (Wettergeber) |
| Annahme S3-A1: wahr | Garantie S3 A1-G1: kein Regen |
-
Es ergibt sich beispielsweise, dass sich der Vertrag für die Kamera mit der Annahme S1-A3: keine Spiegelfläche in der Nähe des erfassten Objekts, für die Garantie der Umfeldinformation S1 A3-G3: Fußgänger bei (x2,y2,z2) nicht erfüllen lässt. Damit bleibt diese Umfeldinformation 52 bei der Berechnung des Weltmodells 51 unberücksichtigt. Alle andern Umfeldinformationen lassen sich in ein stimmiges Weltmodell 51 überführen. Dieses enthält nun zwar ein Objekt an der Koordinate x2, y2,z2, dieses Objekt ist aber nicht klassifiziert.
-
Es werden nun die Verträge 61, 62, 63 aller Umfeldinformationen durch die Fusionskomponente 54 als Klauseln in einem logischen Programm dargestellt. Unter Verwendung etablierter Methoden, z.B. ASP kann damit ein stabiles Modell abgeleitet werden, das besagt, welche Garantien derzeit bestehen. Da diese Garantien die Umfeldinformationen beinhalten, stellt das stabile Modell auch ein vertrauenswürdiges Weltmodell dar. Die Garantien der einzelnen Sensoren 1, 2, 3 gelten nur dann als gültig für das Weltmodell, wenn die entsprechenden Annahmen erfüllt werden können. Dies bedeutet in diesem Beispiel, dass die A3-G3 von Sensor 1 (Kamera) nicht verwendet werden kann und daher die Informationen in dieser Garantie nicht verwendet werden können, da die Annahme nicht erfüllt werden kann. Der andere Vertrag kann durch den Fusionsblock 54 gelöst werden und zum Weltmodell 51 beitragen. Das resultierende Weltmodell besteht somit aus dem bei (x1,y1,z1) detektierten Fahrradfahrer und einem Objekt bei (x2,y2,z2). Da die Garantie S1 A3-G3 der Kamera 1 nicht erfüllt ist, kann dieses Objekt nicht als Fußgänger eingestuft werden.
-
Die unerfüllten Annahmen können als Leistungsindikator für einen operativen Bereich herangezogen werden. Wenn z.B. häufig in bestimmte Situationen (z. B. an einem Standort, bei Witterungsbedingungen usw.) der Fall eintritt, dass bestimmte Annahmen nicht erfüllt werden können, so kann die Analyse dieser unerfüllten Annahmen während des Betriebs zur Ermittlung und Bewertung des gesamten verteilten Wahrnehmungssystems herangezogen werden. Um die Robustheit des verteilten Wahrnehmungssystems in diesen Situationen zu verbessern, können z.B. zusätzliche Sensoren installiert werden, die Umfeldinformationen liefern können, die es ermöglichen, diese Annahmen für künftige Ereignisse zu erfüllen.
-
Die Vorrichtung 50 umfasst weiter eine Planerkomponente 56, welche ausgebildet ist, basierend auf mindestens einem durch die Fusionskomponente 54 berechneten Weltmodell 51 eine oder mehrere sichere Trajektorien für das automatisierte Fahrzeug zu berechnen und dem automatisierten Fahrzeug zu Verfügung zu stellen.
-
In 3 ist ein Ablauf eines Verfahrens zur Modellierung der Umgebung eines automatisierten Fahrzeugs nach einer Ausführung der Erfindung schematisch dargestellt.
-
In einem ersten Schritt 102 werden Umfeldinformationen von einer Mehrzahl von aktuell verfügbaren fahrzeugeigenen und/oder fahrzeugexternen Informationsquellen empfangen, wobei jede Informationsquelle eine oder mehrere Umfeldinformationen zur Verfügung stellt. Hierbei ist jeder Umfeldinformation eine formale Annahme und eine formale Garantie zugeordnet wobei, wenn die der jeweiligen Umfeldinformation zugeordnete formale Annahme erfüllt ist, garantiert ist, dass die Umfeldinformation die ihr zugeordneten formalen Garantie erfüllt. Die Information über die formalen Annahmen und Garantien (Verträge) werden ebenfalls von den fahrzeugeigenen und/oder fahrzeugexternen Informationsquellen empfangen.
-
Im darauffolgenden Schritt 104 wird mittels der empfangenen Umfeldinformationen und der zugeordneten Annahmen und Garantien mindestens ein Weltmodell der Umgebung des automatisierten Fahrzeugs berechnet. Dies erfolgt derart, dass eine Umfeldinformation zu einem gegebenen Zeitpunkt nur zur Berechnung des Weltmodells verwendet wird, wenn die dieser Umfeldinformation zugeordnete formale Annahme zu diesem Zeitpunkt erfüllt ist.
-
In Schritt 106 wird das Weltmodell überprüft, ob es den Sicherheitsanforderungen des automatisierten Fahrzeugs genügt, also ob das Weltmodell es erlaubt, eine sichere Trajektorie für das Fahrzeug zu planen. Ist dies nicht der Fall so können im Schritt 108 Umfeldinformationen zusätzlicher Informationsquellen, beispielsweise weiterer fahrzeugexterner Umfeldsensoren, inklusive zugeordneter Annahmen und Garantien angefragt werden. Basierend auf diesen zusätzlichen Umfeldinformationen und den damit verbundenen Annahmen und Garantien kann in Schritt 104 erneut versucht werden, ein stabiles Weltmodell zu berechnen.
-
Alternativ oder zusätzlich können in Schritt 110 bestimmte, nicht erfüllte Annahmen nach und nach auf „wahr“ gesetzt werden und in Schritt 104 unter diesen veränderten Vertragsbedingungen erneut versucht werden, ein stabiles Weltmodell zu berechnen. Insbesondere können für diese geänderten Annahmen mehrere stabile Weltmodelle abgeleitet werden. Diese stabilen Weltmodelle stellen angesichts der verfügbaren Informationen verschiedene Möglichkeiten der realen Welt dar. Für ein garantiertes sicheres Verhalten in der realen Welt muss die Planerkomponente dann eine Trajektorie finden, die in all diesen stabilen Weltmodellen sicher ist.
-
Ergibt die Prüfung in Schritt 106, dass das Weltmodell den Anforderungen für die Sicherheit eines automatisierten Fahrzeugs erfüllt, so werden in Schritt 112 eine oder mehrere Trajektorien für das automatisierte Fahrzeug erzeugt oder angepasst und dem automatisierten Fahrzeug zur Verfügung gestellt.
-
Die Erfindung beschreibt somit beschreibt die Anwendung des Konzepts des vertragsbasierten Designs auf den Anwendungsfall der verteilten Wahrnehmung. Es wird ermöglicht, dass auch wenn sich die Verfügbarkeit von Informationsquellen, wie Umfeldsensoren zur Laufzeit dynamisch verändert und der Rückschluss auf das Weltmodell kontinuierlich erfolgen muss, ein stabiles Weltmodell zur Laufzeit bestimmt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2018/292834 A1 [0002]
- US 2020/276983 A1 [0003]
- SE 1750156 A1 [0004]
- US 2018/025643 A1 [0005]
