-
HINTERGRUND
-
Die vorliegende Anmeldung bezieht sich im Allgemeinen auf Fahrzeugsteuerungssysteme und autonome Fahrzeuge. Im Besonderen lehrt die Anmeldung ein Verfahren und eine Vorrichtung zum Bewerten und Quantifizieren der Leistung eines angetriebenen, teilautonomen oder autonomen Fahrzeugs, das eine Simulationsumgebung durchfährt, als ein Maß zum Bewerten und nachfolgenden Trainieren eines kognitiven Modells des autonomen Fahrens.
-
Hintergrund-Information
-
Im Allgemeinen ist ein autonomes Fahrzeug ein Fahrzeug, das in der Lage ist, externe Informationen durch Fahrzeugsensoren zu überwachen, eine Straßensituation als Reaktion auf die externen Informationen zu erkennen und ein Fahrzeug zu manipulieren. Autonome Fahrzeugsoftware wird getestet, bewertet und verfeinert, indem die Software anhand verschiedener Testszenarien ausgeführt wird, um die Leistung der Software und die Häufigkeit von Erfolg und Misserfolg zu bestimmen. Es ist wünschenswert, die Leistung verschiedener autonomer Antriebssysteme und Teilsysteme durch einen allgemeinen Bewertungsalgorithmus zu quantifizieren, um dem autonomen Fahrzeugsteuerungssystem positive und negative Bewertungen der Fahrtrainingsdaten im Rahmen der Unterscheidung des besten autonomen Antriebssystems zu ermöglichen. Dies ermöglicht konkrete Einblicke in die Leistungsfähigkeit verschiedener autonomer Antriebssysteme, um die zukünftige Entscheidungsfindung zu unterstützen.
-
Die vorstehend in diesem Hintergrundabschnitt offenbarten Informationen dienen nur zum besseren Verständnis des Hintergrunds der Erfindung und können daher Informationen enthalten, die kein Teil des Standes der Technik sind, der in diesem Land bereits einem gewöhnlichen Fachmann bekannt ist.
-
KURZDARSTELLUNG
-
Ausführungsformen gemäß der vorliegenden Offenbarung stellen eine Reihe von Vorteilen bereit. So können beispielsweise Ausführungsformen gemäß der vorliegenden Offenbarung das schnelle Testen von autonomer Fahrzeugsoftware, Subsystemen und dergleichen mit nur periodischen menschlichen Eingriffen ermöglichen. Dieses System kann ferner zum Testen anderer Steuersystem-Software verwendet werden und ist nicht auf autonome Fahrzeuge beschränkt.
-
Gemäß einem Aspekt der vorliegenden Erfindung umfasst eine Vorrichtung eine Sensorschnittstelle, zum Erzeugen von Sensordaten zum Koppeln mit einem Fahrzeugsteuerungssystem, eine Steuersystemschnittstelle zum Empfangen von Steuerdaten von dem Fahrzeugsteuerungssystem, einen Speicher zum Speichern eines Szenarios, wobei das erste Szenario in ein erstes Merkmal und ein zweites Merkmal unterteilt ist, und einen Prozessor zum Vergleichen der Steuerdaten mit dem ersten Merkmal, um eine erste Einstufung zu erzeugen, und zum Vergleichen der Steuerdaten mit dem zweiten Merkmal, um eine zweite Einstufung zu erzeugen, Gewichten der ersten Einstufung, um eine erste gewichtete Einstufung zu erzeugen, und Gewichten der zweiten Einstufung, um eine zweite gewichtete Einstufung zu erzeugen, und Erzeugen einer Leistungsmetrik als Reaktion auf die erste gewichtete Einstufung und die zweite gewichtete Einstufung.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung, umfasst ein Verfahren das Empfangen von Steuerdaten, die eine Fahrerleistung anzeigen, das Vergleichen der Steuerdaten mit einem Fahrszenario, worin das Fahrszenario ein erstes Merkmal und ein zweites Merkmal aufweist, das Zuweisen einer ersten Einstufung zum ersten Merkmal und einer zweiten Einstufung zum zweiten Merkmal, das Gewichten der ersten Einstufung zum Erzeugen einer ersten gewichteten Einstufung und das Gewichten der zweiten Einstufung zum Erzeugen einer zweiten gewichteten Einstufung und das Erzeugen einer Leistungsmetrik als Reaktion auf die erste gewichtete Einstufung und die zweite gewichtete Einstufung.
-
Gemäß einem weiteren Aspekt der vorliegenden Erfindung umfasst ein Verfahren zum Erzeugen einer Leistungsmetrik für ein Antriebssystem das Erzeugen von Sensordaten zum Koppeln mit einem Fahrzeugsteuerungssystem, das Empfangen von Steuerdaten, die eine Fahrerreaktion auf ein Fahrszenario anzeigen, worin das Fahrszenario ein erstes Merkmal und ein zweites Merkmal aufweist, das Vergleichen der Fahrerreaktion mit dem ersten Merkmal zum Erzeugen einer ersten Einstufung und das Vergleichen der Fahrerreaktion mit dem zweiten Merkmal zum Erzeugen einer zweiten Einstufung, das Erzeugen einer Gesamteinstufung als Reaktion auf die erste Einstufung und die zweite Einstufung, und das Erzeugen einer Leistungsmetrik, die die Fahrerreaktion auf das Fahrszenario als Reaktion auf die Gesamteinstufung anzeigt
-
Die vorstehenden Vorteile und andere Vorteile und Merkmale der vorliegenden Offenbarung werden aus der folgenden ausführlichen Beschreibung der bevorzugten Ausführungsformen in Verbindung mit den zugehörigen Zeichnungen ersichtlich.
-
Figurenliste
-
Die zuvor genannten sowie weitere Eigenschaften und Vorteile dieser Erfindung und die Art und Weise, diese zu erzielen, werden augenscheinlicher, und die Erfindung wird besser verstanden anhand der folgenden Beschreibung von Ausführungsformen der Erfindung in Verbindung mit den zugehörigen Zeichnungen, worin gilt:
- 1 ist ein exemplarisches Linksabbiegeszenario gemäß einer Ausführungsform.
- 2 ist eine exemplarische Vorrichtung zur Implementierung des Verfahrens für die autonome Systemleistung und Einstufung gemäß einer Ausführungsform.
- 3 ist ein exemplarisches Verfahren für die autonome Systemleistung und Einstufung gemäß einer Ausführungsform.
-
Die hierin dargestellten Beispiele zeigen bevorzugte Ausführungsformen der Erfindung, und solche Beispiele sollen in keiner Weise als einschränkend für den Umfang der Erfindung ausgelegt werden.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende ausführliche Beschreibung ist ihrer Art nach lediglich exemplarisch und soll die Offenbarung oder die Anwendung und Verwendungen derselben in keiner Weise einschränken. Darüber hinaus besteht keinerlei Verpflichtung zur Einschränkung auf eine der im vorstehenden Hintergrund oder in der folgenden ausführlichen Beschreibung dargestellten Theorien. So weisen beispielsweise die Algorithmen, Software und Systeme der vorliegenden Erfindung eine besondere Anwendung zur Verwendung in einem Fahrzeug auf. Jedoch kann die Erfindung, wie Fachleute auf dem Gebiet erkennen werden, auch andere Anwendungsmöglichkeiten besitzen.
-
Es ist wünschenswert, einen Einstufungsalgorithmus vorzuweisen, um die Leistung eines angetriebenen, teilautonomen oder vollständig autonomen Fahrzeugs, das eine Simulationsumgebung durchfährt, zu quantifizieren und zu bewerten. Ein Einstufungsalgorithmus wird mit Merkmalen entwickelt, die zum Berechnen der Einstufung am Ende jeder Fahrprüfung verwendet werden, die sich aus Merkmalen wie Haltegeschwindigkeit, geschwindigkeitsgewichtetem durchschnittlichem Abstand von einem idealen Weg, geschwindigkeitsgewichtetem maximalem Abstand von einem idealen Weg, Anpassung der Geschwindigkeit nach dem Linksabbiegen an die Geschwindigkeit des Verkehrs, durchschnittlichem Abstand von anderen Fahrzeugen, überraschenden und kritischen Fehlern ergeben. Ebenfalls kritisch ist der Prozess zur Gewichtung dieser Merkmale, um etwa eine Einstufung zum Training maschineller Lernsysteme zu berechnen und die Leistung des Fahrzeugsteuerungssystems zu bewerten und zu vergleichen. Dieses Verfahren und System ist funktionsfähig, um die Leistung einer Instanz eines Fahrversuchs in der Simulation zu quantifizieren, um eine Rückmeldung zum Trainieren eines autonomen Antriebssteuerungssystems bereitzustellen und Teilsysteme eines autonomen Antriebssystems mit Alternativen wie Human-in-the-Loop-Fahren und regelbasiertes autonomes Fahren zu vergleichen und abzustimmen. Dies würde ein umfassendes Training jedes autonomen Antriebssystems mit einer variablen positiven und negativen Instanz ermöglichen. Darüber hinaus ermöglicht dies auch eine unvoreingenommene und konsistente Vergleichsbasis zwischen verschiedenen Antriebssystemen, die letztlich zeigt, welches System das effektivste ist. Dieses System stellt auch einen Rahmen zum Identifizieren und Abschwächen eines grundlegenden Problems mit herkömmlichen regelbasierten Antriebssystemen dar. Obwohl moderne Systeme in einer neuartigen Fahrsituation, für die keine Regel gilt, keine ausreichende Einstufung und Quantifizierung vornehmen können, beinhaltet der exemplarische Rahmen eine kontinuierliche Einstufung während einer Fahrprüfung, die die Verknüpfung von diskreten Fahrstufenmerkmalen mit expliziten Ereignissen möglich ist. Schließlich kann die Verwendung des Einstufüngsalgorithmus das Niveau der inhärenten Sicherheit oder den Bedarf an Sicherheitselementen in einer gegebenen Fahrsituation quantifizieren.
-
Das vorgeschlagene System verwendet die Merkmalgewichtung unter Verwendung eines Regressionsmodells, um den Einstufüngsalgorithmus zukünftiger Koeffizienten basierend auf den menschlichen Einstufungsergebnissen zu bestimmen. Die Verwendung der Einstufung als Grundlage für den Vergleich zwischen verschiedenen Antriebssystemen, wie Human-in-the-Loop- und Kognitionsmodell, und die Interaktion zwischen Einstufungswerten und Komplexitätswerten schafft eine vollständige Darstellung der autonomen Systemleistung, indem Fahrversuche in zeitgegliederte Teilaufgaben unterteilt werden, die Granularität im Einstufungsalgorithmus erzeugen und die Überwachung von automatisch erzeugten Trainingsdatensätzen ermöglichen.
-
Zukünftige Anwendungen für das gegenwärtig offenbarte Verfahren und System beinhalten die Nutzung von Einstufungsdatentrends, um die Bemühungen zur Verbesserung von Sensoren, Kameras und anderen neuen Technologien zu fokussieren, die Verwendung von Einstufungsalgorithmen, um unsichere Teilabschnitte des Fahrens auf Straßen zu identifizieren, und die anonyme Einstufung von nicht-autonomen Fahrern, um Informationen zur Fahrzeugnutzung bereitzustellen. Da autonome Antriebstechnologien in Zukunft immer mehr an Bedeutung gewinnen, können Anwendungen dieses Einstufungsalgorithmus genutzt werden, um Forschungs- und Entwicklungsbemühungen und situative Sicherheitsbewertungen zu ermitteln.
-
Das Konzept der kritischen Fehler wird verwendet, um Tests zu identifizieren, die ihr Ziel nicht erreichen oder kein sicheres Fahren erreichen. Kritische Fehler innerhalb des vorstehend genannten Modells können das Nichtbefolgen eines vollständigen Stopps am Stoppschild, eine Kollision mit dem autonomen Fahrzeug und/oder das Nichtbefolgen des Linksabbiegens durch das Fahrzeug sein. Wenn eines dieser Ereignisse eintritt, kann ein Wert von Null angegeben werden, um darzustellen, dass kritische Ziele des Szenarios nicht erreicht werden. Ein exemplarischer kritischer Fehlerfaktor kann ein binärer Wert sein, der zum Multiplizieren einer erzeugten Leistungsmetrik verwendet wird. Das Identifizieren dieser kritischen Fehler ermöglicht es auch, ein kognitives Modell auf einer Teilmenge von negativen Fahrinstanzen zu trainieren, die nicht nur unerwünscht sind, sondern um jeden Preis zu vermeiden sind.
-
Um sicherzustellen, dass das aktuelle Einstufungssystem sinnvoll ist, wird der Begriff der Komplexität eingeführt. Die Einführung einer Komplexitätsmetrik ermöglicht es, einen Komplexitätswert während eines diskreten Zeitpunkts oder während einer gesamten autonomen Fahraufgabe zu berechnen. Durch die Verwendung von erzeugten Daten und das Extrahieren eines Komplexitätsmaßes kann das autonome Fahrzeugsystem eine Grundlage für das Vergleichen von Szenarien und eine Grundlage für das Ergreifen von Maßnahmen basierend auf früheren Situationen mit ähnlichen Komplexitätswerten bestimmen. Die Aufmerksamkeitsanforderung an das autonome System kann dann basierend auf der Komplexität erfolgen. Das Maß an Komplexität speist sich letztendlich in ein kognitives Modell zusammen mit der Einstufungsbewertung, um die Entscheidungsfindung während des Trainings zu steuern. Die Komplexitätsberechnung und Einstufungsbewertung werden weiter verwendet, um die Leistung aller autonomen Systeme zu analysieren. Die Komplexität kann in Unterkategorien unterteilt werden, wie beispielsweise Kritikalität, Alternativen, Wahrnehmungskomplexität, Entscheidungsgeschwindigkeit und Absichtsvorhersagen. Durch die Zuordnung von Ausgaben aus einer Simulation zu diesen fünf Komplexitätskategorien kann ein Maß an Komplexität geschätzt werden.
-
Wendet man sich nun 1 zu, so ist ein exemplarisches Linksabbiegeszenario dargestellt. Um eine genaue und aussagekräftige Komplexitätsmetrik zu erzeugen, wird das Szenario in Teilaufgaben unterteilt. Die Fahrbahnoberfläche 110 der T-Kreuzung ist dargestellt, wobei sich ein Fahrzeug von der unteren Straße S1 nähert und nach links über eine Fahrspur fährt. Die Einführung einer Komplexitätsmetrik ermöglicht es, während einer autonomen Fahraufgabe einen Komplexitätswert auf Teilaufgabenebene zu berechnen. Durch die Übernahme von Daten, die während der Simulation entstehen, und die Extraktion eines Maßes für die Komplexität schafft das autonome Fahrzeug eine Grundlage für den Szenarienvergleich und eine Grundlage für Maßnahmen basierend auf früheren Situationen mit ähnlichen Komplexitätsbewertungen. Die Aufmerksamkeitsanforderung an das autonome System kann dann basierend auf der Komplexität erfolgen. Das Maß an Komplexität speist sich letztendlich aus dem kognitiven Modell und den Bewertungsergebnissen, um die Entscheidungsfindung zu steuern. In dieser exemplarischen Ausführungsform wird die Bewertung an einem Linksabbiege-Szenario durchgeführt. In diesem Szenario gibt es viele Iterationen, die aufgrund von zum Beispiel Verkehrsdichte, Anzahl der Fußgänger, Wetterbedingungen usw. auftreten können. Um die Komplexität zu messen, wird die Hauptaufgabe des Linksabbiegens in Teilaufgaben zerlegt. In dieser exemplarischen Ausführungsform ist die Hauptaufgabe des Linksabbiegens in vier Teilaufgaben S1, S2, S3 und S4 unterteilt. Um die Skalierbarkeit für andere Szenarien zu ermöglichen, werden Merkmale der Teilaufgaben herangezogen, um eine Reihe von Richtlinien zu erstellen, die die Daten in Teilaufgaben aufteilen. Der S1-Endpunkt der Teilaufgabe 1 wird bestimmt, indem der Zeitpunkt ermittelt wird, an dem die Geschwindigkeit des Fahrzeugs unter eine bestimmte akzeptable Haltegeschwindigkeit fällt. Der S2-Endpunkt der Teilaufgabe 2 wird dann ermittelt, wenn das Fahrzeug eine bestimmte Beschleunigungsgeschwindigkeit überschreitet. Der S3-Endpunkt der Teilaufgabe 3 wird durch das Betrachten ermittelt, wann die x-Koordinate des Fahrzeugs nicht mehr geändert wird. Es wird davon ausgegangen, dass der Endpunkt einer Teilaufgabe der Anfangspunkt der nächsten Teilaufgabe ist. Diese Merkmale, die das Ende der jeweiligen Teilaufgaben bestimmen, sollten für die meisten einfachen Linksabbiegeszenarien skalierbar sein, jedoch abhängig von der Aggressivität des Fahrers und anderen Fahrern innerhalb des Szenarios, der Vertrautheit mit der Straße und der Einfachheit der Linksabbiegeaufgabe.
-
Der Zweck der Aufteilung der Linksabbiegeaufgabe in Teilaufgaben besteht darin, Komplexitätsänderungen zu bestimmen, basierend darauf, wo in der Aufgabe die Komplexität gemessen wird. Durch die Aufteilung der Aufgabe in Teilaufgaben ist es möglich zu erkennen, wie sich die Komplexität zwischen verschiedenen Teilen der Aufgabe ändert, sowie auch wie sich die Komplexität im Laufe der Zeit ändert. Durch die Aufteilung der Aufgabe in Teilaufgaben kann die Komplexität innerhalb jeder Teilaufgabe und die Komplexität zwischen Teilaufgaben als Funktion der Zeit berechnet werden. Die Komplexität ändert sich von Teilaufgabe 1 S1 zu Teilaufgabe 2 S2 und demonstriert einen Unterschied in der Komplexität im Laufe der Zeit. Innerhalb einer Teilaufgabe sind die Merkmale jedoch im Allgemeinen gleich, sodass das Messen von Unterschieden zwischen den Teilaufgaben einen nicht-trivialen zeitlichen Unterschied in der Komplexität ergibt. Im Allgemeinen werden Teilaufgaben basierend auf dem Unterschied der Merkmale bestimmt, was einen natürlichen zeitlichen Komplexitätsvergleich zwischen Teilaufgaben ermöglicht. Sicherlich können sich einige Merkmale innerhalb einer Teilaufgabe ändern, aber grundlegend für die Aufteilung der Teilaufgaben ist eine Minimierung dieser Merkmalsänderungen. Je nach Anwendung kann es von Interesse sein, zu messen, wie sich die Komplexität während der gesamten Aufgabe oder ausschließlich in einer Teilaufgabe zeitlich ändert. Da Teilaufgaben kontinuierlich sind (der Endpunkt von einer ist der Ausgangspunkt der nächsten), kann sowohl die große (während einer Aufgabe) als auch die kleine (während einer Teilaufgabe) zeitliche Komplexität berechnet werden, wobei wir davon ausgehen, dass unsere zukünftigen Bemühungen diese Komplexitätsmaße auf einen kontinuierlichen oder diskreten ereignisbezogenen Zeitbereich extrapolieren werden.
-
Die Leistung eines Fahrzeugs wird bewertet, um quantitativ zu bestimmen, wie gut eine bestimmte Instanz eines spezifischen Fahrszenarios, wie beispielsweise die Linksabbiegeaufgabe, sicher ausgeführt wird. Bei diesem Ansatz interagiert das autonome Fahrzeug mit Human-in-the-Loop-(HIL)-Fahrzeugmodellen in einer Umgebung mit einer großen Anzahl von sicherheitskritischen Szenarien, die dem realen Fahren entnommen wurden. Diese Sicherheitsbewertung basiert auf fünf Unterkategorien, die nachträglich ausgeführt werden. Die Daten für das autonome Auto werden sowohl unter Verwendung des regelbasierten Systems als auch des Human-in-the-Loop-(HIL)-Systems erfasst, um den Einstufungsalgorithmus aufzubauen. Der Wert, der basierend auf der Leistung des autonomen Fahrzeugs in den fünf nachfolgend aufgeführten Teilaufgaben berechnet wird, wird als Einstufung bezeichnet. Die Merkmale, die verwendet werden, um diese Einstufung in der exemplarischen Linksabbiegesimulationsumgebung zu bestimmen, beinhalten: durchschnittliche Entfernung vom nächsten Agenten nach dem Linksabbiegen, Haltegeschwindigkeit am Stoppschild, Anpassung der Geschwindigkeit nach dem Linksabbiegen an den Verkehr, durchschnittliche Entfernung vom idealen Weg, maximale Entfernung vom idealen Weg und überraschende Handlungen von anderen Beteiligten in der Szene. Andere Simulationsumgebungen können zusätzliche Merkmale beinhalten, die für das jeweilige Szenario relevant sind.
-
Das erste Merkmal, das zum Berechnen der Einstufung verwendet wird, ist das Abgleichen der Geschwindigkeit des Verkehrs nach dem Linksabbiegen. Die Geschwindigkeit des Fahrers im autonomen System oder HIL-System in Bezug auf das naheliegendste Fahrzeug innerhalb seiner Fahrspur wird unter Verwendung von Self-Port-Daten erfasst. Die Self-Port-Daten sind auch als Bodenwahrheitsdaten bekannt und gehen von der Allwissenheit aller Beteiligten in der Szene aus. Durch die Verwendung von Self-Port-Daten wird die vollständigste Darstellung der Punktzahl der Fahrerwerte ermittelt. Alternativ können realistischere Sensoren, wie beispielsweise Radar oder LiDAR, verwendet werden. Der Fahrer erhält einen niedrigeren Wert, wenn die Geschwindigkeit des autonomen Fahrzeugs nicht mit der Geschwindigkeit des Verkehrs übereinstimmt. Das System/der Fahrer wird nur für die Nichteinhaltung der Geschwindigkeit des Verkehrs nach dem Linksabbiegen bestraft, um dem Fahrzeug Zeit zum Erhöhen der Geschwindigkeit nach dem Anhalten am Stoppschild zu geben. Der Absolutwert der Differenz zwischen Eigengeschwindigkeit und Verkehrsgeschwindigkeit wird ermittelt, um eine gleiche Strafe für zu langsames oder zu schnelles Fahren zu erhalten. Liegt das autonome Fahrzeug beispielsweise innerhalb von vier Metern pro Sekunde zur Geschwindigkeit des umgebenden Verkehrs, wird der Fahrer nicht bestraft. Es wird davon ausgegangen, dass, je schneller das autonome Auto Verkehrsgeschwindigkeiten erreichen kann, desto besser und sicherer die Fahrinstanz ist.
-
Das nächste Merkmal, das zum Berechnen der Einstufungsbewertung verwendet wird, ist der Mindestabstand vom autonomen Fahrzeug zu anderen Beteiligten. Der Abstand zwischen dem autonomen Fahrzeug und allen anderen Beteiligten im Szenario wird bei jedem Zeitschritt im Szenario kontinuierlich aufgezeichnet. Wenn bestimmt wurde, dass sich das autonome Fahrzeug innerhalb eines bestimmten dynamischen Abstands zu einem anderen Fahrzeug befindet, werden diese Werte und Zeitschritte aufgezeichnet und der Fahrer wird basierend auf der Zeit, die er während der Prüfung innerhalb des bestimmten dynamischen Abstands verbringt, bestraft. So kann beispielsweise empfohlen werde, dass der dynamische Sicherheitsabstand den Fahrer verpflichtet, mindestens zwei Sekunden hinter dem zu verfolgenden Fahrzeug zu bleiben. Somit wird der Sicherheitsabstand durch Multiplikation von zwei mit der Geschwindigkeit des autonomen Fahrzeugs zu einem bestimmten Zeitpunkt t berechnet. Es wird davon ausgegangen, dass je weniger Zeit innerhalb der Grenzen des dynamischen Folgeabstandes verbracht wird, desto besser ist die Fahrinstanz.
-
Eine weitere Funktion, das zum Berechnen der Einstufungsbewertung verwendet wird, ist der Abstand von einem vorgegebenen idealen Weg. Ein idealer Linksabbiegeweg wird unter Verwendung eines eigenen Weggenerators bestimmt. Der eigene Weggenerator kann den optimalen Linksabbiegeweg während der Linksabbiegung bestimmen, der die Leichtgängigkeit der Linksabbiegung beinhaltet und sicherstellt, dass er in der Mitte der jeweiligen Linksabbiegespur und Zusammenführungsspur bleibt. Die Position des autonomen Fahrzeugs zu jedem Zeitpunkt wird mit jeder räumlichen Position auf dem idealen Weg verglichen. Dies wird für jeden Zeitschritt wiederholt, wenn das autonome Auto nach links abbiegt. Diese Maßnahme entfernt die zeitliche Dimension der Wendeeinstufung, um zu verhindern, dass kleine Geschwindigkeitsunterschiede bestraft werden. Anschließend wird der Mindestabstand von der räumlichen Position des autonomen Fahrzeugs zum Zeitpunkt t zu jedem Punkt auf dem idealen Weg als Abweichung des autonomen Fahrzeugs vom idealen Weg aufgezeichnet. Um zu verhindern, dass kurze, große Abweichungen vom idealen Weg einen minimalen Einfluss auf diesen Aspekt der Einstufung haben, wird der Abstand zu jedem Zeitpunkt mit der Geschwindigkeit multipliziert. Dies verhindert ferner, dass ein Auto auf dem idealen Weg perfekt stoppt und einen perfekten Wert erhält. Sowohl die geschwindigkeitsgewichtete durchschnittliche Abweichung als auch die geschwindigkeitsgewichtete maximale Abweichung vom idealen Weg werden aufgezeichnet, um zu quantifizieren, wie gut das autonome Fahrzeug dem idealen Weg folgt. Es wird davon ausgegangen, dass je näher das autonome Fahrzeug dem idealen Weg folgt, desto besser ist die Fahrinstanz.
-
Ein weiteres Merkmal, das zur Einstufung der Fahrprüfung beitragen kann, ist, ob das autonome Fahrzeug vollständig am Stoppschild anhält. Die Geschwindigkeit des Fahrzeugs wird aufgezeichnet, wenn das autonome Fahrzeug seinen minimalen euklidischen Abstand vom Stoppschild erreicht. Der Wert für die räumliche Position des Stoppschilds ist vorgegeben und es wird davon ausgegangen, dass das Stoppschild nicht bewegt wird. Wenn die Geschwindigkeit an dieser Halteposition und der Zeit t beispielsweise nicht weniger als 0,01 beträgt, wird das System/der Fahrer zum Ausführen des Stoppschilds bestraft. Je höher die Geschwindigkeit am Stoppschild, desto höher die Strafe. Die Strafe kann linear mit der Stoppgeschwindigkeit skaliert werden. Wenn die Stoppgeschwindigkeit 2 Meter pro Sekunde überschreitet, wird für diese Fahrinstanz ein kritischer Fehler empfangen, da davon ausgegangen wird, dass das Auto beim Stoppschild nicht gestoppt wurde, was zu einem automatischen Ausfall führt, der auf eine unsichere Fahrinstanz hinweist.
-
Der letzte Faktor, der eingeführt wird, um eine Einstufung für eine bestimmte Prüfung zu berechnen, ist der Überraschungsfaktor. Dieses Merkmal ist nützlich, um die Leistung des Systems in unbeobachteten oder neuartigen Instanzen zu ermitteln. Letztendlich ist dies die Bewertung der Vorhersage des kognitiven Modells für die Absichten der anderen Beteiligten zu einem bestimmten Zeitpunkt. Weiterhin ist dieser Vorhersage ein bestimmtes Vertrauen zugeordnet, sodass, wenn das Vertrauen hoch ist, aber die Vorhersage letztendlich falsch ist, das System höher bestraft wird, als wenn die falsche Vorhersage ein niedrigeres Vertrauen aufweist. Alternativ, wenn das System die Absichten anderer Beteiligter korrekt vorhersagt, wird es in dieser Kategorie der Einstufung belohnt. Wenn der Verkehr auf eine Weise abläuft, die vom kognitiven Modell nicht vorhergesagt wird, wie beispielsweise wenn ein Beteiligter im Verkehr steht, gilt dies als Überraschung. Wenn das autonome Fahrzeug trotz dieses unerwarteten Ereignisses die Abbiegung noch erfolgreich abschließen kann, wird ein hoher Wert vergeben. Wenn beim Fahrversuch kein Überraschungsereignis vorliegt, wurde das autonome Fahrzeug nicht bestraft.
-
Bezogen nun auf 2 ist eine exemplarische Vorrichtung 200 zur Implementierung des Verfahrens für die autonome Systemleistung und -einstufung dargestellt. Die Vorrichtung 200 ist funktionsfähig, um ein Fahrszenario zum Bewerten und Quantifizieren der Leistung eines Antriebssystems, einschließlich eines autonomen Antriebssystems, zu simulieren. Die Vorrichtung wird verwendet, um die kognitiven Kosten und den Aufwand zu quantifizieren, die ein Fahrer oder ein Fahrsystem benötigt, um das Szenario erfolgreich abzuschließen. Die Vorrichtung umfasst einen Simulator 220, eine Sensorschnittstelle 210, eine Steuersystemschnittstelle 240 und einen Speicher 250. Die Sensorschnittstelle 210 und die Steuersystemschnittstelle 240 sind für die Interaktion mit der Fahrzeugsteuerung entscheidend. Die Vorrichtung kann in Hardware, Software oder einer Kombination aus beidem implementiert werden.
-
Der Simulator 220 ist funktionsfähig, um die Fahrumgebung und das Fahrszenario zu simulieren und um Steuersignale zum Steuern der Sensorschnittstelle 210 zu erzeugen. Die Sensorschnittstelle 210 ist funktionsfähig, um Sensorsignale zu erzeugen, die von der Fahrzeugsteuerung 230 lesbar sind. Der Sensor signalisiert eine Schnittstelle mit dem Fahrzeugsteuerungssystem 230, sodass dem Fahrzeugsteuerungssystem vermittelt wird, dass es in der tatsächlichen Umgebung betrieben wird. Die Steuersystemschnittstelle 240 empfängt Steuersignale, die vom Fahrzeugsteuerungssystem 230 erzeugt werden. Die Steuersystemschnittstelle 240 übersetzt diese Steuersignale in Daten, die vom Simulator 220 als Rückmeldung aus dem Szenario verwendet werden. Die Szenarien werden im Speicher 250 gespeichert, auf den der Simulator zugreift. Der Simulator ist ferner funktionsfähig, um zusätzliche Informationen und Aktualisierungen der Szenarien und Komplexitätsmetriken im Speicher 250 zu speichern.
-
Um sicherzustellen, dass die Einstufungswerte im Kontext der Komplexität sinnvoll sind, wird die Gewichtung der Einstufungs- und Komplexitätsmerkmale eingeführt. Zunächst gibt ein objektiver Mensch Bewertungen und Komplexitätswerte für zehn Durchläufe von Szenarien mit variierender Komplexität in der Linksabbiegesimulationsumgebung. Dies ermöglicht es, die menschlichen Werte mit den Werten zu vergleichen, die die Bewertungs- und Komplexitätsalgorithmen berechnen. Da der Mensch für das gesamte Szenario nur einen Komplexitätswert und eine Einstufung angibt, wird davon ausgegangen, dass die eine Einstufung repräsentativ für alle Einstufungsmerkmale bzw. für alle Komplexitätsmerkmale ist. Da jedes Einstufungs- und Komplexitätsmerkmal durch die Einstufungs- und Komplexitätsberechnungen einen bestimmten Wert erhält, werden die menschlichen Werte gegenüber den Einstufungs- und Komplexitätswerten regressiviert. In der ersten multiplen Regression sind die Einstufungswerte jedes Merkmals für Bewertung, Überraschung, geschwindigkeitsgewichtete durchschnittliche Abweichung von einem idealen Weg, geschwindigkeitsgewichtete maximale Abweichung von einem idealen Weg, Anpassung der Geschwindigkeit nach dem Linksabbiegen, Stoppgeschwindigkeit und durchschnittlicher Abstand von anderen Fahrzeugen die Prädiktoren und die menschlichen Werte sind die Reaktionen in der multiplen Regression.
-
Ebenso sind in der zweiten multiplen Regression für Komplexität, die Werte jedes Merkmals, Überraschung, Kritikalität, Alternativen, Wahrnehmungskomplexität und Entscheidungsgeschwindigkeit die Prädiktoren und die menschlichen Werte sind die Reaktionen in der multiplen Regression. Die Koeffizienten, die durch diese Regressionen erzeugt werden, werden zu den Gewichtungen der einzelnen Merkmale, aus denen sich die Einstufungs- und Komplexitätsberechnungen zusammensetzen. Diese anfängliche Gewichtung bildet die Grundlage für die Gewichtung der Einstufungs- und Komplexitätswerte und die Feinabstimmung der Gewichtungen erfolgt auf der Grundlage der Ergebnisse aus den automatisierten Versuchen.
-
Unter Verwendung der menschlich gewichteten Werte für die Einstufungs- und Komplexitätsberechnungen können der Einstufungsalgorithmus und der Komplexitätsalgorithmus dann im Batch-Verfahren verarbeitet werden, um die Einstufungs- und Komplexitätswerte für alle automatisierten Versuche zu erstellen. Die unterschiedlichen Merkmale der automatisierten Versuche sind die Anzahl der anderen Beteiligten im Szenario und deren Durchschnittsgeschwindigkeit. Es kann davon ausgegangen werden, dass die Komplexität mit zunehmender Anzahl der Beteiligten zunimmt und die Komplexität mit zunehmender Durchschnittsgeschwindigkeit dieser Beteiligten zunimmt. Die Gewichtung ist ein iterativer Prozess, und die jeweiligen Merkmale, die zum Berechnen sowohl der Komplexität als auch der Einstufung verwendet werden, und die relative Gewichtung dieser Merkmale kann sich mit der Entwicklung des Systems und dem Erzeugen weiterer Daten weiter ändern. Die Bewertungen werden für jeden HIL-Versuch berechnet und dann wird die Komplexität der HIL-Versuche mit Gewichtungen berechnet.
-
Neuartige Versuche können durchgeführt werden und die Ergebnisse für Komplexität und Grad können mit früheren HIL-Ergebnissen und mit früheren automatisierten Versuchsergebnissen verglichen werden. Ein exemplarisch neuartiges Szenario kann der Fall eines Autos sein, das in die Linksabbiegerspur der Kreuzung einmündet, aber dann zum Stillstand kommt. Dieses Szenario demonstriert die Mängel eines herkömmlichen regelbasierten Systems, das keine Regel für ein blockiertes Auto aufweist, vorausgesetzt, es ist noch nie zuvor in dieser Situation gewesen. Das neuartige Szenario wäre hochkomplex, da keine Trainingsdaten zu dieser Situation vorliegen und uns das gestoppte Auto den Weg zum Linksabbiegen versperrt. Bei Szenarien mit geringerer Komplexität schneiden das autonome Fahrzeug und der menschliche Fahrer vergleichsweise gut ab, da das Szenario mit geringer Komplexität weder den HIL-Fahrer noch das regelbasierte System vor eine besondere Herausforderung gestellt hat. Da kein System in Frage gestellt wurde, besteht kein großer Unterschied in der Einstufung zwischen dem HIL-Fahrer und dem autonomen System. Der Wert des autonomen Systems liegt innerhalb des vom HIL-Fahrer eingestellten Bereichs. Bei dieser geringen Komplexität erreichten sowohl das menschliche als auch das regelbasierte System eine Obergrenze, wie gut sie basierend auf den vorstehend beschriebenen Bewertungsmerkmalen abschneiden konnten.
-
Ein exemplarisches Szenario mit hoher Komplexität besteht darin, dass ein Fahrzeug in der Linksabbiegespur, die das autonome Auto durchfahren muss, zum Stillstand kommt, um die angestrebte Linksabbiegung zu vollenden. Dies führt zu einem höheren Komplexitätswert, da sich der Beteiligte in einer Weise verhält, die bisher nicht beobachtet wurde. Das herkömmliche regelbasierte System scheitert in diesem neuen Szenario mit hoher Komplexität, da das System nicht weiß, wie es auf eine Situation reagieren soll, in der es keine entsprechende Regel aufweist, und somit nicht in der Lage ist, die Linksabbiegeaufgabe auszuführen. Da es sich bei diesem neuen Szenario um eine neue Situation handelt, wurde keine Regel für den Umgang mit einem blockierten Auto erstellt, das eine grundlegende Voraussetzung für das regelbasierte System ist. Dies wird durch das kognitive Modell gelöst, das es dem autonomen Auto letztendlich ermöglicht, die Linksabbiegung zu absolvieren. Dieses Verhalten kann entsprechend abgestuft werden, indem Restdaten aus einem sehr ähnlichen Szenario (z. B. dem vorstehend erläuterten Beispiel), aber mit entsprechend erhöhten Komplexitätsmaßnahmen verwendet werden. Aufgrund der Granularität der Teilaufgabeneinstufung kann das System auch bei neuen Situationen brauchbare und konsistente Einstufungsergebnisse erzeugen.
-
Bezogen nun auf 3 ist ein exemplarisches Verfahren für das Erzeugen und Vergleichen 300 von autonomen Systemleistungsmetriken dargestellt. Das Verfahren ist zunächst funktionsfähig, um Steuerdaten zu empfangen, die eine Fahrerleistung 310 anzeigen. Das Verfahren vergleicht dann die Steuerdaten mit einem Fahrszenario, wobei das Fahrszenario ein erstes Merkmal und ein zweites Merkmal 320 aufweist. Das exemplarische Verfahren ist dann funktionsfähig, um dem ersten Merkmal eine erste Einstufung und dem zweiten Merkmal 330 eine zweite Einstufung zuzuweisen. Das Verfahren gewichtet dann die erste Einstufung, um eine erste gewichtete Einstufung zu erzeugen, und gewichtet die zweite Einstufung, um eine zweite gewichtete Einstufung 340 zu erzeugen. Das Verfahren erzeugt dann eine Leistungsmetrik als Reaktion auf die erste gewichtete Einstufung und die zweite gewichtete Einstufung 340. Die Steuerdaten können als Reaktion auf die Leistung eines menschlichen Fahrers oder eines autonomen Fahrsteuerungssystems erzeugt werden.
-
Die Leistungsmetrik kann ein Indikator für die Fahrerleistung im Vergleich zu einer optimalen Leistung des Szenarios sein. Diese Leistungsmetrik kann an einen Fahrer oder ein autonomes Fahrsteuerungssystem zurückgegeben werden, um die zukünftige Fahrleistung zu verbessern. Das exemplarische Verfahren ist nicht auf zwei Merkmale beschränkt und kann beliebig viele Merkmale bewerten, um eine Leistungsmetrik zu erzeugen. Die bewerteten Merkmale können die Haltegeschwindigkeit, den geschwindigkeitsgewichteten durchschnittlichen Abstand von einem idealen Weg, die Anpassung der Verkehrsgeschwindigkeit nach dem Linksabbiegen, den durchschnittlichen Abstand von anderen Fahrzeugen, Überraschung und kritische Fehler beinhalten. In einer weiteren exemplarischen Konfiguration kann das erste Merkmal eine erste Komplexität und das zweite Merkmal eine zweite Komplexität aufweisen, und wobei die Leistungskennzahl als Reaktion auf den ersten gewichteten Wert, den zweiten gewichteten Wert, die erste Komplexität und die zweite Komplexität erzeugt wird. Die Leistungsmetrik kann als Reaktion auf einen binären kritischen Fehlerfaktor weiter gewichtet werden. Auch hier kann der Fahrer ein menschlicher Fahrer, ein teilunterstütztes autonomes Fahrsystem oder ein völlig autonomes Fahrsystem sein.
