DE112022002869T5

DE112022002869T5 - Verfahren und System zur Verhaltensprognose von Akteuren in einer Umgebung eines autonomen Fahrzeugs

Info

Publication number: DE112022002869T5
Application number: DE112022002869.6T
Authority: DE
Inventors: Friederike Schneemann; Andrew Hartnett; Gregory Nichols; Constantin Savtchenko
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-06-02
Filing date: 2022-04-26
Publication date: 2024-04-11
Also published as: US20220388534A1; CN117529429A; WO2022256760A1

Abstract

Es werden Verfahren beschrieben, mit denen ein autonomes Fahrzeug Aktionen anderer Akteure vorhersagen oder prognostizieren kann. Ein Fahrzeug weist jedem erkannten Akteur entweder eine hohe oder eine niedrige Priorität zu. Das Fahrzeug erstellt dann für jeden der erkannten Akteure eine Prognose. Einige - aber nicht unbedingt alle - Akteure mit hoher Priorität erhalten eine hochauflösende Prognose. Akteure mit niedriger Priorität und optional auch einige der Akteure mit hoher Priorität erhalten eine Prognose mit niedriger Auflösung. Das System nutzt die Prognosen, um Aktionen für die Akteure vorherzusagen. Das autonome Fahrzeug wird dann anhand der vorhergesagten Aktionen seine Trajektorie bestimmen.

Description

QUERVERWEIS UND PRIORITÄTSANSPRUCH
Diese Patentanmeldung beansprucht die Priorität der US-Patentanmeldung Nr. 17/336,661 , eingereicht am 2. Juni 2021, die durch Bezugnahme in vollem Umfang in dieses Dokument aufgenommen wird.
HINTERGRUND
Während sich ein autonomes Fahrzeug (AV) durch eine Umgebung bewegt, erkennt sein Wahrnehmungssystem viele Akteure, die sich innerhalb oder in der Nähe des Fahrwegs des AV bewegen oder bewegen könnten. Das AV wird vorhersagen oder prognostizieren, was einige oder alle der erkannten Akteure tun werden. Das Bewegungsplanungssystem des AV berücksichtigt diese Prognosen dann, wenn es bestimmt, welcher Trajektorie das AV folgen wird, um Konflikte mit den anderen Akteuren zu vermeiden.
Während sich das AV und die anderen Akteure weiterbewegen, sammelt das AV kontinuierlich neue Wahrnehmungsdaten über die anderen Akteure. Das AV wird die neuen Daten verwenden, um seine Prognosen darüber zu aktualisieren, was die anderen Akteure tun werden. Das AV verwendet die aktualisierten Prognosen, um zu bestimmen, ob es seine Trajektorie fortsetzt oder ändert. Aufgrund der dem Verkehrsverhalten inhärenten Unsicherheit kann die AV mehr als eine mögliche Prognose für einen bestimmten Akteur (oder Aktor) generieren.
Dies ist ein rechenintensiver Prozess. Wenn das AV mehrere Akteure erkennt, erfordert die Prognose und Berücksichtigung der Absichten jedes einzelnen Akteurs erhebliche Verarbeitungszeit, gespeicherte Energie, Speicher zum Speichern der Daten und andere AV-Ressourcen. Da AVs außerdem in Echtzeit arbeiten und Entscheidungen treffen müssen, muss das AV möglicherweise einige der Berechnungen innerhalb bestimmter Zeitvorgaben durchführen.
Um dieses Problem zu lösen, priorisieren einige Systeme andere Akteure und treffen binäre Entscheidungen darüber, ob ein Akteur ein Handelnder mit hoher Priorität ist oder nicht. Diese Systeme treffen dann nur Prognosen für Handelnde mit hoher Priorität. Dies kann dazu führen, dass entweder (a) ein Akteur ausgelassen wird, für den eine Prognose eigentlich erforderlich wäre, oder (b) Einschränkungen der Laufzeitverarbeitung verletzt werden, wenn zu viele Akteure als Handelnde mit hoher Priorität klassifiziert werden.
Daher sind Verbesserungen bei AV-Prognoseprozessen erforderlich. In diesem Dokument werden Verfahren und Systeme beschrieben, die auf die Lösung der oben beschriebenen Probleme und/oder anderer Probleme abzielen.
ZUSAMMENFASSUNG
Dieses Dokument beschreibt Verfahren, mit denen ein autonomes Fahrzeug Aktionen anderer Akteure vorhersagen kann, die sich in einer Umgebung befinden, durch die das autonome Fahrzeug fährt, sowie Systeme, die solche Verfahren implementieren, und Computerprogrammprodukte, die Systeme dazu veranlassen, solche Verfahren umzusetzen. Dazu erkennt ein Wahrnehmungssystem eines autonomen Fahrzeugs verschiedene Akteure, die sich in der Nähe des autonomen Fahrzeugs befinden. Für jeden erkannten Akteur weist das Wahrnehmungssystem dem erkannten Akteur eine Prioritätsbewertung zu. Jeder Akteur kann entweder ein Akteur mit hoher Priorität oder ein Akteur mit niedriger Priorität sein, und jede dieser Bewertungen kann eine oder mehrere Unterteilungen enthalten, die eine relative Bewertung oder ein anderes Maß für die Priorität angeben.
Ein Prognosesystem des autonomen Fahrzeugs wird dann über mehrere Zyklen hinweg jeweils eine Prognose für jeden der erkannten Akteure erstellen. Zumindest für einige der Akteure mit hoher Priorität wird die Prognose eine hochauflösende Prognose sein. Für jeden der Akteure mit niedriger Priorität und optional auch für einige der Akteure mit hoher Priorität generiert das System eine Prognose mit niedriger Auflösung. Das System speichert jede der Prognosen in einem Datenspeicher in Verbindung mit dem Akteur, für den die Prognose erstellt wurde. Das Prognosesystem wird dann mindestens einige der Prognosen mit hoher Auflösung verwenden, um eine oder mehrere Aktionen für mindestens einige der Akteure mit hoher Priorität vorherzusagen, und es wird mindestens einige der Prognosen mit niedriger Auflösung verwenden, um für jeden der Akteure mit niedriger Priorität eine oder mehrere Aktionen vorherzusagen. Ein Bewegungsplanungssystem des autonomen Fahrzeugs wird dann die vorhergesagten Aktionen verwenden, um eine Trajektorie für das autonome Fahrzeug zu bestimmen.
In einigen Ausführungsformen kann das Wahrnehmungssystem nach Abschluss eines Zyklus die Prognosen mit hoher Auflösung, die Prognosen mit niedriger Auflösung und ihre Wahrscheinlichkeiten für den aktuellen Zyklus und für einen oder mehrere der vorherigen Zyklen analysieren, um für zumindest einige der Akteure mit hoher Priorität hochauflösende Gesamtprognosen und für zumindest einige der Akteure mit niedriger Priorität niedrigauflösende Gesamtprognosen zu ermitteln.
In einigen Ausführungsformen kann das System beim Generieren der hochauflösenden Prognose für einen Akteur mit hoher Priorität eine pfadbeeinflussende Eigenschaft einer Szene erkennen, in der sich der Akteur mit hoher Priorität bewegt. Das pfadbeeinflussende Merkmal ist ein Merkmal, das den Akteur dazu veranlassen kann, seinen Reiseweg oder -pfad zu ändern. Das System wird dann die pfadbeeinflussende Eigenschaft verwenden, um mögliche hochauflösende Prognosen zu ermitteln, von denen zumindest einige unterschiedliche Trajektorien verfolgen. Für jeden der Akteure mit niedriger Priorität verwendet das System jedoch keine pfadbeeinflussenden Eigenschaften der Szene, in der sich der Akteur mit niedriger Priorität bewegt, um die Prognose mit niedriger Auflösung zu bestimmen.
In einigen Ausführungsformen kann das Wahrnehmungssystem vor der Zuweisung der Prioritätsbewertungen zu den erkannten Akteuren ein Zeitbudget identifizieren, das die Gesamtzeit darstellt, die zur Erstellung von Prognosen für alle erkannten Akteure zur Verfügung steht. Das System bestimmt außerdem eine erste Zeitspanne, die der Zeit entspricht, die zum Generieren der Prognosen mit niedriger Priorität erforderlich ist. Anschließend wird eine zweite Zeitspanne ermittelt, die der Zeit entspricht, die für die Erstellung der Prognosen mit hoher Priorität zur Verfügung steht, und zwar durch Subtrahieren der ersten Zeitspanne von der insgesamt verfügbaren Zeitspanne. Das System ermittelt die Anzahl der Prognosen mit hoher Priorität, die während der zweiten Zeitspanne generiert werden können. Wenn dann den erkannten Akteuren die Prioritätsbewertungen zugewiesen werden, weist das System bis zu dieser Anzahl der erkannten Akteure hohe Prioritätsbewertungen zu und weist allen übrigen erkannten Akteuren niedrige Prioritätsbewertungen zu. Um die erste Zeitspanne zu bestimmen, kann das System optional die Zeit ermitteln, die erforderlich ist, um Prognosen mit niedriger Priorität für alle erkannten Akteure zu erstellen.
In einigen Ausführungsformen kann die Erstellung der Prognosen für die erkannten Akteure die Erstellung von Prognosen mit niedriger Auflösung für alle erkannten Akteure umfassen, bevor Prognosen mit hoher Auflösung für einen oder mehrere der Akteure mit hoher Priorität erstellt werden. Wenn dies der Fall ist, kann das Prognosesystem, bevor das Bewegungsplanungssystem die vorhergesagten Aktionen verwendet, um die ausgewählte Trajektorie für das autonome Fahrzeug zu bestimmen, feststellen, ob das Prognosesystem tatsächlich hochauflösende Prognosen für alle Akteure mit hoher Priorität erstellt hat, und es kann das Bewegungsplanungssystem benachrichtigen, wenn das Prognosesystem nicht für alle Akteure mit hoher Priorität hochauflösende Prognosen generiert hat.
Wenn das Bewegungsplanungssystem mindestens einige der hochauflösenden Kandidatenprognosen verwendet, um die Trajektorie für das autonome Fahrzeug zu bestimmen, kann das System optional bestimmen, welche der hochauflösenden Kandidatenprognosen für einen Bewegungsplanungsvorgang des autonomen Fahrzeugs relevant sind. Wenn dann die ausgewählte Trajektorie für das autonome Fahrzeug bestimmt wird, verwendet das System möglicherweise die hochauflösenden Kandidatenprognosen, die für den Bewegungsplanungsvorgang relevant sind, und verwendet möglicherweise keine der hochauflösenden Kandidatenprognosen, die für die Bewegungsplanungsvorgang nicht relevant sind.
In einigen Ausführungsformen kann das System zum Zuweisen der Prioritätsbewertung zu jedem erkannten Akteur eine Geschwindigkeit des erkannten Akteurs schätzen und die geschätzte Geschwindigkeit des erkannten Akteurs verwenden und eine Geschwindigkeit des autonomen Fahrzeugs verwenden, um zu ermitteln, ob der erkannte Akteur das autonome Fahrzeug innerhalb eines Zeithorizonts erreichen kann. Wenn der erkannte Akteur das autonome Fahrzeug nicht innerhalb des Zeithorizonts erreichen kann, kann das System feststellen, dass der erkannte Akteur ein Akteur mit niedriger Priorität ist, andernfalls kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
In einigen Ausführungsformen kann das System zum Zuweisen der Prioritätsbewertung zu jedem erkannten Akteur einen Interessenbereich bestimmen, den das autonome Fahrzeug umgibt, und es kann beurteilen, ob sich der erkannte Akteur innerhalb des Interessenbereichs befindet. Wenn sich der erkannte Akteur nicht innerhalb des Interessenbereichs befindet, kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit niedriger Priorität ist, andernfalls kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
In einigen Ausführungsformen kann das System zum Zuweisen der Prioritätseinstufung zu jedem erkannten Akteur einen ersten Weg identifizieren, auf dem der erkannte Akteur fährt, und einen zweiten Weg, auf dem das autonome Fahrzeug fährt. Das System kann beurteilen, ob der erste Weg möglicherweise mit dem zweiten Weg innerhalb eines Interessenbereichs in Konflikt steht. Wenn der erste Weg innerhalb des Interessenbereichs nicht mit dem zweiten Weg in Konflikt steht, kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit niedriger Priorität ist, andernfalls kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
Optional kann in der oben beschriebenen Ausführungsform der zweite Weg eine Straße sein, entlang der das autonome Fahrzeug fährt. Wenn dies zutrifft, kann die Beurteilung, ob der erste Weg mit dem zweiten Weg in Konflikt geraten könnte, die Beurteilung umfassen, dass der erste Weg mit dem zweiten Weg in Konflikt geraten könnte, wenn eines der folgenden Merkmale vorliegt: (a) Der erste Weg ist ein Fahrspurabschnitt, der die Straße innerhalb des Interessenbereichs kreuzt; (b) der erste Weg ist ein Zebrastreifen, der die Straße innerhalb des Interessenbereichs kreuzt; oder (c) der erste Weg ist ein Fahrspurabschnitt der Straße und weist eine Sollrichtung auf, die einer Fahrtrichtung des autonomen Fahrzeugs entspricht. Alternativ oder zusätzlich kann das System zur Beurteilung, ob der erste Weg möglicherweise mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt steht, bestimmen, dass der erste Weg nicht mit dem zweiten Weg in Konflikt gerät, wenn der erste Weg ein Fahrspursegment ist, das von diesem durch eine physische Barriere abgetrennt ist. Alternativ oder zusätzlich kann das System zur Beurteilung, ob der erste Weg möglicherweise mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt steht, bestimmen, dass der erste Weg nicht mit dem zweiten Weg in Konflikt steht, wenn: (a) der erste Weg und der zweite Weg die gleiche Straße darstellen; und (b) der andere Akteur sich hinter dem autonomen Fahrzeug befindet und sich in die gleiche Richtung bewegt, jedoch mit einer geringeren Geschwindigkeit als das autonome Fahrzeug.
KURZE BESCHREIBUNG DER ZEICHNUNGEN

1 veranschaulicht, wie ein autonomes Fahrzeug verschiedene andere Akteure in einer Umgebung wahrnehmen kann, in der sich das Fahrzeug bewegt oder bewegen wird.
2 veranschaulicht einen beispielhaften Priorisierungsprozess für erkannte Akteure.
3 veranschaulicht einen beispielhaften Prozess, durch den einem anderen Akteur eine hohe oder eine niedrige Priorität zugewiesen werden kann.
4 veranschaulicht einen weiteren beispielhaften Prozess, durch den einem anderen Akteur eine hohe oder eine niedrige Priorität zugewiesen werden kann.
Die 5A-5C veranschaulichen einen Beispielprozess zum Ableiten möglicher Absichten eines Akteurs und zum Aktualisieren der Wahrscheinlichkeiten jeder Absicht im Zeitverlauf.
6 veranschaulicht zusätzliche Details zu bestimmten Schritten des Prozesses von 2.
7 ist ein Blockdiagramm, das verschiedene übergeordnete Systeme eines autonomen Fahrzeugs veranschaulicht.
8 zeigt Beispiele spezifischer Hardware, aus der die Systeme von 7 bestehen können.
9 ist ein Blockdiagramm, das verschiedene Elemente eines möglichen elektronischen Subsystems eines autonomen Fahrzeugs und/oder eines externen elektronischen Geräts veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Die in diesem Dokument verwendeten Singularformen „ein/eine/eines“, und „der/die/das“ sollen jeweils Pluralverweise einschließen, sofern der Kontext nicht eindeutig etwas anderes erfordert. Sofern nicht anders definiert, haben alle hier verwendeten technischen und wissenschaftlichen Begriffe die gleiche Bedeutung, wie sie von einem Fachmann allgemein verstanden wird. Wie in diesem Dokument verwendet, bedeutet der Begriff „umfassend“ „einschließlich, aber nicht beschränkt auf“. Definitionen für zusätzliche Begriffe, die für dieses Dokument relevant sind, finden sich am Ende dieser detaillierten Beschreibung.
Ein autonomes Fahrzeug (AV) muss in der Lage sein, die zukünftigen Trajektorien von Akteuren, die es in seiner Umgebung erkennt, vorherzusagen, um sichere und effiziente Verhaltensentscheidungen zu treffen. Bevor das AV die möglichen Trajektorien des Akteurs bestimmt, muss es eine Absicht des Akteurs ermitteln - d.h., was der übergeordnete Plan des Akteurs ist, unabhängig davon, wie der Akteur diesen Plan umsetzen kann. Die Wurzel aller Prognosen beginnt damit, die wahrscheinlichen Absichten des Handelnden abzuleiten und diese als eine Reihe möglicher Absichten zu speichern. Beispielabsichten (die man auch als Absichten oder Ziele bezeichnen kann) umfassen „die Straße überqueren“ (bei einem Fußgänger), „parken“ oder „rechts abbiegen“ (bei einem Fahrzeug) oder jede andere Anzahl möglicher übergeordneter („high-level“) Aktionen, die bei einem sich bewegender Akteur auf oder in der Nähe einer Straße auftreten können.
Dieses Dokument beschreibt neuartige Ansätze, mit denen ein AV die Absichten und Aktionen anderer erkannter Akteure vorhersagen kann, indem dieses ein Priorisierungsverfahren verwendet, das die Recheneffizienz und Verarbeitungszeit verbessert und gleichzeitig einige oder alle der vorhergesagten Aktionen zur Berücksichtigung in einem Bewegungsplanungsprozess beibehält.
Bevor die aktuellen Ansätze diskutiert werden, ist es sinnvoll zu beschreiben, wie ein AV einen Akteur in einer Umgebung wahrnehmen kann. 1 veranschaulicht ein beispielhaftes System 100, das ein Fahrzeug 102 umfasst, das teilautonom oder autonom eine Straße entlangfährt. Das Fahrzeug 102 kann ein AV sein. Das AV 102 kann ein Landfahrzeug (wie in 1 gezeigt), ein Flugzeug oder ein Wasserfahrzeug sein, ist aber nicht hierauf beschränkt.
Das AV 102 ist im Allgemeinen so konfiguriert, dass es andere Objekte - wie die Akteure 105, 114, 116 - innerhalb der Reichweite und des Erfassungsbereichs seiner Sensoren erkennt. Zu den Akteuren können beispielsweise ein anderes Fahrzeug 105, ein Zweiradfahrer 114 (z.B. ein Fahrer eines Fahrrads, eines Elektrorollers, eines Motorrads oder dergleichen) und/oder ein Fußgänger 116 gehören. Diese Objekterkennung kann beispielsweise durch die Analyse von Sensordaten erfolgen, die von mindestens einem Sensorgerät am AV 102 generiert werden, und/oder von Informationen über das Objekt, die von einem Kommunikationsgerät (z.B. einem Transceiver, einem Beacon und/oder einem Smartphone) über die Kommunikationsverbindung(en) 150, 152, 154 empfangen werden. Die Kommunikationsverbindung(en) 150, 152, 154 können V2X-Kommunikationsverbindungen umfassen, sind aber nicht hierauf beschränkt. Der Begriff „V2X“ bezieht sich auf eine Kommunikation zwischen einem Fahrzeug und einer beliebigen Entität, die das Fahrzeug beeinflussen oder von ihm beeinflusst werden kann.
Wenn eine solche Erkennung erfolgt, führt das AV 102 Operationen aus, um: eine oder mehrere mögliche Akteursbahnen (oder vorhergesagte Bewegungspfade) für den erkannten Akteur zu generieren; und mindestens eine der generierten möglichen Objekttrajektorien (oder vorhergesagten Bewegungspfade) zu verwenden, um eine Bestimmung einer Fahrzeugtrajektorie für das AV zu erleichtern. Das AV 102 kann dann Operationen durchführen, um der Fahrzeugtrajektorie zu folgen.
In einigen Szenarien führt das AV 102 zusätzliche Vorgänge durch, um zu bestimmen, ob ein unerwünschtes Risiko besteht, dass das AV innerhalb einer Schwellenzeitspanne (z.B. 1 Minute) in eine Schwellenentfernung zum Akteur kommt. Wenn ja, führt das AV 102 Operationen aus, um zu bestimmen, ob diese Situation vermieden werden kann, wenn das AV 102 der Fahrzeugtrajektorie folgt und das AV eines von mehreren dynamisch generierten Notfallmanövern in einem definierten Zeitraum (z.B. N Millisekunden) durchführt. Wenn die Situation vermieden werden kann, ergreift das AV 102 keine Maßnahmen oder führt optional ein Vorsichtsmanöver durch (beispielsweise kann das AV 102 leicht verlangsamt werden). Lässt sich die Situation hingegen nicht vermeiden, führt das AV 102 sofort ein Notmanöver durch (z.B. Bremsen und/oder ein Fahrtrichtungswechsel).
In einigen Ausführungsformen kann das AV einen Datenspeicher mit einer Reihe von Zielen umfassen oder mit diesem kommunizieren, der verschiedenen Klassen von Akteuren zugewiesen werden kann. Beispielsweise kann der Datensatz Daten enthalten, die darauf hinweisen, dass eine Fahrzeugklasse von Akteuren mit Zielen verbunden sein kann, die Folgendes umfassen: (i) Spurverfolgung (d.h. die Absicht, kartierten Spuren in der Umgebung zu folgen); (ii) ein nicht kartiertes Manöver (z.B. K-Turns oder Dreipunktwenden, illegale Kehrtwendungen oder ein Einbiegen in ein Parkhaus); (iii) geparkt oder geparkt; und/oder (iv) Blockierung der Fahrspur (z.B. durch Doppelparken oder anderweitiges Anhalten und zumindest teilweises Blockieren einer Fahrspur). Der Datensatz kann darauf hinweisen, dass eine Fußgängerklasse von Akteuren mit Zielen wie dem Überqueren einer Straße auf einem Zebrastreifen, dem unachtsamen bzw. irregulären Überqueren einer Straße („jaywalking“), dem Einsteigen in ein geparktes Fahrzeug oder anderen Zielen verbunden sein kann.
2 zeigt beispielhafte Schritte eines Verfahrens, mit dem ein AV Laufzeitpriorisierungsbewertungen anderer Akteure vornehmen kann, denen das AV begegnet, während er sich in seiner Umgebung bewegt. Bei 201 wird das Wahrnehmungssystem des AV mehrere andere Akteure erkennen und dabei Verfahren wie die oben und unten besprochenen verwenden. Bei 202 verarbeitet das Wahrnehmungssystem des AV die von ihm gesammelten Daten, um eine Klasse des Akteurs zu bestimmen, wie z.B. Fahrzeug, Fußgänger usw., wiederum unter Verwendung von Verfahren wie den oben und unten besprochenen. Bei 203 kann das Wahrnehmungssystem des AV ein Zeitbudget t_Budget bestimmen, das die verfügbare Zeit zum Erstellen von Prognosen für erkannte Akteure in einer Umgebung darstellt, und es kann bestimmen, wie viel von diesem Budget für hochauflösende Prognosen verfügbar ist. Das Zeitbudget kann eine feste Zahl oder eine Variable sein, die je nach Bedarf geändert wird, anhand von Faktoren wie der Art der Umgebung (Beispiel: Stadt vs. Land), der Geschwindigkeit der AV-Fahrt, anhand von Merkmalen der Trajektorie des AV (Beispiel: Kreuzung vs. offene Straße) oder anhand von anderen Parametern. Auf diese Festlegung, wie viel von diesem Budget für hochauflösende Prognosen zur Verfügung steht, wird weiter unten näher eingegangen. Bei 204 weist das Wahrnehmungssystem jedem erkannten Akteur eine Prioritätsbewertung zu. Bei den Prioritätsbewertungen handelt es sich entweder um eine Akteursbewertung mit hoher Priorität oder eine Akteursbewertung mit niedriger Priorität. Die Prioritätseinstufungen können auch verschiedene Stufen (d.h. Unterstufen) innerhalb dieser allgemeinen Kategorien umfassen, aber jede dieser Stufen fällt in eine dieser beiden Kategorien.
Das System kann die Prioritätsbewertung als binäre Entscheidung zuweisen - d.h., es kann bestimmen, dass der Akteur ein Akteur mit hoher Priorität ist, wenn er eines der unten diskutierten Kriterien für Bewertungen mit hoher Priorität erfüllt. Alternativ kann das System eine Regel oder eine Bewertungsfunktion verwenden, die einige oder alle der unten diskutierten Kriterien und/oder andere Kriterien berücksichtigt. Optional kann die Funktion variieren, je nachdem, wie viele Akteure erkannt werden und wie viel Verarbeitungszeit zur Verfügung steht, wie weiter unten erläutert wird.
Beispielsweise kann das Wahrnehmungssystem des Systems bei der Zuweisung der Prioritätsbewertung eine Geschwindigkeit des erkannten Akteurs schätzen. Die geschätzte Geschwindigkeit kann aus Daten bemessen werden, die vom LiDAR-System, Kameras oder anderen Sensoren des AV erfasst werden. Alternativ kann das System die Geschwindigkeit des Akteurs als gleich oder als Funktion einer angegebenen Geschwindigkeitsbegrenzung auf der Straße schätzen (wie aus Kartendaten oder Kameradaten erkannt) - beispielsweise kann die geschätzte Geschwindigkeit eines auf einer Straße fahrenden Fahrzeugs als die angegebene Geschwindigkeitsbegrenzung auf der Straße angenommen werden. Als weitere Alternative kann das System die Geschwindigkeit des Fahrzeugs schätzen, indem es ein physikbasiertes Bewegungsmodell verwendet und die Geschwindigkeit im ungünstigsten Fall unter Verwendung der höchsten physikalisch möglichen Geschwindigkeit für den erkannten Objekttyp schätzt. In jeder dieser Situationen kann das System dann die geschätzte Geschwindigkeit des erkannten Akteurs und eine Geschwindigkeit des AV (wie von den Bordsystemen des AV gemeldet) verwenden, um zu messen, ob der erkannte Akteur das AV innerhalb eines Zeithorizonts erreichen kann, vorausgesetzt, dass der andere Akteur und das AV seine Geschwindigkeiten beibehalten. Wenn der andere Akteur das AV nicht innerhalb des Zeithorizonts erreichen kann, kann das System dem anderen Akteur eine niedrige Priorität zuweisen; andernfalls weist das System dem anderen Akteur möglicherweise eine hohe Priorität zu. Beispielsweise kann das System die Grundgleichung D(istance bzw. Entfernung) = V(elocity bzw. Geschwindigkeit) * T(ime bzw. Zeit) für das AV und den Akteur verwenden, um zu bestimmen, wann der Akteur das AV einholen wird.
Ein weiteres Beispiel für die Zuweisung von Prioritätsbewertungen wird in 3 dargestellt. Gemäß 3 kann das System einen Interessenbereich (Region of Interest, ROI) 305 bestimmen, den das AV 301 umgibt. Der ROI 305 kann, wie gezeigt, einfacherweise ein Kreis sein, der durch einen Radius mit einem bestimmten Abstand um das AV 301 herum gebildet wird, oder er kann eine andere Form, wie etwa ein Oval oder Rechteck, mit Abmessungen aufweisen, die als Funktion der Grenzen der Straße bestimmt werden, auf der das AV 301 unterwegs ist, als Funktion der AV-Geschwindigkeit und/oder anderer Funktionen. Das System kann beurteilen, ob der erkannte Akteur 302 innerhalb des ROI 305 liegt. Wenn der erkannte Akteur 302 nicht innerhalb des ROI 305 liegt, kann das System dem erkannten Akteur 302 eine niedrige Prioritätsbewertung zuweisen. Ansonsten, wie in 3 gezeigt, in der sich der andere Akteur 302 innerhalb des ROI 305 befindet, kann das System feststellen, dass der erkannte Akteur 302 ein Akteur mit hoher Priorität sein könnte, was die endgültige Entscheidung des Systems darstellen kann, oder einfach einen Faktor darstellen kann, der den Akteur 302 zu einem Kandidaten mit hoher Priorität machen kann.
Ein weiteres Beispiel für einen Prioritätsbewertungsprozess betrachtet einen anderen Akteur je nach Straßentopologie und insbesondere abhängig von den Fahrspursegmenten, auf denen das AV und der andere Akteur unterwegs sind, als hochprioritär oder niedrigprioritär. Wie zum Beispiel in 4 gezeigt, bewegt sich das AV 401 (den man als einen ersten Akteur betrachten kann) entlang eines ersten Wegs 409. Ein zweiter Akteur 402 bewegt sich entlang eines zweiten Wegs 406 und ein dritter Akteur 412 bewegt sich entlang eines dritten Wegs 412. Da der erste Weg 409 und der zweite Weg 406 innerhalb des in 4 dargestellten Interessenbereichs in Konflikt geraten können, kann das System, wie in 4 gezeigt, dem zweiten Akteur 402 eine hohe Priorität zuweisen. Da andererseits der erste Weg 409 und der dritte Weg 416 innerhalb des in 4 dargestellten Interessenbereichs nicht in Konflikt stehen, kann das System dem dritten Akteur 412 eine niedrige Priorität zuweisen, wie ebenfalls in 4 gezeigt.
Das System kann zusätzlich zu den in 4 dargestellten Merkmalen oder als Variationen davon weitere Merkmale berücksichtigen; beispielsweise:

- Wenn der andere Akteur auf einem Weg unterwegs ist, der einen Fahrspurabschnitt umfasst, der die Straße des AV innerhalb des Interessenbereichs schneidet, kann das System dem anderen Akteur eine hohe Priorität zuweisen;
- Wenn der andere Akteur ein Fußgänger ist und/oder der andere Akteur auf einem Zebrastreifen unterwegs ist, der die Straße innerhalb des Interessenbereichs kreuzt, kann das System dem anderen Akteur möglicherweise eine hohe Priorität zuweisen, insbesondere, wenn sich der andere Akteur auf die Fahrspur des AV zubewegt (und nicht von dieser weg);
- Wenn der andere Akteur auf einem Fahrspurabschnitt der Straße fährt, auf dem sich das AV befindet, und die nominelle Richtung des Fahrspurabschnitts mit der Fahrtrichtung des AV übereinstimmt, kann das System dem anderen Akteur eine hohe Priorität zuweisen;
- Wenn der andere Akteur auf einem Fahrspurabschnitt fährt, der keinen befahrbaren Bereich mit dem AV teilt (z.B., wenn der andere Akteur durch eine physische Barriere von der Fahrspur des AV getrennt ist), kann das System dem anderen Akteur eine niedrige Priorität zuweisen; und/oder
- Wenn sich der andere Akteur hinter dem AV und auf derselben Spur wie das AV befindet und sich in die gleiche Richtung wie das AV bewegt, jedoch mit einer geringeren Geschwindigkeit als das AV, weist das System dem anderen Akteur möglicherweise eine niedrige Priorität zu.

Vor oder nach der Zuweisung der Prioritätsbewertungen zu den erkannten Akteuren kann das System dann, wie oben in Schritt 203 erwähnt, bestimmen, wie viele der erkannten Akteure mit hoher Priorität verarbeitet werden können und wie viele mit niedriger Priorität verarbeitet werden müssen. Hierzu kann das System eine Berechnung der Gesamtzahl N der in der Szene erkannten Akteure durchführen, und es kann die verfügbare Zeit (t_HF) ermitteln, um Prognosen mit hoher Wiedergabetreue (d.h. hoher Auflösung) für eine Teilmenge der erkannten Akteure zu verarbeiten, indem (i) das System die erforderliche Zeit identifiziert, um Prognosen mit niedriger Wiedergabetreue (d.h. niedriger Auflösung) für alle N Akteure (N * t_LF) zu erstellen und (ii) diese Zeit von der Gesamtzeit, die für die Prognose t_Budget zur Verfügung steht, subtrahiert. Der Teil des Zeitbudgets t_Budget, der nach Abschluss aller Niedrigprioritäts-Prognosen verbleibt, steht dann für Hochfrequenzprognosen zur Verfügung: t_HF = t_Budget - N * t_LF. Das System kann dann die für hochauflösende Prognosen verfügbare Zeit t_HF durch die für jede hochauflösende Vorhersage erwartete Zeit dividieren, um eine maximale Anzahl von Akteuren N_hp-max zu erhalten, die als Akteure mit hoher Priorität klassifiziert werden können (wie weiter unten beschrieben wird, handelt es sich bei der für jede hochauflösende Prognose „erwarteten“ Zeit jedoch nicht unbedingt um ein Budget oder eine Einschränkung, sondern um eine geschätzte Zeit, die üblicherweise für hochauflösende Prognosen erwartet wird). Alternativ kann das System die maximale Anzahl an Akteuren N_hp-max als Anzahl der Akteure verwenden, die mit hochauflösenden Prognosen verarbeitet werden können. In beiden Fällen kann das System dann entweder Prognosen mit hoher Auflösung oder Prognosen mit niedriger Auflösung für alle erkannten Akteure innerhalb des Zeitbudgets t_Budget verarbeiten. Beim Zuweisen der Prioritätsbewertungen zu den erkannten Akteuren kann das System dann bis zu N_hp-max der erkannten Akteure hohe Prioritätsbewertungen zuweisen und den übrigen erkannten Akteuren niedrige Prioritätsbewertungen zuweisen.
Zurückkommend auf 2: Da sich die Szene, die das Wahrnehmungssystem des AV sieht, ständig ändert, sammelt das System weiterhin Daten wie die oben beschriebenen und weist über mehrere Zyklen hinweg Prioritätsbewertungen zu. In jedem Zyklus wählt das System bei 205 den jeweiligen Akteur aus, und bestimmt für jeden Akteur bei 206, ob die Prioritätsbewertung des Akteurs über einem Schwellenwert liegt oder nicht. Falls das Zeitbudget t_Budget verwendet wird, um zu bestimmen, wie viele Akteure mit hoher Priorität eingestuft werden könnten, dann kann der Schwellenwert einfach ein binärer Wert sein zur Beurteilung, ob der Akteur als hochprioritär oder niedrigprioritär eingestuft wird. Wenn das Zeitbudget t_Budget nicht verwendet wird, um zu bestimmen, wie viele Akteure als hochprioritär eingestuft werden könnten, dann könnte der Schwellenwert ein numerischer, stufenbasierter oder klassenbasierter Schwellenwert sein, in den nur diejenigen Akteure mit hoher Priorität gelangen, die den Schwellenwert für Prognosen mit hoher Auflösung überschreiten, während Akteure mit nicht ganz so hoher Priorität (d.h. solche unterhalb des Schwellenwerts) Prognosen mit niedriger Auflösung erhalten.
Das System generiert dann Kandidatenprognosen für jeden der erkannten Akteure, indem es (bei 207) für jeden Akteur mit hoher Priorität eine oder mehrere Kandidatenprognosen mit hoher Auflösung generiert und für jeden Akteur mit niedriger Priorität eine Kandidatenprognose mit niedriger Auflösung generiert (bei 208). Optional kann das System Prognosen mit niedriger Auflösung für alle Akteure erstellen, unabhängig von der Priorität, bevor es dann die Prognosen mit hoher Priorität erstellt. In jedem Fall werden Akteure mit niedriger Priorität nicht ignoriert und alle Akteure erhalten möglicherweise mindestens eine Prognose. Auch wenn von Akteuren mit niedriger Priorität möglicherweise nicht erwartet wird, dass sie mit dem AV interagieren, generiert das System dennoch mindestens eine Kandidatenprognose mit niedriger Auflösung für jeden Akteur mit niedriger Priorität.
"Hohe Auflösung" vs. „niedrige Auflösung“ bedeutet, dass Prognosen mit hoher Auflösung voraussichtlich präziser sind als Prognosen mit niedriger Auflösung. Dies liegt daran, dass Prognosen mit hoher Auflösung dynamischere Eingaben und/oder komplexere Modelle berücksichtigen als Prognosen mit niedriger Auflösung. Darüber hinaus können Prognosen mit niedriger Auflösung innerhalb fester Zeitbudgets mithilfe zeitdeterministischer Prognosemodelle erstellt werden, die nicht von dynamischen Eingaben wie der Spurgeometrie abhängen. Im Gegensatz dazu unterliegen hochauflösende Prognosen nicht unbedingt einem Zeitbudget und berücksichtigen die Spurgeometrie und/oder andere sich dynamisch ändernde Eingaben von Fahrzeugsensoren. Wenn beispielsweise hochauflösende Prognosen für einen Akteur mit hoher Priorität erstellt werden, kann das System eine oder mehrere pfadbeeinflussende Eigenschaften einer Szene erkennen, in der sich der Akteur mit hoher Priorität bewegt. Bei den pfadbeeinflussenden Merkmalen handelt es sich um Merkmale, die dazu führen können, dass der Akteur seinen Weg ändert. Man stelle sich z.B. ein Fahrzeug vor, das sich einer Kreuzung nähert. Die abzweigende Straße an der Kreuzung kann dazu führen, dass das Fahrzeug weiterfährt oder seine Trajektorie ändert, indem es nach links oder rechts abbiegt. Hochauflösende Kandidatenprognosen können Prognosen für jede dieser möglichen Trajektorien umfassen. Bei einer Prognose mit niedriger Auflösung kann es sich um eine Prognose handeln, bei der davon ausgegangen wird, dass der Akteur weiterfährt, ohne an der Kreuzung abzubiegen, da die Prognose mit niedriger Auflösung unabhängig von dynamischen Eingaben wie dem Straßennetz an einem bestimmten Standort ist. Somit verwendet das System eine oder mehrere der pfadbeeinflussenden Eigenschaften der Szene, um die Prognosen mit hoher Auflösung zu bestimmen, es verwendet jedoch keine pfadbeeinflussenden Eigenschaften der Szene, um die Prognose mit niedriger Auflösung zu bestimmen.
Zurückkommend auf 2: Wenn das System bei 209 mehrere Kandidatenprognosen mit hoher und/oder niedriger Auflösung für einen der Akteure generiert, kann das System eine Wahrscheinlichkeit für jede der Kandidatenprognosen bewerten und bei 210 die Kandidatenprognosen und ihre Wahrscheinlichkeiten in einem Datenspeicher in Verbindung mit dem Akteur speichern, für den die Absichten generiert wurden. Wahrscheinlichkeiten können mithilfe jeder möglichen Bewertungsfunktion generiert werden, einschließlich - aber nicht beschränkt auf - binäre Wahrscheinlichkeiten (d.h. wahrscheinlich oder nicht), unter Verwendung von Kriterien, wie etwa, ob die Trajektorie zu einer plötzlichen Beschleunigung oder einer Verzögerung, einem plötzlichen Abbiegen oder einem Verstoß gegen eine Verkehrsregel führen würde. Weitere Verfahren werden weiter unten in Zusammenhang mit den 5A-5C erläutert.
Bei 213 wird dann ein Prognosesystem des autonomen Fahrzeugs mindestens einige der Kandidatenprognosen mit hoher Auflösung und mindestens einige der Kandidatenprognosen mit niedriger Auflösung verwenden, um Aktionen für die Akteure vorherzusagen, und bei 214 wird ein Bewegungsplanungssystem des Fahrzeugs die vorhergesagten Aktionen zur Bestimmung einer ausgewählten Trajektorie für das autonome Fahrzeug verwenden. Es können alle geeigneten Trajektorienplanungsprozesse verwendet werden, einschließlich, aber nicht beschränkt auf, diejenigen, die im Folgenden ausführlicher beschrieben werden.
Optional kann die Verwendung der vorhergesagten Aktionen zur Bestimmung der Trajektorie des AV die Bestimmung umfassen, welche Aktionen der Akteure für einen Bewegungsplanungsvorgang des AV relevant sind. Wenn zum Beispiel eine mögliche Prognose nicht mit dem Weg des AV während des Zeithorizonts unter irgendeiner realisierbaren vorhergesagten Trajektorie in Konflikt geraten kann, kann das System feststellen, dass die Aktion (oder der Akteur) für die Bewegungsplanungsvorgänge des AV nicht relevant ist. Wenn dann die ausgewählte Trajektorie für das autonome Fahrzeug bestimmt wird, berücksichtigt das System möglicherweise nur Kandidatenprognosen, die für den Bewegungsplanungsvorgang relevant sind, und verwendet nicht die Kandidatenprognosen, die für den Bewegungsplanungsvorgang nicht relevant sind.
Optional, wie in 2 bei 211 dargestellt, kann das Wahrnehmungssystem des AV, nachdem ein aktueller Zyklus abgeschlossen ist, die hochauflösenden Kandidatenprognosen für den aktuellen Zyklus und für einen oder mehrere der vorherigen Zyklen analysieren, um insgesamt hochauflösende Kandidatenprognosen für zumindest einige der Akteure mit hoher Priorität zu ermitteln. Bei 213 kann das System auch (oder alternativ) die Prognosen mit niedriger Auflösung für den aktuellen Zyklus und für einen oder mehrere der vorherigen Zyklen analysieren, um eine oder mehrere Gesamtprognosen mit niedriger Auflösung für zumindest einige der Akteure mit niedriger Priorität zu ermitteln. Wenn das System dann bei 214 Prognosen verwendet, um die ausgewählte Trajektorie für das autonome Fahrzeug zu beeinflussen, kann es zumindest einige der Gesamtprognosen mit hoher Auflösung und/oder niedriger Auflösung verwenden.
Optional kann das System, wie oben bei 209 erwähnt, Wahrscheinlichkeiten von Kandidatenprognosen ermitteln, indem es die Daten aus zusätzlichen Zyklen verwendet, um die Gesamtwahrscheinlichkeiten jeder Kandidatenprognose zu bestimmen und zu verfeinern. Beispielsweise veranschaulichen die 5A-5C den Fortschritt eines Akteurs 501 in Richtung verschiedener Ziele über mehrere Zeitzyklen hinweg. In 5A nähert sich der Akteur 501 zum Zeitpunkt t0 der Kandidatenspur und folgt dabei den Zielen 511 a und 511 b. Zunächst kann das System feststellen, dass Ziel 511a wahrscheinlicher ist als Ziel 511b, da sich das Fahrzeug derzeit auf der Spur von Ziel 511a befindet. Gemäß 5B hat der Akteur 501 zum Zeitpunkt t1, weiterhin auf derselben Spur, Ziel 511a, keine Spurwechselabsicht signalisiert und befindet sich in einer Position, bei der die Dynamik eines Spurwechsels zum Erreichen von Ziel 511b zu einer plötzlichen, harten Bewegung führen würde. In Anbetracht einiger oder aller dieser Faktoren erhöht das System den Wert der Wahrscheinlichkeit des Ziels 511a und verringert entsprechend die Wahrscheinlichkeit für das Ziel 511b. In 5C hat das Fahrzeug zum Zeitpunkt t2 das Ende der Spur erreicht, die dem Ziel 511a entspricht, sodass das System dann einen nächsten Satz von Zielen in Betracht zieht, zu denen ein Linksabbiegeziel 512a und/oder ein Parkziel 512b gehören können. Darüber hinaus zeigen die 5A und 5B, dass bei dem Inbetrachtziehen relative Wahrscheinlichkeiten mehrerer Zielsätze 511a-b und 512a-b berücksichtigt werden können und die relativen Wahrscheinlichkeiten jedes Ziels innerhalb des Satzes berücksichtigt werden können, bevor der Akteur 501 eines der Ziele innerhalb eines Satzes erreicht oder Bewegungen ausführt, die Ziele in einem Satz unmöglich machen.
Wiederum zurückkommend auf 2 wird bei 213 ein Bewegungsplanungssystem des autonomen Fahrzeugs eine oder mehrere der vorhergesagten Akteursaktionen verwenden, um eine ausgewählte Trajektorie für das autonome Fahrzeug zu beeinflussen. Beispielsweise kann das AV, wie oben beschrieben, einen geplanten Weg vermeiden oder ändern, der wahrscheinlich mit einer Trajektorie des Akteurs in Konflikt gerät, die mit einem Ziel verbunden ist, dessen Wahrscheinlichkeit einen Schwellenwert überschreitet. Wenn das Fahrzeug optional mit einer bordeigenen Anzeigevorrichtung ausgestattet ist, können die Ziele für diesen Akteur, deren Wahrscheinlichkeit einen Schwellenwert überschreitet, oder die wahrscheinlichsten Ziele für den Akteur auf dem Display zur Betrachtung durch einen Fahrzeugführer ausgegeben werden.
Optional kann das System bei 215 feststellen, ob alle hochauflösenden Prognosen abgeschlossen wurden. Wenn beispielsweise das Zeitbudget des Systems erwarten ließ, dass N hochprioritäre Akteure Prognosen mit hoher Priorität erhalten würden, die Umstände das System jedoch daran hinderten, hochauflösende Prognosen für alle N Akteure mit hoher Priorität zu erstellen, dann kann das Prognosesystem bei 215 das Bewegungsplanungssystem dahingehend benachrichtigen, damit das Bewegungsplanungssystem dies berücksichtigen kann, wenn es seine Trajektorie plant oder andere Maßnahmen ergreift, z.B. anzuhalten oder einer konservativeren Trajektorie zu folgen, und dabei die verfügbaren Prognosen mit niedriger und (falls vorhanden) hoher Priorität verwendet. Als weiteres Beispiel: Wenn das System X Akteure als hochpriorisierte Akteure klassifiziert hat, das Zeitbudget jedoch nur eine hochauflösende Verarbeitung einer Teilmenge der X hochpriorisierten Akteure erlaubt, dann kann das Prognosesystem bei 215 das Bewegungsplanungssystem entsprechend in ähnlicher Weise benachrichtigen.
6 veranschaulicht ein weiteres Beispiel dafür, wie das Bewegungsplanungssystem des AV eine oder mehrere der Kandidatenprognosen und ihre Wahrscheinlichkeiten verwenden kann, um eine ausgewählte Trajektorie für das autonome Fahrzeug zu beeinflussen (Schritt 209). Bei 612 kann das System zunächst Kandidatenprognosen herausfiltern, deren Wahrscheinlichkeiten unter einem Schwellenwert liegen, sodass der nächste Schritt nur für Kandidatenprognosen mit relativ hohen Wahrscheinlichkeiten durchgeführt wird. Bei 613 prognostiziert das Prognosesystem für zumindest einige der Kandidatenprognosen eine zukünftige Modalität (d.h. ein nachfolgendes Ziel, das der Akteur nach Erreichen des aktuellen Ziels haben könnte) und weist jeder prognostizierten zukünftigen Modalität eine Wahrscheinlichkeit zu. Bei 614 kann das Prognosesystem eine zukünftige Modalität mit relativ hoher Wahrscheinlichkeit auswählen, bei 615 kann das System eine Trajektorie auswählen, die sowohl mit der aktuellen abgeleiteten Absicht als auch mit mehreren der prognostizierten Modalitäten übereinstimmt, deren Wahrscheinlichkeit einen Schwellenwert überschreitet.
Einige Ziele können im Laufe der Zeit als einander ausschließend angesehen werden, beispielsweise ein Spurwechselziel und ein nominales Spurziel. In solchen Situationen kann es sinnvoll sein, dass das System die Wahrscheinlichkeiten mithilfe eines Multiclass-Hidden-Markov-Modells (HMM) gemeinsam verfolgt. Alternativ kann das System einzelne binäre HMMs einzeln oder in Kombination mit einem Multiklassen-HMM mit mehreren Evidenzquellen bewerten und anpassen.
7 zeigt einen allgemeinen Überblick über AV-Subsysteme, die für die obige Diskussion relevant sein könnten. Spezifische Komponenten innerhalb solcher Systeme werden in der Diskussion von 8 weiter unten in diesem Dokument beschrieben. Bestimmte Komponenten der Subsysteme können in Prozessorhardware und computerlesbaren Programmieranweisungen enthalten sein, die Teil des Bordcomputersystems 701 des AV sind. Die Subsysteme können ein Wahrnehmungssystem 702 umfassen, das Sensoren umfasst, die Informationen über sich bewegende Akteure und andere Objekte erfassen, die sich in der unmittelbaren Umgebung des Fahrzeugs befinden. Beispiele für Sensoren sind Kameras, LiDAR-Sensoren und Radarsensoren. Die von solchen Sensoren erfassten Daten (z.B. digitale Bilder, LiDAR-Punktwolkendaten oder Radardaten) werden als Wahrnehmungsdaten bezeichnet.
Das Wahrnehmungssystem kann einen oder mehrere Prozessoren und einen computerlesbaren Speicher mit Programmieranweisungen und/oder trainierten Modellen der künstlichen Intelligenz umfassen, die während einer Fahrt des AV die Wahrnehmungsdaten verarbeiten, um Objekte zu identifizieren und jedem in einer Szene erkannten Objekt Kategoriebezeichnungen und eindeutige Identifikatoren zuzuweisen. Kategoriebezeichnungen können Kategorien wie Fahrzeug, Zweiradfahrer, Fußgänger, Gebäude od. dgl. umfassen. Verfahren zum Identifizieren von Objekten und zum Zuweisen von Kategoriebezeichnungen zu Objekten sind im Stand der Technik wohlbekannt, und es kann jeder geeignete Klassifizierungsprozess verwendet werden, beispielsweise solche, die Bounding-Box-Vorhersagen für erkannte Objekte in einer Szene erstellen und Faltungs-Neuronale Netzwerke oder andere Computer-Visions-Modelle verwenden . Einige dieser Prozesse werden in Yurtsever et al, „A Survey of Autonomous Driving: Common Practices and Emerging Technologies“, veröffentlicht in IEEE Access, April 2020, beschrieben.
Das Wahrnehmungssystem 702 des Fahrzeugs kann Wahrnehmungsdaten an das Prognosesystem 703 des Fahrzeugs liefern. Das Prognosesystem (das auch als Vorhersagesystem bezeichnet werden kann) umfasst Prozessoren und computerlesbare Programmieranweisungen, die so konfiguriert sind, dass sie vom Wahrnehmungssystem empfangene Daten verarbeiten und Aktionen anderer Akteure vorhersagen, die das Wahrnehmungssystem erkennt. Eine typische Prognose ist eine Trajektorie, alternativ kann es sich aber auch um eine Prognose dergestalt handeln, dass der Akteur ruhig verharren wird. Die Prognose kann auch andere Parameter umfassen, die die Aktionen widerspiegeln, die der Akteur möglicherweise ebenfalls durchführt.
Das Wahrnehmungssystem des Fahrzeugs sowie das Prognosesystem des Fahrzeugs liefern Daten und Informationen an das Bewegungsplanungssystem 704 und das Steuerungssystem 705 des Fahrzeugs, so dass die empfangenden Systeme solche Daten auswerten und eine beliebige Anzahl reaktiver Bewegungen auf diese Daten einleiten können. Das Bewegungsplanungssystem 704 und das Steuerungssystem 705 umfassen und/oder teilen sich einen oder mehrere Prozessoren und computerlesbare Programmieranweisungen, die dazu konfiguriert sind, von den anderen Systemen empfangene Daten zu verarbeiten, eine Trajektorie für das Fahrzeug zu bestimmen und Befehle an die Fahrzeughardware auszugeben Bewegen Sie das Fahrzeug entsprechend der ermittelten Trajektorie. Zu den Aktionen, die solche Befehle auslösen können, gehören beispielsweise die Aktivierung des Bremssteuerungssystems des Fahrzeugs, die Veranlassung des Beschleunigungssteuerungssubsystems des Fahrzeugs, die Geschwindigkeit des Fahrzeugs zu erhöhen, oder die Veranlassung des Lenksteuerungssubsystems des Fahrzeugs, das Fahrzeug in eine Kurve zu lenken. Verschiedene Bewegungsplanungstechniken sind bekannt, beispielsweise wie in Gonzalez et al., „A Review of Motion Planning Techniques for Automated Vehicles", veröffentlicht in IEEE Transactions on Intelligent Transportation Systems, Bd. 17, Nr. 4 (April 2016) beschrieben.
Während des Einsatzes des AV empfängt das AV Wahrnehmungsdaten von einem oder mehreren Sensoren des Wahrnehmungssystems des AV. Die Wahrnehmungsdaten können Daten umfassen, die für ein oder mehrere Objekte in der Umgebung repräsentativ sind. Das Wahrnehmungssystem verarbeitet die Daten, um Objekte zu identifizieren und jedem in einer Szene erkannten Objekt kategorische Bezeichnungen und eindeutige Kennungen zuzuweisen.
8 veranschaulicht eine beispielhafte Systemarchitektur 899 für ein Fahrzeug, beispielsweise ein AV. Das Fahrzeug umfasst einen Motor oder Motor 802 sowie verschiedene Sensoren zum Messen verschiedener Parameter des Fahrzeugs und/oder seiner Umgebung. Zu den Betriebsparametersensoren, die beiden Fahrzeugtypen gemeinsam sind, gehören beispielsweise: ein Positionssensor 836 - wie ein Beschleunigungsmesser, ein Gyroskop und/oder eine Trägheitsmesseinheit -; ein Geschwindigkeitssensor 838; und ein Kilometerzählersensor 840. Das Fahrzeug kann auch über eine Uhr oder einen Zeitgeber 842 verfügen, die bzw. den das System verwendet, um die Fahrzeugzeit während des Betriebs zu bestimmen. Die Uhr bzw. der Zeitgeber 842 kann im Bordrechner des Fahrzeugs codiert sein, es kann sich um ein separates Gerät handeln oder es können mehrere Zeitgeber verfügbar sein.
Das Fahrzeug wird außerdem über verschiedene Sensoren verfügen, die Informationen über die Umgebung sammeln, in der sich das Fahrzeug bewegt. Zu diesen Sensoren können zum Beispiel gehören: ein Standortsensor 860, beispielsweise ein GPS-Gerät (Global Positioning System); Objekterkennungssensoren, wie eine oder mehrere Kameras 862; ein LiDAR-Sensorsystem 864; und/oder ein Radar und/oder ein Sonarsystem 866. Zu den Sensoren können auch Umgebungssensoren 868 gehören, beispielsweise ein Niederschlagssensor und/oder ein Umgebungstemperatursensor. Die Objekterkennungssensoren können es dem Fahrzeug ermöglichen, sich bewegende Akteure und stationäre Objekte zu erkennen, die sich in einer bestimmten Entfernungsreichweite des Fahrzeugs 599 in jeder Richtung befinden, während die Umgebungssensoren Daten über Umgebungsbedingungen innerhalb des Fahrbereichs des Fahrzeugs sammeln. Das System umfasst außerdem eine oder mehrere Kameras 862 zum Erfassen von Bildern der Umgebung. Einige oder alle dieser Sensoren erfassen Sensordaten, die es einem oder mehreren Prozessoren des fahrzeugeigenen Computergeräts 820 und/oder externer Geräte ermöglichen, Programmieranweisungen auszuführen, die es dem Computersystem ermöglichen, Objekte in den Wahrnehmungsdaten usw. zu klassifizieren Solche Sensoren, Prozessoren und Anweisungen können als das Wahrnehmungssystem des Fahrzeugs betrachtet werden. Das Fahrzeug kann auch Informationen von einem Kommunikationsgerät (z.B. einem Transceiver, einem Beacon und/oder einem Smartphone) über eine oder mehrere drahtlose Kommunikationsverbindungen empfangen, z.B. solche, die als Fahrzeug-zu-Fahrzeug, Fahrzeug-zu-Objekt usw. bekannt sind, oder über andere V2X-Kommunikationsverbindungen. Der Begriff „V2X“ bezieht sich auf eine Kommunikation zwischen einem Fahrzeug und jedem Objekt, dem das Fahrzeug in seiner Umgebung begegnen oder das es beeinflussen kann.
Während einer Fahrt des Fahrzeugs werden Informationen von den Sensoren an ein Bordcomputergerät 820 übermittelt. Das Bordcomputergerät 820 analysiert die von den Sensoren des Wahrnehmungssystems erfassten Daten und führt als Bewegungsplanungssystem Anweisungen aus, um eine Trajektorie für das Fahrzeug zu bestimmen. Die Trajektorie umfasst Posen- und Zeitparameter, und das Bordcomputergerät des Fahrzeugs steuert den Betrieb verschiedener Fahrzeugkomponenten zur Bewegung des Fahrzeugs entlang der Trajektorie. Beispielsweise kann das Bordcomputergerät 820 das Bremsen über eine Bremssteuerung 822 steuern; die Fahrtrichtung über eine Lenksteuerung 824; die Geschwindigkeit und Beschleunigung über einen Drosselklappenregler 826 (in einem kraftstoff betriebenen Fahrzeug) oder einen Motorgeschwindigkeitsregler 828 (z.B. einen Stromniveauregler in einem Elektrofahrzeug); ferner können eine Differenzialgetriebesteuerung 830 (in Fahrzeugen mit Getrieben) und/oder andere Steuergeräte vorgesehen sein.
Geografische Standortinformationen können vom Standortsensor 860 an das Bordcomputergerät 820 übermittelt werden, das dann auf eine Karte der Umgebung zugreifen kann, die den Standortinformationen entspricht, um bekannte feste Merkmale der Umgebung, wie Straßen, Gebäude, Haltestellen, Schilder und/oder Stop-/Go-Signale zu bestimmen. Aufgenommene Bilder von den Kameras 862 und/oder von Sensoren - wie von einem LiDAR-System 864 - erfasste Objekterkennungsinformationen werden von diesen Sensoren an das Bordcomputergerät 820 übermittelt. Die Objekterkennungsinformationen und/oder erfassten Bilder können vom Bordcomputergerät 820 verarbeitet werden, um Objekte in der Nähe des Fahrzeugs 800 zu erkennen. Zusätzlich oder alternativ kann das AV beliebige Daten zur Verarbeitung an ein externes Computergerät 880 übertragen. In den in diesem Dokument offenbarten Ausführungsformen kann jede bekannte oder künftig bekannt werdende Technik zur Durchführung einer Objekterkennung auf der Grundlage von Sensordaten und/oder erfassten Bildern verwendet werden.
Darüber hinaus kann das AV ein integriertes Anzeigegerät 885 umfassen, das eine Schnittstelle generieren und ausgeben kann, auf der Sensordaten, Fahrzeugstatusinformationen oder Ausgaben, die durch die in diesem Dokument beschriebenen Prozesse generiert werden, einem Insassen des Fahrzeugs angezeigt werden. Das Anzeigegerät kann einen Audiolautsprecher umfassen oder ein separates Gerät darstellen, das solche Informationen im Audioformat darstellt.
9 zeigt ein Beispiel für interne Hardware, die in einer der elektronischen Komponenten des Systems enthalten sein kann, wie z.B. dem integrierten Computergerät des AV oder externen Überwachungs- und Berichtssystemen oder Remote-Servern. Ein elektrischer Bus 900 dient als Informationsautobahn, die die anderen dargestellten Komponenten der Hardware miteinander verbindet. Der Prozessor 905 ist ein zentrales Verarbeitungsgerät des Systems, das für die Durchführung von Berechnungen und logischen Operationen konfiguriert ist, die zum Ausführen von Programmieranweisungen erforderlich sind. Wie in diesem Dokument und in den Ansprüchen verwendet, können sich die Begriffe „Prozessor“ und „Verarbeitungsgerät“ auf einen einzelnen Prozessor oder eine beliebige Anzahl von Prozessoren in einer Gruppe von Prozessoren beziehen, die gemeinsam eine Reihe von Vorgängen ausführen, beispielsweise eine zentrale Verarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Remote-Server oder eine Kombination hiervon. Beispiele für Speichergeräte 925 sind Nur-LeseSpeicher (ROM), Direktzugriffsspeicher (RAM), Flash-Speicher, Festplatten und andere Geräte, die elektronische Daten speichern können. Ein Speichergerät kann ein einzelnes Gerät oder eine Sammlung von Geräten umfassen, auf denen Daten und/oder Anweisungen gespeichert werden. Verschiedene Ausführungsformen der Erfindung können ein computerlesbares Medium umfassen, das Programmieranweisungen enthält, die so konfiguriert sind, dass sie einen oder mehrere Prozessoren veranlassen, die im Kontext der vorherigen Figuren beschriebenen Funktionen auszuführen.
Eine optionale Anzeigeschnittstelle 930 kann die Anzeige von Informationen vom Bus 900 auf einem Anzeigegerät 935 im visuellen, grafischen oder alphanumerischen Format ermöglichen, beispielsweise einem Anzeigesystem im Armaturenbrett des Fahrzeugs. Es können auch eine Audioschnittstelle und ein Audioausgang (z.B. ein Lautsprecher) vorhanden sein. Die Kommunikation mit externen Geräten kann unter Verwendung verschiedener Kommunikationsgeräte 940 erfolgen, wie beispielsweise einer drahtlosen Antenne, einem RFID-Tag (Radio Frequency Identification) und/oder einem Nahbereichs- oder Nahfeld-Kommunikations-Transceiver, von denen jedes optional eine kommunikative Verbindung mit anderen Komponenten des Geräts über ein oder mehrere Kommunikationssysteme herstellen kann. Das/die Kommunikationsgerät(e) 940 kann/können für die kommunikative Verbindung mit einem Kommunikationsnetzwerk wie dem Internet, einem lokalen Netzwerk oder einem Mobilfunkdatennetzwerk konfiguriert sein.
Die Hardware kann auch einen Benutzerschnittstellensensor 945 umfassen, der den Empfang von Daten von Eingabegeräten 950, wie einer Tastatur oder einem Tastenfeld, einem Joystick, einem Touchscreen, einem Touchpad, einer Fernbedienung, einem Zeigegerät und/oder einem Mikrofon ermöglicht. auch Von einer Kamera 920, die Videos und/oder Standbilder aufnehmen kann, können außerdem Digitalbildframes empfangen werden. Das System kann auch Daten von einem Bewegungs- und/oder Positionssensor 970 empfangen, beispielsweise einem Beschleunigungsmesser, einem Gyroskop oder einer Trägheitsmesseinheit. Das System kann auch Daten über ein LiDAR-System 960 empfangen und diese einbeziehen, wenn es im Zusammenhang mit autonomen Fahrzeugen verwendet wird.
Die oben offenbarten Merkmale und Funktionen sowie Alternativen können in vielen anderen unterschiedlichen Systemen oder Anwendungen kombiniert werden. Verschiedene Komponenten können in Hardware oder Software oder eingebetteter Software implementiert sein. Der Fachmann kann verschiedene derzeit unvorhergesehene oder unerwartete Alternativen, Modifikationen, Variationen oder Verbesserungen vornehmen, die jeweils auch von den offenbarten Ausführungsformen umfasst sein sollen.
Daher beschreibt dieses Dokument in verschiedenen vorstehend beschriebenen Ausführungsformen Verfahren, mit denen ein autonomes Fahrzeug Aktionen anderer Akteure vorhersagen kann, die sich in einer Umgebung befinden, durch die das autonome Fahrzeug fährt, zusammen mit Systemen, die solche Verfahren und Computerprogrammprodukte implementieren, um die Systeme zu veranlassen, solche Verfahren umzusetzen. Dazu erkennt ein Wahrnehmungssystem eines autonomen Fahrzeugs verschiedene Akteure, die sich in der Nähe des autonomen Fahrzeugs befinden. Für jeden erkannten Akteur weist das Wahrnehmungssystem dem erkannten Akteur eine Prioritätsbewertung zu. Jeder Akteur kann entweder ein Akteur mit hoher Priorität oder ein Akteur mit niedriger Priorität sein, und jede dieser Bewertungen kann eine oder mehrere Unterteilungen enthalten, die eine relative Bewertung oder ein anderes Maß für die Priorität angeben.
Ein Prognosesystem des autonomen Fahrzeugs wird dann über mehrere Zyklen hinweg jeweils eine Prognose für jeden der erkannten Akteure erstellen. Für zumindest einige der Hochprioritätsakteure wird die Prognose als hochauflösende Prognose generiert. Für jeden der Akteure mit niedriger Priorität und optional auch für einige der Akteure mit hoher Priorität generiert das System eine Prognose mit niedriger Auflösung. Das System speichert jede Prognose in einem Datenspeicher in Verbindung mit dem Akteur, für den die Prognose erstellt wurde. Das Prognosesystem wird dann mindestens einige der Prognosen mit hoher Auflösung verwenden, um eine oder mehrere Aktionen für mindestens einige der Akteure mit hoher Priorität vorherzusagen, und es wird mindestens einige der Prognosen mit niedriger Auflösung verwenden, um für jeden der Akteure mit niedriger Priorität eine oder mehrere Aktionen vorherzusagen. Ein Bewegungsplanungssystem des autonomen Fahrzeugs wird dann die vorhergesagten Aktionen verwenden, um eine Trajektorie für das autonome Fahrzeug zu bestimmen.
In einigen Ausführungsformen kann das Wahrnehmungssystem nach Abschluss eines Zyklus die Prognosen mit hoher Auflösung, die Prognosen mit niedriger Auflösung und ihre Wahrscheinlichkeiten für den aktuellen Zyklus und für einen oder mehrere der vorherigen Zyklen analysieren, um für zumindest einige der Akteure mit hoher Priorität hochauflösende Gesamtprognosen und für zumindest einige der Akteure mit niedriger Priorität niedrigauflösende Gesamtprognosen zu ermitteln.
In einigen Ausführungsformen kann das System beim Generieren der hochauflösenden Prognose für einen Akteur mit hoher Priorität eine pfadbeeinflussende Eigenschaft einer Szene erkennen, in der sich der Akteur mit hoher Priorität bewegt. Das pfadbeeinflussende Merkmal ist ein Merkmal, das den Akteur dazu veranlassen kann, seinen Reiseweg zu ändern. Das System wird dann die pfadbeeinflussende Eigenschaft verwenden, um mögliche hochauflösende Prognosen zu ermitteln, von denen zumindest einige unterschiedliche Trajektorien verfolgen. Für jeden der Akteure mit niedriger Priorität verwendet das System jedoch keine pfadbeeinflussenden Eigenschaften der Szene, in der sich der Akteur mit niedriger Priorität bewegt, um die Prognose mit niedriger Auflösung zu bestimmen.
In einigen Ausführungsformen kann das Wahrnehmungssystem vor der Zuweisung der Prioritätsbewertungen zu den erkannten Akteuren ein Zeitbudget ermitteln, das die insgesamt verfügbare Zeitmenge darstellt Prognosen für alle erkannten Akteure erstellen. Das System bestimmt außerdem eine erste Zeitspanne, die der Zeit entspricht, die zum Generieren der Prognosen mit niedriger Priorität erforderlich ist. Anschließend wird eine zweite Zeitspanne ermittelt, die der zur Erstellung der Prognosen mit hoher Priorität verfügbaren Zeit entspricht, indem die erste Zeitspanne von der insgesamt verfügbaren Zeitspanne abgezogen wird. Das System ermittelt die Anzahl der Prognosen mit hoher Priorität, die während der zweiten Zeitspanne generiert werden können. Wenn dann den erkannten Akteuren die Prioritätsbewertungen zugewiesen werden, weist das System bis zu dieser Anzahl der erkannten Akteure hohe Prioritätsbewertungen zu und weist allen übrigen erkannten Akteuren niedrige Prioritätsbewertungen zu. Um die erste Zeitspanne zu bestimmen, kann das System optional die Zeit ermitteln, die erforderlich ist, um Prognosen mit niedriger Priorität für alle erkannten Akteure zu erstellen.
In einigen Ausführungsformen kann die Erstellung der Prognosen für die erkannten Akteure die Erstellung von Prognosen mit niedriger Auflösung für alle erkannten Akteure umfassen, bevor Prognosen mit hoher Auflösung für einen der Akteure mit hoher Priorität erstellt werden. Wenn dies der Fall ist, kann das Prognosesystem, bevor das Bewegungsplanungssystem die vorhergesagten Aktionen verwendet, um die ausgewählte Trajektorie für das autonome Fahrzeug zu bestimmen, feststellen, ob das Prognosesystem tatsächlich hochauflösende Prognosen für alle Akteure mit hoher Priorität erstellt hat, und es wird die Bewegungsplanung benachrichtigen System, wenn das Prognosesystem nicht für alle Akteure mit hoher Priorität hochauflösende Prognosen generiert.
Wenn das Bewegungsplanungssystem mindestens einige der hochauflösenden Kandidatenprognosen verwendet, um die Trajektorie für das autonome Fahrzeug zu bestimmen, kann das System optional bestimmen, welche der hochauflösenden Kandidatenprognosen für einen Bewegungsplanungsvorgang des autonomen Fahrzeugs relevant sind. Dann kann das System bei der Bestimmung der ausgewählten Trajektorie für das autonome Fahrzeug die relevanten hochauflösenden Kandidatenprognosen verwenden, wobei das System keine der hochauflösenden Kandidatenprognosen verwenden wird, die für den Bewegungsplanungsvorgang nicht relevant sind.
In einigen Ausführungsformen kann das System zum Zuweisen der Prioritätsbewertung zu jedem erkannten Akteur eine Geschwindigkeit des erkannten Akteurs schätzen und die geschätzte Geschwindigkeit des erkannten Akteurs und eine Geschwindigkeit des autonomen Fahrzeugs verwenden, um zu messen, ob der erkannte Akteur dazu in der Lage ist, innerhalb eines Zeithorizonts das autonome Fahrzeug zu erreichen. Wenn der erkannte Akteur das autonome Fahrzeug nicht innerhalb des Zeithorizonts erreichen kann, kann das System feststellen, dass der erkannte Akteur ein Akteur mit niedriger Priorität ist, andernfalls kann das System bestimmen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
In einigen Ausführungsformen kann das System zum Zuweisen der Prioritätsbewertung zu jedem erkannten Akteur einen Interessenbereich bestimmen, der das autonome Fahrzeug umgibt, und es kann beurteilen, ob sich der erkannte Akteur innerhalb des Interessenbereichs befindet. Wenn sich der erkannte Akteur nicht innerhalb des Interessenbereichs befindet, kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit niedriger Priorität ist, andernfalls kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
In einigen Ausführungsformen kann das System zum Zuweisen der Prioritätseinstufung zu jedem erkannten Akteur einen ersten Weg identifizieren, auf dem sich der erkannte Akteur bewegt, und einen zweiten Weg, auf dem das autonome Fahrzeug fährt. Das System kann beurteilen, ob der erste Weg möglicherweise mit dem zweiten Weg innerhalb eines Interessenbereichs in Konflikt steht. Wenn der erste Weg nicht mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt steht, kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit niedriger Priorität ist, andernfalls kann das System feststellen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
Optional kann in der oben beschriebenen Ausführungsform der zweite Weg eine Straße sein, entlang der das autonome Fahrzeug fährt. Wenn dies zutrifft, dann kann die Beurteilung, ob der erste Weg in einem Konflikt mit dem zweiten Weg steht, die Beurteilung umfassen, dass der erste Weg möglicherweise mit dem zweiten Weg in Konflikt steht, wenn eines der folgenden Merkmale vorliegt: (a) der erste Weg ist ein Fahrspurabschnitt, der die Straße innerhalb des Interessenbereichs kreuzt; (b) der erste Weg ist ein Zebrastreifen, der die Straße innerhalb des Interessenbereichs kreuzt; oder (c) der erste Weg ist ein Fahrspurabschnitt der Straße und hat eine Sollrichtung, die mit der Fahrtrichtung des autonomen Fahrzeugs übereinstimmt. Alternativ oder zusätzlich kann das System zur Beurteilung, ob der erste Weg möglicherweise mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt steht, bestimmen, dass der erste Weg nicht mit dem zweiten Weg in Konflikt gerät, wenn der erste Weg ein Fahrspursegment ist, das von der Straße durch eine physische Barriere abgetrennt ist. Alternativ oder zusätzlich kann das System zur Beurteilung, ob der erste Weg mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt geraten könnte, bestimmen, dass der erste Weg nicht mit dem zweiten Weg in Konflikt steht, wenn: (a) der erste Weg und der zweite Weg die gleiche Straße darstellen; und (b) der andere Akteur sich hinter dem autonomen Fahrzeug befindet und sich in die gleiche Richtung, jedoch mit einer geringeren Geschwindigkeit als das autonome Fahrzeug bewegt.
Zu den für die oben bereitgestellte Offenlegung relevanten Begriffen gehören:
Der Begriff „Fahrzeug“ bezieht sich auf jedes bewegliche Fortbewegungsmittel, das einen oder mehrere menschliche Insassen und/oder Fracht befördern kann und durch irgendeine Form von Energie angetrieben wird. Der Begriff „Fahrzeug“ umfasst unter anderem Autos, Lastwagen, Transporter, Züge, autonome Fahrzeuge, Flugzeuge, Flugdrohnen und dergleichen. Ein „autonomes Fahrzeug“ ist ein Fahrzeug mit einem Prozessor, Programmieranweisungen und Antriebsstrangkomponenten, die vom Prozessor gesteuert werden können, ohne dass ein menschlicher Bediener erforderlich ist. Ein autonomes Fahrzeug kann völlig autonom sein, da es für die meisten oder alle Fahrbedingungen und -funktionen keinen menschlichen Bediener benötigt. Alternativ kann es insofern teilautonom sein, als unter bestimmten Bedingungen oder für bestimmte Vorgänge ein menschlicher Bediener erforderlich sein kann, oder ein menschlicher Bediener kann das autonome System des Fahrzeugs außer Kraft setzen und Kontrolle über das Fahrzeug übernehmen. Zu den autonomen Fahrzeugen zählen auch Fahrzeuge, bei denen autonome Systeme den menschlichen Betrieb des Fahrzeugs unterstützen, wie zum Beispiel Fahrzeuge mit fahrerunterstützter Lenkung, Geschwindigkeitsregelung, Bremsen, Parken und anderen fortschrittlichen Fahrerassistenzsystemen.
Im Zusammenhang mit der Bewegungsplanung autonomer Fahrzeuge bezieht sich der Begriff „Trajektorie“ auf den Plan, den das Bewegungsplanungssystem des Fahrzeugs generiert und dem das Bewegungssteuerungssystem des Fahrzeugs bei der Steuerung der Fahrzeugbewegung folgt. Eine Trajektorie umfasst die geplante Position und Ausrichtung des Fahrzeugs zu mehreren Zeitpunkten über einen Zeithorizont sowie den geplanten Lenkradwinkel und die Winkelrate des Fahrzeugs über denselben Zeithorizont. Das Bewegungssteuerungssystem eines autonomen Fahrzeugs erfasst die Trajektorie und sendet Befehle an die Lenksteuerung, Bremssteuerung, Drosselklappensteuerung und/oder andere Bewegungssteuerungssubsysteme des Fahrzeugs, um das Fahrzeug entlang einer geplanten Bahn zu bewegen.
Eine „Trajektorie“ eines Akteurs, die von den Wahrnehmungs- oder Vorhersagesystemen eines Fahrzeugs generiert werden kann, bezieht sich auf den vorhergesagten Weg, dem der Akteur über einen Zeithorizont folgen wird, zusammen mit der vorhergesagten Geschwindigkeit des Akteurs und/oder der Position des Akteurs entlang des Wegs verschiedene Punkte entlang des Zeithorizonts.
Ein „elektronisches Gerät“ oder ein „Computergerät“ bezieht sich auf ein Gerät, das einen Prozessor und einen Speicher enthält. Jedes Gerät verfügt möglicherweise über einen eigenen Prozessor und/oder Speicher, oder der Prozessor und/oder Speicher kann mit anderen Geräten gemeinsam genutzt werden, wie in einer virtuellen Maschine oder Containeranordnung. Der Speicher enthält oder empfängt Programmieranweisungen, die bei Ausführung durch den Prozessor dazu führen, dass das elektronische Gerät einen oder mehrere Vorgänge gemäß den Programmieranweisungen ausführt.
Die Begriffe „Speicher“, „Speichergerät“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen beziehen sich jeweils auf ein nichtflüchtiges Gerät, auf dem computerlesbare Daten, Programmierungen, Anweisungen oder beides gespeichert werden. Sofern nicht ausdrücklich anders angegeben, sollen die Begriffe „Speicher“, „Speichergerät“, „Datenspeicher“, „Datenspeichereinrichtung“ und dergleichen Ausführungsformen mit einem einzelnen Gerät umfassen, Ausführungsformen, in denen mehrere Speichergeräte zusammen oder gemeinsam einen Satz speichern von Daten oder Anweisungen sowie einzelne Sektoren innerhalb solcher Geräte. Ein „Computerprogrammprodukt“ ist ein Speichergerät, das Programmieranweisungen enthält, die so konfiguriert sind, dass ein System die beschriebenen Funktionen ausführt.
Die Begriffe „Prozessor“ und „Verarbeitungsgerät“ beziehen sich auf eine Hardwarekomponente eines elektronischen Geräts, die zur Ausführung von Programmieranweisungen konfiguriert ist, beispielsweise einen Mikroprozessor oder eine andere logische Schaltung. Ein Prozessor und ein Speicher können Elemente eines Mikrocontrollers, eines individuell konfigurierbaren integrierten Schaltkreises, eines programmierbaren System-on-a-Chip oder eines anderen elektronischen Geräts sein, das für die Ausführung verschiedener Funktionen programmiert werden kann. Sofern nicht ausdrücklich anders angegeben, soll der Singularbegriff „Prozessor“ oder „Verarbeitungsgerät“ sowohl Ausführungsformen mit einem einzelnen Verarbeitungsgerät als auch Ausführungsformen umfassen, bei denen mehrere Verarbeitungsgeräte gemeinsam oder kollektiv einen Prozess ausführen.
Der Begriff „Klassifikator“ bezeichnet einen automatisierten Prozess, durch den ein System der künstlichen Intelligenz einem oder mehreren Datenpunkten ein Label oder Kategorie zuweisen kann. Ein Klassifikator umfasst einen Algorithmus, der über einen automatisierten Prozess wie maschinelles Lernen trainiert wird. Ein Klassifikator beginnt normalerweise mit einem Satz gekennzeichneter oder ungelabelter Trainingsdaten und wendet einen oder mehrere Algorithmen an, um ein oder mehrere Merkmale und/oder Muster in Daten zu erkennen, die verschiedenen Labeln oder Klassen entsprechen. Zu den Algorithmen können unter anderem einfache Algorithmen, wie Entscheidungsbäume, oder komplexe Algorithmen, wie die Naive-Bayes-Klassifizierung und/oder Zwischenalgorithmen, wie k-Nearest-Neighbor gehören. Zu den Klassifikatoren können künstliche neuronale Netze (ANNs), Support-Vector-Machine-Klassifikatoren und/oder eine Vielzahl unterschiedlicher Klassifikatortypen gehören. Nach dem Training kann der Klassifikator dann neue Datenpunkte mithilfe der Wissensbasis klassifizieren, die er während des Trainings gelernt hat. Der Trainingsprozess eines Klassifikators kann sich im Laufe der Zeit weiterentwickeln, da Klassifikatoren regelmäßig anhand aktualisierter Daten trainiert werden und aus der Bereitstellung von Informationen über Daten lernen können, die sie möglicherweise falsch klassifiziert haben. Ein Klassifikator wird von einem Prozessor implementiert, der Programmieranweisungen ausführt, und kann mit großen Datensätzen, wie Bilddaten, LIDAR-Systemdaten und/oder anderen Daten arbeiten.
Ein „Modell für maschinelles Lernen“ oder ein „Modell“ bezieht sich auf eine Reihe algorithmischer Routinen und Parameter, die die Ergebnisse eines Prozesses in der realen Welt vorhersagen können (z.B. die Vorhersage einer Objektbahn, einer Diagnose oder Behandlung eines Patienten) und eine passende Empfehlung basierend auf einer Benutzersuchanfrage usw. basierend auf einer Reihe von Eingabemerkmalen geben können, ohne explizit programmiert zu werden. Eine Struktur der Softwareroutinen (z.B. Anzahl der Unterroutinen und die Beziehungen zwischen ihnen) und/oder die Werte der Parameter können in einem Trainingsprozess bestimmt werden, der tatsächliche Ergebnisse des realen Prozesses verwenden kann, der modelliert wird. Es wird davon ausgegangen, dass solche Systeme oder Modelle notwendigerweise in der Computertechnologie verwurzelt sind und tatsächlich ohne Computertechnologie weder implementiert noch existieren können. Während maschinelle Lernsysteme verschiedene Arten statistischer Analysen nutzen, unterscheiden sich maschinelle Lernsysteme von statistischen Analysen dadurch, dass sie ohne explizite Programmierung lernen können und auf Computertechnologie basieren.
Wie hierin verwendet, beziehen sich die Begriffe „ableiten“ oder „Inferenz“ im Allgemeinen auf den Prozess des Abwägens oder Ableitens von Zuständen eines Systems, einer Komponente, einer Umgebung, eines Benutzers aus einer oder mehreren anhand von Ereignissen oder Daten usw. erfassten Beobachtungen. Inferenz kann verwendet werden, um einen Kontext oder eine Aktion zu identifizieren, oder diese kann beispielsweise verwendet werden, um eine Wahrscheinlichkeitsverteilung über Zustände zu generieren. Eine Schlussfolgerung kann probabilistisch sein, beispielsweise die Berechnung einer Wahrscheinlichkeitsverteilung über interessierende Zustände basierend auf der Berücksichtigung von Daten oder Ereignissen. Inferenz kann sich auch auf Techniken beziehen, die zum Zusammenstellen von Ereignissen höherer Ebene aus einer Reihe von Ereignissen oder Daten eingesetzt werden. Eine solche Schlussfolgerung kann zur Konstruktion neuer Ereignisse oder neuer Aktionen aus einer Reihe beobachteter Ereignisse oder gespeicherter Ereignisdaten führen, unabhängig davon, ob die Ereignisse in enger zeitlicher Nähe korrelieren oder nicht, und ob die Ereignisse und Daten aus einer oder mehreren Ereignis- und Datenquellen stammen.
Wenn in diesem Dokument relative Ordnungsbegriffe wie „erster“ und „zweiter“ verwendet werden, um ein Substantiv zu modifizieren, dient diese Verwendung lediglich dazu, ein Element von einem anderen zu unterscheiden, und ist nicht dazu gedacht, eine sequentielle Reihenfolge zu implizieren, sofern nicht ausdrücklich angegeben.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 17336661 [0001]

Zitierte Nicht-Patentliteratur

Gonzalez et al., „A Review of Motion Planning Techniques for Automated Vehicles“, veröffentlicht in IEEE Transactions on Intelligent Transportation Systems, Bd. 17, Nr. 4 [0048]

Claims

Ein Verfahren zur Prognose einer Aktion eines Akteurs in einer Umgebung, durch die ein autonomes Fahrzeug fährt, wobei das Verfahren umfasst: durch ein Wahrnehmungssystem eines autonomen Fahrzeugs: - Erkennen einer Vielzahl von Akteuren, die sich in der Nähe des autonomen Fahrzeugs befinden, und - für jeden der erkannten Akteure, Zuweisen einer Prioritätseinstufung für den erkannten Akteur als Akteur mit hoher Priorität oder als Akteur mit niedriger Priorität; - durch ein Prognosesystem des autonomen Fahrzeugs, das für jeden Zyklus einer Vielzahl von Zyklen eine Prognose für jeden der erkannten Akteure erzeugt, indem es: - für mindestens einige der Akteure mit hoher Priorität eine Prognose mit hoher Auflösung erzeugt, und - für jeden der Akteure mit niedriger Priorität erzeugt eine Prognose mit niedriger Auflösung erzeugt und - jede Prognose in einem Datenspeicher in Verbindung mit dem Akteur speichert, für den die Prognosen erstellt wurden; - durch ein Prognosesystem des autonomen Fahrzeugs: - Verwenden von mindestens einigen der Prognosen mit hoher Auflösung, um eine oder mehrere Aktionen für mindestens einige der Akteure mit hoher Priorität vorherzusagen, und - Verwenden von mindestens einigen der Prognosen mit niedriger Auflösung, um eine oder mehrere Aktionen für jeden der Akteure mit niedriger Priorität vorherzusagen; und - durch ein Bewegungsplanungssystem des autonomen Fahrzeugs, Verwenden der vorhergesagten einen oder mehrere Aktionen, um eine Trajektorie für das autonome Fahrzeug zu bestimmen.
Verfahren nach Anspruch 1, weiterhin umfassend: durch das Wahrnehmungssystem, nachdem ein aktueller Zyklus der Vielzahl von Zyklen abgeschlossen ist, Analysieren der Prognosen mit hoher Auflösung, der Prognosen mit niedriger Auflösung und ihrer Wahrscheinlichkeiten für den aktuellen Zyklus und für einen oder mehrere vorherige Zyklen, um im Großen und Ganzen hohe Auflösungsabsichten für zumindest einige der Akteure mit hoher Priorität und im Großen und Ganzen niedrige Auflösungsabsichten für zumindest einige der Akteure mit niedriger Priorität zu bestimmen.
Verfahren nach Anspruch 1, wobei: für zumindest einige der Akteure mit hoher Priorität das Erzeugen der hochauflösenden Prognose für diesen Akteur mit hoher Priorität Folgendes umfasst: - Erkennen einer pfadbeeinflussenden Charakteristik einer Szene, in der sich der Akteur mit hoher Priorität bewegt, wobei die pfadbeeinflussende Charakteristik eine Charakteristik ist, die den Akteur mit hoher Priorität dazu veranlassen kann, seinen Reiseweg zu ändern, und - Verwenden der pfadbeeinflussenden Charakteristik, um mehrere hochauflösende Kandidaten-Prognosen zu bestimmen, wobei zumindest einige der hochauflösenden Kandidatenprognosen unterschiedlichen Trajektorien folgen; wobei - für jeden der Akteure mit niedriger Priorität keine pfadbeeinflussenden Charakteristiken der Szene verwendet werden, in der sich der Akteur mit niedriger Priorität bewegt, um die Prognose mit niedriger Auflösung für diesen Akteur mit niedriger Priorität zu bestimmen.
Verfahren nach Anspruch 1, wobei das Verfahren vor dem Zuweisen der Prioritätsbewertungen zu den erkannten Akteuren außerdem Folgendes umfasst: Identifizieren eines Zeitbudgets, das die Gesamtzeit darstellt, die zur Erstellung von Prognosen für alle erkannten Akteure zur Verfügung steht; Bestimmen einer ersten Zeitspanne, die zum Generieren der Prognosen mit niedriger Priorität erforderlich ist; Bestimmen einer zweiten Zeitspanne, die zur Generierung der Prognosen mit hoher Priorität zur Verfügung steht, durch Subtrahieren der ersten Zeitspanne von der insgesamt verfügbaren Zeitspanne; Bestimmen einer Anzahl von Prognosen mit hoher Priorität, die während der zweiten Zeitspanne generiert werden können; und beim Zuweisen der Prioritätsbewertungen zu den erkannten Akteuren: Zuweisen hoher Prioritätsbewertungen zu der Anzahl von erkannten Akteuren und Zuweisen niedriger Prioritätsbewertungen zu allen übrigen erkannten Akteuren.
Verfahren nach Anspruch 4, wobei das Bestimmen der ersten Zeitspanne das Bestimmen einer Zeitspanne umfasst, die erforderlich ist, um Prognosen mit niedriger Priorität für alle erkannten Akteure zu erstellen.
Verfahren nach Anspruch 1, wobei das Erzeugen der Prognosen für die erkannten Akteure das Erzeugen von Prognosen mit niedriger Auflösung für alle erkannten Akteure vor dem Erzeugen einer Prognose mit hoher Auflösung für einen oder mehrere Akteure mit hoher Priorität umfasst.
Verfahren nach Anspruch 6, ferner umfassend: durch das Prognosesystem, bevor das Bewegungsplanungssystem die vorhergesagten Aktionen verwendet, um die ausgewählte Trajektorie für das autonome Fahrzeug zu bestimmen, Bestimmen, ob das Prognosesystem tatsächlich hochauflösende Prognosen für alle Akteure mit hoher Priorität generiert hat; und Benachrichtigen des Bewegungsplanungssystems, wenn das Prognosesystem hochauflösende Prognosen nicht für alle Akteure mit hoher Priorität generiert hat.
Verfahren nach Anspruch 1, wobei das Verwenden mindestens einiger der hochauflösenden Kandidatenprognosen zur Bestimmung der Trajektorie für das autonome Fahrzeug Folgendes umfasst: Bestimmen, welche der hochauflösenden Kandidatenprognosen für einen Bewegungsplanungsvorgang des autonomen Fahrzeugs relevant sind, und wenn die Bestimmung der ausgewählten Trajektorie für das autonome Fahrzeug erfolgt, Verwendung der hochauflösenden Kandidatenprognosen, die für den Bewegungsplanungsvorgang relevant sind, und keine Verwendung von hochauflösenden Kandidatenprognosen, die für den Bewegungsplanungsvorgang nicht relevant sind.
Verfahren nach Anspruch 1, wobei für jeden erkannten Akteur das Zuweisen der Prioritätsbewertung zum erkannten Akteur als Akteur mit hoher Priorität oder als Akteur mit niedriger Priorität Folgendes umfasst: Schätzen einer Geschwindigkeit des erkannten Akteurs; Verwenden der geschätzten Geschwindigkeit des erkannten Akteurs und einer Geschwindigkeit des autonomen Fahrzeugs, um zu messen, ob der erkannte Akteur das autonome Fahrzeug innerhalb eines Zeithorizonts erreichen kann; und wenn der erkannte Akteur das autonome Fahrzeug nicht innerhalb des Zeithorizonts erreichen kann, Bestimmen, dass der erkannte Akteur ein Akteur mit niedriger Priorität ist, andernfalls Bestimmen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
Verfahren nach Anspruch 1, wobei für jeden erkannten Akteur das Zuweisen der Prioritätsbewertung an den erkannten Akteur als Akteur mit hoher Priorität oder als Akteur mit niedriger Priorität umfasst: Bestimmen eines Interessenbereichs, der das autonome Fahrzeug umgibt; Beurteilen, ob sich der erkannte Akteur innerhalb des Interessenbereichs befindet; und wenn sich der erkannte Akteur nicht innerhalb des Interessenbereichs befindet, Bestimmen, dass der erkannte Akteur ein Akteur mit niedriger Priorität ist, andernfalls Bestimmen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
Verfahren nach Anspruch 1, wobei für jeden erkannten Akteur das Zuweisen der Prioritätseinstufung zum erkannten Akteur als Akteur mit hoher Priorität oder als Akteur mit niedriger Priorität Folgendes umfasst: Identifizieren eines ersten Wegs, auf dem sich der erkannte Akteur bewegt, und eines zweiten Wegs, auf dem sich das autonome Fahrzeug bewegt; Beurteilen, ob der erste Weg möglicherweise mit dem zweiten Weg innerhalb eines Interessenbereichs in Konflikt steht; und wenn der erste Weg möglicherweise mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt steht, Bestimmen, dass der erkannte Akteur ein Akteur mit niedriger Priorität ist, andernfalls Bestimmen, dass der erkannte Akteur möglicherweise ein Akteur mit hoher Priorität ist.
Verfahren nach Anspruch 11, wobei: der zweite Weg eine Straße ist, entlang derer das autonome Fahrzeug fährt; und die Beurteilung, ob der erste Weg mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt geraten könnte, die Beurteilung umfasst, dass der erste Weg mit dem zweiten Weg in Konflikt geraten könnte, wenn eines der folgenden Merkmale vorhanden ist: - der erste Weg ist ein Fahrspurabschnitt, der die Straße innerhalb des Interessenbereichs schneidet, - der erste Weg ist ein Fußgängerüberweg, der die Straße innerhalb des Interessenbereichs schneidet, und/oder - der erste Weg ist ein Fahrspurabschnitt der Straße mit einer nominellen Richtung, die einer Fahrtrichtung des autonomen Fahrzeugs entspricht.
Verfahren nach Anspruch 11, wobei: der zweite Weg eine Straße ist, entlang der das autonome Fahrzeug fährt; und die Beurteilung, ob der erste Weg mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt geraten könnte, die Beurteilung umfasst, dass der erste Weg nicht mit dem zweiten Weg in Konflikt gerät, wenn der erste Weg ein Fahrspurabschnitt ist, der durch eine physische Barriere von der Straße getrennt ist.
Verfahren nach Anspruch 11, wobei: der zweite Weg eine Straße ist, entlang derer das autonome Fahrzeug fährt; und die Beurteilung, ob der erste Weg möglicherweise mit dem zweiten Weg innerhalb des Interessenbereichs in Konflikt steht, die Beurteilung umfasst, dass der erste Weg nicht mit dem zweiten Weg in Konflikt gerät, wenn: - der erste Weg und der zweite Weg dieselbe Straße sind, und - sich ein anderer Akteur hinter dem autonomen Fahrzeug befindet und sich in die gleiche Richtung bewegt, aber mit einer geringeren Geschwindigkeit als das autonome Fahrzeug.
Ein Fahrzeug, aufweisend: ein Wahrnehmungssystem, das einen Prozessor und einen Speicher umfasst, der Programmieranweisungen enthält, die so konfiguriert sind, dass sie den Prozessor dazu veranlassen: - mehrere Akteure zu erkennen, die sich in der Nähe des Fahrzeugs befinden, und - für jeden der erkannten Akteure dem erkannten Akteur eine Prioritätsbewertung als Akteur mit hoher Priorität oder als Akteur mit niedriger Priorität zuzuweisen; - ein Prognosesystem, das einen Prozessor und einen Speicher umfasst, der Programmieranweisungen enthält, die so konfiguriert sind, dass sie den Prozessor des Prognosesystems anweisen, für jeden Zyklus einer Vielzahl von Zyklen eine Prognose für jeden der erkannten Akteure zu generieren, wobei: - für mindestens einige der Akteure mit hoher Priorität eine hochauflösende Prognose erstellt wird; - für jeden der Akteure mit niedriger Priorität eine Prognose mit niedriger Auflösung erstellt wird; - jeder der Prognosen in einem Datenspeicher in Verbindung mit dem Akteur, für den die Prognosen generiert wurden, gespeichert wird, - mindestens einige der hochauflösenden Prognosen verwendet werden, um eine oder mehrere Aktionen für mindestens einige der Akteure mit hoher Priorität vorherzusagen, und - zumindest einige der Prognosen mit niedriger Auflösung verwendet werden, um eine oder mehrere Aktionen für jeden der Akteure mit niedriger Priorität vorherzusagen; und - ein Bewegungsplanungssystem, das einen Prozessor und Programmieranweisungen umfasst, die so konfiguriert sind, dass sie den Prozessor des Bewegungsplanungssystems veranlassen, die vorhergesagte eine Aktion oder die vorhergesagten mehreren Aktionen zu verwenden, um eine Trajektorie für das autonome Fahrzeug zu bestimmen.
Fahrzeug nach Anspruch 15, wobei das Wahrnehmungssystem außerdem zusätzliche Anweisungen umfasst, um vor dem Zuweisen der Prioritätsbewertungen zu den erkannten Akteuren: ein Zeitbudget zu identifizieren, das eine Gesamtzeitmenge darstellt, die zur Erstellung von Prognosen für alle erkannten Akteure zur Verfügung steht; eine erste Zeitspanne zu bestimmen, die zum Generieren der Prognosen mit niedriger Priorität erforderlich ist; eine zweite Zeitspanne zu bestimmen, die zur Generierung der Prognosen mit hoher Priorität zur Verfügung steht, indem die erste Zeitspanne von der insgesamt verfügbaren Zeitspanne subtrahiert wird; eine Anzahl von Prognosen mit hoher Priorität zu bestimmen, die während der zweiten Zeitspanne generiert werden können. und bei der Zuweisung von Prioritätsbewertungen zu den erkannten Akteuren, hohe Prioritätsbewertungen an die Anzahl der erkannten Akteure zuzuweisen und niedrige Prioritätsbewertungen an alle übrigen erkannten Akteure zuzuweisen.
Fahrzeug nach Anspruch 16, wobei die Anweisungen zum Bestimmen der ersten Zeitdauer Anweisungen zum Bestimmen einer Zeitdauer umfassen, die erforderlich ist, um Prognosen mit niedriger Priorität für alle erkannten Akteure zu erstellen.
Fahrzeug nach Anspruch 15, wobei die Anweisungen zum Generieren der Prognosen für die erkannten Akteure Anweisungen zum Generieren von Prognosen mit niedriger Auflösung für alle erkannten Akteure umfassen, bevor Prognosen mit hoher Auflösung für einen der Akteure mit hoher Priorität erstellt werden.
Fahrzeug nach Anspruch 18, das außerdem zusätzliche Programmieranweisungen umfasst, die so konfiguriert sind, dass sie das Prognosesystem dazu veranlassen: Bevor das Bewegungsplanungssystem die vorhergesagten Aktionen verwendet, um die ausgewählte Trajektorie für das autonome Fahrzeug zu bestimmen, bestimmen, ob das Prognosesystem tatsächlich hochauflösende Prognosen für alle Akteure mit hoher Priorität erstellt hat; und das Bewegungsplanungssystem zu benachrichtigen, wenn das Prognosesystem hochauflösende Prognosen nicht für alle Akteure mit hoher Priorität generiert hat.
Ein Computerprogrammprodukt, das ein Speichergerät umfasst, das Folgendes enthält: Programmieranweisungen, die so konfiguriert sind, dass sie ein Wahrnehmungssystem eines autonomen Fahrzeugs dazu veranlassen: - eine Vielzahl von Akteuren zu erkennen, die sich in der Nähe des autonomen Fahrzeugs befinden, und - jedem der erkannten Akteure eine Prioritätsbewertung des erkannten Akteurs als Akteur mit hoher Priorität oder Akteur mit niedriger Priorität zuzuordnen; ferner Programmieranweisungen, die so konfiguriert sind, dass sie ein Prognosesystem des autonomen Fahrzeugs anweisen, - für jeden Zyklus einer Vielzahl von Zyklen eine Prognose für jeden der erkannten Akteure zu generieren, indem für zumindest einige der Akteure mit hoher Priorität eine hochauflösende Prognose generiert wird; - eine Prognose mit niedriger Auflösung für jeden der Akteure mit niedriger Priorität zu generieren; und - jede der Prognosen in einem Datenspeicher in Verbindung mit dem Akteur, für den die Prognosen erstellt wurden zu speichern, - mindestens einige der hochauflösenden Prognosen zu verwenden, um eine oder mehrere Aktionen für mindestens einige der Akteure mit hoher Priorität vorherzusagen, und - mindestens einige der Prognosen mit niedriger Auflösung zu verwenden, eine oder mehrere Aktionen für jeden der Akteure mit niedriger Priorität vorherzusagen; ferner Programmieranweisungen, die so konfiguriert sind, dass sie ein Bewegungsplanungssystem des Fahrzeugs veranlassen, die vorhergesagte eine Aktion oder die vorhergesagten mehreren Aktionen zu verwenden, um eine Trajektorie für das autonome Fahrzeug zu bestimmen.