DE102020211971A1

DE102020211971A1 - Fahrzeugtrajektorienvorhersage unter verwendung von strassentopologie und verkehrsteilnehmer-objektzuständen

Info

Publication number: DE102020211971A1
Application number: DE102020211971.6A
Authority: DE
Inventors: Krishna CHINNI
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-10-01
Filing date: 2020-09-24
Publication date: 2021-04-01
Also published as: US20210094612A1; CN112598915A; US11591012B2

Abstract

System, Verfahren und Vorrichtung zum Steuern eines Fahrzeugs. In einem Beispiel beinhaltet das System einen elektronischen Prozessor, ausgelegt zum Aufnehmen, über eine Kamera, eines ersten Bilds, Bestimmen, innerhalb des ersten Bilds, eines Straßenverkehrsfaktors, und Erzeugen, auf der Grundlage von Sensorinformationen von einem oder mehreren Sensoren des Fahrzeugs, eines zweiten Bilds, das eine das Fahrzeug umgebende Umgebung abbildet. Das zweite Bild beinhaltet den Straßenverkehrsfaktor. Der elektronische Prozessor ist auch ausgelegt zum Bestimmen, auf der Grundlage des detektierten Straßenverkehrsfaktors und des zweiten Bilds, einer vorhergesagten Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug, und Erzeugen eines Lenkbefehls für das Fahrzeug auf der Grundlage der vorhergesagten Trajektorie.

Description

HINTERGRUND DER ERFINDUNG
Moderne Fahrzeuge beinhalten teilautonome Fahrfunktionen, beispielsweise adaptive Geschwindigkeitsregelung, Kollisionsvermeidungssysteme, Selbstparken und dergleichen. Ein Aspekt von autonomen Fahrsystemen ist Verhaltensplanung/-vorhersage.
KURZDARSTELLUNG
Wie oben erwähnt ist ein Aspekt von autonomen Fahrsystemen Verhaltensplanung/- vorhersage. In neuronalen Netzen werden Sensorinformationen häufig durch ein Wahrnehmungsmodul verarbeitet. Nachdem die Sensorinformationen in einem Wahrnehmungsmodul verarbeitet wurden, besteht der nächste Schritt darin, die verarbeiteten Informationen zu nutzen, um eine Trajektorie zu bestimmen, der ein Fahrzeug folgen soll. Wenn die Trajektorie des Fahrzeugs bestimmt wird, werden die zukünftigen Trajektorien anderer Verkehrsteilnehmer (anderer Fahrzeuge auf der Straße bzw. in der das Fahrzeug umgebenden Umgebung) ebenfalls berücksichtigt. Viele derzeitige Verhaltensvorhersagealgorithmen berücksichtigen den aktuellen Zustand der Verkehrsteilnehmer, um deren zukünftige Trajektorie zu bestimmen. Allerdings kann dies nicht genug Information sein, um zu gewährleisten, dass eine genaue, vorhergesagte Trajektorie bestimmt wird.
Faktoren, die berücksichtigt werden können, wenn eine zukünftige Trajektorie eines Verkehrsteilnehmers bestimmt wird, beinhalten Straßentopologie, Verkehrszeichen/-regeln und dergleichen. Das zukünftige Verhalten dieser Verkehrsteilnehmer hängt, in gewissem Maße, von diesen Merkmalen ab. Daher beschreiben Ausführungsformen hierin unter anderem ein System und ein Verfahren zum Fahren eines Fahrzeugs auf der Grundlage von Vorhersagen von Trajektorien von Verkehrsteilnehmern, die sich nahe dem Fahrzeug befinden, während bestimmte Verkehrsfaktoren berücksichtigt werden, die die Wahrscheinlichkeit gewisser zukünftiger Trajektorien beeinflussen. Ausführungsformen stellen unter anderem Angaben von Verkehrszeichen, Fahrspurmarkierungen und dergleichen zusätzlich zu früherer Dynamik eines oder mehrerer Verkehrsteilnehmer innerhalb der das Fahrzeug umgebenden Umgebung in einem einfachen Bildformat für ein neuronales Netz bereit. Verwendung eines einfachen Bildformats vereinfacht und verbessert die Genauigkeit einer Klassifikation von Objekten in der das Fahrzeug umgebenden Umgebung. Die Genauigkeit von vorhergesagten Trajektorien von Verkehrsteilnehmern wird auch verbessert.
Figurenliste
Die begleitenden Zeichnungen, in denen sich über die separaten Ansichten hinweg gleiche Bezugsziffern auf identische und funktionell ähnliche Elemente beziehen, sind, zusammen mit der nachstehenden ausführlichen Beschreibung, in der Patentschrift eingeschlossen und bilden einen Teil von dieser, und dienen zum zusätzlichen Veranschaulichen von Ausführungsformen von Konzepten, die die beanspruchte Erfindung beinhalten, und zum Erläutern verschiedener Prinzipien und Vorteile dieser Ausführungsformen.

1 ist ein Blockdiagramm eines Systems zum Fahren eines Fahrzeugs gemäß einer Ausführungsform.
2 ist ein Blockdiagramm einer elektronischen Steuerung des Systems von 1 gemäß einer Ausführungsform.
3 ist ein Flussdiagramm eines Verfahrens des Verwendens der Steuerung von 2 zum Fahren des Fahrzeugs von 1, gemäß einer Ausführungsform.
4 ist ein Bild, erzeugt durch die Steuerung von 2 gemäß eines Blockdiagramms eines Fahrzeugsteuerungssystems, das in einem Fahrzeug des Systems von 1 enthalten ist, gemäß einer Ausführungsform.
5 ist ein Flussdiagramm, das einen Verhaltensvorhersageprozess veranschaulicht, der durch das System von 1 während Ausführung des Verfahrens von 3 implementiert wird, gemäß einer Ausführungsform.

Der Fachmann wird erkennen, dass Elemente in den Figuren zwecks Vereinfachung und Klarheit veranschaulicht sind, und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Beispielsweise können die Abmessungen mancher Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.
Die Einrichtungs- und Verfahrenskomponenten wurden gegebenenfalls durch herkömmliche Symbole in den Zeichnungen repräsentiert, die nur jene spezifischen Einzelheiten zeigen, die für das Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, sodass die Offenbarung nicht mit Einzelheiten verschleiert wird, die Durchschnittsfachleuten mit der Kenntnis der Beschreibung hierin leicht ersichtlich sind.
AUSFÜHRLICHE BESCHREIBUNG
Ein Ausführungsbeispiel stellt ein System zum Fahren eines Fahrzeugs bereit. Das System beinhaltet einen elektronischen Prozessor, der ausgelegt ist zum Aufnehmen, über eine Kamera, eines ersten Bilds, Bestimmen, innerhalb des ersten Bilds, eines Straßenverkehrsfaktors, Erzeugen, auf der Grundlage von Sensorinformationen von einem oder mehreren Sensoren des Fahrzeugs, eines zweiten Bilds, das eine das Fahrzeug umgebende Umgebung abbildet, wobei das zweite Bild den Straßenverkehrsfaktor beinhaltet, Bestimmen, auf der Grundlage des detektierten Straßenverkehrsfaktors und des zweiten Bilds, einer vorhergesagten Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug, und Erzeugen eines Lenkbefehls für das Fahrzeug auf der Grundlage der vorhergesagten Trajektorie.
Eine weitere Ausführungsform stellt eine Vorrichtung zum Steuern eines Fahrzeugs bereit. Die Vorrichtung beinhaltet einen oder mehrere Sensoren, einschließlich einer Kamera, die kommunikationstechnisch mit einem elektronischen Prozessor gekoppelt sind, wobei der elektronische Prozessor ausgelegt ist zum Aufnehmen, über die Kamera, eines ersten Bilds, Bestimmen, innerhalb des ersten Bilds, eines Straßenverkehrsfaktors, Erzeugen, auf der Grundlage von Sensorinformationen von dem einem oder den mehreren Sensoren des Fahrzeugs, eines zweiten Bilds, das eine das Fahrzeug umgebende Umgebung abbildet, wobei das zweite Bild den Straßenverkehrsfaktor beinhaltet, Bestimmen, auf der Grundlage des detektierten Straßenverkehrsfaktors und des zweiten Bilds, einer vorhergesagten Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug, und Erzeugen eines Lenkbefehls für das Fahrzeug auf der Grundlage der vorhergesagten Trajektorie.
Eine weitere Ausführungsform stellt ein Verfahren zum Steuern eines Fahrzeugs bereit. Das Verfahren beinhaltet Aufnehmen, über eine Kamera, eines ersten Bilds, Bestimmen, innerhalb des ersten Bilds, eines Straßenverkehrsfaktors, Erzeugen, auf der Grundlage von Sensorinformationen von einem oder mehreren Sensoren des Fahrzeugs, eines zweiten Bilds, das eine das Fahrzeug umgebende Umgebung abbildet, einschließlich des Straßenverkehrsfaktors, Bestimmen, auf der Grundlage des detektierten Straßenverkehrsfaktors und des zweiten Bilds, einer vorhergesagten Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug, und Erzeugen eines Lenkbefehls für das Fahrzeug auf der Grundlage der vorhergesagten Trajektorie.
Bevor jegliche Ausführungsformen ausführlich erläutert werden, versteht sich, dass diese Offenbarung nicht dafür beabsichtigt ist, in ihrer Anwendung auf die Einzelheiten von Konstruktion und der Anordnung von Komponenten beschränkt zu sein, die in der folgenden Beschreibung dargelegt oder in den folgenden Zeichnungen veranschaulicht sind. Ausführungsformen sind zu anderen Konfigurationen fähig und können auf verschiedene Weisen umgesetzt oder ausgeführt werden.
Eine Vielzahl von hardware- und softwarebasierten Vorrichtungen sowie eine Vielzahl von unterschiedlichen strukturellen Komponenten kann ebenfalls zum Implementieren verschiedener Ausführungsformen verwendet werden. Zusätzlich können Ausführungsformen Hardware-, Software- und elektronische Komponenten oder Module beinhalten, die möglicherweise, zu Erörterungszwecken, so veranschaulicht und beschrieben werden, als wäre die Mehrheit der Komponenten einzig in Hardware implementiert. Allerdings würde ein Durchschnittsfachmann, und auf der Grundlage eines Lesens dieser ausführlichen Beschreibung, erkennen, dass in mindestens einer Ausführungsform die elektronikbasierten Aspekte der Erfindung in Software implementiert sein können (beispielsweise auf einem nichttransitorischen computerlesbaren Medium gespeichert), die durch einen oder mehrere Prozessoren ausführbar sind. Beispielsweise können in der Spezifikation beschriebene „Steuereinheiten“ und „Controller“ einen oder mehrere elektronische Prozessoren, ein oder mehrere Speichermodule, einschließlich eines nichttransitorischen computerlesbaren Mediums, einer oder mehrerer Kommunikationsschnittstellen, einer oder mehrerer anwendungsspezifischer integrierter Schaltungen (ASICs) und verschiedener Verbindungen (beispielsweise ein Systembus), die die verschiedenen Komponenten verbinden, beinhalten.
1 veranschaulicht ein System 100 für autonomes Fahren. Das System 100 beinhaltet ein Fahrzeug 102. Das Fahrzeug 102 kann verschiedene Arten und Designs von Fahrzeugen einschließen. Das Fahrzeug 102 kann zum Beispiel ein Kraftfahrzeug, ein Motorrad, ein Lastkraftwagen, ein Bus, eine Sattelzugmaschine und andere sein. Das Fahrzeug 102 beinhaltet mindestens etwas autonome Funktionalität, kann aber auch einen Fahrer oder Bediener benötigen, um Fahrfunktionen durchzuführen.
In dem veranschaulichten Beispiel beinhaltet das System 100 einige Hardwarekomponenten einschließlich einer elektronischen Steuerung 104, einer Eingabe/Ausgabe(E/A)-Schnittstelle 106, eines Bremssystems 108, eines Lenksystems 109, eines Beschleunigungssystems 110, anderer Fahrzeugsysteme 111, einer Kamera 112 und zusätzlicher Sensoren 114.
Die elektronische Steuerung 104, das Bremssystem 108, das Lenksystem 109, das Beschleunigungssystem 110, Bildsensoren 112, zusätzliche Sensoren 114 und die anderen Fahrzeugsysteme 111 sowie andere verschiedene Module und Komponenten des Systems 100 sind miteinander durch einen oder mehrere oder vermittels eines oder mehrerer Steuerungs- oder Datenbusse (beispielsweise ein CAN-Bus) verbunden, die Kommunikation zwischen diesen ermöglicht. Die Verwendung von Steuer- und Datenbussen für die Verbindung zwischen den verschiedenen Modulen und Komponenten und den Austausch von Informationen zwischen diesen würde einem Fachmann hinsichtlich der hierin bereitgestellten Beschreibung ersichtlich werden.
Die Kamera 112 ist ausgelegt zum Aufnehmen eines oder mehrerer Bilder der das Fahrzeug 102 umgebenden Umgebung, gemäß deren jeweiligen Sichtfeldern. Obgleich hier hinsichtlich Kamerabildern beschrieben, versteht sich, dass die Kamera 112, in manchen Ausführungsformen eine Thermobildgebungsvorrichtung und/oder eine Radarvorrichtung und/oder eine Sonarvorrichtung und dergleichen sein oder solche beinhalten kann. Bei manchen Ausführungsformen beinhaltet die Kamera 112 mehrere Arten von Bildgebungsvorrichtungen/-sensoren, von denen sich jeder an anderen Positionen am Inneren oder Äußeren des Fahrzeugs 102 befinden kann. Obgleich hinsichtlich einer Einzelkamera 112 beschrieben, versteht sich, dass die Kamera 112 in manchen Ausführungsformen mehrfache Bildsensoren sein können.
Die elektronische Steuerung 104 ist kommunizierend mit dem Lenksystem 109, dem Bremssystem 108, anderen Fahrzeugsystemen 111, der Kamera 112 und zusätzlichen Sensoren 114 über verschiedene drahtgebundene oder drahtlose Verbindungen verbunden. Beispielsweise ist die elektronische Steuerung 104 in manchen Ausführungsformen direkt über eine dedizierte Verdrahtung mit jeder der oben aufgelisteten Komponenten des Fahrzeugs 102 gekoppelt. Bei anderen Ausführungsformen ist die elektronische Steuerung 104 über eine gemeinsame Kommunikationsstrecke, wie etwa einen Fahrzeugkommunikationsbus (beispielsweise einen Controller Area Network-Bus bzw. CAN-Bus) oder eine drahtlose Verbindung, kommunikativ mit einer oder mehreren der Komponenten gekoppelt. Es versteht sich, dass jede der Komponenten des Fahrzeugs 102 mit der elektronischen Steuerung 104 unter Verwendung verschiedener Kommunikationsprotokolle kommunizieren kann. Die in 1 veranschaulichte Ausführungsform stellt nur ein Beispiel der Komponenten und Verbindungen des Fahrzeugs 102 bereit. Somit können die Komponenten und Verbindungen des Fahrzeugs 102 auf andere Weisen als den hier veranschaulichten und beschriebenen konstruiert sein.
2 ist ein Blockdiagramm eines Ausführungsbeispiels der elektronischen Steuerung 104 des Systems 100 von 1. Die elektronische Steuerung 104 beinhaltet mehrere elektrische und elektronische Komponenten, die Strom, Betriebssteuerung und Schutz für die Komponenten und Module innerhalb der elektronischen Steuerung 104 bereitstellen. Die elektronische Steuerung 104 beinhaltet unter anderem einen elektronischen Prozessor 200 (wie etwa einen programmierbaren elektronischen Mikroprozessor, Mikrocontroller oder eine ähnliche Vorrichtung) und einen Speicher 205 (beispielsweise einen nichttransitorischen maschinenlesbaren Speicher). Der elektronische Prozessor 200 ist kommunikativ mit dem Speicher 205 verbunden. Der elektronische Prozessor 200 ist, in Koordination mit dem Speicher 205 und der Kommunikationsschnittstelle 210, unter anderem ausgelegt zum Implementieren der hier beschriebenen Verfahren.
In manchen Ausführungsformen beinhaltet die elektronische Steuerung 104 mehrere elektrische und elektronische Komponenten, die Strom, Betriebssteuerung und Schutz für die Komponenten und Module innerhalb der elektronischen Steuerung 104 bereitstellen. Die elektronische Steuerung 104 kann eine oder mehrere elektronische Steuereinheiten beinhalten oder solche sein, einschließlich beispielsweise eines Motorsteuerungsmoduls, eines Antriebsstrangsteuerungsmoduls, eines Kraftübertragungssteuerungsmoduls, eines allgemeinen elektronischen Moduls und dergleichen. Die elektronische Steuerung 104 kann Untermodule enthalten, die zusätzliche elektronische Prozessoren, zusätzlichen Speicher oder zusätzliche anwendungsspezifische integrierte Schaltungen (ASICs) zum Handhaben von Kommunikationsfunktionen, zur Verarbeitung von Signalen und zur Anwendung der unten aufgelisteten Verfahren beinhalten. Bei anderen Ausführungsformen beinhaltet die elektronische Steuerung 104 zusätzliche, weniger oder andere Komponenten. Der elektronische Prozessor 200 und der Speicher 205, sowie die anderen verschiedenen Module, sind durch einen oder mehrere Steuerungs- oder Datenbusse verbunden. Bei manchen Ausführungsformen ist die elektronische Steuerung 104 teilweise oder gänzlich in Hardware (beispielsweise unter Verwendung eines feldprogrammierbaren Gate-Arrays („FPGA“), einer anwendungsspezifischen integrierten Schaltung („ASIC“) oder anderer Vorrichtungen) implementiert.
Der Speicher 205 kann ein oder mehrere nichttransitorische computerlesbare Medien beinhalten und beinhaltet einen Programmspeicherungsbereich und einen Datenspeicherungsbereich. Wie in der vorliegenden Anmeldung verwendet, umfasst „nichttransitorische computerlesbare Medien“ alle computerlesbaren Medien, besteht aber nicht aus einem transitorischen, sich ausbreitenden Signal. Der Programmspeicherbereich und der Datenspeicherbereich können Kombinationen verschiedener Arten von Speicher beinhalten, beispielsweise Nurlesespeicher („ROM“), Direktzugriffsspeicher („RAM“), elektrisch löschbaren programmierbaren Nurlesespeicher („EEPROM“), Flash-Speicher oder andere geeignete digitale Speichervorrichtungen. Der elektronische Prozessor 200 ist mit dem Speicher 205 verbunden und führt Software, einschließlich Firmware, einer oder mehrerer Anwendungen, Programmdaten, Filter, Regeln, eines oder mehrerer Programmmodule und anderer ausführbarer Anweisungen aus. Der elektronische Prozessor 200 ruft unter anderem aus dem Speicher 205 auf die hier beschriebenen Steuerungsprozesse und -verfahren bezogene Anweisungen ab und führt diese aus. Bei anderen Ausführungsformen kann die elektronische Steuerung 104 zusätzliche, weniger oder andere Komponenten beinhalten.
Der Speicher 205 der elektronischen Steuerung 104 beinhaltet Software, die, bei Ausführung durch den elektronischen Prozessor 200, den elektronischen Prozessor 200 zum Durchführen des in 3 veranschaulichten Verfahrens 300 veranlasst. Beispielsweise beinhaltet der in 2 veranschaulichte Speicher 205 ein neuronales Netz 215 und Objektdetektionssoftware 220. Das neuronale Netz 215 kann ein tief neuronales Netz sein (beispielsweise ein faltendes neuronales Netz (CNN) oder ein rekursives neuronales Netz (RNN)). Das neuronale Netz 215 beinhaltet einen oder mehrere Eingangskanäle, die es dem neuronalen Netz 215 ermöglichen, Bilddaten von der Kamera 112 (und, bei manchen Ausführungsformen, Sensordaten von den zusätzlichen Sensoren 114) gleichzeitig zu analysieren, um ein Objekt in der umgebenden Umgebung des Fahrzeugs und eine durch das Objekt vorgenommene Handlung zu klassifizieren. Das Objekt kann beispielsweise ein Teilnehmer (ein anderes Fahrzeug/ein anderer Autofahrer) auf der Straße sein, auf der sich das Fahrzeug 102 befindet, wobei die Handlung des Straßenteilnehmers bestimmt werden sollte. Bei manchen Ausführungsformen ist das neuronale Netz 215 darauf trainiert, Objekte und Handlungen, die sie durchführen, unter Verwendung einer Trainingsmenge von Bildern und/oder Sensordaten, die dem einen oder den mehreren Teilnehmern auf der Straße entsprechen, zu klassifizieren.
Bei manchen Ausführungsformen verwendet der elektronische Prozessor 200 bei Ausführung der Objektdetektionssoftware 220 Techniken maschinellen Lernens zum Detektieren von Objekten, die die Bewegung des Fahrzeugs 102 beeinträchtigen können, in einem von der Kamera 112 empfangenen Bild. Beispielsweise kann die Objektdetektionssoftware 220 ein faltendes neuronales Netz beinhalten, das zum Erkennen von Fahrzeugen, Personen, Tieren, einer Kombination der vorangehenden und dergleichen trainiert wurde. Andere Arten von Sensordaten können auch durch die Objektdetektionssoftware 220 genutzt werden.
Wie oben erwähnt wurde, kann das System 100 beim Bestimmen einer zukünftigen Trajektorie eines Fahrzeugs die passende Trajektorie auf der Grundlage der Bewegungstrajektorie der anderen Verkehrsteilnehmer innerhalb der das Fahrzeug umgebenden Umgebung bestimmen. Wie nachstehend ausführlicher erläutert ist, ist die elektronische Steuerung 104 ausgelegt zum Erzeugen eines Bilds, das eine das Fahrzeug umgebende Umgebung abbildet, das Straßenverkehrsfaktoren beinhaltet, einschließlich Verkehrszeichen und Straßenlinien zusätzlich zu Verkehrsteilnehmern, die beim Vorhersagen der Trajektorie anderer Verkehrsteilnehmer berücksichtigt werden müssen.
Zurück zu 1, in der das Bremssystem 108, das Lenksystem 109 und das Beschleunigungssystem 110 jeweils Komponenten beinhalten, die bei autonomer oder manueller Steuerung der Bewegung des Fahrzeugs 102 involviert sind. Die elektronische Steuerung 104 kann ausgelegt sein zum Steuern einiger oder aller Funktionalität von einem oder mehreren der Systeme 108, 109 und 110, um das Fahrzeug zu lenken und zu fahren. Bei manchen Ausführungsformen kann die Steuerung 104 begrenzte Kontrolle über die Systeme 108, 109 und 110 ausüben und einiges oder alles Fahren kann durch den Fahrer des Fahrzeugs 102 gesteuert werden.
Die anderen Fahrzeugsysteme 111 beinhalten Steuerungen, Sensoren, Aktuatoren und dergleichen zum Steuern von Aspekten des Betriebs des Fahrzeugs 102 (beispielsweise Beschleunigung, Bremsen, Gangschalten und dergleichen). Die anderen Fahrzeugsysteme 111 sind ausgelegt zum Senden und Empfangen von Daten, die den Betrieb des Fahrzeugs 102 betreffen, zu der und von der elektronischen Steuerung 104.
3 veranschaulicht ein Beispielverfahren 300 des Fahrens eines Fahrzeugs auf der Grundlage einer vorhergesagten Trajektorie eines Fahrzeugs 102. In Schritt 305 nimmt der elektronische Prozessor 200 über eine Kamera (beispielsweise die Kamera 112) ein erstes Bild auf und bestimmt, innerhalb des ersten Bilds, einen Straßenverkehrsfaktor (Block 308). Der elektronische Prozessor 200 erzeugt, auf der Grundlage von Sensorinformationen von einem oder mehreren Sensoren (Kamera 112 und/oder zusätzliche Sensoren 114) des Fahrzeugs, ein zweites Bild, das eine das Fahrzeug 102 umgebende Umgebung abbildet (Block 310), was im Hinblick auf 3 nachstehend ausführlicher beschrieben ist.
Ein Straßenverkehrsfaktor besteht aus einem Objekt, dessen Präsenz (beispielsweise Handlung oder Signifikanz) innerhalb der das Fahrzeug 102 umgebenden Umgebung eine zukünftige Trajektorie eines oder mehrerer Verkehrsteilnehmer nahe dem Fahrzeug 102 beeinträchtigen/beeinflussen kann. Der Begriff nahe sollte als innerhalb einer vorbestimmten Entfernung des Fahrzeugs 102 befindlich verstanden werden. In einem Beispiel wird die Entfernung innerhalb von 24 Fuß des Fahrzeugs 102 bestimmt, beispielsweise über Video- oder Bildanalyse, Ultraschalldistanzerfassung oder Funksignalübertragungsentfernung. Bei manchen Ausführungsformen wird die vorbestimmte Entfernung auf der Grundlage der Geschwindigkeit des Fahrzeugs 102 eingestellt. Wenn sich das Fahrzeug 102 beispielsweise mit einer Schnellstraßengeschwindigkeit (beispielsweise ungefähr 60 Meilen pro Stunde) bewegt, dann kann die vorbestimmte Entfernung größer sein, als wenn sich das Fahrzeug mit einer Wohngebietsgeschwindigkeit (beispielsweise ungefähr 30 Meilen pro Stunde) bewegt. Beispielsweise kann ein Straßenverkehrsfaktor ein Verkehrszeichen, eine Lichtzeichenanlage, eine Straßenmarkierung und/oder eine Trajektorie eines Objekts innerhalb einer vorbestimmten Entfernung von dem Verkehrsteilnehmer sein. Hinsichtlich des Verkehrszeichens, der Lichtzeichenanlage und der Straßenmarkierung wird die gewisse Signifikanz von jedem bei der Bestimmung der vorhergesagten Trajektorie der Verkehrsteilnehmer nahe dem Fahrzeug 102 innerhalb der das Fahrzeug 102 umgebenden Umgebung berücksichtigt. Wenn der elektronische Prozessor 200 beispielsweise mit dem (den) Bildsensor(en) 112 beispielsweise unter Verwendung der Objektdetektionssoftware 220, ein Stoppschild innerhalb der Umgebung der Front des Fahrzeugs 102 detektiert, kann der elektronische Prozessor 200 vorhersagen, dass (oder ein zusätzliches Gewicht zu der Wahrscheinlichkeit hinzufügen, dass) der eine oder die mehreren Fahrzeugteilnehmer nahe dem Fahrzeug 102, die in derselben allgemeinen Richtung wandern, verzögern und vor dem Stoppschild stoppen werden. Das Objekt innerhalb einer vorbestimmten Entfernung (beispielsweise ungefähr 5 Fuß) von dem Verkehrsteilnehmer kann ein Objekt sein, dessen Position und/oder gewisse Trajektorie die zukünftige Trajektorie des Verkehrsteilnehmers beeinflusst. Das Objekt kann beispielsweise ein Fußgänger oder ein Hindernis, wie etwa ein Ast, ein angehaltenes Fahrzeug oder ein anderes Objekt sein. Das Objekt kann in einer Position sein oder in eine solche bewegt werden, die sich mit einer aktuellen Trajektorie eines Verkehrsteilnehmers schneidet, was es wahrscheinlich macht, dass der Verkehrsteilnehmer seine Trajektorie ändern wird. Der Straßenverkehrsfaktor sowie andere Objekte innerhalb der das Fahrzeug 102 umgebenden Umgebung können unter Verwendung von Objekterkennungstechniken über die Objektdetektionssoftware 220, beispielsweise CNNs, bestimmt werden.
In Block 315 ist der elektronische Prozessor 200 ausgelegt zum Bestimmen, auf der Grundlage des detektierten Straßenfaktors (und eines Bilds, wie nachstehend ausführlicher beschrieben ist), einer vorhergesagten Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug 102. Bei manchen Ausführungsformen (beispielsweise wie unten in 5 gezeigt ist) bestimmt der elektronische Prozessor 200 die vorhergesagte Trajektorie auf der Grundlage des detektierten Straßenfaktors und des Bilds unter Verwendung eines Tief-Lernnetzes. In Block 320 erzeugt der elektronische Prozessor 200 einen Lenkbefehl für das Fahrzeug 102 auf der Grundlage des Bilds 400 und der vorhergesagten Trajektorie (oder Trajektorien). Der Lenkbefehl kann eine automatisierte/halbautomatisierte Fahrfunktion sein, die durch den elektronischen Prozessor 200 durch Bremsen, Beschleunigen und/oder Abbiegen des Fahrzeugs 102 implementiert wird (beispielsweise über das Bremssystem 108, das Lenksystem 109 und/oder das Beschleunigungssystem 110).
4 ist ein Beispielbild 400, das im Block 310 des Verfahrens 300 von 3 erzeugt wurde. Das Bild 400 veranschaulicht die das Fahrzeug 102 umgebende Verkehrsumgebung. In dem bereitgestellten Beispiel bildet das Bild 400 eine Straßentopologie (Fahrspuren, Straßenkrümmung, Verkehrsrichtung, Trajektorie von Verkehrsteilnehmern und dergleichen) der das Fahrzeug 102 umgebenden Umgebung in der Form eines statischen Bilds ab. Bei der veranschaulichten Ausführungsform sind die Straßenlinien als durchgezogene, schwarze Linien 402A - 402E abgebildet. Unterschiedliche Muster und/oder Farbmarkierungen können verwendet werden, um verschiedene Arten von Straßenfahrspuren anzuzeigen (beispielsweise, ob die Fahrspurmarkierung anzeigt, dass Verkehr in derselben oder entgegengesetzten Richtung überholen kann oder nicht, ob es eine Fahrradspur gibt, usw.). Die Straßenfahrspuren 404A - 404E beinhalten ein visuelles Muster/eine Farbe, das/die die designierte Verkehrsrichtung angibt (beispielsweise beinhalten sowohl die Fahrspur 404A als auch 404B ein horizontal gestreiftes Muster, das eine erste Verkehrsrichtung angibt, wohingegen Fahrspuren 404C - 404E ein diagonal gestreiftes Muster beinhalten, das eine zweite Verkehrsrichtung angibt). Das Bild 400 bildet ferner die aufkommende Krümmung 406 der Fahrspur 404E über die Biegung der Straßenlinie 402E ab.
Das Bild 400 beinhaltet einen oder mehrere Verkehrsteilnehmer 408A - 408D und deren jeweilige vorherige Positionen (eine jeweilige vorherige Trajektorie 410A - 410D ausbildend) bestimmt über den elektronischen Prozessor 200 auf der Grundlage von Daten von der Kamera 112 (und/oder zusätzlichen Sensoren 114). Ähnlich den Fahrspur- und Linienmarkierungen kann jeder Verkehrsteilnehmer durch eine gewisse Farbe/ein gewisses Muster oder eine gewisse Gestalt angegeben sein. Bei manchen Ausführungsformen kann die gewisse Bildrepräsentation eines Verkehrsteilnehmers auf dessen vorheriger Trajektorie, der Fahrzeugart oder anderen Charakteristika basieren. Die Trajektorien 410A-410D können, wie in 4 gezeigt, über einen Gradienten veranschaulicht werden, wobei der lichteste Anteil (angegeben durch die größer beabstandeten Halbtonlinien) davon die früheste frühere Position ist und der dunkelste (angegeben durch die dichter beabstandeten Halbtonlinien) die letzte Position ist. Die Traj ektorien 410A - 410D können durch den Prozessor 200 auf Grundlage von vorherigen Sensorinformationen von der Kamera 112 und/oder zusätzlichen Sensoren 114 bestimmt werden. Bei manchen Ausführungsformen nutzt der Prozessor 200 Gauß-Verunschärfung bei der Bestimmung der Traj ektorien 410A - 410D.
5 ist ein Flussdiagramm 500, das einen Vorhersageprozess veranschaulicht, der das neuronale Netz 215 des elektronischen Prozessors 200 nutzt, gemäß einigen Ausführungsformen. Der Prozess kann durch den Prozessor 200 in Block 315 des oben beschriebenen Verfahrens 300 genutzt werden. Wie in 5 veranschaulicht ist, kann das neuronale Netz 215 in einigen Ausführungsformen ein Verhaltensvorhersage-Tiefneuronalnetz sein. Zur Erleichterung der Beschreibung ist das Flussdiagramm 500 im Hinblick auf einen einzigen Verkehrsteilnehmer (hier der Verkehrsteilnehmer 408D) beschrieben. Es versteht sich, dass ein ähnlicher Prozess auf zusätzliche Verkehrsteilnehmer (beispielsweise jene von 4) angewandt werden kann.
Das Bild 400 wird einem neuronalen Netz 215 als eine Eingabe zugeführt. Bei manchen Ausführungsformen wird dem neuronalen Netz 215 eine modifizierte Version des Bilds 400 zugeführt. Die modifizierte Version des Bilds 400 kann Informationen des Verkehrsteilnehmers beinhalten, der dem Fahrzeug 102 am nächsten ist, und/oder dessen frühere Trajektorie angibt, dass sie die aktuelle Trajektorie des Fahrzeugs 102 schneidet oder schneiden wird. Die Verkehrsteilnehmer in dem modifizierten Bild können sich beispielsweise innerhalb derselben Fahrspur wie die aktuelle Fahrspur oder in einer Fahrspur, die der aktuellen Fahrspur benachbart ist, befinden, in der sich das Fahrzeug 102 befindet, innerhalb eines gewissen Radius des Fahrzeugs 102, oder in eine solche eintreten.
Beispielsweise ist das dem neuronalen Netz 215 zugeführte Bild in der veranschaulichten Ausführungsform ein modifiziertes Bild 502 des Bilds 400. Das modifizierte Bild 502 ist eine redigierte Version des Bilds 400, das einen einzigen Verkehrsteilnehmer (hier der Verkehrsteilnehmer 408C) beinhaltet. Es versteht sich, dass, wenn eine zukünftige Trajektorie von anderen Verkehrsteilnehmern bestimmt wird, das Bild 400 gleichermaßen modifiziert wird, um andere Verkehrsteilnehmer wegzulassen. Es versteht sich, dass, obgleich hier im Hinblick auf das modifizierte Bild 502 beschrieben, der in Flussdiagramm 500 veranschaulichte Prozess das Bild 400 auf gleiche Weise nutzen kann. Das redigierte Bild 502 lässt die Verkehrsteilnehmer 408A und 408B von Bild 400 weg (4), da sie sich in Fahrspuren 404A und 404B befinden, die der Verkehrsrichtung der Fahrspur 404D, in der sich das Fahrzeug 102 befindet, entgegengesetzt sind. Der Verkehrsteilnehmer 408D ist weggelassen, obgleich er sogar in Fahrspur 404E fährt, die der Fahrspur 404D benachbart ist und dieselbe Richtung des Verkehrs aufweist, da die Krümmung 406 angibt, dass sich die Fahrspur 404 voraus von der Fahrspur 404D trennt. Der Verkehrsteilnehmer 408C (und dessen entsprechende Vergangenheitstrajektorie 410C) ist in dem modifizierten Bild 502 enthalten, weil er dem Fahrzeug 102 nahe ist und sich, in Anbetracht seiner früheren Trajektorie 410C, von der benachbarten Fahrspur 404C zur Fahrspur 404D hinbewegt, wobei die aktuelle Trajektorie des Fahrzeugs 102 geschnitten wird. Bei manchen Ausführungsformen beinhaltet das modifizierte Bild 502 visuelle Informationen hinsichtlich mehr als einem Verkehrsteilnehmer. Straßentopologieinformationen können gleichermaßen auf der Grundlage von deren Nähe zum Fahrzeug 102 weggelassen/modifiziert werden.
Zusätzlich zu dem Bild 502 betreffen die Objektzustandsinformationen 504 die Verkehrsteilnehmer des Bilds 502, die möglicherweise nicht aus dem Bild 502 allein erhalten werden können. Solche Informationen können beispielsweise die Geschwindigkeit (das Tempo und die Richtung des Fahrzeugs 102) und/oder Beschleunigung (eine Tempoänderung des Fahrzeugs 102 mit der Zeit) beinhalten. Dementsprechend wird die vorhergesagte Trajektorie in manchen Ausführungsformen auf der Grundlage von einem oder beiden von Geschwindigkeit und Beschleunigung des Verkehrsteilnehmers bestimmt.
Bei manchen Ausführungsformen wird die vorhergesagte Trajektorie des dem Fahrzeug 102 nächsten Verkehrsteilnehmers auf der Grundlage einer vorhergesagten Trajektorie eines zweiten Verkehrsteilnehmers bestimmt. Gäbe es beispielsweise in der Fahrspur 404D einen weiteren Verkehrsteilnehmer vor dem Verkehrsteilnehmer 408C, für den der Prozessor 200 vorhersagt, dass er verzögern wird, kann diese Vorhersage bei der Bestimmung der zukünftigen Trajektorie von Verkehrsteilnehmer 408C berücksichtigt werden (dies verringert beispielsweise die Wahrscheinlichkeit, dass der Teilnehmer 408C in die Fahrspur 404D einfahren würde).
Auf der Grundlage des Bilds 502 und der Objektzustandsinformationen 504 bestimmt das Verhaltensvorhersage-Neuronalnetz 215 eine oder mehrere vorhergesagte (zukünftige) Trajektorien des Verkehrsteilnehmers innerhalb des Bilds 502 (in der veranschaulichten Ausführungsform des Teilnehmers 408C). Während der Bestimmung berücksichtigt das neuronale Netz 215 den einen oder die mehreren detektierten Verkehrsfaktoren, die die zukünftige Trajektorie des in dem Bild 502 veranschaulichten gewissen Verkehrsteilnehmers beeinflussen kann. Falls es beispielsweise direkt vor den Fahrspuren 404C und 404D ein Stopp-Schild gibt, kann der Prozessor 200 über das neuronale Netz 215 bestimmen, dass der Verkehrsteilnehmer 408C in der unmittelbaren Zukunft verzögern wird (in Abhängigkeit von der Distanz von dem Stopp-Schild).
Bei der veranschaulichten Ausführungsform wird die Kennzeichnung 506 (eine der mehreren möglichen zukünftigen Trajektorien) mit der besten Kostenfunktion 508 (der größten Wahrscheinlichkeit, genau zu sein) bestimmt. Mit anderen Worten bestimmt der Prozessor 200, auf der Grundlage des detektierten Straßenverkehrsfaktors und des Bilds, eine vorhergesagte Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug 102. Dementsprechend erzeugt der elektronische Prozessor 200, wie oben beschrieben, auf der Grundlage der vorhergesagten Trajektorie (und des Bilds 400) einen passenden Lenkbefehl für das Fahrzeug 102.
In der vorangehenden Patentschrift wurden spezifische Ausführungsformen beschrieben. Allerdings erkennt der Durchschnittsfachmann auf dem Gebiet, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne vom Schutzumfang der Erfindung, wie er in den nachstehenden Ansprüchen dargelegt ist, abzuweichen. Dementsprechend sollen die Patentschrift und die Figuren als veranschaulichend statt beschränkend angesehen werden, und alle derartigen Modifikationen sollen innerhalb des Schutzumfangs der vorliegenden Lehren eingeschlossen sein.
In diesem Dokument können relationale Begriffe, wie z. B. erste und zweite, obere und untere und dergleichen einzig dafür verwendet werden, eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne tatsächlich irgendeine solche Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Begriffe „umfasst“, „umfassend“, „weist auf‟, „aufweisend“, „beinhaltet“, „beinhaltend“, „enthält“, „enthaltend“ oder irgendwelche anderen Variationen davon sollen sich auf eine nicht ausschließliche Einbeziehung beziehen, so dass ein Prozess, ein Verfahren, ein Gegenstand oder eine Einrichtung, der, das oder die eine Liste von Elementen umfasst, aufweist, beinhaltet, enthält, nicht nur jene Elemente enthält, sondern auch andere Elemente enthalten kann, die nicht ausdrücklich aufgeführt oder für einen derartigen Prozess, ein derartiges Verfahren, einen derartigen Gegenstand, oder eine derartige Einrichtung inhärent sind. Ein Element, dem ein „umfasst... ein“, „weist...ein auf“, „beinhaltet...ein“ oder „enthält... ein“ vorangeht, schließt nicht ohne mehr Einschränkungen das Vorhandensein zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Artikel oder der Vorrichtung aus, der, das oder die das Element umfasst, aufweist, beinhaltet, enthält. Der Begriff „ein“ ist als ein oder mehrere definiert, es sei denn, dass hier anderes ausdrücklich angegeben wird. Die Begriffe „im Wesentlichen“, „grundsätzlich“, „ungefähr“, „etwa“ oder irgendeine andere Version davon sind als dem Verständnis eines Durchschnittsfachmanns angelehnt definiert und in einer nicht einschränkenden Ausführungsform ist der Begriff als innerhalb von 10%, in einer anderen Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in noch einer weiteren Ausführungsform als innerhalb von 0,5% liegend definiert. Der Begriff „gekoppelt“, so wie er hier verwendet wird, ist als verbunden definiert, wenn auch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder Struktur, die auf eine gewisse Weise „ausgelegt“ ist, ist in zumindest dieser Weise ausgelegt, kann aber auch auf Weisen ausgelegt sein, die nicht aufgelistet sind.
Verschiedene Merkmale, Vorteile und Ausführungsformen sind in den folgenden Ansprüchen dargelegt.

Claims

System zur Steuerung eines Fahrzeugs, wobei das System Folgendes umfasst: einen elektronischen Prozessor, ausgelegt zum Aufnehmen, über eine Kamera, eines ersten Bilds; Bestimmen, innerhalb des ersten Bilds, eines Straßenverkehrsfaktors; Erzeugen, auf der Grundlage von Sensorinformationen von einem oder mehreren Sensoren des Fahrzeugs, eines zweiten Bilds, das eine das Fahrzeug umgebende Umgebung abbildet, wobei das zweite Bild den Straßenverkehrsfaktor beinhaltet; Bestimmen, auf der Grundlage des detektierten Straßenverkehrsfaktors und des zweiten Bilds, einer vorhergesagten Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug; und Erzeugen eines Lenkbefehls für das Fahrzeug auf der Grundlage der vorhergesagten Trajektorie.
System nach Anspruch 1, wobei der elektronische Prozessor die vorhergesagte Trajektorie auf der Grundlage des detektierten Straßenfaktors und des zweiten Bilds unter Verwendung eines Tief-Lernnetzes bestimmt.
System nach Anspruch 1, wobei der elektronische Prozessor ferner ausgelegt ist zum Bestimmen der vorhergesagten Trajektorie auf der Grundlage von einem oder beiden von einer Geschwindigkeit und einer Beschleunigung des Verkehrsteilnehmers.
System nach Anspruch 1, wobei der Straßenverkehrsfaktor mindestens einer ausgewählt aus der aus einem Verkehrszeichen, einer Lichtzeichenanlage, einer Straßenmarkierung und einer Trajektorie eines dem Verkehrsteilnehmer nahen Objekts bestehenden Gruppe ist.
System nach Anspruch 1, wobei der elektronische Prozessor ferner ausgelegt ist zum Bestimmen der vorhergesagten Trajektorie des Verkehrsteilnehmers nahe dem Fahrzeug auf der Grundlage einer vorhergesagten Trajektorie eines zweiten Verkehrsteilnehmers.
Vorrichtung zur Steuerung eines Fahrzeugs, wobei die Vorrichtung Folgendes umfasst: einen oder mehrere Sensoren, einschließlich einer Kamera, die kommunikationstechnisch mit dem elektronischen Prozessor gekoppelt sind, wobei der elektronische Prozessor ausgelegt ist zum Aufnehmen, über die Kamera, eines ersten Bilds; Bestimmen, innerhalb des ersten Bilds, eines Straßenverkehrsfaktors; Erzeugen, auf der Grundlage von Sensorinformationen von dem einem oder den mehreren Sensoren des Fahrzeugs, eines zweiten Bilds, das eine das Fahrzeug umgebende Umgebung abbildet, wobei das zweite Bild den Straßenverkehrsfaktor beinhaltet; Bestimmen, auf der Grundlage des detektierten Straßenverkehrsfaktors und des zweiten Bilds, einer vorhergesagten Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug; und Erzeugen eines Lenkbefehls für das Fahrzeug auf der Grundlage der vorhergesagten Trajektorie.
Vorrichtung nach Anspruch 6, wobei der elektronische Prozessor die vorhergesagte Trajektorie auf der Grundlage des detektierten Straßenfaktors und des zweiten Bilds unter Verwendung eines Tief-Lernnetzes bestimmt.
Vorrichtung nach Anspruch 6, wobei der elektronische Prozessor ferner ausgelegt ist zum Bestimmen der vorhergesagten Trajektorie auf der Grundlage von einem oder beiden von einer Geschwindigkeit und einer Beschleunigung des Verkehrsteilnehmers.
Vorrichtung nach Anspruch 6, wobei der Straßenverkehrsfaktor mindestens einer ausgewählt aus der aus einem Verkehrszeichen, einer Lichtzeichenanlage, einer Straßenmarkierung und einer Trajektorie eines dem Verkehrsteilnehmer nahen Objekts bestehenden Gruppe ist.
Vorrichtung nach Anspruch 6, wobei der elektronische Prozessor ferner ausgelegt ist zum Bestimmen der vorhergesagten Trajektorie des Verkehrsteilnehmers nahe dem Fahrzeug auf der Grundlage einer vorhergesagten Trajektorie eines zweiten Verkehrsteilnehmers.
Verfahren zum Steuern eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: Aufnehmen, über eine Kamera, eines ersten Bilds; Bestimmen, innerhalb des ersten Bilds, eines Straßenverkehrsfaktors; Erzeugen, auf der Grundlage von Sensorinformationen von einem oder mehreren Sensoren des Fahrzeugs, eines zweiten Bilds, das eine das Fahrzeug umgebende Umgebung abbildet, einschließlich des Straßenverkehrsfaktors; Bestimmen, auf der Grundlage des detektierten Straßenverkehrsfaktors und des zweiten Bilds, einer vorhergesagten Trajektorie eines Verkehrsteilnehmers nahe dem Fahrzeug; und Erzeugen eines Lenkbefehls für das Fahrzeug auf der Grundlage der vorhergesagten Trajektorie.
Verfahren nach Anspruch 11, wobei die vorhergesagte Trajektorie auf der Grundlage des detektierten Straßenfaktors und des zweiten Bilds unter Verwendung eines Tief-Lernnetzes bestimmt wird.
Verfahren nach Anspruch 11, wobei die vorhergesagte Trajektorie auf der Grundlage von einem oder beiden von Geschwindigkeit und Beschleunigung des Verkehrsteilnehmers bestimmt wird.
System nach Anspruch 11, wobei der Straßenverkehrsfaktor mindestens einer ausgewählt aus der aus einem Verkehrszeichen, einer Lichtzeichenanlage, einer Straßenmarkierung und einer Trajektorie eines dem Verkehrsteilnehmer nahen Objekts bestehenden Gruppe ist.
Verfahren nach Anspruch 11, wobei die vorhergesagte Trajektorie des Verkehrsteilnehmers nahe dem Fahrzeug auf der Grundlage einer vorhergesagten Trajektorie eines zweiten Verkehrsteilnehmers bestimmt wird.