DE102016116029A1

DE102016116029A1 - Klassifikation von durch 3D-Sensoren erfassten Objekten

Info

Publication number: DE102016116029A1
Application number: DE102016116029.6A
Authority: DE
Inventors: Michael J. Delp
Original assignee: Toyota Motor Engineering and Manufacturing North America Inc
Current assignee: Toyota Motor Corp
Priority date: 2015-09-14
Filing date: 2016-08-29
Publication date: 2017-03-23
Anticipated expiration: 2036-08-30
Also published as: US20170075356A1; US9576185B1; JP2017056935A; DE102016116029B4; JP6298128B2

Abstract

Ein Verfahren für autonomes Fahren umfasst das Erzeugen von 3D-Punkten, die Objekte in der Umgebung des Fahrzeugs darstellen, mit einem 3D-Sensor. Das Verfahren umfasst ferner das Identifizieren einer zeitlichen Folge von 3D-Punkte-Clustern, die dasselbe Objekt in der Umgebung des Fahrzeugs als einen Track darstellen, mit einer Rechenvorrichtung anhand der 3D-Punkte, das Identifizieren von cluster-basierten Klassifikatoren für das Objekt auf Basis identifizierter lokaler Merkmale für das Cluster in dem Track, das Identifizieren von track-basierten Klassifikatoren für das Objekt auf Basis identifizierter globaler Merkmale für das Objekt, das Kombinieren der cluster-basierten Klassifikatoren und der track-basierten Klassifikatoren zur Klassifikation des Objekts, wobei die cluster-basierten Klassifikatoren basierend auf der Informationsmenge über das Cluster, durch welches sie identifiziert werden, gewichtet werden, und die Gewichtung mit zunehmender Informationsmenge steigt, sowie Steuern des Fahrzeugs entlang einer Fahrtroute auf Basis der Objektklassifikation.

Description

TECHNISCHES GEBIET
Die hierin vorgeschlagenen Ausführungsformen betreffen im Allgemeinen autonome Betriebssysteme für Fahrzeuge, und insbesondere die Klassifikation von durch 3D-Sensoren in autonomen Betriebssystemen erfassten Objekten.
HINTERGRUND
Manche Fahrzeuge umfassen ein autonomes Betriebssystem mit einem Betriebsmodus, in welchem das Fahrzeug mit minimaler oder keinerlei Eingabe eines menschlichen Fahrers entlang einer Fahrtroute gesteuert wird. Bei diesen Fahrzeugen ist das autonome Betriebssystem derart konfiguriert, dass es Informationen über die Umgebung des Fahrzeugs, einschließlich der Gegenwart von Objekten, erfasst, und die erfassten Informationen verarbeitet, um zu planen, wie das Fahrzeug entlang der Fahrtroute gesteuert werden muss, um den Objekten auszuweichen.
In realen Verkehrssituationen ist es als Teil dieser Erfassung und Planung erwünscht, dass das autonome Betriebssystem die Objekte in der Umgebung des Fahrzeugs klassifiziert, um nicht nur andere Fahrzeuge, sondern neben anderen Objekten auch Fußgänger und Fahrräder zu berücksichtigen. Die Verbesserung der Klassifikation der Objekte in der Umgebung des Fahrzeugs durch das autonome Betriebssystem ist daher Gegenstand laufender Forschungen.
KURZFASSUNG
Hierin sind Systeme und Verfahren für autonomes Fahren offenbart. Gemäß einem Aspekt umfasst ein Verfahren für autonomes Fahren das Erzeugen von 3D-Punken, die Objekte in der Umgebung des Fahrzeugs darstellen, mit einem 3D-Sensor. Das Verfahren umfasst ferner, jeweils mithilfe einer Rechenvorrichtung, das Identifizieren einer zeitlichen Folge von 3D-Punkte-Clustern, die dasselbe Objekt in der Umgebung des Fahrzeugs als einen Track darstellen, anhand der 3D-Punkte, das Identifizieren von cluster-basierten Klassifikatoren des Objekts auf Basis von identifizierten lokalen Merkmalen für die Cluster in dem Track, das Identifizieren von track-basierten Klassifikatoren des Objekts auf Basis von identifizierten globalen Merkmalen für den Track, das Kombinieren der cluster-basierten Klassifikatoren und der track-basierten Klassifikatoren zum Klassifizieren des Objekts, wobei die cluster-basieren Klassifikatoren auf Basis der Informationsmenge über das Cluster, durch welches sie identifiziert werden, gewichtet werden, und wobei die Gewichtung mit zunehmender Informationsmenge steigt, sowie das Steuern des Fahrzeugs entlang einer Fahrtroute auf Basis der Objektklassifikation.
Diese und weitere Aspekte werden nachstehend im Detail beschrieben.
KURZE BESCHREIBUNG DER ZEICHNUNG
Die verschiedenen Merkmale und Vorteile, sowie weitere Verwendungen der vorliegenden Ausführungsformen werden durch Bezugnahme auf die folgende detaillierte Beschreibung verdeutlicht, sowie durch die Zeichnung, in welcher:
1 eine schematische Darstellung eines Fahrzeugs mit einem autonomen Betriebssystem ist, dessen Betrieb durch einen 3D-Sensor unterstützt wird;
2 eine schematische Darstellung der Systemarchitektur eines Erfassungsmoduls 50 für das autonome Betriebssystem ist, das ein Erfassungsmodul und ein Planungsmodul aufweist;
3 ein Flussdiagramm ist, das die Vorgänge eines Prozesses für den Klassifikator-Thread in dem Erfassungsmodul zeigt;
4A und 4B Beispielschätzungen der Hauptrichtung eines 3D-Punkte-Clusters zeigen, das ein Fahrzeug darstellt;
5 Beispiele von Spinbildern von 3D-Punkte-Clustern zeigt, die verschiedene Objekte darstellen;
6A–C Beispiele von virtuellen orthographischen Bildern eines 3D-Punke-Clusters zeigen, das ein Fahrzeug darstellt;
7 ein Beispiel eines graphischen Modells ist, das die probabilistischen Unabhängigkeiten zwischen den lokalen Merkmalen der 3D-Punkte-Cluster eines Tracks und den globalen Merkmalen des Tracks kodiert;
8 Aspekte eines Beispiels eines Gewichtungsfaktors für einen cluster-basierten Klassifikator zeigt; und
9 Aspekte einer Klassifikatorzuversicht für den Track im Zeitablauf zeigt.
DETAILLIERTE BESCHREIBUNG
Diese Offenbarung lehrt ein Fahrzeug, das ein autonomes Betriebssystem umfasst, das bei Betrieb Objekte in der Umgebung des Fahrzeugs, die durch zeitliche Folgen von 3D-Punkte-Clustern dargestellt werden, klassifiziert, und das Fahrzeug auf Basis der Objektklassifikation entlang einer Route steuert. Das autonome Betriebssystem klassifiziert die Objekte sowohl auf Basis eines track-basierten Klassifikators als auch auf cluster-basierten Klassifikatoren, gewichtet die cluster-basierten Klassifikatoren jedoch auf Basis der Informationsmenge über die Cluster, durch welche sie identifiziert werden.
1 zeigt ein Fahrzeug 10 mit einem autonomen Betriebssystem 20, dessen Betrieb durch einen LIDAR-Sensor 22 und einen oder mehrere optionale Hilfssensoren 24 unterstützt wird. Der LIDAR-Sensor 22 und die Hilfssensoren 24 sind an dem Fahrzeug 10 angebracht und derart positioniert, dass sie Sichtfelder in die Umgebung des Fahrzeugs 10 haben. Wenngleich das Fahrzeug 10 als ein nicht beschränkendes Beispiel einer mobilen Plattform vorgesehen ist, ist zu verstehen, dass das autonome Betriebssystem 20 auch in anderen mobilen Plattformen verwirklicht werden könnte. Zudem ist zu verstehen, dass diese Beschreibung prinzipiell auf andere 3D-Sensoren anwendbar ist, wenngleich der LIDAR-Sensor 22 als ein nicht beschränkendes Beispiel eines 3D-Sensors vorgesehen ist.
Der LIDAR-Sensor 22 ist derart konfiguriert, dass er die Umgebung des Fahrzeugs 10 scannt und Signale erzeugt, die 3D-Punkte, welche die Objekte in der Umgebung des Fahrzeugs 10 darstellen, umfassen aber nicht auf diese beschränkt sind.
Im Allgemeinen kann der LIDAR-Sensor 22 einen Sender und einen Empfänger umfassen. Der Sender kann ein Bestandteil oder eine Gruppe von Bestandteilen sein, die derart betreibbar sind, dass sie Lasersignale (z. B., Laserlichtenergie) senden. Der Sender kann beispielsweise ein Laser sein, ein Laserentfernungsmesser, ein LIDAR-, und/oder ein Laserscanner. Die Lasersignale können beliebige geeignete Charakteristika aufweisen. Bei einer oder mehreren Anordnungen können die Lasersignale aus einem beliebigen Bereich des elektromagnetischen Spektrums stammen, wie aus dem ultravioletten, dem sichtbaren, oder nahinfraroten Bereich des elektromagnetischen Spektrums. Die Lasersignale können augensicher sein.
Die Lasersignale können in die Umgebung des Fahrzeugs 10 ausgesendet werden, wo sie auf Objekte in der Umgebung auftreffen, die sich im Pfad der Lasersignale befinden. Die Lasersignale können beispielsweise in einer Serie von 360-Grad-Spins um eine vertikale (Z) Achse des Fahrzeugs 10 ausgesendet werden. Im Allgemeinen wird ein Teil des Lasersignals zu dem LIDAR-Sensor 22 zurückgeworfen (z. B., durch Reflexion), wenn die Lasersignale auf ein Objekt auftreffen. Der zurückgeworfene Teil des Lasersignals kann an dem LIDAR-Sensors 22 durch dessen Empfänger aufgenommen werden, der aus einem oder mehreren Photodetektoren, Festkörper-Photodetektoren, Photodioden oder Photovervielfachern oder einer beliebigen Kombination dieser bestehen, oder diese umfassen kann.
Der auf das Erfassen des zurückgeworfenen Lasersignals ansprechende LIDAR-Sensor 22 kann derart konfiguriert sein, dass er Signale ausgibt, die Objekte oder deren Nicht-Vorhandensein in der Umgebung des Fahrzeugs 10 darstellen. Der LIDAR-Sensor 22 kann ein globales Positionierungssystem (GPS) oder ein anderes Positionierungssystem zur Identifikation der Position umfassen, sowie eine Trägheitsmesseinheit (IMU) zur Identifikation seiner Stellung. Gemäß dieser Konfiguration können die Signale 3D-Punkte umfassen, die die Lage der Punkte im Raum darstellen, von welchen die zurückgeworfenen Lasersignale empfangen werden, und somit die Lage der Punkte der Objekte im Raum, auf die die Lasersignale aufgetroffen sind. Der LIDAR-Sensor 22 kann die Lage der Punkte der Objekte im Raum auf Basis des Abstands von dem LIDAR-Sensor 22 zu den Punkten bestimmen, ebenso wie die Position und die Stellung des LIDAR-Sensors 22 in Zusammenhang mit den zurückgeworfenen Lasersignalen. Der Abstand zu den Punkten kann beispielsweise anhand der zurückgeworfenen Lasersignale unter Verwendung des Laufzeitverfahrens (TOF) bestimmt werden. Die Signale können auch die Stellen im Raum darstellen, von denen keine zurückgeworfenen Lasersignale empfangen werden, und somit das Nicht-Vorhandensein von Punkten von Objekten an diesen Stellen im Raum, auf welche die Lasersignale andernfalls aufgetroffen wären.
Die Signale können ferner andere Aspekte der zurückgeworfenen Lasersignale darstellen, die wiederum andere Eigenschaften von Punkten von Objekten darstellen können, auf welche die einfallenden Lasersignale aufgetroffen sind. Diese Aspekte der zurückgeworfenen Lasersignale können beispielsweise deren Intensität oder Reflexionsvermögen oder eine beliebige Kombination dieser darstellen.
Die Hilfssensoren 24 können ebenso derart konfiguriert sein, dass sie die Umgebung des Fahrzeugs 10 scannen und Signale erzeugen, die Objekte oder deren Nicht-Vorhandensein in der Umgebung des Fahrzeugs 10 darstellen.
Die Hilfssensoren 24 können individuelle oder kollektive Sichtfelder haben, die üblich sind für das Sichtfeld des LIDAR-Sensors 22 in der Umgebung des Fahrzeugs 10. Im Allgemeinen können die Hilfssensoren 24 beispielsweise aus einem oder mehreren Bildsensoren, die derart konfiguriert sind, dass sie Licht oder andere elektromagnetische Energie aus der Umgebung des Fahrzeugs 10 erfassen, bestehen oder diese umfassen. Diese Bildsensoren können aus Photodetektoren, Festkörper-Photodetektoren, Photodioden oder Photovervielfachern oder einer beliebigen Kombination dieser bestehen, oder diese umfassen. Die Umgebung kann gegebenenfalls durch den Sender des LIDAR-Sensors 22 beleuchtet werden. Die Hilfssensoren 24 können derart konfiguriert sein, dass sie als Reaktion auf das Erfassen von Licht oder anderer elektromagnetischer Energie Signale ausgeben, die Objekte oder deren Nicht-Vorhandensein in der Umgebung des Fahrzeugs 10 darstellen.
Das Fahrzeug 10 umfasst eine Rechenvorrichtung 30, mit der der LIDAR-Sensor 22 und die Hilfssensoren 24 durch eine oder mehrere Kommunikationsverbindungen 32 kommunikativ verbunden sind. Obwohl die Rechenvorrichtung 30 und einer oder beide von dem LIDAR-Sensor 22 und den Hilfssensoren 24 dem autonomen Betriebssystem 20 zugeordnet sein können, ist vorgesehen, dass einige oder alle von diesen auch den Betrieb anderer Systeme des Fahrzeugs 10 unterstützen könnten.
Die Rechenvorrichtung 30 kann einen Prozessor 40 umfassen, der kommunikativ mit einem Speicher 42 gekoppelt ist. Der Prozessor 40 kann eine beliebige Vorrichtung umfassen, die in der Lage ist, maschinenlesbare Anweisungen auszuführen, die auf einem nicht-flüchtigen computerlesbaren Medium, z. B. dem Speicher 42, gespeichert sind. Der Prozessor 40 kann einen Controller, eine integrierte Schaltung, einen Mikrochip, einen Computer, und/oder eine beliebige andere Rechenvorrichtung. Der Speicher 42 kann jede Art eines computerlesbaren Mediums umfassen, das dazu geeignet ist, Daten und Algorithmen zu speichern. Der Speicher 42 kann beispielsweise einen RAM, einen ROM, einen Flash-Speicher, eine Festplatte, und/oder eine beliebige Vorrichtung umfassen, die maschinenlesbare Anweisungen speichern kann.
Die Rechenvorrichtung 30 kann außerdem eine Eingabe-/Ausgabe-Schnittstelle 44 umfassen, um die Kommunikation zwischen dem Prozessor 40 und dem LIDAR-Sensor 22 sowie den Hilfssensoren 24 zu erleichtern. Wenngleich die Rechenvorrichtung 30 schematisch so dargestellt ist, dass sie einen einzigen Prozessor 40 und einen einzigen Speicher 42 umfasst, kann die Rechenvorrichtung 40 in der Praxis eine Mehrzahl von Bestandteilen umfassen, die jeweils einen oder mehrere Speicher 42 und/oder Prozessoren 40 aufweisen, die mit einem oder mehreren der anderen Bestandteile kommunikativ gekoppelt sind. Die Rechenvorrichtung 30 kann eine separate selbstständige Einheit sein oder kann als ein Teil eines zentralen Steuersystems für das Fahrzeug 10 konfiguriert sein.
Die verschiedenen Algorithmen und Daten für das autonome Betriebssystem 20 und die anderen Systeme des Fahrzeugs 10 können gesamtheitlich oder teilweise im Speicher 42 der Rechenvorrichtung 30 vorliegen. Bei Betrieb des autonomen Betriebssystems 20 werden die von dem LIDAR-Sensor 22 und den Hilfssensoren 24 ausgegebenen Signale in dem Speicher 42 gespeichert. Wie nachstehend noch detaillierter beschrieben wird, umfassen die Algorithmen und Daten für das autonome Betriebssystem 20 ein Erfassungsmodul 50 und ein Planungsmodul 52.
Wenngleich die verschiedenen Algorithmen und Daten für das autonome Betriebssystem 20 der Einfachheit wegen mit Bezugnahme auf die Rechenvorrichtung 30 in dem Fahrzeug 10 beschrieben werden, ist zu verstehen, dass diese gesamtheitlich oder teilweise in einem Speicher einer von dem Fahrzeug 10 separaten Rechenvorrichtung vorliegen können. In diesen Fällen kann das Fahrzeug 10 außerdem ein integriertes mobiles Kommunikationssystem 60 mit verschieden konfigurierter Kommunikationshardware zum kabellosen Übertragen von Daten zwischen der Rechenvorrichtung 30 und einem mobilen Netzwerk, wie einem zellularen Netzwerk, umfassen. Das mobile Kommunikationssystem 60 und das mobile Netzwerk ermöglichen es der Rechenvorrichtung 30 zusammen, kabellos mit anderen Vorrichtungen zu kommunizieren, die mit dem mobilen Netzwerk verbunden sind, wie z. B. einem entfernten Server, der ebenso aus einer Rechenvorrichtung mit einem oder mehreren Prozessoren und einem oder mehreren Speichern bestehen kann, oder diese umfassen kann, oder einem anderen Fahrzeug, das ebenso ein Objekterfassungssystem mit einer Rechenvorrichtung mit einem oder mehreren Prozessoren und einem oder mehreren Speichern umfassen kann.
Das mobile Kommunikationssystem 60 des Fahrzeugs 10 kann einen integrierten mobilen Netzwerk-Sender-Empfänger 62 umfassen, der derart konfiguriert ist, dass er Daten über das mobile Netzwerk sendet und empfängt. Der mobile Netzwerk-Sender-Empfänger 62 kann über eine mobile Netzwerk-Sender-Empfänger-Kommunikationsverbindung 64 kommunikativ mit der Rechenvorrichtung 30 verbunden sein, wobei die Eingabe-/Ausgabe-Schnittstelle 44 die Kommunikation zwischen dem Prozessor 40 und dem Speicher 42 und dem mobilen Netzwerk-Sender-Empfänger 62 erleichtert. Der mobile Netzwerk-Sender-Empfänger 62 umfasst einen Sender zum kabellosen Übermitteln von Daten von der Rechenvorrichtung 30 zu dem mobilen Netzwerk und einen Empfänger für kabelloses Übermitteln von Daten von dem mobilen Netzwerk zu der Rechenvorrichtung 30.
Nachfolgend werden die gesamten Vorgänge des Durchführens der Objekterfassung in dem Erfassungsmoduls 50 des autonomen Betriebssystems 20 des Fahrzeugs 10 mit Bezugnahme auf 2 eingebracht.
Wie gezeigt ist, hat das Erfassungsmodul 50 des autonomen Betriebssystems 20 einen Wahrnehmungs- und Tracking-Thread und einen Klassifikator-Thread. In dem Wahrnehmungs- und Tracking-Thread werden 3D-Punkte und andere von dem LIDAR-Sensor 22 ausgegebene Signale, die Objekte in der Umgebung des Fahrzeugs 10 darstellen, empfangen, wenn der LIDAR-Sensor 22 die Umgebung des Fahrzeugs 10 scannt. Es kann außerdem ein digitales Kennfeld empfangen werden, das ein 3D-Straßennetz mit Positionen für jede Fahrbahn und die zugehörigen Straßenverkehrsvorschriften enthält (z. B., Geschwindigkeitsbegrenzungen, die Vorrangigkeit jeder Straße an Kreuzungen und Kreisverkehren, und Haltelinienpositionen).
In dem Wahrnehmungs- und Tracking-Thread werden die 3D-Punkte, die die Objekte in der Umgebung des Fahrzeugs 10 darstellen, über mehrere Zeitschritte empfangen, die beispielsweise jeweils einem 360-Grad-Spin um eine vertikale (Z) Achse des Fahrzeugs 10 entsprechen. Für jeden der Zeitschritte können die 3D-Punkte ausgewertet werden, um zwischen 3D-Punkten zu unterscheiden, die Hindernisse darstellen, und 3D-Punkte, die andere Objekte wie den Boden darstellen, und in Cluster von 3D-Punken gesammelt werden, die die jeweiligen Objekte in der Umgebung des Fahrzeugs 10 darstellen. Bei der Clusterbildung kann beispielsweise die Clusterbildung nach Markov's Random Fields angewandt werden.
Ein vorgegebenes 3D-Punkte-Cluster, das ein Objekt in der Umgebung des Fahrzeugs 10 an einem Zeitschritt darstellt, wird 3D-Punkte-Clustern an vorherigen Zeitschritten zugeordnet, die dasselbe Objekt in der Umgebung des Fahrzeugs 10 darstellen. Über mehrere Zeitschritte hinweg wird ein so genannter Track erzeugt, der eine zeitliche Folge von 3D-Punkte-Clustern ist, die jeweils dasselbe Objekt in der Umgebung des Fahrzeugs 10 darstellen. Das Erzeugen eines Tracks kann beispielsweise durch oder mit Partikel- und Kalman-Filterung realisiert werden. Nach der Erzeugung werden die Tracks durch neue 3D-Punkte-Cluster aktualisiert, die das Objekt in der Umgebung des Fahrzeugs 10 in nachfolgenden Iterationen darstellen.
Der Wahrnehmungs- und Tracking-Thread und der Klassifikator-Thread laufen parallel und kommunizieren durch gleichlaufende Ergebnis- und Anforderungswarteschlangen. Die Ergebniswarteschlange wird dazu verwendet, Klassifikationsergebnisse des Klassifikator-Threads an den Wahrnehmungs- und Tracking-Thread zu übermitteln, während die Anforderungswarteschlange durch den Wahrnehmungs- und Tracking-Thread mit Tracks gefüllt wird, für welche Klassifikationsergebnisse benötigt werden.
Bei dieser Konfiguration kann das Erfassungsmodul 50 ein Anytime-System anwenden, bei dem die Ergebnisse des Klassifkator-Threads priorisiert werden können und in den Wahrnehmungs- und Tracking-Thread integriert werden können, um die Ausgabe für die Echtzeit-Entscheidung an das Planungsmodul 52 trotz des Analyseaufwands des Klassifikator-Threads sicherzustellen.
Um das Anytime-System zu implementieren, kann jedem Track in dem Wahrnehmungs- und Tracking-Thread vor Einbringen in die Anforderungswarteschlange eine Punktzahl zur Priorisierung gegeben werden. Den Tracks mit 3D-Punkte-Clustern vor und in nächster Nähe des Fahrzeugs 10 kann beispielsweise die höchste Priorität gegeben werden. In diesen Fällen, kann die Punktzahl, die jedem Track gegeben wird, einfach der Abstand von dem Fahrzeug 10 zu den 3D-Punkte-Clustern eines Tracks zuzüglich einer Penalty (z. B., 50 Meter) für den Rückstand zu dem Fahrzeug sein, wobei die Tracks mit niedrigeren Punktzahlen gegenüber jenen mit höheren Punktzahlen priorisiert werden. Alternativ oder zusätzlich können Tracks mit einem 3D-Punkte-Cluster in bestimmten Interessensbereichen in der Umgebung des Fahrzeugs 10, oder Tracks, deren 3D-Punkte-Cluster beispielsweise ein Objekt mit ungewisserer Klassifikation darstellt, gegenüber anderen Tracks priorisiert werden.
Der Klassifikator-Thread nimmt den Track mit der höchsten Priorität aus der Anforderungswarteschlange, identifiziert eine Reihe von Merkmalen der 3D-Punkte-Cluster des Tracks, identifiziert die Klassifikatoren für die 3D-Punkte-Cluster des Tracks und klassifiziert das durch die 3D-Punkte-Cluster des Tracks dargestellte Objekt auf Basis von dessen wahrscheinlichster Objektklasse, wie nachstehend detaillierter erklärt ist, und gibt die Klassifikatoren und eine Objektklassenkennung, die die resultierende Klassifikation des Objekts wiedergibt, in die Ergebniswarteschlange ein.
Nachdem der Wahrnehmungs- und Tracking-Thread einen Track erzeugt hat, werden die 3D-Punkte-Cluster durch die Ergebnisse des Klassifikator-Threads aus der Ergebniswarteschlange aktualisiert. Anschließend werden alle nicht verarbeiteten Tracks aus der Anforderungswarteschlange gelöscht, und die 3D-Punkte-Cluster des nächsten Tracks werden eingegeben. Anschließend sendet der Wahrnehmungs- und Tracking-Thread jeden der Tracks an das Planungsmodul 52. Jeder der Tracks hat eine zugehörige Verlaufsinformation, so dass frühere Ergebnisse des Klassifikator-Threads für Tracks verwendet werden können, die in einer gegebenen Iteration nicht berücksichtigt wurden.
Im Allgemeinen kann für einen Track τ mit Merkmalen x_τ, ein Klassifikator als einer-vs-alle-Klassen-Log-Odds ausgedrückt werden
, wobei Y die Ojektklassenkennung ist und c eine diskrete Objektklasse ist. Wie nachstehend detaillierter beschrieben ist, können diese Log-Odds (logarithmierte Cahnce) in eine Wahrscheinlichkeit umgewandelt werden, wobei der Vektor, der Wahrscheinlichkeiten für jede Objektklasse umfasst, folgender ist
, unter Verwendung der Kurzform
, wobei die vorgegebenen Objektklassen jeweils die Objektklassen Fußgänger (c_p), Fahrrad (c_b), Fahrzeug (c_v) und Hintergrund (c_bg) sind. Dieser Vektor wird zusammen mit der wahrscheinlichsten Objektklasse des von den 3D-Punkte-Clustern des Tracks dargestellten Objekts sowie einer typischen Trackinginformation wie die Position, die Geschwindigkeit, und die Größe des Objekts an das Planungsmodul 52 weitergegeben.
Beim autonomen Betrieb des Fahrzeugs 10 durch dessen autonomes Betriebssystem 20 ermöglichen es die Klassifikationsergebnisse des Klassifikator-Threads dem Planungsmodul 52 vorteilhafterweise das Spektrum der realen Verkehrssituationen zu berücksichtigen, mit denen sonst menschliche Fahrer konfrontiert sind, wie z. B. Interaktionen mit Fußgängern, Fahrrädern und anderen Fahrzeugen. Die Berücksichtigung von Interaktionen zwischen dem Fahrzeug 10 und Fußgängern und Fahrrädern ist besonders wichtig, da es erwünscht ist, die Sicherheit der Insassen des Fahrzeugs 10, der Fußgänger und der Fahrradfahrer, angesichts des Potentials für große Geschwindigkeitsunterschiede und relative seitliche Bewegungen zwischen dem Fahrzeug 10 und den Fußgängern und Fahrrädern und der relativen Ungeschütztheit der Fußgänger und Fahrradfahrer, sicherzustellen. Unter anderem kann die richtige Klassifikation dieser und anderer Objekte in der Umgebung des Fahrzeugs 10 beispielsweise Informationen für das Planungsmodul 52 bereitstellen, die bei der Bestimmung verwendet werden, wie viel Spielraum den Objekten gegeben wird, während diese überholt werden, oder bei der Bestimmung, ob diese Objekte überhaupt überholt werden.
In 3 sind die Vorgänge eines Prozesses 100 des Klassifikator-Threads i dem Erfassungsmodul 50 des autonomen Betriebssystems 20 des Fahrzeugs 10 gezeigt.
Wie nachstehend beschrieben ist, endet der Prozess 100 in der Kombination der cluster-basierten Klassifikatoren, die basierend auf den lokalen Merkmalen der 3D-Punkte-Cluster eines Tracks identifiziert werden, oder der Clustermerkmalen, und eines track-basierten Klassifikator basierend auf den globalen Merkmalen für den Track selbst, oder den ganzheitlichen Merkmalen.
Im Allgemeinen basieren die Clustermerkmale auf den 3D-Punkte-Clustern des Tracks, die sich von einem Zeitschritt t zu dem nächsten unter anderem mit sich ändernden Abständen, Standpunkten und Orientierung des LIDAR-Sensors 22 ändern. Die Clustermerkmale können beispielsweise vollständig oder teilweise dem Erscheinungsbild der 3D-Punkte-Cluster des Tracks entsprechen. Für den Track gibt es von den Zeitschritten 1 bis T einen lokalen oder einen Clustermerkmalssatz z_1:T. Im Allgemeinen sind die ganzheitlichen Merkmale zusammenfassende Statistiken auf höherer Ebene des Objekts, das durch die 3D-Punkte-Cluster des Tracks dargestellt wird. Die ganzheitlichen Merkmale können beispielsweise vollständig oder teilweise der Bewegung des durch die 3D-Punkte-Cluster des Tracks dargestellten Objekts entsprechen. Für den Track gibt es einen einzigen globalen, oder ganzheitlichen Merkmalssatz ω. Sowohl bei dem Clustermerkmalssatz z_1:T als auch dem einzigen ganzheitlichen Merkmalssatz ω, entspricht der Merkmalssatz für den Track bei T x_T = z_1:T, ω.
Bei Vorgang 102 werden die lokalen Merkmale für die 3D-Punkte-Cluster eines Tracks, oder die Clustermerkmale, identifiziert, und bei Vorgang 104 werden die globalen Merkmale für den Track selbst, oder die ganzheitlichen Merkmale, identifiziert. Bei dem Prozess 100 entspricht für den Track jeder der resultierenden Merkmalssätze einem Klassifikator, so dass T cluster-basierte Klassifikatoren und ein track-basierter Klassifikator in die letztendliche Klassifikation des Objekts einbezogen sind.
Die lokalen Merkmale der 3D-Punkte-Cluster eines Tracks, oder die Clustermerkmale, können beispielsweise durch Spinbilder und Merkmalen eines Orientierungsgradienten-Histogramms (HOG), die von virtuellen orthographischen Bildern der 3D-Punkte-Cluster des Tracks abgeleitet werden, identifiziert werden. Im Allgemeinen erfordert diese Identifikation, dass die 3D-Punkte-Cluster des Tracks einheitlich orientiert sind, was durch Schätzen der Hauptrichtung jeder der 3D-Punkte-Cluster des Tracks erreicht werden kann.
Wenn das Fahrzeug 10 auf relativ flachem Untergrund fährt, während der LIDAR-Sensor 22 die Umgebung des Fahrzeugs 10 scannt, kann Z als Aufwärtsrichtung angenommen werden, und die Hauptrichtung kann in der XY-Ebene gefunden werden. Um die Hauptrichtung eines vorgegebenen 3D-Punkte-Clusters zu schätzen, können die 3D-Punkte auf die XY-Ebene projiziert werden, und eine Stichprobenübereinstimmung (RANSAC) kann bei allen 3D-Punkten durchgeführt werden, um die Richtung zu bestimmen, in die die meisten 3D-Punkte ausgerichtet sind (z. B., innerhalb von 10 cm). Es kann beispielsweise ein Grenzwert von 50% der 3D-Punkte verwendet werden. Eine Beispielschätzung der Hauptrichtung eines 3D-Punkte-Clusters, das ein Fahrzeug in Seitenansicht darstellt, ist in 4A gezeigt, wobei die Hauptrichtung PD jene ist, in die die meisten 3D-Punkte ausgerichtet sind.
Es wurde festgestellt, dass diese Schätzung der Hauptrichtung eines 3D-Punkte-Clusters im Allgemeinen gut für 3D-Punkte-Cluster funktioniert, die Fahrzeuge und Fahrräder in Seitenansicht darstellen, sowie für 3D-Punkte-Cluster, die Fußgänger darstellen. Wie aus dem Vergleich der Schätzung der Hauptrichtung PD eines 3D-Punkte-Clusters, das ein in 4A gezeigtes Fahrzeug in Seitenansicht darstellt, und der Schätzung der Hauptrichtung PD eines 3D-Punkte-Clusters, das ein in 4B gezeigtes Fahrzeug aus Hinteransicht darstellt, hervorgeht, versagt diese Schätzung der Hauptrichtung einer 3D-Punkte-Clusters manchmal bei 3D-Punkten, die ein Fahrzeug aus Hinteransicht darstellen, da die Hauptrichtung, in die die 3D-Punkte ausgerichtet sind, senkrecht zu der tatsächlichen Orientierung des Fahrzeugs verläuft. Wenn jedoch dieselbe Schätzung der Hauptrichtung eines 3D-Punkte-Clusters sowohl für das Lernen als auch die Klassifikation verwendet wird, kann der Lerner bei der Klassifikation die lokalen Merkmale für die 3D-Punkte-Cluster eines Tracks in beiden Ansichten berücksichtigen.
In 5 sind Beispiele von Spinbildern für einen Baum, ein Fahrrad, eine Limousine und einen Kombi gezeigt. Um das Beispiel und andere Spinbilder zu erzeugen, kann eine virtuelle Bildebene um die Z-Achse um die 3D-Punkte gedreht werden, die am nächsten an der Mitte oben, der Mitte vorne und der Seite eines vorgegebenen der 3D-Punkte-Cluster des Tracks liegen, die ein Objekt darstellen, während alle auf dem Weg liegenden 3D-Punkte in Ablagen gesammelt werden.
In den 6A–C sind jeweils Beispiele von virtuellen orthographischen Bildern eines 3D-Punkte-Clusters gezeigt, die ein Fahrzeug in Front-, Seiten- und Oberansicht des 3D-Punkte-Clusters darstellen. Jedes virtuelle orthographische Bild ist eine orthographische Projektion des entlang der Hauptrichtung der 3D-Punkte orientierten und auf deren Begrenzungsbox zentrierten 3D-Punkte-Clusters.
Weitere lokale Merkmale der 3D-Punkte-Cluster eines Tracks, oder der Clustermerkmale, können für die 3D-Punkte-Cluster eines Tracks identifiziert werden. Die geschätzte Hauptrichtung eines 3D-Punkte-Clusters kann beispielsweise verwendet werden, um eine Begrenzungsbox des 3D-Punkte-Cluster auszurichten, und die lokalen Merkmale können beispielsweise die Höhe, die Breite und die Länge der Begrenzungsbox des 3D-Punkte-Cluster, sowie das Volumen der Begrenzungsbox des 3D-Punkte-Clusters umfassen. Zusätzlich oder alternativ kann der Schwerpunkt der Begrenzungsbox des 3D-Punkte-Cluster identifiziert werden, und die lokalen Merkmale können beispielsweise einen Abstand des Schwerpunkts der Begrenzungsbox von dem LIDAR-Sensor 22, oder andernfalls von dem Fahrzeug 10 umfassen.
Die globalen Merkmale eines Tracks, oder die ganzheitlichen Merkmale, können beispielsweise eine Geschwindigkeit der 3D-Punkte-Cluster des Tracks sein oder umfassen, die eine Geschwindigkeit des durch die 3D-Punkte-Cluster des Tracks dargestellten Objekts darstellt. Dementsprechend können die globalen Merkmale eines Tracks beispielsweise eine Höchstgeschwindigkeit der 3D-Punkte-Cluster des Tracks umfassen. Alternativ oder zusätzlich können die globalen Merkmale eines Tracks beispielsweise eine Beschleunigung des der 3D-Punkte-Cluster des Tracks sein oder umfassen, die eine Beschleunigung des durch die der 3D-Punkte-Cluster des Tracks dargestellten Objekts darstellt. Dementsprechend können die globalen Merkmale eines Tracks beispielsweise eine maximale Beschleunigung der 3D-Punkte-Cluster des Tracks umfassen. Diese und weitere globale Merkmale eines Tracks können beispielsweise unter Verwendung eines Kalman-Filters an den Schwerpunkten der 3D-Punkte-Cluster des Tracks identifiziert werden.
Bei Vorgang 108 wird gelernt, welche lokalen Merkmale, oder Clustermerkmale, und welche globalen Merkmale, oder ganzheitlichen Merkmale, für die zu den Objektklassen Fußgänger (c_p), Fahrrad (c_b), Fahrzeug (c_v), und Hintergrund (c_bg) gehörenden Objekte vorhersagend sind. 7 ist ein Beispiel eines graphischen Modells, das die probalistischen Unabhängigkeiten zwischen den lokalen Merkmalen der 3D-Punkte-Cluster eines Tracks, oder den Clustermerkmale, und den globalen Merkmalen des Tracks, oder den ganzheitlichen Merkmalen, kodiert. Das Lernverfahren bei Vorgang 108 kann einen Entscheidungsbaum-basierten Gentle ADABoost implementieren.
Bei Vorgang 110 werden cluster-basierte Klassifikatoren auf Basis der lokalen Merkmale der 3D-Punkte-Cluster eines Tracks, oder der Clustermerkmale, identifiziert, und bei Vorgang 112 wird ein track-basierter Klassifikator auf Basis der globalen Merkmale für den Track selbst, oder der ganzheitlichen Merkmale, identifiziert.
Der cluster-basierte Klassifikator und der track-basierte Klassifikator können im Allgemeinen Vorhersagen sein, zu welcher der Objektklassen Fußgänger (c_p), Fahrrad (c_b), Fahrzeug (c_v), und Hintergrund (c_bg) das durch die 3D-Punkte-Cluster des Tracks dargestellte Objekt gehört.
Bei einem Beispiel können der cluster-basierte Klassifikator und der track-basierte Klassifikator als ein einer-vs-alle-Log-Odds ausgedrückt werden, dass das Objekt einer der Objektklassen Fußgänger (c_p), Fahrrad (c_b), Fahrzeug (c_v), und Hintergrund (c_bg) angehört. Gemäß diesem Beispiel kann im Allgemeinen ein starker Klassifikator H durch die Summe von K schwachen Klassifikatoren h gegeben sein,
, wobei die schwachen Klassifikatoren h Regressionsbäume von begrenzter Tiefe sind, die die lokalen Merkmale und die globalen Merkmale zur Teilung verwenden. Hierdurch werten reale Werte ausgegeben, und es kann anstelle einer diskreten Ausgabe sign(H(x, c)) direkt die Summe der schwachen Klassifikatoren h verwendet werden. Im Höchstbetrag konvergiert die Summe der schwachen Klassifikatoren h zu den Log-Odds L(x, c). Unter Verwendung des Gentle AdaBoost, wie in OpenCV implementiert, können diese Log-Odds sowohl für die cluster-basierten Klassifikatoren als auch den track-basierten Klassifikator für die Objektklassen (c_p), Fahrrad (c_b), Fahrzeug (c_v) identifiziert werden.
Bei Vorgang 112 werden die cluster-basierten Klassifikatoren und der track-basierte Klassifikator kombiniert, um das durch die 3D-Punkte-Cluster des Tracks dargestellte Objekt auf Basis seiner wahrscheinlichsten Objektklasse anhand der kombinierten cluster-basierten Klassifikatoren und track-basierten Klassifikatoren zu klassifizieren.
Um die Log-Odds für einen Track der Länge T für eine bestimmte Objektklasse c zu identifizieren, gibt es T + 1 Klassifikatorergebnisse der T cluster-basierten Klassifikatorn und des einzelnen track-basierten Klassifikators. Wie nachstehend beschrieben wird, können diese beispielsweise unter Verwendung einer Variation des normalisierten Diskreten Bayes-Filter (DBF), der die cluster-basierten Klassifikatoren auf Basis der Informationsmenge über das 3D-Punkte-Cluster, durch welches sie identifiziert werden, gewichtet, kombiniert werden.
Um die Notation zu vereinfachen, wird die Kombination für eine Objektklasse c beschrieben, und die Objektklassennotation wird nachstehend weggelassen. Dementsprechend ist das Log-Odds-Verhältnis L(x). Wie nachstehend verwendet, ist L₀ das Log vor Odds, und entspricht
L C / 0 ist eine empirische Schätzung des Logs vor Odds für den cluster-basierten Klassifikator, L H / 0 ist eine empirische Schätzung des Logs vor Odds für den track-basierten Klassifikator, H^C ist der cluster-basierte Klassifikator, der die für die lokalen Merkmale, oder Clustermerkmale, der 3D-Punkte-Cluster eines Tracks identifizierten Log-Odds liefert, und H^H ist der track-basierte Klassifikator, der die für die globalen Merkmale eines Tracks, oder die ganzheitlichen Merkmale, identifizierten Logs-Odds liefert.
Wenngleich das Beispiel des graphischen Modells in 7 eine bedingte Unabhängigkeit zwischen den lokalen Merkmalen der 3D-Punkte-Cluster eines Tracks, oder den Clustermerkmalen, und den globalen Merkmalen eines Tracks, oder den ganzheitlichen Merkmale, annimmt, wird nachstehend ein differenzierteres Modell beschrieben. Zunächst gilt jedoch unter Annahme dieser bedingten Unabhängigkeit zur Identifikation der Log-Odds L(ω, z_1:T) angesichts aller lokalen Merkmale der 3D-Punkte-Cluster eines Tracks und der globalen Merkmale eines Tracks für alle Zeitschritte (von 1 bis T) des Tracks, und unter Verwendung der Bayes-Regel:
Dies hat die Wirkung, dass der Beitrag des track-basierten Klassifikators in Abhängigkeit von der Länge des Tracks ungleich gewichtet wird. Unter Hinzufügen des Normalisierungsausdrucks gilt:
Dies hat trotz allem noch die Wirkung, dass alle cluster-basierten Klassifikatoren gleich gewichtet werden. Wenngleich dies korrekt wäre, wenn die cluster-basierten Klassifikatoren in allen Fällen präzise vorhersagen würden, welcher der Objektklassen das durch die 3D-Punkte-Cluster des Tracks dargestellte Objekt angehört, ist festgestellt worden, dass die Vorhersagegenauigkeit der cluster-basierten Klassifikatoren mit zunehmender Informationsmenge über das 3D-Puntke-Cluster, durch das sie identifiziert werden, erheblich zunimmt. In den meisten Fällen ist die Informationsmenge über das 3D-Punkte-Cluster, durch das ein vorgegebener cluster-basierter Klassifikator identifiziert wird, die Menge der 3D-Punkte in dem Cluster oder steht damit in Zusammenhang. In diesem Fall oder anderen Fällen können zunehmende Informationsmengen über diese 3D-Punkte-Cluster das Ergebnis von größerer Nähe zwischen dem Fahrzeug 10 und dem durch das 3D-Punkte-Cluster dargestellten Objekt sein.
Dementsprechend kann ein Gewichtungsfaktor α_t auf die cluster-basierten Klassifikatoren angewendet werden, um die cluster-basierten Klassifikatoren je nachdem mit abnehmenden Informationsmengen über das 3D-Punkte-Cluster, durch welches sie identifiziert werden, herabzugewichten, oder die cluster-basierten Klassifikatoren durch zunehmende Informationsmengen über das 3D-Punkte-Cluster, durch welches sie identifiziert werden, heraufzugewichten:
Wie mit zusätzlicher Bezugnahme auf 8 gezeigt ist, kann sich der Gewichtungsfaktor α_t für einen vorgegebenen cluster-basierten Klassifikator mit zunehmenden Informationsmengen über das 3D-Punkte-Cluster, durch welches er identifiziert wird, erhöhen, gemäß:
, wobei n_t die Anzahl der 3D-Punkte in dem Cluster zu der Zeit t ist, und n_α ein Parameter ist, der steuert, wie schnell α mit Anzahl der 3D-Punkte steigt. In 8 gilt n_α = 250, und es ist ersichtlich, dass 0 ≤ α ≤ 1 und α = 0,5 wenn n_t = n_α.
Zusätzlich oder alternativ können Grenzwerte für die Informationsmengen über das 3D-Punkte-Cluster, durch welches ein vorgegebener cluster-basierter Klassifikator identifiziert wird, definiert und umgesetzt werden. Diese Grenzwerte können beispielsweise für die Menge der 3D-Punkte in dem Cluster (z. B., 25 3D-Punkte), die Nähe zwischen dem Fahrzeug 10 und dem durch das 3D-Punkte-Cluster dargestellten Objekt (z. B., 30 Meter), oder beides, definiert und umgesetzt werden, und wenn die Grenzwerte nicht erfüllt werden, können die cluster-basierten Klassifikatoren beispielsweise durch Einstellen der mit dem cluster-basierten Klassifikator in Zusammenhang stehenden Log-Odds auf null mit null gewichtet werden.
Zurückkommend auf die Diskussion der Objektklassen Fußgänger (c_p), Fahrrad (c_b), Fahrzeug (c_v) und Hintergrund (c_bg), kann für jeden Track und Zeitschritt mit den Merkmalen ω, z_1:T, der vorstehende Klassifikationsrahmen auf die Objektklassen Fußgänger (c_p), Fahrrad (c_b) und Fahrzeug (c_v) angewendet werden, wodurch für die einer-vs-alle Log-Odds gilt L(ω, z_1:T; c_p), L(ω, z_1:T; c_b), L(ω, z_1:T; c_v) (Gl. 8) , wodurch vorhersagt wird, welcher der Objektklassen Fußgänger (c_p), Fahrrad (c_b) und Fahrzeug (c_v) das durch die 3D-Punkte-Cluster des Tracks dargestellte Objekt angehört. Dies kann durch die nachfolgende Auflösung in eine Wahrscheinlichkeit umgewandelt werden
, für die Wahrscheinlichkeit, welcher der Objektklassen Fußgänger (c_p), Fahrrad (c_b) und Fahrzeug (c_v) das durch die 3D-Punkte-Cluster des Tracks dargestellte Objekt angehört. Für die Objektklasse Hintergrund (c_bg) gilt:
Mit diesen Ergebnissen des Klassifikators kann das durch die 3D-Punkte-Cluster des Tracks dargestellte Objekt als zu der wahrscheinlichsten Objektklasse gehörend klassifiziert werden. Bei Vorgang 114 kann das Planungsmodul 52 auf Basis der Klassifikation des Objekts planen, wie das Fahrzeug 10 entlang einer Fahrtroute gesteuert werden muss, um dem Objekt auszuweichen, und das autonome Betriebssystem 20 des Fahrzeugs 10 kann das Fahrzeug 10 gemäß dem Plan entlang der Route steuern.
9 zeigt die Klassifikatorzuversicht im Zeitablauf für einen Beispieltrack in einem Fall, in dem das durch die 3D-Punkte-Cluster des Tracks dargestellte Objekt ein Fahrrad ist. Die durchgezogenen Linien zeigen die Zuversicht für die kombinierten Ergebnisse des Klassifikators für jede der Objektklassen Fußgänger (c_p), Fahrrad (c_b), Fahrzeug (c_v), und Hintergrund (c_bg), während die gestrichelten Linien die Zuversicht für die cluster-basierten Klassifikatoren zeigen und die Strich-Punkt-Linien die Zuversicht für die track-basierten Klassifikatoren zeigen. Für die ersten 120 Zeitschritte beteiligt sich nur der track-basierte Klassifikator an der Klassifikation des Objekts, da zu wenige 3D-Punkte in den Cluster vorhanden sind (d. h., weniger als 25). Das Objekt wird zunächst für die ersten 40 Zeitschritte als Fahrrad klassifiziert, und wird anschließend für die nächsten 80 Zeitschritte bei einem Abstand von 82 Meter fälschlicherweise als ein Auto klassifiziert, bis es bei einem Abstand von 40 Meter genug 3D-Punkte gibt, um die cluster-basierten Klassifikatoren verwenden zu können, zu welchem Zeitpunkt sich die Objektklasse Fahrrad (c_b) schnell durchsetzt und in den kombinierten Ergebnissen des Klassifikators trotz mehrerer falscher Cluster-klassifikationen später bestehen bleibt.
Obwohl die angeführten Charakteristika und Bedingungen der Erfindung im Zusammenhang mit bestimmten Ausführungsformen beschrieben worden sind, ist zu verstehen, dass die Erfindung nicht auf die offenbarten Ausführungsformen beschränkt ist, sondern vielmehr darauf ausgelegt ist, verschiedene Modifikationen und äquivalente Anordnungen innerhalb des Grundgedankens und des Schutzumfangs der beigefügten Ansprüche zu umfassen, wobei dem Schutzumfang die weitestmögliche Interpretation beizumessen ist, um alle gesetzlich zulässigen Modifikationen und äquivalenten Strukturen einzuschließen.

Claims

Verfahren für autonomes Fahren, aufweisend: Erzeugen von 3D-Punkten, die Objekte in der Umgebung des Fahrzeugs darstellen, mit einem 3D-Sensor; und Mithilfe einer Rechenvorrichtung: Identifizieren einer zeitlichen Folge von 3D-Punkte-Clustern, die dasselbe Objekt in der Umgebung des Fahrzeugs als einen Track darstellen, anhand der 3D-Punkte; Identifizieren von cluster-basierten Klassifikatoren des Objekts auf Basis von identifizierten lokalen Merkmalen für die Cluster in dem Track; Identifizieren von track-basierten Klassifikatoren des Objekts auf Basis von identifizierten globalen Merkmalen für den Track; Kombinieren der cluster-basierten Klassifikatoren und der track-basierten Klassiflkatoren zum Klassifizieren des Objekts, wobei die cluster-basieren Klassifikatoren auf Basis der informationsmenge über das Cluster, durch welches sie identifiziert werden, gewichtet werden, und wobei die Gewichtung mit zunehmender Informationsmenge steigt; und Steuern des Fahrzeugs entlang einer Fahrtroute auf Basis der Objektklassifikation.
Verfahren für autonomes Fahren nach Anspruch 1, wobei die Informationsmenge über das Cluster die Menge der 3D-Punkte in dem Cluster ist, anhand derer die cluster-basierten Klassifikatoren identifiziert werden.
Verfahren für autonomes Fahren nach Anspruch 1, wobei der cluster-basierte Klassifikator mit null gewichtet wird, wenn die Informationsmenge über das Cluster von einem cluster-basierten Klassifikator als unterhalb eines Grenzwerts liegend identifiziert wird.
Verfahren für autonomes Fahren nach Anspruch 1, wobei jeder der cluster-basierten Klassifikatoren eine Vorhersage umfasst, welcher von einer Mehrzahl von Objektklassen das Objekt angehört.
Verfahren für autonomes Fahren nach Anspruch 1, wobei jeder der cluster-basierten Klassifikatoren zumindest eines von einem einer-vs-alle Log-Odds, dass das Objekt einer von einer Mehrzahl von Klassen angehört, und/oder einer Wahrscheinlichkeit, dass da Objekt einer von einer Mehrzahl von Klassen angehört, umfasst.
Verfahren für autonomes Fahren nach Anspruch 1, wobei jeder der track-basierten Klassifikatoren eine Vorhersage umfasst, welcher von einer Mehrzahl von Objektklassen das Objekt angehört.
Verfahren für autonomes Fahren nach Anspruch 1, wobei jeder der track-basierten Klassifikatoren zumindest eines von einem einer-vs-alle Log-Odds, dass das Objekt einer von einer Mehrzahl von Klassen angehört, und/oder einer Wahrscheinlichkeit, dass da Objekt einer von einer Mehrzahl von Klassen angehört, umfasst.
Verfahren für autonomes Fahren nach Anspruch 1, wobei die Kombination der track-basierten Klassifikatoren und der gewichteten cluster-basierten Klassifikatoren eine Wahrscheinlichkeit umfasst, welcher von einer Mehrzahl von Objektklassen das Objekt angehört.
Verfahren für autonomes Fahren nach Anspruch 1, ferner aufweisend, mit der Rechenvorrichtung: Identifizieren der lokalen Merkmale auf Basis der Cluster in dem Track, wobei die lokalen Merkmale auf dem Erscheinungsbild der Cluster in dem Track basieren; und Identifizieren der globalen Merkmale auf Basis des Tracks, wobei die globalen Merkmale auf der Bewegung der Cluster in dem Track basieren.
Verfahren für autonomes Fahren nach Anspruch 1, ferner aufweisend, mit der Rechenvorrichtung: Für jedes Cluster in dem Track: Identifizieren einer Begrenzungsbox des Clusters; und Identifizieren von zumindest einem von der Höhe, der Breite und der Länge der Begrenzungsbox, dem Volumen der Begrenzungsbox, und einem Abstand zu einem identifizierten Schwerpunkt der Begrenzungsbox als lokale Merkmale des Clusters; und Für den Track: Identifizieren von zumindest einem von einer Geschwindigkeit des Clusters in dem Track und einer Beschleunigung des Clusters in dem Track als ein globales Merkmal des Tracks.