-
VERWANDTE ANMELDUNGEN
-
Diese Anmeldung beansprucht den Vorteil der vorläufigen US-Patentanmeldung
62/ 854,821, eingereicht am 30. Mai 2019, deren gesamte Inhalte hier durch Bezugnahme aufgenommen werden.
-
ERFINDUNGSGEBIET
-
Ausführungsformen beziehen sich auf die Multi-Hypothesen-Objektverfolgung für automatisierte Fahrsysteme und insbesondere auf die Robustheit gegenüber Fehlern in der Objektverfolgung mit Multi-Hypothesen-Ansätzen.
-
KURZDARSTELLUNG
-
Fahrerassistenz und automatisiertes Fahren (hier zusammengenommen als „automatisiertes Fahren“ bezeichnet) detektieren eines oder mehrere Objekte, wie zum Beispiel ein anderes Fahrzeug, einen Fußgänger, eine Fahrbahnmarkierung, eine Bordsteinkante oder Ähnliches, innerhalb eines Bereichs oder einer Umgebung, die das Fahrzeug umgibt, unter Verwendung eine Vielzahl von Sensoren mit zahlreichen überlappenden Sichtfeldern. Unter Verwendung der Sensorinformationen kann ein automatisiertes Fahrsystem einen oder mehrere Parameter bestimmen, die mit einem detektierten Objekt verknüpft sind, wie zum Beispiel eine Position, eine Bewegungsrichtung oder Ähnliches (ein bestimmter Objektstatus). Das automatisierte Fahrsystem steuert dann das Fahrzeug auf Basis des bestimmten Objektstatus. Genaues Bestimmen des Objektstatus ermöglicht es, dass das Fahrzeug richtig gesteuert wird (zum Beispiel gelenkt wird, um eine Kollision mit dem Objekt zu vermeiden).
-
Allerdings werden Fehler bei der Objektverfolgung häufig unter anderem durch fehlerhafte Messmodelle, Fehler in der Sensordatenvorverarbeitung oder einer Kombination daraus erzeugt. Fehlerhafte Klassifizierung eines detektierten Objekts kann zur Nutzung eines fehlerhaften Messmodells führen. Als ein Beispiel: Wenn ein Objekt fehlerhaft als ein Radfahrer klassifiziert wird, wenn das Objekt tatsächlich ein Fahrzeug ist, wird möglicherweise ein für einen Radfahrer spezifisches Messmodell zum Verfolgen des Objekts verwendet. Weil allerdings das Objekt nicht wirklich ein Radfahrer ist, kann die Nutzung des Radfahrer-Messmodells zu ungeeignetem Steuern des Fahrzeugs führen. Als ein anderes Beispiel: Während der Vorverarbeitung von Sensordaten kann das Clustern von Lidar-Stixeln zum Bilden einer „L“-Form ein Objekt unrichtig detektieren, wenn in Wirklichkeit zwei Objekte vorhanden sind. Solche Fehler können zu einem unrichtigen Objektstatus, einem Verfolgungsabbruch oder einer Kombination daraus führen. Als ein Ergebnis wird das Fahrzeug aufgrund des unrichtigen Objektstatus möglicherweise auf eine ungeeignete Art und Weise gesteuert.
-
Dementsprechend besteht ein Bedarf, die Robustheit gegenüber unrichtigen Annahmen in Messmodellen, bei der Datenvorverarbeitung oder einer Kombination daraus zu verbessern, die letztlich die Objektverfolgungsgenauigkeit zur Verwendung mit einem automatisierten Fahrsystem verbessert. Um diese und andere Probleme zu lösen, stellen die hier beschriebenen Ausführungsformen unter anderem Verfahren und Systeme zur Multi-Hypothesen-Objektverfolgung bereit, so dass Hypothesenbildung verwendet wird, um Robustheit gegenüber Fehlern in Messmodellen, bei der Datenvorverarbeitung und Ähnlichem zu erreichen. Die hier beschriebenen Ausführungsformen sorgen für mehrere Messmodelle, Vorverarbeitungsschritte oder eine Kombination daraus, die systematisch bei verschiedenen Annahmen parallel zu verwenden sind. Die Annahmen können sich auf eine Objektklasse, eine Objektform, diversifizierte Verfahren zum Erzeugen von Clustern aus Rohmesswerten und Ähnliches beziehen.
-
Zum Beispiel stellt eine Ausführungsform ein automatisiertes Fahrsystem bereit. Das System enthält einen elektronischen Prozessor, der dazu ausgebildet ist, Umgebungsinformationen zu empfangen und mit einem Objekt in einer Umgebung des Fahrzeugs verknüpfte Pseudomessdaten zu generieren. Der elektronische Prozessor ist auch dazu ausgebildet, auf Basis der Umgebungsinformationen und der Pseudomessdaten einen Verknüpfungshypothesensatz in Bezug auf das Objekt zu bestimmen. Der elektronische Prozessor ist auch dazu ausgebildet, auf Basis des Verknüpfungshypothesensatzes einen Objektstatus des Objekts zu bestimmen. Der elektronische Prozessor ist auch dazu ausgebildet, das Fahrzeug auf Basis des bestimmten Objektstatus zu steuern.
-
Eine andere Ausführungsform stellt ein Verfahren zur Multi-Hypothesen-Objektverfolgung bereit. Das Verfahren beinhaltet, Umgebungsinformationen zu empfangen und mit einem elektronischen Prozessor Pseudomessdaten zu generieren. Das Verfahren beinhaltet auch, auf Basis der Umgebungsinformationen und der Pseudomessdaten einen Verknüpfungshypothesensatz für ein Objekt in einer Umgebung, die ein Fahrzeug umgibt, zu generieren. Das Verfahren beinhaltet auch, mit dem elektronischen Prozessor einen Objektstatus für ein Objekt auf Basis des Verknüpfungshypothesensatzes zu bestimmen. Das Verfahren beinhaltet auch, das Fahrzeug auf Basis des bestimmten Objektstatus zu steuern.
-
Noch eine andere Ausführungsform stellt ein nichtflüchtiges computerlesbares Medium bereit, das Anweisungen speichert, die, wenn sie durch einen elektronischen Prozessor ausgeführt werden, einen Funktionssatz durchführen. Der Funktionssatz beinhaltet, aus wenigstens einem Sensor Umgebungsinformationen eines Sichtfelds zu empfangen. Der Funktionssatz beinhaltet auch, Pseudomessdaten zu generieren. Der Funktionssatz beinhaltet auch, auf Basis der Umgebungsinformationen und der Pseudomessdaten einen Verknüpfungshypothesensatz für ein Objekt im Sichtfeld zu generieren. Der Funktionssatz beinhaltet auch, einen Objektstatus für das Objekt auf Basis des Verknüpfungshypothesensatzes zu bestimmen. Der Funktionssatz beinhaltet auch, ein Fahrzeugmanöver auf Basis des bestimmten Objektstatus zu bestimmen. Der Funktionssatz beinhaltet auch, ein Fahrzeug auf Basis des Fahrzeugmanövers zu steuern.
-
Andere Aspekte und Ausführungsformen werden sich durch Betrachtung der ausführlichen Beschreibung und der zugehörigen Zeichnungen ergeben.
-
Figurenliste
-
- Die 1A - 1B veranschaulichen beispielhafte Objekte in einer Umgebung, die ein Fahrzeug umgibt.
- Die 2 veranschaulicht eine beispielhafte Umgebung, die ein Fahrzeug umgibt.
- Die 3 veranschaulicht schematisch ein Fahrzeug, das mit einem System zur Multi-Hypothesen-Objektverfolgung gemäß einigen Ausführungsformen ausgestattet ist.
- Die 4 veranschaulicht schematisch eine Steuerung des Systems der 3 gemäß einigen Ausführungsformen.
- Die 5 veranschaulicht schematisch ein beispielhaftes gemeinsames Sichtfeld von zwei Sensoren gemäß einigen Ausführungsformen.
- Die 6 ist ein Flussdiagramm, das ein Verfahren zur Multi-Hypothesen-Objektverfolgung veranschaulicht, die durch das System der 3 durchgeführt wird, gemäß einigen Ausführungsformen.
- Die 7 ist ein Prozessmodell, das die Bestimmung eines Objekts auf Basis von Umgebungsinformationen veranschaulicht, die durch das System der 3 umgesetzt wird, gemäß einigen Ausführungsformen.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Bevor irgendwelche Ausführungsformen ausführlich erklärt werden, versteht es sich, dass die Ausführungsformen in ihrer Anwendung nicht auf die Konstruktionsdetails und die Komponentenanordnung beschränkt sind, die in der folgenden Beschreibung dargelegt sind oder in den folgenden Zeichnungen veranschaulicht werden. Andere Ausführungsformen sind möglich, und hier beschriebene und/oder veranschaulichte Ausführungsformen können auf verschiedene Weisen umgesetzt oder ausgeführt werden. Obwohl sich die hier beschriebenen Beispiele zum Beispiel auf automatisierte Fahrsysteme beziehen, können die hier beschriebenen Verfahren in anderen Ausführungsformen auf Fahrassistenzsysteme, Verkehrskontrollsysteme, Verkehrssteuerungssysteme, Sicherheitsüberwachungssysteme und Ähnliches angewendet werden. Es versteht sich auch, dass sich der Begriff „Fahrzeug“ auf verschiedene Fahrzeuge bezieht, einschließlich zum Beispiel Personenkraftwagen, Lastwagen, Boote, Motorräder, Drohnen und Anderes.
-
Es sei auch angemerkt, dass mehrere Einrichtungen auf Hardware- Software-Basis wie auch mehrere unterschiedliche Strukturkomponenten verwendet werden können, um die hier offenbarten Ausführungsformen umzusetzen. Zusätzlich können Ausführungsformen Hardware, Software und elektronische Komponenten oder Module enthalten, die zur Erörterung so veranschaulicht sein können, als ob die Mehrzahl der Komponenten ausschließlich in Hardware umgesetzt wäre. Allerdings würden Durchschnittsfachleute, auch auf Basis einer Lektüre dieser ausführlichen Beschreibung, erkennen, dass in wenigstens einer Ausführungsform die elektronisch basierten Aspekte als Software umgesetzt werden können (zum Beispiel gespeichert auf einem nichtflüchtigen computerlesbaren Medium), die durch einen oder mehrere Prozessoren ausführbar ist. Von daher sei angemerkt, dass mehrere Einrichtungen auf Hardware- und Software-Basis wie auch mehrere unterschiedliche Strukturkomponenten genutzt werden können, um verschiedene Ausführungsformen umzusetzen. Es versteht sich auch, dass, obwohl gewisse Zeichnungen Hardware und Software veranschaulichen, die sich in speziellen Einrichtungen befindet, diese Abbildungen lediglich der Veranschaulichung dienen. In einigen Ausführungsformen können die veranschaulichten Komponenten zu separater Software, Firmware und/oder Hardware kombiniert oder aufgeteilt werden. Anstatt dass sich Logik und Verarbeitung zum Beispiel auf einem einzigen elektronischen Prozessor befinden und durch diesen durchgeführt werden, können sie auf mehrere elektronische Prozessoren verteilt sein. Ungeachtet der Art ihrer Kombination oder Aufteilung können sich Hardware- und Software-Komponenten auf der gleichen Recheneinrichtung befinden oder auf unterschiedliche Recheneinrichtungen verteilt sein, die durch eines oder mehr Netzwerke oder andere geeignete Kommunikationsverbindungen verbunden sind.
-
Bei der Fahrerassistenz und dem automatisierten Fahren können Objekte in einer Umgebung, die ein Fahrzeug umgibt, in der Form einer Objektliste abgebildet werden, die die Objekte beschreibt. Ein Objekt kann in diesem Fall durch Sensordatenfusion, Objektverfolgung im zeitlichen Verlauf oder eine Kombination daraus gebildet werden. Auf der Basis der Objekteigenschaften bestimmt eine Funktion, die durch einen Prozessor des Fahrzeugs bestimmt wird, ob eine Reaktion auf das Objekt erfolgen sollte und, falls das der Fall ist, welche Reaktion das sein sollte. Beim automatisierten Fahren, besonders auf dem Gebiet der Sensordatenfusion, ist es wünschenswert, in Bezug auf die Objektqualität, das Vermeiden von Falsch-Negativen, wie zum Beispiel, dass tatsächlich vorhandene Objekte nicht versehentlich verpasst/übersehen werden, und das Vermeiden von Falsch-Positiven, wie zum Beispiel, dass fehlerhaftes Triggern wegen unrichtigerweise angenommenen Objekten vermieden wird, hohe Anforderungen zu stellen.
-
Wie oben angemerkt, können Fehler bei der Objektverfolgung durch fehlerhafte Messmodelle, Fehler bei der Sensordatenvorverarbeitung oder einer Kombination daraus erzeugt werden. Fehlerhafte Klassifizierung des Objekts kann zu einem fehlerhaften Messmodell führen. Ein Fehler in einem Messmodell kann eine fehlerhafte Aktualisierung bewirken, die wiederum einen unrichtig bestimmten Objektstatus (zum Beispiel eine Objektklassifizierung, einen Dynamikstatus, eine Objektausdehnung oder eine Kombination daraus), Verfolgungsabbruch oder eine Kombination daraus ergeben kann.
-
Als ein Beispiel: Die 1A - 1B veranschaulichen die Detektion eines sekundären Fahrzeugs 50 bzw. eines Radfahrers 55 unter Verwendung eines Radarsensors 60. Wie in der 1A zu sehen ist, liegt eine Radarreflexion (dargestellt durch das mit der Bezugsnummer 62 verknüpfte Symbol) an einer in Bezug auf den Radarsensor 60 nächsten Kante oder Ecke des sekundären Fahrzeugs 50. Wie in der 1B zu sehen ist, liegt im Gegensatz dazu eine Hauptreflexion (dargestellt durch das mit der Bezugsnummer 65 verknüpfte Symbol) in der Mitte des Radfahrers 55 (zum Beispiel der auf dem Fahrrad sitzenden Person). Dementsprechend kann eine fehlerhafte Klassifizierung eines Objekts (wie zum Beispiel die Klassifizierung des sekundären Fahrzeugs 50 als der Radfahrer 55 oder umgekehrt) letztlich zur Nutzung eines fehlerhaften Messmodells führen.
-
Ein Fehler in der Vorverarbeitung eines Messwerts (zum Beispiel während des Clusterns) kann ebenfalls ähnliche unerwünschte Ergebnisse ergeben. Als ein Beispiel: Die 2 veranschaulicht eine beispielhafte Umgebung, die ein Fahrzeug 70 umgibt (das mit einem automatisierten Fahrsystem ausgestattet ist). Im veranschaulichten Beispiel enthält die Umgebung, die das Fahrzeug 70 umgibt, ein erstes Objekt 75A und ein zweites Objekt 75B (beide als sekundäre Fahrzeuge gezeigt). Wie in der 2 zu sehen ist, kann das Clustern von Lidar-Stixeln zum Bilden einer „L“-Form 80 unrichtigerweise entscheiden, dass nur ein Objekt vorhanden ist, statt, dass in der Realität zwei Objekte vorhanden sind (in diesem Beispiel das erste Objekt 75A und das zweite Objekt 75B). Dies kann zu einem Pseudomesswert führen (nachstehend ausführlicher beschrieben), der sich daraus ergibt, dass zum Bilden eines Objekts das Clustern bei der Sensorfusionsverarbeitung nicht verknüpft wird und dadurch das Objekt nicht mit den Lidardaten aktualisiert wird, was zu einem Verfolgungsabbruch oder zu einer Aktualisierung führen kann, die mit teilweise unrichtigen Messwerten erfolgt, was zu einem unrichtigen Objektstatus führen kann. Als ein Ergebnis eines solchen Fehlers führt ein automatisiertes Fahrsystem möglicherweise ein unrichtiges Fahrzeugmanöver durch oder reagiert nicht geeignet auf das Objekt.
-
Messmodelle und Vorverarbeitungsschritte für Sensordaten werden zunehmend mit maschinellen Lernverfahren (zum Beispiel Deep Learning) verwendet. Diese können in unvorhersehbaren Situationen für Fehler anfällig sein. Solche Fehler können in Situationen, in denen eine niedrige Falsch-Negativ-Rate erforderlich ist, Konsequenzen haben. Dies kann zum fehlerhaften Aktualisieren eines Objekts und somit zu einem Verfolgungsabbruch führen. Als ein Beispiel: Ein Fehler kann durch das Objekt selbst bewirkt werden. Zum Beispiel kann es sich um ein Objekt handeln, das in den Trainingsdaten des Deep-Learning-/Neuronalnetzes nicht vorhanden ist, was zu falschen Ergebnissen führen kann. Falls ein solcher Fehler auftritt, ist das assistierte/automatisierte Fahrsystem möglicherweise nicht mehr in der Lage, geeignet auf ein Objekt zu reagieren, was das Risiko für eine Kollision erhöhen kann.
-
Um diese und andere Probleme zu lösen, stellen die hier beschriebenen Ausführungsformen unter anderem Verfahren und Systeme zur Multi-Hypothesen-Objektverfolgung bereit, so dass Hypothesenbildung verwendet wird, um Robustheit gegenüber Fehlern in Messmodellen, bei der Datenvorverarbeitung und Ähnlichem zu erreichen. Die hier beschriebenen Ausführungsformen stellen mehrere Messmodelle, Vorverarbeitungsschritte oder eine Kombination daraus bereit, die systematisch bei verschiedenen Annahmen parallel zu verwenden sind, wie zum Beispiel einer Objektklassifizierung, einer Objektform, diversifizierten Verfahren zum Erzeugen von Clustern aus Rohmesswerten und Ähnliches bereit.
-
Die 3 veranschaulicht ein System 100 zur Multi-Hypothesen-Objektverfolgung für ein automatisiertes Fahrsystem eines Fahrzeugs 105. Obwohl das Fahrzeug 105 als ein vierrädriges Fahrzeug veranschaulicht wird, kann es verschiedene Typen und Bauarten von Fahrzeugen umfassen. Zum Beispiel kann das Fahrzeug 105 ein Automobil, ein Motorrad, ein Lastwagen, ein Bus, eine Sattelzugmaschine oder ein anderer Fahrzeugtyp sein.
-
In dem veranschaulichten Beispiel enthält das System 100 eine Steuerung 110, mehrere Sensoren 115 (hier zusammengenommen als „die Sensoren 115“ und einzeln als „der Sensor 115“ bezeichnet), ein Lenksystem 130, ein Bremssystem 135 und ein Beschleunigungssteuersystem 140. In einigen Ausführungsformen enthält das System 100 in verschiedenen Ausbildungsformen weniger, zusätzliche oder andere Komponenten als die, die in der 3 beschrieben sind, und kann Funktionen zusätzlich zu der hier beschriebenen Funktionalität durchführen. Als ein Beispiel:
- In einigen Ausführungsformen enthält das System 100 eine andere Anzahl an Sensoren 115 als die vier Sensoren 115, die in der 3 veranschaulicht werden, wie zum Beispiel einen einzigen Sensor 115.
-
Wie in der 4 veranschaulicht wird, enthält die Steuerung 110 einen elektronischen Prozessor 200 (zum Beispiel einen Mikroprozessor, eine anwendungsspezifische integrierte Schaltung oder eine andere geeignete elektronische Einrichtung), einen Speicher 205 (zum Beispiel eines oder mehr nichtflüchtige computerlesbare Speichermedien) und eine Kommunikationsschnittstelle 210. Der elektronische Prozessor 200, der Speicher 205 und die Kommunikationsschnittstelle 210 kommunizieren über eine oder mehr Datenverbindungen oder Busse oder einer Kombination daraus. Die in der 4 veranschaulichte Steuerung 110 stellt ein Beispiel dar, und in einigen Ausführungsformen enthält die Steuerung 110 weniger, zusätzliche oder andere Komponenten in anderen Ausbildungsformen als in der 4 veranschaulicht werden. Die Steuerung 110 kann in mehreren unabhängigen Steuerungen umgesetzt werden (zum Beispiel programmierbare elektronische Steuerungen), die jeweils dazu ausgebildet sind, spezifische Funktionen oder Unterfunktionen durchzuführen. Alternativ oder zusätzlich kann die Steuerung 110 Untermodule enthalten, die zusätzliche elektronische Prozessoren, Speicher oder anwendungsspezifische integrierte Schaltungen (ASICs) zur Handhabung von Eingabe-/Ausgabefunktionen, zur Verarbeitung von Signalen und zur Anwendung der nachstehend aufgeführten Verfahren enthalten. In einigen Ausführungsformen führt die Steuerung 110 auch Funktionen zusätzlich zu der hier beschriebenen Funktionalität durch.
-
Der elektronische Prozessor 200 ist dazu ausgebildet, auf computerlesbare Anweisungen („Software“), die im Speicher 205 gespeichert sind, zuzugreifen und diese auszuführen. Die Software kann Firmware, eine oder mehr Anwendungen, Programmdaten, Filter, Regeln, eines oder mehr Programmodule und andere ausführbare Anweisungen enthalten. Zum Beispiel kann die Software Anweisungen und verknüpfte Daten zum Durchführen eines Funktionssatzes enthalten, einschließlich der hier beschriebenen Verfahren. Zum Beispiel führt der elektronische Prozessor 200 in einigen Ausführungsformen Anweisungen zum Steuern des Lenksystems 130, des Bremssystems 135, des Beschleunigungssteuersystems 140 oder anderer Fahrzeugsysteme aus, um eine Aktion (zum Beispiel ein Fahrzeugmanöver oder Fahrzeugverhalten) entsprechend einem automatisierten Fahrsystem des Fahrzeugs 105 durchzuführen. Wie zum Beispiel in der 4 veranschaulicht wird, kann der Speicher 205 ein automatisiertes Fahrsystem 220 speichern. Das automatisierte Fahrsystem 220 steuert das Fahrzeug 105 (zum Beispiel das Lenksystem 130, das Bremssystem 135, das Beschleunigungssteuersystem 140, ein anderes Fahrzeugsystem oder eine Kombination daraus), um mit begrenzter Eingabe oder ohne Eingabe vom Fahrer des Fahrzeugs 105 ein Fahrzeugmanöver durchzuführen.
-
Zurück zur 4: Die Kommunikationsschnittstelle 210 gestattet es der Steuerung 110, mit von Einrichtungen außerhalb der Steuerung 110 zu kommunizieren (zum Beispiel Eingaben von diesen zu empfangen und Ausgaben für diese bereitzustellen). Wie zum Beispiel in der 3 zu sehen ist, kann die Steuerung 110 kommunizierend mit einem oder mehr Sensoren 115, dem Lenksystem 130, dem Bremssystem 135 und dem Beschleunigungssteuersystem 140 verbunden sein. In einigen Ausführungsformen enthält die Kommunikationsschnittstelle 210 einen Anschluss, um eine drahtgebundene Verbindung mit Einrichtungen außerhalb der Steuerung 110 aufzunehmen. Dementsprechend ist die Steuerung 110 in einigen Ausführungsformen direkt über eine dedizierte drahtgebundene Verbindung mit einer oder mehr Komponenten des Systems 100 gekoppelt. Alternativ oder zusätzlich kommuniziert die Kommunikationsschnittstelle 210 mit einem Kommunikationsbus (zum Beispiel einem Controller Area Network („CAN“)), um indirekt mit Einrichtungen außerhalb der Steuerung 110 zu kommunizieren. Dementsprechend ist die Steuerung 110 in anderen Ausführungsformen kommunizierend mit einer oder mehr der Komponenten über eine gemeinsam genutzte Kommunikationsverknüpfung gekoppelt, wie zum Beispiel ein Fahrzeugkommunikationsnetz oder -bus (zum Beispiel einen CAN-Bus, ein Ethernet oder ein FlexRay) oder eine drahtlose Verbindung (über einen Transceiver). Jede der Komponenten des Systems 100 kann mit der Steuerung 110 unter Verwendung verschiedener Kommunikationstypen und -protokolle kommunizieren.
-
Die Sensoren 115 sind dazu ausgebildet, Messwerte oder Daten, die mit einer Umgebung eines Fahrzeugs 105 verknüpft sind („Umgebungsinformationen“), zu detektieren oder zu erfassen. Zu einem Sensor 115 können zum Beispiel ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor, ein Bildsensor (oder Kamera) oder Ähnliches zählen. In einigen Ausführungsformen enthält das System 100 mehr als einen Sensortyp (zum Beispiel einen Radarsensor und einen Bildsensor). Die Umgebungsinformationen können mit einem oder mehr Objekten in der Umgebung, die das Fahrzeug 105 umgibt, verknüpft sein. Zu einem Objekt können zum Beispiel ein Fußgänger, ein Radfahrer, ein anderes Fahrzeug oder Ähnliches zählen. Dementsprechend können zu den Umgebungsinformationen zum Beispiel ein Abstand zwischen dem Fahrzeug 105 und einem oder mehr Objekten in der Umgebung, die das Fahrzeug 105 umgibt, eine Position des Fahrzeugs 105 in Bezug auf das eine oder mehr Objekte in der Umgebung, die das Fahrzeug 105 umgibt, oder eine Kombination daraus zählen.
-
Die Sensoren 115 können sich an unterschiedlichen Stellen oder Positionen im gesamten Fahrzeug 105 befinden (zum Beispiel an der Innenseite des Fahrzeugs 105, der Außenseite des Fahrzeugs 105 oder einer Kombination daraus). Als ein Beispiel: Die Sensoren 115 können außerhalb an einem Abschnitt des Fahrzeugs 105 verbaut sein, wie zum Beispiel an einem Seitenspiegel, einem Frontabschnitt, einem Heckabschnitt oder einem oder mehr Seitenabschnitten des Fahrzeugs 105. Alternativ oder zusätzlich kann sich einer oder mehr der Sensoren 115 außerhalb des Fahrzeugs oder von diesem entfernt befinden, wie zum Beispiel an Infrastruktur um das Fahrzeug 105. Als ein Beispiel: Die Sensoren 115 können an Infrastruktur um das Fahrzeug 105 verbaut sein, so dass die Sensoren 115 die Umgebungsinformationen an das automatisierte Fahrsystem 220 abgeben können (zum Beispiel durch Fahrzeug-Infrastruktur-Kommunikation übertragen, durch Backend-Server abgegeben oder Ähnliches). Dementsprechend kann jeder Sensor, der ein Sichtfeld aufweist, das das Beobachten eines detektierten Objekts ermöglicht, als ein Bereitsteller von Umgebungsinformationen dienen.
-
Ein Sensor 115 ist mit einem entsprechenden Sichtfeld eines Bereichs der Umgebung, die das Fahrzeug 105 umgibt, verknüpft. Einer oder mehr Betriebsparameter, wie zum Beispiel ein Umfang eines Sichtfelds eines Sensors 115, können auf einer Ausbildungsform des Sensors 115 basieren. Dementsprechend können die Sensoren 115 Sichtfelder unterschiedlicher Größe (und Tiefe) aufweisen. Allerdings können die Sensoren 115 Sichtfelder ähnlicher (oder gleicher) Größe (und Tiefe) aufweisen. Dementsprechend können in einigen Ausführungsformen die Sensoren 115 Sichtfelder mit dem gleichen Umfang, unterschiedlichem Umfang oder eine Kombination daraus aufweisen. In einigen Ausführungsformen ist ein Sensor 115 so positioniert, dass der Sensor 115 ein überlappendes Sichtfeld mit wenigstens einem zusätzlichen Sensor 115 aufweist. Der überlappende Bereich, in dem die Sichtfelder jedes der Sensoren 115 miteinander überlappen, wird hier als „ein gemeinsames Sichtfeld“ bezeichnet. Als ein Beispiel: Die 5 veranschaulicht das Fahrzeug 105 mit einem ersten Sensor 115A und einem zweiten Sensor 115B. Wie in dem veranschaulichten Beispiel zu sehen ist, weist der erste Sensor 115A ein erstes Sichtfeld 305A auf, und der zweite Sensor 115B weist ein zweites Sichtfeld 305B auf. Die 5 veranschaulicht auch ein gemeinsames Sichtfeld 310 zwischen dem ersten Sensor 115A und dem zweiten Sensor 115B.
-
Obwohl das veranschaulichte Beispiel in der 5 zwei Sensoren (den ersten Sensor 115A und den zweiten Sensor 115B) mit einem gemeinsamen Sichtfeld (dem gemeinsamen Sichtfeld 310) enthält, kann das System 100 einen oder mehr zusätzliche Sensoren enthalten (von den Sensoren 115 getrennt, jedoch diesen ähnlich, wie hier beschrieben wird), wobei der eine oder die mehreren zusätzlichen Sensoren ein gemeinsames Sichtfeld gemeinsam nutzen (zum Beispiel ein zweites gemeinsames Sichtfeld). Als ein Beispiel: Das System 100 kann den ersten Sensor 115A, den zweiten Sensor 115B und einen dritten Sensor enthalten. Der dritte Sensor kann gemeinsames Sichtfeld mit dem zweiten Sensor 115B aufweisen (zum Beispiel ein zweites gemeinsames Sichtfeld). In diesem Beispiel weist der zweite Sensor 115B ein erstes gemeinsames Sichtfeld mit dem ersten Sensor 115A und ein zweites gemeinsames Sichtfeld mit dem dritten Sensor auf. Als ein anderes Beispiel: Das System 100 kann den ersten Sensor 115A, den zweiten Sensor 115B, einen dritten Sensor und einen vierten Sensor enthalten. In diesem Beispiel können der erste Sensor 115A und der zweite Sensor 115B ein erstes gemeinsames Sichtfeld aufweisen, und der dritte Sensor und der vierte Sensor können in zweites gemeinsames Sichtfeld aufweisen. Dementsprechend kann das System 100 irgendeine Anzahl an Sensoren 115 mit irgendeiner Anzahl an gemeinsamen Sichtfeldern aufweisen, die von dem einen oder mehr Sensoren 115 gemeinsam genutzt werden.
-
Obwohl dies nicht veranschaulicht wird, können die anderen Komponenten des Systems 100 ähnliche Komponenten wie die Steuerung 110 enthalten (einen elektronischen Prozessor, einen Speicher und eine Kommunikationsschnittstelle). Allerdings enthalten in einigen Ausführungsformen die anderen Komponenten des Systems 100 zusätzliche, weniger oder andere Komponenten als die Steuerung 110 in anderen Ausbildungsformen.
-
Wie oben angegeben ist, führt der elektronische Prozessor 200 der Steuerung 110 Anweisungen für Multi-Hypothesen-Objektverfolgung für das System 100 aus, um Robustheit gegenüber Fehlern in Messmodellen, der Datenvorverarbeitung und Ähnlichem zu erreichen. Der elektronische Prozessor 200 führt Anweisungen aus, um das in der 6 veranschaulichte Verfahren 600 zur Multi-Hypothesen-Objektverfolgung für das automatisierte Fahrsystem 220 durchzuführen. Das Verfahren 600 wird so beschrieben, dass es durch das System 100 und insbesondere das automatisierte Fahrsystem 220 durchgeführt wird, wie es durch den elektronischen Prozessor 200 ausgeführt wird. Wie oben angegeben ist, kann allerdings die mit Bezug auf das Verfahren 600 beschriebene Funktionalität (oder ein Teil davon) durch andere Einrichtungen, wie zum Beispiel durch eine andere mit dem Fahrzeug 105 verknüpfte Steuerung, oder verteilt auf mehrere Einrichtungen, wie zum Beispiel mehrere mit dem Fahrzeug 105 verknüpfte Steuerungen, durchgeführt werden. Als ein Beispiel: In einigen Ausführungsformen kann die in Bezug auf das Verfahren 600 beschriebene Funktionalität (oder ein Teil davon) durch eine Einrichtung außerhalb oder entfernt vom Fahrzeug 105 durchgeführt werden, bei der das Fahrzeug 105 zum Beispiel ferngesteuert wird.
-
Wie in der 6 veranschaulicht wird, beinhaltet das Verfahren 600, mit dem elektronischen Prozessor 200 Umgebungsinformationen zu empfangen (im Block 605). Wie oben beschrieben wird, können zu den Umgebungsinformationen zum Beispiel ein Abstand zwischen dem Fahrzeug 105 und einem oder mehr Objekten in der Umgebung, die das Fahrzeug 105 umgibt, eine Position des Fahrzeugs 105 in Bezug auf das eine oder die mehreren Objekte in der Umgebung, die das Fahrzeug 105 umgibt, oder eine Kombination daraus zählen. In einigen Ausführungsformen beinhalten die Umgebungsinformationen eine oder mehrere Eigenschaften in Bezug auf ein Objekt in einer Umgebung, die das Fahrzeug 105 umgibt. Eine Eigenschaft eines Objekts kann sich zum Beispiel auf eine Position des Objekts in Bezug auf das Fahrzeug 105, eine Geschwindigkeit des Objekts, eine Bewegungsrichtung des Objekts, einen Abstand zwischen dem Fahrzeug 105 und dem Objekt und Ähnliches beziehen.
-
Der elektronische Prozessor 200 empfängt die Umgebungsinformationen aus dem einen oder mehr Sensoren 115 (über die Kommunikationsschnittstelle 210). In einigen Ausführungsformen empfängt der elektronische Prozessor 200 kontinuierlich die Umgebungsinformationen (zum Beispiel in Echtzeit oder fast in Echtzeit). Allerdings empfängt der elektronische Prozessor 200 die Umgebungsinformationen zyklisch oder periodisch (zum Beispiel zehn oder zwanzig Mal pro Sekunde). In einigen Ausführungsformen sind die Umgebungsinformationen mit einem gemeinsamen Sichtfeld verknüpft. Wie oben unter Bezugnahme auf die 5 beschrieben wird, nutzen in einigen Ausführungsformen zum Beispiel zwei oder mehr der Sensoren 115 ein gemeinsames Sichtfeld (zum Beispiel ein gemeinsames Sichtfeld 310, wie in dem Beispiel der 5 veranschaulicht wird). Alternativ oder zusätzlich enthalten die Sensoren 115 in einigen Ausführungsformen Sensoren verschiedener Typen, wie zum Beispiel Radarsensoren, Bildsensoren und Ähnliches. Dementsprechend können in einigen Ausführungsformen die Umgebungsinformationen, die durch den elektronischen Prozessor 200 empfangen werden, aus veränderlichen Medien stammen (zum Beispiel bildbasiert, ultraschallbasiert und ähnliches). Als ein Beispiel: Der elektronische Prozessor 200 kann einen ersten Satz von Umgebungsinformationen aus einem Radarsensor (zum Beispiel als ein erster Sensor 115) und einen zweiten Satz von Umgebungsinformationen aus einem Lidarsensor (zum Beispiel als ein zweiter Sensor 115) empfangen. Entsprechend diesem Beispiel ist der erste Satz von Umgebungsinformationen radarbasiert, und der zweite Satz von Umgebungsinformationen ist lidarbasiert.
-
Der elektronische Prozessor 200 generiert auch Pseudomessdaten (im Block 610). Zu Pseudomessdaten können zum Beispiel ein Pseudomesswert, eine Messmodellhypothese oder eine Kombination daraus zählen. Ein Pseudomesswert kann zum Beispiel eine Abstraktion eines Satzes von Sensorrohmesswerten sein (zum Beispiel eine Beschreibung eines Messwerte-Clusters). Alternativ können die Rohmesswerte direkt als Pseudomesswerte verwendet werden. Alternativ oder zusätzlich kann ein Pseudomesswert als eine Bestätigung eines Schätzwerts, einer Angabe des Nichtvorhandenseins von tatsächlichen Umgebungsinformationen oder einer Kombination daraus generiert werden. Als ein Beispiel: Der Pseudomesswert kann ein Nichtvorhandensein von tatsächlichen Umgebungsinformationen angeben (zum Beispiel Negativinformationen), die eine geschätzte oder bekannte Okklusion bestätigen oder ein Objekt deplausibilisieren können, falls keine Okklusion den fehlenden Messwert erklärt. In einigen Ausführungsformen ist ein Pseudomesswert mit dem Objekt in der Umgebung des Fahrzeugs 105 verknüpft, wie zum Beispiel einer dreidimensionalen Bounding Box, die einen mit dem Objekt verknüpften Lidarpunkte-Cluster modelliert. Eine Messmodellhypothese kann auf einer oder mehr Annahmen basieren, wie zum Beispiel einer angenommenen Objektklassifizierung oder einem angenommenen Objekttyp (eine „Objektklassifizierungsannahme“). Alternativ oder zusätzlich kann eine Messmodellhypothese eine generische Hypothese ohne Objektklassifizierungsannahme sein. Dementsprechend generiert der elektronische Prozessor 200 Pseudomessdaten durch Generieren von einem oder mehr Pseudomesswerten. Alternativ oder zusätzlich generiert der elektronische Prozessor 200 Pseudomessdaten durch Generieren von einer oder mehr Messmodellhypothesen, wobei jede Messmodellhypothese auf Basis einer Objektklassifizierungsannahme, ohne Objektklassifizierungsannahme oder einer Kombination daraus generiert wird. Wie zum Beispiel in der 7 zu sehen ist, kann der elektronische Prozessor 200 eine erste Messmodellhypothese 705 und eine zweite Messmodellhypothese 710 (als Pseudomessdaten). In dem veranschaulichten Beispiel stellt die erste Messmodellhypothese 705 die Hypothese auf, dass das Objekt ein Fahrzeug ist, und die zweite Messmodellhypothese 710 stellt die Hypothese auf, dass das Objekt ein Radfahrer ist.
-
Dementsprechend generiert der elektronische Prozessor 200 in einigen Ausführungsformen einen Pseudomessdatensatz für jeden Sensormesswert, so dass für jeden Messwert mehrere alternative Pseudomessdatenhypothesen unter Verwendung unterschiedlicher Modellierungsannahmen, Cluster-Annahmen oder Ähnlichem generiert werden. In solchen Ausführungsformen kann eine andere alternative Version von Pseudomessdaten für jeden Sensormesswert verwendet werden.
-
Ob Pseudomesswerte oder Messmodellhypothesen (als Pseudomessdaten) generiert werden, basiert in einigen Ausführungsformen auf einem Typ von Sensor, auf dem das Messmodell oder der Pseudomesswert basiert. Zum Beispiel kann der elektronische Prozessor 200 für einen Lidarsensor ein Lidarpunkte-Cluster generieren (zum Beispiel über ein tiefes neuronales Netz), der den Cluster als eine dreidimensionale Bounding Box modelliert. Die dreidimensionale Bounding Box kann dann als ein Pseudomesswert verwendet werden. Alternativ oder zusätzlich kann der Lidarpunkte-Cluster zum Beispiel durch eine L-Form, ein Liniensegment, eine Ellipse oder Ähnliches approximiert werden. Die Parameter der jeweiligen Beschreibung können als ein Pseudomesswert verwendet werden. Alternativ oder zusätzlich kann der elektronische Prozessor 200 einen Pseudomesswert auf Basis des Clusterns von Lidar-Stixeln generieren, wobei das Clustern keine Objektklassifizierungsannahme einschließt. Als ein anderes Beispiel: Für einen Radarsensor kann ein Reflexionsmodell (ein Messmodell) für Radar vom Objekttyp abhängig sein, der das für die Objektaktualisierung verwendete Messmodell beeinflusst. Somit kann der elektronische Prozessor 105 mehrere Messmodellhypothesen mit unterschiedlichen Annahmen generieren (einschließlich Hypothesen, die generisch sind oder keine Objektklassifizierungsannahme enthalten).
-
In einigen Ausführungsformen enthalten eine oder mehr der Hypothesen für das Messmodell, die Pseudomessdaten oder eine Kombination daraus Hypothesen, die generisch sind, die keine Objektklassifizierungsannahme enthalten oder die eine Kombination daraus enthalten. Diese generischen Modelle erzeugen Robustheit, zum Beispiel gegenüber unrichtigen Klassifizierungsinformationen, Klassifizierungsannahmen oder einer Kombination daraus. Der Zweck der generischen Hypothesen besteht darin, robust gegenüber unrichtigen Annahmen zu werden, indem eine reduzierte Granularität des Modells zugelassen wird. Diese generischen Hypothesen können als Rückfallstrategie für Situationen in Betracht gezogen werden, in denen komplizierte Messmodelle oder Pseudomesswerthypothesen nicht anwendbar sind (um zum Beispiel seltene Objektformen oder Messsituationen abzudecken). Obwohl die Genauigkeit der Rückfallstrategie möglicherweise nicht ausreichend ist, um komfortable Reaktionen des Fahrzeugs sicherzustellen, kann sie Verlieren des Objekts und somit gefährliche Situationen verhindern.
-
Wie oben angegeben ist, können die Pseudomessdaten einen oder mehr Pseudomesswerte, eine oder mehr Messmodellhypothesen oder eine Kombination daraus basierend auf einer oder mehr verschiedenen Annahmen enthalten. Als Folge kann die Entscheidung, welche Messmodellhypothese bzw. welcher Pseudomesswert letztlich verwendet wird, in der Prozesskette weiter nach hinten verschoben werden, wenn mehr Informationen (aus späteren Messwerteabfragen oder aus anderen Sensoren) verfügbar sind. Ihre Umsetzung in der Sensordatenfusion findet zum Beispiel durch Verwenden eines Multi-Hypothesenansatzes über mehrere Datenabfragen unter Verwendung von Verfahren statt, wie zum Beispiel eines Labeled Multi-Bernoulli- („LMB-“) Filters. In einigen Ausführungsformen werden eine oder mehr Hypothesen, in denen alternative Pseudomesswerte (die zum Beispiel durch verschiedene Cluster-Hypothesen generiert werden) zeitgleich für die Objektaktualisierung verwendet werden, ausgeschlossen, weil Informationen aus Messdaten als ein Ergebnis davon mehrfach verwendet werden, obwohl die Unabhängigkeit der Messwerte angenommen wird.
-
Wie in der 6 zu sehen ist, generiert der elektronische Prozessor 200 auch einen Verknüpfungshypothesensatz für ein Objekt in einem Sichtfeld (im Block 615). In einigen Ausführungsformen ist das Sichtfeld ein gemeinsames Sichtfeld, das mit zwei oder mehr Sensoren 115 verknüpft ist, wie oben ausführlicher beschrieben wird. Allerdings ist das Sichtfeld in anderen Ausführungsformen mit einem einzigen Sensor verknüpft, wie zum Beispiel in einem Ein-SensorSystem, das Messdaten (Umgebungsinformationen) im zeitlichen Verlauf aus einem einzigen Sensor 115 bezieht. Eine Verknüpfungshypothese bezieht sich im Allgemeinen auf eine Hypothese in Bezug auf einen möglichen Objektstatus eines Objekts, wie zum Beispiel eines Objekts in einem gemeinsamen Sichtfeld von zwei oder mehr Sensoren 115 oder eines Objekts in einem Sichtfeld eines Sensors 115. Wenn ein automatisiertes Fahrsystem (wie zum Beispiel das automatisierte Fahrsystem 220) Informationen aus einer oder mehr Quellen (wie zum Beispiel einem oder mehr der Sensoren 115) nutzt, eines oder mehr Messmodelle nutzt oder eine Kombination daraus nutzt, kann das automatisierte Fahrsystem 220 bei der Objektverfolgung mehr als einen möglichen Objektstatus bestimmen. Jeder mögliche Objektstatus wird hier als eine Verknüpfungshypothese bezeichnet.
-
Dementsprechend bestimmt der elektronische Prozessor 200 einen oder mehr mögliche Objektstati (als Verknüpfungshypothesen) für ein Objekt in einer Umgebung, die das Fahrzeug 105 umgibt, durch Sensorfusion (in der 7 als der Block 712 gezeigt) der Umgebungsinformationen. Ein Objektstatus kann auf einer oder mehr Eigenschaften des Objekts basieren. Zum Beispiel kann ein Objektstatus auf einer Position des Objekts in Bezug auf das Fahrzeug 105, einer Geschwindigkeit des Objekts, einer Bewegungsrichtung des Objekts, einer Objektklassifizierung für das Objekt, die identifiziert, was das Objekt ist (eine Objektklassifizierung) (zum Beispiel, ob das Objekt ein anderes Fahrzeug, ein Motorrad, eine Person, ein Radfahrer oder Ähnliches ist), und Ähnlichem basieren. Dementsprechend beinhaltet das Bestimmen einer Verknüpfungshypothese (oder des möglichen Objektstatus) das Bestimmen von einer oder mehr mit dem Objekt verknüpften Eigenschaften. Die Fusion von Sensorinformationen (im Block 712) bezieht eines oder mehr Messmodelle, Bewegungsmodelle, Objektverfolgungsprozesse oder eine Kombination daraus ein (zum Beispiel die erste Messmodellhypothese 705 und die zweite Messmodellhypothese 710 der 7).
-
Dementsprechend ist in einigen Ausführungsformen der Verknüpfungshypothesensatz mit einem Objekt in einem gemeinsamen Sichtfeld, das mit zwei oder mehr Sensoren 115 verknüpft ist, oder einem Sichtfeld eines einzigen Sensors 115 verknüpft. Der elektronische Prozessor 200 kann den Verknüpfungshypothesensatz auf Basis der Umgebungsinformationen, die aus einem oder mehr der Sensoren 115 empfangen werden, den Pseudomessdaten oder einer Kombination daraus generieren. Der Verknüpfungshypothesensatz kann mit den Pseudomessdaten verknüpft sein oder diesen entsprechen. Zum Beispiel kann der Verknüpfungshypothesensatz eine Verknüpfungshypothese für jeden Pseudomesswert, jede Messmodellhypothese oder eine Kombination daraus enthalten. Zurück zu dem in der 7 veranschaulichten Beispiel: Der elektronische Prozessor 200 kann eine erste Verknüpfungshypothese 715A und eine zweite Verknüpfungshypothese 715B (als einen Verknüpfungshypothesensatz) generieren. Die erste Verknüpfungshypothese 715B ist mit der zweiten Messmodellhypothese 710 verknüpft, und die zweite Verknüpfungshypothese 715A ist mit der zweiten Messmodellhypothese 705 verknüpft. Als ein Beispiel: Die aus einem oder mehr der Sensoren 115 empfangenen Umgebungsinformationen können eine Größe, Geschwindigkeit und Bewegungsrichtung des Objekts angeben. Auf Basis der Umgebungsinformationen in diesem Beispiel kann der elektronische Prozessor 200 eine Verknüpfungshypothese generieren, dass ein möglicher Objektstatus für das Objekt von einem Typ Fahrzeug ist, wobei sich das Objekt mit einer größeren Geschwindigkeit als das Fahrzeug 105 und in der gleichen Richtung wie das Fahrzeug 105 fortbewegt.
-
In einigen Ausführungsformen aktualisiert der elektronische Prozessor 200 eine oder mehr Verknüpfungshypothesen im zeitlichen Verlauf (zum Beispiel zu jedem zeitlichen Zyklus), führt diese zusammen und/oder kürzt sie, wenn zusätzliche Umgebungsinformationen aus dem einen oder mehr Sensoren 115 empfangen werden. In solchen Ausführungsformen werden die Verknüpfungshypothesen (und somit der bestimmte Objektstatus) kontrolliert und periodisch aktualisiert (wobei jede Periode als ein Zyklus bezeichnet wird) auf Basis neuer Informationen, wie zum Beispiel neuer Umgebungsinformationen, die aus einem oder mehr Sensoren 115 empfangen werden. In einigen Ausführungsformen nutzt und managt der elektronische Prozessor 200 im zeitlichen Verlauf Verknüpfungshypothesen zum Beispiel unter Verwendung von Multi-Hypothesen-Verfolgungs- (Multiple Hypotheses Tracking, „MHT-“) und Random Finite Set-(„RFS-“) Prozessen, einschließlich Labeled Multi-Bernoulli- („LMB-“) Filtern.
-
Nach dem Generieren des Verknüpfungshypothesensatzes (im Block 615) bestimmt der elektronische Prozessor 200 dann einen Objektstatus für das Objekt (im Block 620). Als ein Beispiel: Der bestimmte Objektstatus kann eine Objektklassifizierung eines Fahrzeugs enthalten, wobei sich das Objekt (a) auf der linken Fahrbahn, (b) in der gleichen Richtung wie das Fahrzeug 105 und (c) mit einer von 50 mph fortbewegt. Der elektronische Prozessor 200 kann den Objektstatus für das Objekt auf Basis des Verknüpfungshypothesensatzes bestimmen. Dementsprechend ist der bestimmte Objektstatus in einigen Ausführungsformen eine der Verknüpfungshypothesen, die im Verknüpfungshypothesensatz enthalten sind (d. h. einer der möglichen Objektstati für das Objekt). In einigen Ausführungsformen bestimmt der elektronische Prozessor 200 den Objektstatus für das Objekt auf Basis einer Wahrscheinlichkeit, die mit jeder der Verknüpfungshypothesen verknüpft ist, die in dem Verknüpfungshypothesensatz enthalten sind. Zum Beispiel kann der elektronische Prozessor 200 den Objektstatus für das Objekt als die Verknüpfungshypothese (d. h. den möglichen Objektstatus) mit der höchsten Wahrscheinlichkeit bestimmen (zum Beispiel als die Verknüpfungshypothese, die am wahrscheinlichsten der richtige Objektstatus des Objekts ist). Im zeitlichen Verlauf und wenn mehr Umgebungsinformationen aus einem oder mehr der Sensoren 115 empfangen werden, kann der elektronische Prozessor 200 ähnliche Verknüpfungshypothesen kombinieren oder zusammenführen, während Verknüpfungshypothesen, die als unwahrscheinliche Möglichkeiten bestimmt werden, entfernt werden. Dementsprechend ist eine Wahrscheinlichkeit, die mit den zusammengeführten oder kombinierten Verknüpfungshypothesen verknüpft ist, umso größer, je mehr Hypothesen zusammengeführt oder kombiniert werden. Als ein anderes Beispiel: Die Wahrscheinlichkeit für eine Verknüpfungshypothese kann sich auf Basis einer Anzahl an verbleibenden wahrscheinlichen Hypothesen erhöhen. Mit anderen Worten: Wenn mehr Verknüpfungshypothesen als unwahrscheinlich entfernt werden, desto größer ist die Wahrscheinlichkeit, dass die verbleibenden Verknüpfungshypothesen wahrscheinlich richtig (oder wahr) sind.
-
Alternativ oder zusätzlich leitet der elektronische Prozessor 200 in einigen Ausführungsformen eine oder mehr des Verknüpfungshypothesen mit ihrer jeweiligen Wahrscheinlichkeit an eine andere Komponente weiter (zum Beispiel zur Erwägung, welcher mögliche Objektstatus am wahrscheinlichsten der tatsächliche Objektstatus des detektierten Objekts ist). In einigen Ausführungsformen wird eine vorläufige Auswahl von einer oder mehr Verknüpfungshypothesen vor der Sensorfusion durchgeführt (zum Beispiel im Block 712 der 7), um zum Beispiel die Rechenzeit zu begrenzen, das Hypothesenwachstum zu beschränken oder eine Kombination daraus.
-
Wie in der 6 zu sehen ist, kann der elektronische Prozessor 200 dann das Fahrzeug 105 auf Basis des bestimmten Objektstatus für das Objekt steuern (im Block 625). In einigen Ausführungsformen steuert der elektronische Prozessor 200 das Fahrzeug 105 durch Bestimmen auf Basis des bestimmten Objektstatus, ob ein Fahrzeugmanöver durchzuführen ist. In einigen Ausführungsformen beinhaltet dementsprechend das Steuern des Fahrzeugs 105 auf Basis des bestimmten Objektstatus für das Objekt kein Fahrzeugmanöver durchzuführen oder ein Fahrzeugmanöver durchzuführen. Alternativ oder zusätzlich steuert der elektronische Prozessor 200 das Fahrzeug 105 durch Bestimmen auf Basis des bestimmten Objektstatus, welches Fahrzeugmanöver (oder welche Reaktion) durchzuführen ist, einer Durchführungszeitvorgabe des Fahrzeugmanövers (zum Beispiel, wann das Fahrzeugmanöver durchzuführen ist) und Ähnliches. Die Bestimmung des Fahrzeugmanövers (auf Basis des bestimmten Objektstatus) kann unter Verwendung von einer oder mehr automatisierten Fahrtechniken durchgeführt werden, die hier der Kürze halber nicht ausführlich erörtert werden.
-
Der elektronische Prozessor 200 kann ein Fahrzeugmanöver durch Steuern des Lenkens des Fahrzeugs 105, Beeinflussen der Geschwindigkeit des Fahrzeugs 105 (zum Beispiel Beschleunigung oder Bremsen des Fahrzeugs 105) oder Ähnliches durchführen. In einigen Ausführungsformen führt der elektronische Prozessor 200 das Fahrzeugmanöver durch, indem er ein oder mehr Steuersignale generiert und an eine oder mehr Komponenten des Fahrzeugs 105 überträgt, wie zum Beispiel das Lenksystem 130, das Bremssystem 135, das Beschleunigungssteuersystem 140 und Ähnliche. Als Reaktion auf das Empfangen der Steuersignale können die eine oder mehr Komponenten des Fahrzeugs 105 übereinstimmend mit dem entsprechenden Steuersignal gesteuert werden.
-
Dementsprechend können die hier beschriebenen Ausführungsformen Robustheit gegenüber Fehlern in Messmodellen, bei der Datenvorverarbeitung und Ähnlichem erreichen, zum Beispiel durch Aussortieren von fehlerhaften Hypothesen auf Basis von im zeitlichen Verlauf nachfolgenden Messwerten. Zum Beispiel wird das Durchführen der Objektverfolgung verbessert, indem Hypothesen, die fehlerhafte Verfolgungs-Messwert-Verknüpfung (Zufallsfehler) enthalten, erfasst und entfernt (oder gekürzt) werden, während zahlreiche andere Hypothesen im zeitlichen Verlauf behalten werden. Ein Verfahren, um die Anzahl an Hypothesen brauchbar zu halten, kann zum Beispiel beinhalten, ähnliche Hypothesen zusammenzuführen, während unwahrscheinliche Hypothesen entfernt (oder gekürzt) werden.
-
Auf dem Gebiet der erweiterten Objektverfolgung können verschiedene Hypothesen auch durch eine andere Technik gebildet werden - dem Clustern von Sensordaten. Bei diesen Cluster-Techniken werden die Wirkungen von Fehlern beim Clustern von Messdaten minimiert, weil sich die Hypothese mit dem konsistentesten Clustern (das angibt, dass die Hypothese wahr oder richtig ist) im zeitlichen Verlauf durchsetzt. Die Begründung für diese Cluster-Techniken liegt allerdings eher in der Verbesserung der Leistung der Objektverfolgung durch Verbessern der Verknüpfung und des Clusterns von Messdaten als der Robustheit des Systems gegenüber unrichtigen Annahmen in Messmodellen und bei der Datenvorverarbeitung. In Bezug auf die hier beschriebenen Ausführungsformen werden allerdings spezielle Hypothesen bestimmt, um zum Beispiel Robustheit gegenüber Fehlern in Messmodellen und bei Datenvorverarbeitungsschritten (zum Beispiel Clustern von Sensordaten, Objektklassifizierung und Ähnliches), die während der Fusion der Sensordaten angewendet werden, bereitzustellen.
-
Obwohl sich die hier beschriebenen Beispiele auf automatisierte Fahrsysteme beziehen, können, wie oben angegeben ist, die hier beschriebenen Verfahren und Systeme in anderen Ausführungsformen auf andere Systeme angewendet werden, wie zum Beispiel auf Fahrassistenzsysteme, Verkehrskontrollsysteme, Verkehrssteuerungssysteme, Sicherheitsüberwachungssysteme und Ähnliches. Als ein Beispiel können die Sensoren 115 an Infrastruktur verbaut sein. Entsprechend diesem Beispiel können die Sensoren 115 die Umgebungsinformationen an das automatisierte Fahrsystem abgeben (zum Beispiel übertragen durch Fahrzeug-Infrastruktur-Kommunikation, abgegeben durch Backend-Server oder Ähnliches). Alternativ oder zusätzlich können die Sensoren 115 Umgebungsinformationen in Bezug auf Verkehrskontrolle und -steuerung erfassen. Als ein Beispiel können die Sensoren 115 Umgebungsinformationen in Bezug auf den beobachteten Verkehr detektieren. Entsprechend diesem Beispiel kann der elektronische Prozessor 200 eine Verkehrskontroll- und -steuerungsaktion bestimmen und steuern, wie zum Beispiel Öffnen von gemeinsam genutzten Fahrbahnen, Steuern von Ampelschaltphasen, Preisbestimmung für Premium-Verkehr und Ähnliches. Als ein anderes Beispiel: Der Sensor 115 kann Umgebungsinformationen für Überwachungssysteme detektieren, wie zum Beispiel zur Kontrolle eines Standorts des Fahrzeugs, eines Fußgängers oder Ähnlichem auf einem Grundstück. Entsprechend diesem Beispiel kann der elektronische Prozessor 200 auf Basis einer Position eines Fahrzeugs oder eines Fußgängers eine Aktion des Überwachungssystems bestimmen und steuern, wie zum Beispiel, ob ein Alarm ausgelöst werden sollte. Entsprechend ist der elektronische Prozessor 200 in einigen Beispielen nicht in einem oder in Bezug auf ein spezifisches Fahrzeug, wie zum Beispiel dem Fahrzeug 100, integriert. Stattdessen kann der elektronische Prozessor 200 zum Beispiel Teil eines Verkehrskontrollsystems oder eines Überwachungssystems sein, sei es lokal (zum Beispiel an einem lokalen Verkehrskontroll- oder -überwachungssystem) oder entfernt (zum Beispiel ein cloudbasierter Applikationsserver oder ein Remote Server).
-
Somit stellen die Ausführungsformen unter anderem Verfahren und Systeme zur Multi-Hypothesen-Objektverfolgung für automatisierte Fahrsysteme bereit, so dass Robustheit gegenüber Fehlern in Messmodellen, bei der Datenvorverarbeitung und Ähnlichem erreicht wird. Verschiedene Merkmale und Vorteile gewisser Ausführungsformen werden in den folgenden Ansprüchen dargelegt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
