DE102013113571A1

DE102013113571A1 - Verfahren und Vorrichtungen zum Vereinigen von Radar/Kamera-Objektdaten und LiDAR-Absuchpunkten

Info

Publication number: DE102013113571A1
Application number: DE102013113571.4A
Authority: DE
Inventors: Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-03-15
Filing date: 2013-12-05
Publication date: 2014-09-11
Also published as: US20160018524A1; US20130242284A1; CN104035071A; CN104035071B; US9128185B2; US9476983B2

Abstract

Ein System und ein Verfahren zum Zusammenführen der Ausgaben von mehreren LiDAR-Sensoren in einem Fahrzeug, die das Aufrufen des Vereinigungsprozesses in Ansprechen darauf, dass durch einen Radarsensor und/oder ein Bilderkennungssystem ein Objekt detektiert wird, enthalten. Das Verfahren enthält das Bereitstellen von Objektdateien für durch die LiDAR-Sensoren zu einem vorhergehenden Abtastzeitpunkt detektierte Objekte, wobei die Objektdateien die Position, die Orientierung und die Geschwindigkeit der detektierten Objekte identifizieren. Das Verfahren plant Objektmodelle in den Objektdateien von dem vorhergehenden Abtastzeitpunkt voraus, um vorhergesagte Objektmodelle bereitzustellen. Außerdem enthält das Verfahren das Empfangen mehrerer Absuchrückgaben von in dem Sichtfeld der Sensoren zu einem aktuellen Abtastzeitpunkt detektierten Objekten und das Konstruieren einer Punktwolke aus den Absuchrückgaben. Daraufhin segmentiert das Verfahren die Absuchpunkte in der Punktwolke in vorhergesagte Absuchcluster, wobei jeder Cluster ein durch die Sensoren detektiertes Objekt identifiziert.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Diese Erfindung bezieht sich allgemein auf ein System und auf ein Verfahren zum Vereinigen der Ausgaben von mehreren Sensoren in einem Fahrzeug und insbesondere auf ein System und auf ein Verfahren zum Vereinigen von Absuchpunkten von mehreren LiDAR-Sensoren in einem Fahrzeug, wobei der Prozess zum Vereinigen der LiDAR-Sensor-Absuchpunkte in Ansprechen darauf aufgerufen wird, dass durch einen Radarsensor oder durch ein Bilderkennungssystem in dem Fahrzeug ein Objekt detektiert wird.
Diskussion des verwandten Gebiets
Viele moderne Fahrzeuge enthalten Objektdetektierungssensoren, die dazu verwendet werden, eine Kollisionswarnung oder -verhütung und andere aktive Sicherheitsanwendungen zu ermöglichen. Die Objektdetektierungssensoren können irgendeine einer Anzahl von Detektierungstechnologien wie etwa kurzreichweitiges Radar, Kameras mit Bildverarbeitung, Laser oder LiDAR, Ultraschall usw. verwenden. Die Objektdetektierungssensoren detektieren Fahrzeuge und andere Objekte auf dem Weg eines Trägerfahrzeugs und die Anwendungssoftware verwendet die Objektdetektierungsinformationen, um nach Bedarf Warnungen bereitzustellen oder Maßnahmen zu ergreifen. In vielen Fahrzeugen sind die Objektdetektierungssensoren direkt in die Frontpartie oder in eine andere Verkleidung des Fahrzeugs integriert.
Damit die Anwendungssoftware optimal arbeitet, müssen die Objektdetektierungssensoren richtig auf das Fahrzeug ausgerichtet sein. Falls ein Sensor z. B. ein Objekt detektiert, das tatsächlich auf dem Weg des Trägerfahrzeugs ist, der Sensor aber wegen Sensorfehlausrichtung bestimmt, dass das Objekt etwas links von dem Weg des Trägerfahrzeugs ist, kann dies erhebliche Folgen für die Anwendungssoftware haben. Selbst wenn es in einem Fahrzeug mehrere nach vorn gerichtete Objektdetektierungssensoren gibt, ist es wichtig, dass sie alle richtig ausgerichtet sind, um widersprüchliche Sensorablesungen zu minimieren oder zu beseitigen.
LiDAR-Sensoren sind ein Sensortyp, der in Fahrzeugen gelegentlich genutzt wird, um Objekte um das Fahrzeug zu detektieren und um eine Entfernung für diese Objekte bereitzustellen. LiDAR-Sensoren sind erwünscht, da sie die Richtung eines nachgeführten Objekts bereitstellen können, was andere Sensortypen wie etwa Bilderkennungssysteme und Radarsensoren allgemein nicht vermögen. Für einen LiDAR-Sensortyp werden Reflexionen von einem Objekt als ein Absuchpunkt als Teil einer Punktcluster-Entfernungskarte zurückgegeben, wobei für alle 1/2° über das Sichtfeld des Sensors ein getrennter Absuchpunkt bereitgestellt wird. Somit kann es mehrere Absuchpunkte geben, die zurückgegeben werden, die die Distanz des Zielfahrzeugs von dem Trägerfahrzeug identifizieren, falls vor dem Trägerfahrzeug ein Zielfahrzeug detektiert wird.
Ein Fahrzeug kann mehrere LiDAR-Sensoren aufweisen, um um das Fahrzeug ein Sichtfeld von 360° bereitzustellen. Diese mehreren LiDAR-Sensoren können zur Seite gerichtete Sensoren, nach hinten gerichtete Sensoren und nach vorn gerichtete Sensoren enthalten. Jeder der Sensoren führt Objekte in seinem Sichtfeld unabhängig von den anderen Sensoren nach. Unter Verwendung der Absuchpunktrückgaben von den mehreren Sensoren wird die Entfernungskarte erzeugt, um Objekte in der Nähe des Trägerfahrzeugs nachzuführen. Für ein Fahrzeug mit mehreren LiDAR-Sensoren werden mehrere Punktclusterkarten zurückgegeben und für sich überschneidende Sensorsichtfelder können die Sensoren dasselbe Objekt nachführen. Es ist notwendig, die Absuchpunktkarten der Sensoren zu kombinieren, so dass dasselbe durch die Sensoren nachgeführte Objekt als einzelnes Ziel verarbeitet wird.
Die Patentanmeldung der Vereinigten Staaten Ifd. Nr. 12/942,456 mit dem Titel Systems and Methods for Tracking Objects, eingereicht am 9. November 2010, auf den Anmelder der vorliegenden Anmeldung übertragen und hier durch Bezugnahme mit aufgenommen, offenbart eine Technik zum Überwachen der Entfernung und der Richtung eines Zielobjekts von einem Trägerfahrzeug unter Verwendung von LiDAR-Sensoren. Diese Anmeldung ist auf einen einzelnen LiDAR-Sensor beschränkt und diskutiert nicht die Vereinigung von Rückgaben von mehreren LiDAR-Sensoren.
ZUSAMMENFASSUNG DER ERFINDUNG
In Übereinstimmung mit den Lehren der vorliegenden Erfindung werden ein System und ein Verfahren zum Vereinigen der Ausgaben von mehreren LiDAR-Sensoren in einem Fahrzeug, die ein Aufrufen des Vereinigungsprozesses in Ansprechen darauf umfassen, dass durch einen Radarsensor und/oder durch ein Bilderkennungssystem ein Objekt detektiert wird, offenbart. Das Verfahren enthält das Bereitstellen von Objektdateien für durch die LiDAR-Sensoren zu einem vorhergehenden Abtastzeitpunkt detektierte Objekte, wobei die Objektdateien die Position, die Orientierung und die Geschwindigkeit der detektierten Objekte identifizieren. Das Verfahren plant Objektmodelle in den Objektdateien von dem vorhergehenden Abtastzeitpunkt voraus, um vorhergesagte Objektmodelle bereitzustellen. Außerdem enthält das Verfahren das Empfangen mehrerer Absuchrückgaben von in dem Sichtfeld der Sensoren zu einem aktuellen Abtastzeitpunkt detektierten Objekten und das Konstruieren einer Punktwolke aus den Absuchrückgaben. Daraufhin segmentiert das Verfahren die Absuchpunkte in der Punktwolke in vorhergesagte Absuchcluster, wobei jeder Cluster ein durch die Sensoren detektiertes Objekt identifiziert. Das Verfahren passt die vorhergesagten Cluster an die vorhergesagten Objektmodelle an. Das Verfahren liest Daten von durch einen Radarsensor oder durch ein Bilderkennungssystem in dem Fahrzeug detektierten Zielen und richtet die Zieldaten gegenüber einem für die Absuchpunkte der LiDAR-Sensoren bestimmtes Koordinatensystem aus. Das Verfahren passt die Zieldaten unter Verwendung der vorhergesagten Objektmodelle an die Objektmodelle in den Objektdateien an. Unter Verwendung der angepassten vorhergesagten Absuchcluster und der angepassten Zieldaten führt das Verfahren vorhergesagte Objektmodelle, die zu dem vorhergehenden Abtastzeitpunkt als getrennte Absuchcluster identifiziert worden sind, nun aber als ein einzelner Absuchcluster identifiziert werden, zusammen und teilt es vorhergesagte Objektmodelle, die zu dem vorhergehenden Abtastzeitpunkt als ein einzelner Absuchcluster identifiziert worden sind, nun zu dem aktuellen Zeitpunkt aber als getrennte Absuchcluster identifiziert werden, auf. Unter Verwendung der angepassten vorhergesagten Absuchcluster und der angepassten Zieldaten erzeugt das Verfahren außerdem neue Objektmodelle und löscht es verschwindende [engl.: ”dying”] Objektmodelle. Auf der Grundlage der zusammengeführten Objektmodelle, der aufgeteilten Objektmodelle, der neuen Objektmodelle und der gelöschten Objektmodelle stellt das Verfahren Objektmodellaktualisierungen bereit und aktualisiert es die Objektdateien für den aktuellen Abtastzeitpunkt mit den aktualisierten Objektmodellen.
Zusätzliche Merkmale der vorliegenden Erfindung gehen aus der folgenden Beschreibung und aus den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen hervor.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine Darstellung eines Trägerfahrzeugs, das auf ein Zielfahrzeug folgt, die das Sichtfeld von vier LiDAR-Sensoren in dem Trägerfahrzeug zeigt;
2 ist ein allgemeiner Blockschaltplan eines Vereinigungssystems für Vereinigungsabsuchpunkte von mehreren LiDAR-Sensoren in einem Fahrzeug;
3(A) und (B) zeigen Absuchpunkte von einem LiDAR-Sensor;
4 ist ein Ablaufplandiagramm, das ein Verfahren zum gegenseitigen Ausrichten von Punkten von mehreren LiDAR-Sensoren zeigt;
5 ist eine Konturwahrscheinlichkeitsdichtefunktion der Rückseite eines Objekts;
6 ist ein iterativ begrenzter Optimierungsgraph;
7 ist ein Blockschaltplan, der zwei verwobene Prozesse zum Schätzen der Objektbewegung und zum Aktualisieren eines Objektmodells, wenn eine neue LiDAR-Absuchpunktkarte verfügbar ist, zeigt;
8 ist ein dynamisches Bayes-Netz für ein Objekt, das durch einen Nachführungsalgorithmus nachgeführt wird;
9 ist ein Ablaufplandiagramm, das einen Prozess für einen Algorithmus für die Nachführung mehrerer Objekte in einem einzelnen Zeitschritt zeigt;
10 ist ein bipartiter Graph, der vorhergesagte Objektmodellpunkte und segmentierte Absuchkartenpunkte für einen Schritt des Anpassens von Absuchclustern an vorhergesagte Objektmodelle in dem Diagramm aus 9 zeigt;
11 ist ein induzierter bipartiter Graph, der aus dem in 10 gezeigten bipartiten Graphen erzeugt worden ist;
12 ist eine Darstellung von Absuchpunkten von einem LiDAR-Sensor, von einem Bilderkennungssystem und von einem Radarsensor;
13 ist eine Darstellung eines Trägerfahrzeugs, das auf ein Zielfahrzeug folgt, die das Sichtfeld eines LiDAR-Sensors, eines Radar-Sensors und eines Bilderkennungssystems in dem Trägerfahrzeug zeigt;
14 ist ein allgemeiner Ablaufplan für einen Nachführungsalgorithmus für einen LiDAR-Sensor, der einen Aufruf von einem Radarsensor oder von einem Bilderkennungssystem nutzt;
15 ist ein Ablaufplandiagramm, das einen Prozess für einen Algorithmus für die Nachführung mehrerer Objekte zeigt, der einen Aufruf von einem Radarsensor oder von einem Bilderkennungssystem nutzt;
16 ist ein bipartiter Graph, der aneinander angepasste Zieldaten mit Objektmodellen für alle LiDAR-Absuchpunkte, Radarsensorrückgaben und Bilderkennungssystembilder zeigt;
17 ist ein aus dem in 16 gezeigten bipartiten Graphen erzeugter induzierter bipartiter Graph;
18 ist ein bipartiter Graph, der die Zusammenführung zweier vorausgeplanter Objektmodelle durch Bereitstellen einer Anpassung unter Verwendung eines Bilderkennungssystems zeigt;
19 ist ein induzierter bipartiter Graph, der die Zusammenführung der Objektmodelle aus 18 zeigt;
20 ist ein bipartiter Graph, der die Aufteilung vorausgeplanter Objektmodelle durch Anpassung unter Verwendung eines Bilderkennungssystems zeigt;
21 ist ein induzierter bipartiter Graph, der die Anpassung der Objektmodelle aus 20 zeigt;
22 ist ein bipartiter Graph, der vorausgeplante Objektmodelle durch Anpassung unter Verwendung eines Radarsensors zeigt;
23 ist ein induzierter bipartiter Graph, der die Anpassung der Modelle aus 22 zeigt; und
24 ist ein dynamisches Bayes-Netz für einen Nachführungsalgorithmus und für eine Modellierungsaktualisierung mit Aufrufinformationen von einem Radarsensor oder von einem Bilderkennungssystem.
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Diskussion der Ausführungsformen der auf ein System und auf ein Verfahren zum Vereinigen der Ausgaben von mehreren LiDAR-Sensoren in einem Fahrzeug gerichteten Erfindung, wobei der Vereinigungsprozess durch ein durch einen Radarsensor oder durch ein Bilderkennungssystem detektiertes Objekt aufgerufen wird, ist dem Wesen nach lediglich beispielhaft und soll die Erfindung oder ihre Anwendungen oder Verwendungen in keiner Weise einschränken. Zum Beispiel wird die vorliegende Erfindung für die Vereinigung der Ausgaben von LiDAR-Sensoren in einem Fahrzeug beschrieben. Allerdings wird vom Fachmann auf dem Gebiet gewürdigt werden, dass der Vereinigungsprozess der Erfindung andere Anwendung als Fahrzeuganwendungen aufweist.
1 veranschaulicht eine Übersicht eines Fahrzeugsystems 10, das ein Trägerfahrzeug 12 enthält, das in der Weise gezeigt ist, dass es hinter einem Zielfahrzeug 14, das es nachführt, hinterherfährt. Das Trägerfahrzeug 12 enthält vier LiDAR-Sensoren, d. h. einen nach vorn gerichteten Sensor 16, der ein Sichtfeld 18 aufweist, einen nach hinten gerichteten Sensor 20, der ein Sichtfeld 22 aufweist, einen nach links gerichteten Sensor 24, der ein Sichtfeld 26 aufweist, und einen nach rechts gerichteten Sensor 28, der ein Sichtfeld 30 aufweist. Die Sensoren 16, 24 und 28 sind in die Frontpartie des Fahrzeugs 12 eingebaut und weisen wie gezeigt sich überschneidende Sichtfelder auf. Falls ein Objekt wie etwa ein Zielfahrzeug 14 im Sichtfeld eines bestimmten der Sensoren 16, 20, 24 und 30 ist, gibt der Sensor eine Anzahl von Absuchpunkten, die das Objekt identifizieren, zurück. Die Punkte 32 an dem Zielfahrzeug 14 repräsentieren die Absuchpunkte, die von dem Zielfahrzeug 14 von jedem der Sensoren 16, 24 und 28 zurückgegeben werden. Die Punkte 32 werden unter Verwendung einer Koordinatenübertragungstechnik in das Fahrzeugkoordinatensystem (x, y) an dem Trägerfahrzeug 12 übertragen und daraufhin wird in dem Fahrzeugkoordinatensystem unter Verwendung der Punkte 32 die Objektdetektierung ausgeführt. Wie im Folgenden diskutiert wird, können die Punkte 32 zum Definieren einer Rückseitenform des Zielfahrzeugs 14 verwendet werden.
Jeder Sensor 16, 20, 24 und 28 stellt für jedes durch den Sensor detektierte getrennte Objekt eine Absuchpunktwolke bereit. Die vorliegende Erfindung schlägt einen Vereinigungsalgorithmus vor, der die Ausgaben von jedem der Sensoren 16, 20, 24 und 28 in der Weise kombiniert, dass die Sensoren 16, 20, 24 und 28 dasselbe Objekt nachführen, wobei dieses Objekt als ein einzelnes Ziel verarbeitet wird, wobei der Algorithmus die Position, die Orientierung und die Geschwindigkeit jedes nachgeführten Objekts ausgibt. Obwohl die Diskussion vier LiDAR-Sensoren enthält, ist der vorgeschlagene Vereinigungsalgorithmus für irgendeine Anzahl und Position mehrerer LiDAR-Sensoren, die überschneidende Sichtfelder aufweisen, anwendbar.
Die Position des Zielfahrzeugs 14 ist in diesem Diagramm durch einen Ankerpunkt 34, d. h. durch die Mitte der Absuchkarte, repräsentiert. Die folgenden Werte werden zur Darstellung eines Objektmodells M des Zielfahrzeugs 14 bei dem Zeitschritt t verwendet. Insbesondere definiert das Objektmodell M die relative Längsgeschwindigkeit V_X, die relative Quergeschwindigkeit V_y, die Querverlagerung y und die Zielfahrzeugrichtung ξ oder Richtung des Bodengeschwindigkeitsvektors des Ziels. Der Wert M ist eine Liste von durch den Parametermittelwert m_j und durch die Varianz σ² repräsentierten Gauß'schen Komponenten. Der Mittelwert ist durch mehrere Hyperparameter ν_j, η_j, k_j und Merker, d. h. gesehen und gealtert, charakterisiert.
2 ist ein schematischer Blockschaltplan eines Vereinigungssystems 36 zum Vereinigen von Absuchpunktwolkenrückgaben von mehreren LiDAR-Sensoren wie etwa von den Sensoren 16, 20, 24 und 28. Der Kasten 38 repräsentiert die Absuchpunktwolkenrückgabe von dem linken LiDAR-Sensor 24, der Kasten 40 repräsentiert die Absuchpunktwolkenrückgabe von dem nach rechts gerichteten LiDAR-Sensor 28, der Kasten 42 repräsentiert die Absuchpunktwolkenrückgabe von dem nach vorn gerichteten LiDAR-Sensor 16 und der Kasten 44 repräsentiert die Absuchpunktwolkenrückgabe von dem nach rechts gerichteten LiDAR-Sensor 20. Im Kasten 46 werden die Entfernungskarten von den LiDAR-Sensoren 16, 20, 24 und 28 gegenseitig ausgerichtet und wird eine 360°-Entfernungskarte(-Punktwolke) konstruiert. Wenn die Punktwolken von den Sensoren 16, 20, 24 und 28 gegenseitig ausgerichtet worden sind und in den Fahrzeugkoordinaten eine 360°-Punktwolke gebildet worden ist, vereinigt der Algorithmus die Punktwolken von den mehreren Zielen in dem im Folgenden ausführlich diskutierten Kasten 48. Nachdem die Ziele in dem Fahrzeugkoordinatensystem vereinigt worden sind, gibt der Algorithmus im Kasten 50 die Position, die Orientierung und die Geschwindigkeit der Ziele aus.
Bevor der Vereinigungsprozess zum Kombinieren der Absuchpunkte von mehreren LiDAR-Sensoren spezifisch diskutiert wird, wird eine Diskussion eines Algorithmus zum gegenseitigen Ausrichten von Absuchpunkten in dem Kasten 46, um die Bewegung des Objekts zu schätzen, falls das Objektmodell M und die aktuelle Absuchkarte 5, die dem Objekt entsprechen, verfügbar sind, gegeben.
In vielen Fahrzeugen sind die Objektdetektierungssensoren direkt in die Frontverkleidung des Fahrzeugs integriert. Diese Art des Einbaus ist einfach, effektiv und ästhetisch ansprechend, hat aber den Nachteil, dass es keine praktische Art und Weise gibt, die Ausrichtung der Sensoren physikalisch einzustellen. Wenn ein Sensor wegen Beschädigung der Verkleidung oder wegen Alters oder wegen wetterbezogener Verziehung zu der wahren Richtung des Fahrzeugs fehlausgerichtet wird, gibt es somit herkömmlich keine andere Möglichkeit, die Fehlausrichtung zu korrigieren, als die gesamte Verkleidungsanordnung, die die Sensoren enthält, zu ersetzen.
Wie im Folgenden diskutiert wird, passt die in dem Kasten 46 ausgeführte gegenseitige Ausrichtung der Bildausschnitte die Entfernungsabsuchpunkte von den Sensoren 20, 24 und 28 an, um eine mögliche Drift der Position und Orientierung der Sensoren 20, 24 und 28 auszugleichen. Die Sensoren 20, 24 und 28 werden anfangs, wenn das Fahrzeug 12 neu ist, kalibriert. Wie erwähnt wurde, veranlassen verschiedene Faktoren, dass sich diese Orientierungen im Zeitverlauf ändern, so dass ein Prozess implementiert werden muss, um die Sensororientierung in der Weise neu zu kalibrieren, dass in dem sich überschneidenden Abschnitt der Sichtfelder 26 und 30 detektierte Objekte genauer sind. Die vorliegende Erfindung schlägt einen Erwartungsmaximierungs-Anpassungsalgorithmus (EM-Anpassungsalgorithmus) vor, um zwischen mehreren LiDAR-Sensoren eine Transformation T zu ermitteln, die einen Orientierungswinkel und die x- und y-Position der Sensoren definiert. Zum Beispiel passt der Algorithmus die Transformation T von dem nach links gerichteten LiDAR-Sensor 24 zu dem nach rechts gerichteten LiDAR-Sensor 28 an, wobei die Sensoren 24 und 28 ausgerichtet sind, wenn die Transformationen T von nachfolgenden Berechnungen übereinstimmen.
Der EM-Algorithmus beginnt durch Wählen eines Anfangstransformationswerts T₀, der null sein könnte, eines vorhergehenden Schätzwerts, einer durch den Hersteller bereitgestellten Orientierung zwischen den Sensoren 24 und 28 usw. Daraufhin plant der Algorithmus unter Verwendung der Transformation T zu dem Bildausschnitt für den nach rechts gerichteten LiDAR-Sensor 28 eine Entfernungskarte des linken Sensors voraus. 3 ist eine Darstellung einer Absuchpunktkarte 120, in der Kreise 124 Absuchpunktrückgaben von dem linken LiDAR-Sensor 24 repräsentieren und Ovale 126 Absuchpunktrückgaben von dem nach rechts gerichteten LiDAR-Sensor 28 repräsentieren. 3(A) zeigt alle Absuchpunktrückgaben und 3(B) zeigt für einige der Absuchpunktrückgaben einen vergrößerten Bereich in dem Kreis 122. 3(B) zeigt, wie die Absuchpunktrückgaben 124 des nach links gerichteten LiDAR-Sensors durch Pfeile 128 auf die Absuchpunktrückgaben 126 des nach rechts gerichteten LiDAR-Sensors abgebildet werden. In einem Versuch, sie zur Überschneidung zu bringen, werden die Absuchpunktrückgaben 124 des nach links gerichteten LiDAR-Sensors unter Verwendung der aktuell verfügbaren Transformation T für die Projektionskartenpfeile 128 relativ zu den Absuchpunktrückgaben 126 des nach rechts gerichteten LiDAR-Sensors bewegt.
Die aktuell verwendete Transformation T kann für die aktuelle Orientierung des nach links gerichteten LiDAR-Sensors 24 gegenüber dem nach rechts gerichteten LiDAR-Sensor 28 nicht genau sein, so dass die Transformation T für die aktuelle Position der Sensoren 24 und 28 aktualisiert werden muss. Der Algorithmus verwendet die aktuelle Transformation T, um eine Gewichtung a_jk zwischen dem Absuchpunkt s_j des linken Sensors und dem Absuchpunkt m_k des rechten Sensors wie folgt zu aktualisieren:
wobei die Kernfunktion K wie folgt ist:
Daraufhin wird unter Verwendung der abgeänderten Gewichtung a_jk eine neue Transformation T' wie folgt bestimmt: T' = argmin_T – 1 / 2Σ_j,ka_jklogK(||s_j – T∘m_k||). (3)
Daraufhin wird die neue Transformation T' mit der zuvor berechneten Transformation T verglichen und auf der Grundlage der Differenz dazwischen unter Verwendung der neuen Transformation T' die Gewichtung a_jk neu berechnet, bis die neu berechnete Transformation T' an die zuvor berechnete Transformation T, bei der die Sensoren 24 und 28 ausgerichtet sind, angepasst ist.
In bestimmten Fällen ist die Transformation T zum Ausrichten der Absuchdatenpunkte ausreichend groß, wobei es nützlich sein kann, die Lösung von T' in Gleichung (3) zu verbessern. Für dieses Beispiel ist die Transformation Tals x' = T·x definiert, wobei x' = Rx + t ist und wobei Reine Drehmatrix ist und t ein Translationsvektor ist. In dieser Analyse sei: S = [S₁, S₂, ..., S_L]^T, (4) M = [m₁, m₂, ..., m_N]^T, (5) A = [a_jk], (6) 1 = [1, 1, ..., 1]^T, (7) μ_s = 1 / LS^TA^T1, (8) μ_m = 1 / NM^TA1, (9) Ŝ = S – 1μ T / S, (10) M ^ = M – 1μ T / m.(11)
Die Lösung der neuen Transformation T' in Gleichung (3) ist dann gegeben durch: T' = [R', t'] (12) mit: R' = UCV, (13) t' = μ_s – R'μ_m (14) und wobei U und V als die Faktoren einer Singulärwertzerlegung von: USV = sνd(S^TA^TM) (15) definiert sind und C wie folgt ist:
Der oben beschriebene EM-Algorithmus zum Bestimmen der Transformation T kann nur lokal optimal und empfindlich für den Anfangstransformationswert sein. Der Algorithmus kann unter Verwendung der Partikelschwarmoptimierung (PSO) verbessert werden, um die Anfangstransformation T₀ zu ermitteln. In dieser Optimierung sei E die Menge zulässiger Transformationen T von dem linken LiDAR-Sensor 24 zu dem rechten LiDAR-Sensor 28. Der Algorithmus erzeugt in Übereinstimmung mit der gleichförmigen Verteilung in der zulässigen Transformation E zufällig N Partikel {t_i/t, ∈ E}, wobei jeder Partikel t_i ein normiertes Gewicht w_i = 1/N zugeordnet wird. Für jede Partikel t_i wird der EM-Algorithmus auf die beste Transformation T_i eingestellt, wobei t_i als der Anfangswert gegeben ist. Es sei die Gewichtung w_i der Prozentsatz der Anpassung zwischen den zwei Absuchungen für die Transformation T_i. Der Algorithmus gibt dann die Transformation T_k mit dem besten Anpassungsprozentsatz als den Nennwert für die Transformation von dem linken LiDAR-Sensor 24 zu dem rechten LiDAR-Sensor 28 aus, wobei w_k = max(w_i) ist.
In den meisten Fällen ist die Änderung der Transformation T von einem Abtastzeitpunkt zu dem nächsten üblicherweise klein, so dass es nicht notwendig ist, den oben beschriebenen rechenaufwendigen Prozess des Berechnens der neuen Transformation T' für große Änderungen der Transformation T zu verwenden. Insbesondere kann die neue Schätzung der Transformation T unter Verwendung des folgenden wenig rechenaufwendigen EM-Anpassungsalgorithmus rekursiv verfeinert werden, falls die Nenntransformation T_n von dem obigen PSO-Algorithmus geschätzt wird. Zunächst wird die Transformation T_n auf jeden Absuchpunkt des rechten LiDAR-Sensors 28 wie folgt angewendet: S_j ← T_n∘S_j (17)
Die richtige Transformation ΔT wird bestimmt als: ΔT: x' = ΔT∘x (18) und definiert als x' = x – Ey + t_x, (19) y' = Ex + y + t_y, (20) wobei die Transformation ΔT als (t_x, t_y, E) modelliert wird und wobei die vorhergehende Transformation ΔT_o (t_xo, t_yo, E_o) ist.
Gleichung (3) wird daraufhin ersetzt durch T' = argmin_T – 1 / 2Σ_j,klogK(||S_j – T∘m_k||) + λ||ΔT – ΔT_o||² (21) und die Lösung ist:
mit S_j = (x ' / j, y ' / j), (23) m_k = (x_k, y_k), (24) T' = t ' / x, t ' / y, E', (25)
und wobei λ ein Gewichtungsfaktor ist, der darauf abgestimmt werden kann, wie viel von der vorhergehenden Schätzung verwendet wird.
4 ist ein Ablaufplandiagramm 130, das den wie oben diskutierten Betrieb zum Ausrichten der LiDAR-Sensoren, z. B. der LiDAR-Sensoren 24 und 28, zeigt. Im Kasten 132 wählt der Algorithmus die Anfangstransformation T_n wie etwa die Herstellereinstellung aus. Im Kasten 134 sammelt der Algorithmus die Absuchentfernungskartendaten von den LiDAR-Sensoren 24 und 28 und bestimmt er, ob es in dem Sichtfeld der LiDAR-Sensoren 24 und 28 eine ausreichende Anzahl von Absuchpunkten von dem Objekt gibt, um die Berechnungen in der Entscheidungsraute 136 angemessen auszuführen. Falls es nicht genügend Absuchpunkte gibt, kehrt der Algorithmus zu dem Kasten 134 zurück, um weitere Entfernungskartendaten zu sammeln. Falls es in der Entscheidungsraute 136 genügend Absuchpunkte gibt, verwendet der Algorithmus den EM-Anpassungsalgorithmus, um im Kasten 138 die korrigierte Transformation ΔT zu ermitteln. Daraufhin bestimmt der Algorithmus in der Entscheidungsraute 140, ob die korrigierte Transformation ΔT größer als ein vorgegebener Schwellenwert ist, und wird im Kasten 142 die Schätzung der großen Transformation unter Verwendung des PSO-Algorithmus genutzt, um die neue Nenntransformation T_n zu ermitteln, wenn das der Fall ist. Falls der Anpassungsprozentsatz in der Entscheidungsraute 140 nicht größer als der Schwellenwert ist, kehrt der Algorithmus zu dem Kasten 134 zurück, um die nächsten Absuchpunkte zu sammeln.
Zurückkehrend zu dem Vereinigungsalgorithmus bietet die nachfolgende Diskussion zunächst einen vorgeschlagenen Algorithmus für die gegenseitige Ausrichtung von Absuchpunkten, der die Bewegung des Zielfahrzeugs 14 schätzt, falls das Objektmodell M und die dem Zielfahrzeug 14 entsprechende aktuelle Absuchkarte S gegeben sind. Die obige Diskussion betrifft den EM-Algorithmus zum Bestimmen der Transformation T, die die Bildausschnitte zwischen den LiDAR-Sensoren, die die räumliche Anpassung, insbesondere die Anpassung zwischen zwei Bildausschnitten von verschiedenen LiDAR-Sensoren, gleichzeitig bereitstellen, ausrichtet. Außerdem verwendet diese die Absuchpunktregistrierung betreffende Diskussion einen Algorithmus zur gegenseitigen Ausrichtung einer Punktmenge, um diejenige Transformation T zu ermitteln, die zwei Bildausschnitte zeitlich zwischen der aktuellen Absuchkarte S und dem aus den früheren Absuchkarten hergeleiteten Objektmodell M anpasst.
Zunächst wird ein probabilistisches Objektmodell M definiert und daraufhin wird ein vorgeschlagener iterativer Algorithmus bereitgestellt, um eine starre Transformation derart zu ermitteln, dass die Wahrscheinlichkeit bei gegebenen Absuchkarten des nachfolgenden Bildausschnitts maximiert wird. Zur Charakterisierung der geometrischen Form eines Objekts wird in dem Abtastraum
eine Konturwahrscheinlichkeitsdichtefunktion (PDF) definiert. 5 zeigt einen Schnappschuss einer beispielhaften PDF für die Rückseite des Zielfahrzeugs 14. Anstatt bestimmte Parameter zu verwenden, wird die PDF direkt durch eine Liste von als M = (m₁, m₂, ..., m_nM)^T bezeichneten Partikeln (Punkten) repräsentiert.
Die parameterfreie Art der Darstellung der PDF kann geschrieben werden als:
wobei
eine Gauß'sche Kernfunktion ist und σ > 0 ein als die Bandbreite bezeichneter Glättungsparameter oder die Größe eines Parzen-Fensters ist.
Es seien y die Parameter der Transformation T_y. Die Operatoren werden als ein Transformationsoperator T_y(·) mit Parametern y und mit der entsprechenden Umkehrtransformation T_y ^–1(·) definiert. Das Objektmodell M kann ohne Verlust der Allgemeinheit als im Ursprung 34 zentriert angesehen werden. In dem nachfolgenden Bildausschnitt ist ein Objekt am Ort y durch die folgende PDF charakterisiert:
Es sei S = (s₁, s₂, ..., s_ns)^T die aktuelle Absuchkarte, die aus einer Liste von Absuchpunkten s_k besteht. Die Wahrscheinlichkeitsfunktion kann ausgedrückt werden durch:
wobei angenommen ist, dass die Absuchpunkte s_k unabhängige und gleichverteilte Abtastwerte des Objektmodells M am Ort y sind.
Das Ziel ist hier das Ermitteln des Maximums von L(S; y, M) in Bezug auf die Transformationsparameter y, was äquivalent dem Ermitteln des Maximums von J(y; M) ≡ LogL(S; y, M) ist, als: y* = argmin_yJ(y; M) (31) mit:
Dieses lokale Minimum gibt die Anwesenheit des Objekts in dem folgenden Bildausschnitt mit einer ähnlichen Darstellung wie dem im Ursprung 34 definierten p(x; M) an.
Es wird eine Hilfsmatrix A ≡ {a_kj} mit a_kj ≥ 0 für j = 1, ..., n_M und k = 1, ..., n_s eingeführt, wobei
für alle k ist.
Somit wird Gleichung (32) zu:
In Gleichung (32) wird der Normierungsfaktor
in einen konstanten Term aufgenommen, der vernachlässigt wird. Gleichung (36) folgt bei der Anwendung der Jensen'schen Ungleichung auf Gleichung (34).
Sofern die negative Logarithmusfunktion konvex ist, kann die beste obere Schranke J*(y; M) für Gleichung (36) dadurch hergeleitet werden, dass die Ableitung des Ausdrucks aus Gleichung (36) und des Lagrange'schen Multiplikators der Nebenbedingung, siehe Gleichung 33, nach a_kj gebildet wird und nullgesetzt wird. Die optimale Hilfsvariable kann ausgedrückt werden durch:
für j = 1, ..., n_M und k = 1, ..., n_s.
Somit kann Gleichung (31) durch ”beschränkte Optimierung”, die zwischen der Optimierung von J*(y₁; M) in Bezug auf die Hilfsmatrix A, auf die Parameter y der Transformation T und auf die Bandbreite der Kernfunktion σ wechselt, iterativ gelöst werden.
6 ist ein Graph mit y auf der horizontalen Achse, der die Beziehung der iterativen beschränkten Optimierung zeigt, wobei die Linie 52 die komplizierte Kurve J(y; M) ist und die Strichlinienkurven aufeinanderfolgende obere Schranken bei y₀, y₁ und y₂ sind, d. h., wobei die Graphenlinie 54 J*(y_z; M) ist, die Graphenlinie 56.7 J*(y₁; M) ist und die Graphenlinie 58 J*(y₁; M) ist.
Die in dem folgenden Algorithmus 1 gezeigte iterative Prozedur wird bis zur Konvergenz, d. h. bis die Differenz des geschätzten y in zwei Iterationen kleiner als eine vorgegebene kleine Zahl ist, wiederholt. Empirische Ergebnisse zeigen, dass 2–3 Epochen der Iteration für den vorgeschlagenen Algorithmus ausreichen, damit er konvergiert.
Algorithmus 1: gegenseitige Ausrichtung von Absuchpunkten.

Eingabe: Objektmodell M, aktuelle Absuchkarte S und Anfangstransformationsparameter y₀.

1) Es sei σ = σ₀, wobei σ₀ eine positive Zahl ist.
2) Berechnen von A: Ausgehend von dem vorhergehenden Schätzwert des Transformationsparameters y_n wird a_kj unter Verwendung von Gleichung (37) aktualisiert.
3) Minimieren von J*(y; M): Berechnung von y* zum Minimieren von J*(y; M), d. h.: y* = argmin_y – Σ_k,ja_kjlogK_σ(T_y ^–1(s_k) – m_j). (38)
4) Berechnen von σ: Differenzieren von Gleichung (36) nach σ, Nullsetzen der Ableitung ergibt:
5) Es sei y_n+1 = y*. Falls ||y_n+1 – y_n|| > ∊ ist, gehe zu Schritt 2. Andernfalls wird die Ausgabe y* als die geschätzten Parameter für die Transformation verwendet.

Die folgende Diskussion beschreibt einen Spezialfall der gegenseitigen Ausrichtung einer Punktmenge, der in der Robotik mit LiDAR-Scannern verwendet werden kann. Es kann eine starre Transformation x' = T_y(x) und x' = Rx + t aufgeschrieben werden, wobei der Parametervektor y aus der Drehmatrix R und aus dem Translationsvektor t besteht. Gleichung (38) kann vereinfacht werden als: y* = argmin_yΣ_k,ja_kj||s_k – Rm_j – t||², (40) so dass det(R) = 1 und R^TR = I ist.
Gleichung (40) kann durch Bilden der partiellen Ableitung von Gleichung (40) nach t bzw. R gelöst werden. Um die Lösung zu zeigen, werden die folgenden Größen definiert:
mit 1 = [1, 1, ..., 1]^T.
Die Lösung von Gleichung (40) ist: R = UCV^T, (45) t = μ_s – Rμ_m, (46) wobei U und V als die Faktoren der Singulärwertzerlegung definiert sind, d. h. USV^T = sνd(S ^^TA^TM ^) und C = diag(1, det(UV^T)).
Die folgende Diskussion schlägt einen Algorithmus auf Bayes-Grundlage vor, der die Bewegung und Aktualisierungen des Objektmodells M rekursiv schätzt. Es seien S₀, ..., S_t und S_t+1 die von einem dynamischen Objekt in dieser Reihenfolge zu den Zeitschritten 0, ..., t und t + 1 abgetasteten Absuchkarten.
7 zeigt, dass die Nachführung als i) ein Problem der Schätzung der Bewegung des Objekts und ii) ein Problem der Aktualisierung des Objektmodells M, wenn die Absuchkarte eines neuen Bildausschnitts empfangen wird, behandelt werden kann. Insbesondere zeigt 7 einen Prozess 60 zum Schätzen des Orts eines Objekts beim Kasten 64 unter Verwendung des Orts eines Objekts zum Aktualisieren eines Objektmodells beim Kasten 62 und zum Schätzen des Orts eines Objekts, wenn eine neue Absuchkarte verfügbar ist.
Die folgende Diskussion enthält eine Bezugnahme auf bipartite Graphen und Bayes-Graphen. Diese zwei Arten von Graphen enthalten Knoten, die unterschiedliche Dinge repräsentieren. Die Knoten in einem Bayes-Graphen repräsentieren zu schätzende Variable wie etwa die Transformation T und das Objektmodell M, die zufällig sind und nur durch eine PDF dargestellt werden können. Diese Knoten sind in einer Folge über Bildausschnitte zu verschiedenen Zeiten angeordnet, wobei jede Folge nur ein Objekt modelliert. Im Gegensatz dazu sind die Knoten in den bipartiten Graphen Segmentierungen von Absuchkarten. Jede Absuchkarte kann bei dem Bildausschnitt zum selben Zeitpunkt mehrere Objekte enthalten. Somit ist das Ziel, die Segmente zu ermitteln, die jeweils einem Objekt entsprechen. Bei Aufbau der Zuordnung der Segmente (s₁, s₂, ..., s_n) entlang der Zeitachse können mehrere Folgen erhalten werden, wobei jede einem Objekt entspricht. Auf diese Weise können die bipartiten Graphen verwendet werden, um das Bayes-Verfahren zum Nachführen jedes einzelnen Objekts anzuwenden.
8 veranschaulicht ein dynamisches Bayes-Netz 70, das zwei Zeitschritte des vorgeschlagenen Nachführungsalgorithmus repräsentiert. In dem Netz 70 repräsentieren die Knoten 72 die Transformationsparameter y_t und y_t+1, d. h. die Objektposition und -lage der Ziele, repräsentieren die Knoten 74 die Objektmodelle M_t und M_t+1 und repräsentieren die Knoten 76 die Absuchkarten S_t und S_t+1. In 8 sind y_t und y_t+1 die geschätzten Parameter der Transformation bei den Zeitschritten t bzw. t + 1 und sind M_t und M_t+1 die Objektmodelle bei den Zeitschritten t bzw. t + 1. Zur Anpassung an das Bayes-Netz 70 wird p(y) als eine Dirac'sche Deltaverteilung, die durch ihr Zentrum y - parametrisiert ist, bzw. das Objektmodell M als die Verbund-PDF Gauß'scher Komponenten, die durch ihren Mittelwert {m_j} und eine feste Varianz σ² parametrisiert sind, modelliert. Jeder Mittelwert m_j wird durch eine Gauß'sche PDF mit Hyperparametern, d. h. mit dem Mittelwert und mit der Varianz
repräsentiert.
Die folgende Diskussion stellt ausführlich Aktualisierungsregeln für den Parameter y - und für die Hyperparameter {v_j, n_j/j = 1, ..., n_M} dar. Unter Verwendung der Bayes- bzw. der Kettenregel wird die A-posteriori-PDF, wenn Mengen von Absuchkarten bis zum Zeitpunkt t + 1 gegeben sind, geschrieben als: p(y, M|S^(0:t+1)) ∝ p(S|y, M)p(y, M|S^(0:t)) = p(S|y, M)p(y|S^(0:t))p(M|S^0:t), (47) wobei y und M kurz y_t+1 sind, S^(0:t+1) Absuchkarten bis zum Zeitschritt t + 1 repräsentiert, S die Absuchkarte zum Zeitpunkt t + 1 ist, p(S/y, M) eine äquivalente Darstellung von L(S; y, M) in Gleichung (30) ist und die letzte Gleichung durch die Annahme einer bedingten Unabhängigkeit bei gegebenem S^(0:t) folgt.
In Gleichung (47) ist p(y/S^(0:t)) die frühere PDF des Parameters y zum Zeitschritt t – 1 bei gegebenen vorhergehenden Absuchkarten S^(0:t), die berechnet werden kann als: p(y|S^(0:t)) = ∫p(y|y_t)p(y_t|S^(0:t))dy_t. (48)
In Gleichung (48) bezeichnet p(y_t/S^(0:t)) die A-posteriori-PDF für den Transformationsparameter zum Zeitpunkt t und ist p(y/y_t) die bedingte Wahrscheinlichkeit des folgenden Anlagenmodells der Objektbewegung: y = ∫(y_t) + w, (49) wobei weine Gauß'sche Zufallsvariable mit dem Mittelwert null mit der Kovarianzmatrix Q (d. h. p(w) = N)w/0, Q)) ist. Falls angenommen wird, dass p(y_t/S^(0:t)) eine Dirac'sche Deltaverteilung mit dem Zentrum bei y_t ist, kann die frühere PDF bei dem Zeitschritt t = 1 geschrieben werden als: p(y|s^0:t)) = N(y|y ~, Q), (50) wobei y ~ der vorhergesagte Wert des folgenden Anlagenmodells des Objekts y ~ = f(y -t) ist.
Der Ausdruck p(M_t-1/S^(0:t)) kann als die konjugierte Verteilungsfamilie von L(S; y, M) in Gleichung (30) modelliert werden, um eine nachführbare A-posteriori-PDF zu liefern. Es wird ein Produkt Gauß'scher Dichten mit bekannter Varianz σ² vorgeschlagen als:
mit
und wobei (n₁, ν_j) die Hyperparameter der früheren PDF für die j-te Komponente von M_t-1 sind und wobei c(η_j) ein Normierungsfaktor ist.
Wie in 8 gezeigt ist, sind die früheren Daten für das Objektmodell M beim Zeitschritt t
Nun wird das Problem der Schätzung der A-posteriori-Wahrscheinlichkeit p(y, M|S^(0:t+1)) zum Zeitpunkt t + 1 betrachtet. Da y und M bedingt unabhängig sind, d. h.: p(y, M|S^(0:t+1)) = p(y|S^(0:t+1))p(M|S^(0:t+1)), (54) kann die A-posteriori-Wahrscheinlichkeit hinsichtlich y und M als die folgenden zwei Schritte getrennt geschätzt werden.
Unter der Annahme, dass p(y|S^(0:t+1)) die Dirac'sche Delta-PDF mit dem Zentrum bei y -_t+i, ist, die durch Maximieren von Gleichung (47) in Bezug auf y geschätzt werden kann, ergibt Einsetzen von Gleichung (50) in Gleichung (47), Anwenden eines negativen Logarithmus auf Gleichung (47) und Vernachlässigen von für y irrelevanten Termen: y -_t+1 = argmin_y – Σ_k,ja_kjlogK_σ(T_y ^–1(S_k) – m_j) + ||y – y ~|| 2 / Q (55) mit
Somit kann Gleichung (38) für das Integrieren früherer Informationen aus vorhergehenden Zeitschritten durch Gleichung (55) ersetzt werden und daraufhin der Algorithmus 1 angewendet werden, um y ~_t+1 abzuleiten.
Unter Vernachlässigung von für das Objektmodell M irrelevanten Termen kann der negative Logarithmus von Gleichung (47) geschrieben werden als:
Es wird angemerkt, dass Gleichung (56) die beste obere Schranke von J(M) für alle möglichen Werte von y ist.
Wie in 6 kann die beschränkte Optimierung verwendet werden, um durch Ermitteln des Minimums der obigen Funktion einer oberen Schranke iterativ das optimale Objektmodell M zu ermitteln. Durch Nullsetzen der Ableitungen von Gleichung (56) nach dem Objektmodell M kann der MAP-Schätzwert des Objektmodells M erhalten werden als:
mit: ρ_j = Σ_ka_kj, (58) s -_j = Σ_ka_kjs_k/p_j. (59)
Die Aktualisierungsregeln der neuen Hyperparameter (η ' / j, ν ' / j) für die A-posteriori-Verteilung des Objektmodells M nach S zum Zeitpunkt t + 1 können geschrieben werden als:
Somit ist die A-posteriori-PDF des Ziels zum Zeitpunkt t
Es wird angemerkt, dass m * / j in Gleichung (57) die Betriebsart ist und dass ν ' / j in Gleichung (61) der Mittelwert der j-ten Komponente (der j-ten Partikel) des Objektmodells M ist. Wegen der Gauß'schen Annahme sind sie gleich.
In dem folgenden Algorithmus 2 ist das Verfahren der rekursiven Nachführung und Modellaktualisierung zusammengefasst. Schritt 1 bereitet das Objektmodell M für den Bildausschnitt zum aktuellen Zeitpunkt vor, während Schritt 2 die Bewegung des Objektmodells M schätzt. Schritt 3 aktualisiert das Objektmodell M auf der Grundlage der aktuellen Absuchkarte. Schritt 4 fügt zu dem Objektmodell M neue Partikel hinzu, während Schritt 5 Ausreißer aus dem Objektmodell M entfernt.
Algorithmus 2: Nachführung und Objektmodellaktualisierung

Eingabe: die aktuelle Absuchkarte S_t+1, das Objektmodell M_t-1 = (ν_j, η_j} und die Transformation y -_t.
Ausgabe: das geschätzte y -_t+1 und das aktualisierte M_t.

1) Berechne die Hyperparameter
für alle j von p(M_t|S^(0:t)) in Gleichung (51). Setze alle Partikel als unbesucht.
2) Es sei
für alle j. Ersetze Gleichung (38) durch Gleichung (55) und führe daraufhin den Algorithmus 1 aus, um y -_t+1 und A_t+1 zu erhalten.
3) Berechne die Hyperparameter unter Verwendung der Gleichungen (60) und (61), setze die Partikel als besucht und erhöhe den Besuchszählwert K_i um 1, falls ρ_j = Σ_ka_kj größer als der Schwellenwert ist. Falls K > 5 ist, wird die j-te Partikel als gealtert gekennzeichnet.
4) Berechne Q_k = Σ_ja_kj für alle k. Addiere eine neue Partikel s_k mit den folgenden Werten K_k = 1, ν_k = s_k, η_k = 1 und kennzeichne sie als besucht, falls ein Q_k kleiner als ein Schwellenwert ist.
5) Entferne nicht als besucht und nicht als gealtert gekennzeichnete Partikel.

9 ist ein Ablaufplan 80, der den zu jedem Zeitschritt t ausgeführten vorgeschlagenen Vereinigungsalgorithmus zeigt. Der Kasten 78 repräsentiert die Objektdateien, die zu jedem Zeitschritt erzeugt werden und die die Position, die Geschwindigkeit und die Richtung der Objekte, die detektiert und nachgeführt werden, bereitstellen, und das Objektmodell M für jedes Objekt, das nachgeführt wird. Wenn im Kasten 82 ein neuer Bildausschnitt von Entfernungsdaten von den Sensoren 16, 20, 24 und 28 bei dem Trägerfahrzeug 12 ankommt, konstruiert der Algorithmus zunächst im Kasten 84 in der oben diskutierten Weise die 3600 Punktwolke. Wenn die Punktwolke konstruiert worden ist, segmentiert der Algorithmus daraufhin im Kasten 86 die Absuchpunkte in der Wolke in Cluster, die spezifische Objekte identifizieren können. Um den Segmentierungsbetrieb auszuführen, bezeichne R die Absuchkarte in dem aktuellen Bildausschnitt (t + 1) und sei G = (R, E) ein ungerichteter Graph mit der Eckpunktmenge R. Eine Kante (p₁, p₂) ∊ E verknüpft p_i und p₂, falls ||p₁–p₂|| kleiner als ein vorgegebener Entfernungsschwellenwert ist. Daraufhin wird die Kennzeichnung verbundener Komponenten verwendet, um die Absuchkarte R in eine Liste von Clustern {S (t+1) / n } zu segmentieren. Das Segmentieren der Absuchpunkte in Cluster enthält das Trennen der Cluster von Absuchpunkten in den Rückgabepunktwolken in der Weise, dass Cluster ein getrenntes Objekt identifizieren, das nachgeführt wird.
Wenn die Absuchpunkte in Cluster segmentiert worden sind, passt der Algorithmus daraufhin im Kasten 88 die Cluster an die vorhergesagten Objektmodelle M ~ an. Insbesondere plant der Algorithmus nachgeführte Objektmodelle M bei dem vorhergehenden Zeitschritt im Kasten 90 unter Verwendung der Objektdaten 78 voraus. Um die vorausgeplanten Projektmodelle vorherzusagen, sei {M n / t} eine Liste von Objektmodellen M beim Zeitschritt t. Für jedes Objektmodell M n / t wird der Mittelwert einer Gauß'schen Komponente als ν n / j. bezeichnet. Falls y - n / t der Schätzwert der Transformation zum Zeitschritt t ist, ist die vorhergesagte Transformation zum Zeitschritt t + 1 y ~ n / t+1 = f(y - n / t). Somit ist das vorhergesagte Objektmodell M ~ für das n-te Objekt
für alle j. Durch L = U_nM ~ (t+1) / n werden die vorhergesagten Objektpunkte von dem Zeitschritt t bezeichnet.
Im Kasten 88 werden die segmentierten Cluster R' = {S n / t+1} unter Verwendung der vorausgeplanten nachgeführten Objektmodelle an vorhergesagte Objektmodelle L' = {M ~ n / t+1} angepasst. Zwischen der Eckpunktmenge L wird ein bipartiter Graph B = (L, R, E_B) zu R konstruiert, wobei E_B die Eckpunktmenge ist. Zwischen den Punkten p ∊ L und q ∊ R existiert dann und nur dann eine Kante, wenn ||p – q|| < D ist, wobei D ein Entfernungsschwellenwert ist. Die Gewichtung der Kante (p, q) ist als w(p, q) = ||p – q|| definiert. Die Umgebung von q ∊ R ist als N(q) – {p|(p,) ∊ E_B} definiert.
Aus dem bipartiten Graphen B kann ein induzierter bipartiter Graph B' = (L, R' E_B') definiert werden, wobei die Kantenmenge E_B die mögliche Zuordnung zwischen den Objekten in L' und den segmentierten Clustern R' repräsentiert. Eine Kante zwischen p' ∊ L' und q' ∊ R' existiert dann und nur dann, wenn eine Kante (p, q) in B derart existiert, dass p' ∊ p und q' q ist.
Es sei L(p', q') die Teilmenge der Kantenmenge in B, d. h. E(p', q') ≡ {(p, q)|(p, q) ∊ E_B ⋂ p ∊ p' ⋂ q' ∊ q). Die Gewichtung (p', q') bzw. die Mächtigkeit der Kante (p', q') werden definiert als:
Wenn der induzierte bipartite Graph B' konstruiert wird und wenn die Gewichtung und die Mächtigkeit der Kanten berechnet werden, werden die starke Kante und die weggeschnittene [engl.: ”pruned”] schwache Verbindung unter Verwendung des nachstehenden Algorithmus 3 ausgewählt.
10 ist ein bipartiter Graph 100, d. h. B, auf einer Absuchpunktebene für fünf vorhergesagte Objektmodelle M ~ und fünf Cluster S bei dem aktuellen Zeitschritt t wie oben diskutiert. In dem bipartiten Graphen 100 repräsentieren Punkte 102 die vorhergesagten Objektmodellpunkte und repräsentieren Dreiecke 104 die segmentierten Absuchkartenpunkte. Die Linien 106 zwischen den Punkten 102 und den Dreiecken 104 sind die Kanten des Graphen 100.
Daraufhin führt der Algorithmus im Kasten 92 Datenpunktcluster zusammen und teilt sie auf, um detektierte Objekte, die dieselben sind, zu kombinieren und um Objekte, die ursprünglich als ein einzelnes Objekt detektiert wurden, die aber mehrere Objekte gebildet haben, aufzuteilen. Um die Zusammenführung und Aufteilung von Clustern bereitzustellen, stellt der folgende Algorithmus 3 eine Absuchzuordnung bereit.
11 veranschaulicht einen induzierten bipartiten Graphen 110, d. h. B, der durch Zusammenlegen von Punkten zu Gruppen aus dem Graphen B hergeleitet wurde. In dem induzierten bipartiten Graphen 110 repräsentieren die Knoten 114 die Objektmodellpunkte (M), repräsentieren die Knoten 112 die Cluster der segmentierten Absuchpunkte (M) und repräsentieren die Linien 116 die Kanten, die die Anpassung zwischen den Objektmodellpunkten (M) und den segmentierten Absuchpunkten (S) definieren. Wie im Folgenden diskutiert wird, wird M ~₁ zum Zeitpunkt t an S₁ zum Zeitpunkt t + 1 angepasst, werden M ~₂ und M ~₃ zu S₂ zum Zeitpunkt t + 1 zusammengeführt, wird M ~₄ zum Zeitpunkt t in S₃ und S₄ zum Zeitpunkt t + 1 aufgeteilt, verschwindet M ~₅ zum Zeitpunkt t und wird aus der Absuchkarte zum Zeitpunkt t + 1 entfernt und kommt S₅ zum Zeitpunkt t + 1 an. In Schritt 3 des Algorithmus 3 werden die Kanten (M ~₁, S₁), (M ~₂, S₂), (M ~₄, S₃) und (M ~₄, S₄) hervorgehoben. In Schritt 4 wird M ~₃ an S₂ angepasst, wird die Kante (M ~₃, S₂) hervorgehoben. Somit wird die Strichlinie (M ~₅, S₂) in Schritt 5 als die schwache Verbindung weggeschnitten. 11 veranschaulicht, dass M ~₁ direkt an S₁ angepasst ist, dass die zwei anderen Fälle aber eine Clusterzusammenführung und -aufteilung benötigen.
Das vorhergesagte Objektmodell M ~₄ wird in zwei angepasste Cluster S₃ und S₄ aufgeteilt. Die Absuchpunkte der aktuellen Cluster S₃ und S₄ werden unter Verwendung von Vorkenntnis, dass es in dem vorhergehenden Bildausschnitt ein Objekt gegeben hat, neu gruppiert. Üblicherweise ist ein stärkerer Hinweis auf die Unähnlichkeit notwendig, um ein existierendes nachgeführtes Objekt in zwei Cluster aufzuteilen.
Die zwei vorhergesagten Objektmodelle M ~₂ und M ~₃ werden einem Cluster S₂ in dem aktuellen Bildausschnitt zugeordnet. Die Absuchpunkte in dem Cluster S₂ werden neu gruppiert, da zwischen den Absuchpunkten eine stärkere Nähe notwendig ist, um die zwei nachgeführten Objekte zu einem Objekt zusammenzuführen.
Algorithmus 3: Absuchzuordnungsalgorithmus

Eingabe: die Cluster R' = {S (t+1) / n} und die vorhergesagten Objektmodelle L' = {M ~ (t+1) / n}.
Ausgabe: der weggeschnittene induzierte bipartite Graph B'

1) Konstruiere den bipartiten Graphen B mit Absuchpunkten als die Eckpunkte.
2) Konstruiere den induzierten Graphen B' mit Clustern und Konturen als die Eckpunkte und berechne unter Verwendung der Gleichungen (63) bzw. (64) die Gewichtung und Mächtigkeit der Kante.
3) Ermittle für jedes q' ∊ R' in der Weise, dass die Mächtigkeit größer als ein Schwellenwert (d. h. c(p ' / *, q') > C) und p ' / * = argmin_p'∊ w(p', q') ist, w(p', q') und hebe die Kante (p ' / *, q') hervor.
4) Ermittle für jedes p'' ∊ L', das nicht von den hervorgehobenen Kanten bedeckt ist, die Menge R'' ⊂ R' derart, dass jedes Element q'' von einer und nur von einer hervorgehobenen Kante bedeckt ist. Ermittle p'' derart, dass (p'', q'') > C und q '' / * = argmin_q''⊂R'' w(p'', q'') ist, und hebe die Kante (p'', q '' / *) hervor.
5) Schneide alle nicht hervorgehobenen Kanten in B' ab.

Wie oben erwähnt wurde, werden im Kasten 94 neue Objekte erzeugt und verschwindende Objekte gelöscht. Insbesondere müssen zwei Spezialfälle behandelt werden, um in der Objektdatei neue Objekte zu erzeugen und vorhandene Objekte zu entfernen, wo keine in das Absuchcluster S₅ eintretende Kante existiert. Für das Absuchcluster S₅ wird ein Nachführungsinitialisierungsschritt ausgelöst und ein neues Objekt in der Objektdatei hinzugefügt, wobei das vorhergesagte Objektmodell M ~₅ verschwindet und aus der Objektdatei entfernt wird, da es keine von ihm eingehende Kante gibt.
Wenn in dem Kasten 94 die neuen Objekte erzeugt werden und die verschwindenden Objekte gelöscht werden, stellt der Algorithmus daraufhin im Kasten 96 eine Nachführung und Modellaktualisierung bereit. Der Algorithmus 2 wird für jedes angepasste Paar von Objektmodellen M_t und Absuchclustern S_t+1, die z. B. durch den Prozess der gegenseitigen Ausrichtung des Absuchens des Algorithmus 1 bereitgestellt werden, für die Nachführung und für die Objektmodellaktualisierung verwendet.
Daraufhin wird die Objektdatei 78 im Kasten 98 aktualisiert und für den nächsten Zeitschritt für die Objektdatei 78 gespeichert. Die neue Transformation y_t+1 und das aktualisierte Objektmodell M_t jedes Objekts werden in der Objektdatei zurückgespeichert und der Algorithmus wartet in dem nächsten Zeitschritt auf die Ankunft einer neuen Absuchkarte.
Falls die Drehung zwischen zwei aufeinanderfolgenden Absuchbildausschnitten klein ist, können die Parameter einer 2D-Transformation genähert werden durch: x' = x – ∊_y + t_x, (65) y' = ∊x + y + t_y, (66) wobei (x, y) und (x', y') zwei Punkte im vorhergehenden bzw. aktuellen Bildausschnitt sind, ∊ der Drehwinkel ist und (t_x, t_y) die Translation ist.
Es sei m_j = (x_j, y_j) und S_k = (x ' / k, y ' / k). Nach Einsetzen der Gleichungen (65) und (66) in Gleichung (55) können die partiellen Ableitungen für t_x, t_y und ∊ gebildet und nullgesetzt werden. y ~ = (t ~_x, t ~_y, ∊ ~)^T bezeichne das durch Gleichung (49) vorhergesagte y. Falls ein konstantes Modell angenommen wird, werden t ~ = ν_xδt, t ~_y = y_xδt und ∊ ~ = wδt bereitgestellt, wobei δt die Dauer zwischen den Zeitschritten t und t – 1 ist.
Es können die folgenden Aktualisierungsregeln hergeleitet werden:
wobei λ_x, λ_y und λ_∊ die aus der Kovarianzmatrix Q in Gleichung (50) hergeleiteten Gewichtungen sind.
Nach Ersetzen von Gleichung (38) durch die Gleichungen (67)–(69) wird der Algorithmus 1 angewendet, um t_x, t_y und ∊ als das y -_t+1 iterativ zu berechnen.
ν_H und ω_H bezeichnen die HV-Bodengeschwindigkeit bzw. die Gierrate. Die Bodengeschwindigkeit des Zielfahrzeugs 14 wird berechnet durch: ν_gx = ν_x + ν_H – x_cω_H, (70) ν_gy = ν_y + y_cω_H, (71) und die Richtung des Zielfahrzeugs 14 durch:
Das Verfahren und die Vorrichtung zum Detektieren und Nachführen mehrerer Objekte wie oben beschrieben können eine 360°-Sehfeldlösung zum Detektieren von Objekten durch das Trägerfahrzeug 12 bereitstellen. Allerdings müssen für einen LiDAR-Sensor die folgenden Probleme behandelt werden.
Das erste Problem sind die teilweisen Beobachtungen, die entweder durch Okklusion oder durch Lasermessungsfehler, z. B. durch niedrigen Reflexionsgrad oder durch Spiegelreflexion, verursacht werden. Zum Beispiel ist die Detektierungsentfernung eines Fahrzeugs mit schwarzer Farbe viel kleiner als die eines Fahrzeugs mit weißer Farbe.
Das nächste Problem ist die spärliche Messung wegen niedriger Auflösung, die eine niedrige Merkmalssalienz veranlasst und so unzureichend beim Detektieren von Fernfeldobjekten ist.
Ein weiteres Problem ist das begrenzte vertikale Sichtfeld wie etwa 4°, das eine fehlende Detektierung von Objekten auf einer nicht ebenen Straßenoberfläche verursacht.
Ein weiteres Problem ist das Fehlen von Kontextinformationen, die ein Objekt von einem überhäuften Hintergrund unterscheiden können.
Die vorliegende Erfindung schlägt einen verbesserten Vereinigungsalgorithmus zum Behandeln der oben beschriebenen Beschränkungen für die LiDAR-Sensoren vor. Insbesondere verwendet die vorliegende Erfindung Ausgaben von einem Radarsensor und/oder von einem Bilderkennungssystem in dem Fahrzeug, damit diese als ein Aufrufsignal arbeiten, um zu veranlassen, dass die Ausgaben des Vereinigungssystems für den LiDAR-Sensor ein Ziel identifizieren. Üblicherweise haben Radarsensoren eine große Reichweite, aber ein schmales Sichtfeld. Bilderkennungssysteme weisen üblicherweise ein kurzes Sichtfeld auf, stellen aber Kontakte zu dem detektierten Ziel bereit. Wie oben ist das verbesserte Vereinigungssystem, das diskutiert wird, zum Schätzen der Parameter x, y, v_x, v_y und ξ für jedes detektierte Objekt ausgelegt.
12 ist ein Bild 150 eines innerhalb einer Straße 152 angezeigten Ziels, wie es durch einen LiDAR-Sensor, durch einen Radarsensor und durch ein Bilderkennungssystem in einem Trägerfahrzeug detektiert wird. Insbesondere ist das Ziel in einer ausreichend weiten Entfernung oder verdeckt, so dass es, wie durch die Punkte 156 repräsentiert ist, wenige LiDAR-Absuchpunkte gibt. Um die Detektierung des Ziels zu verbessern, definiert ein Bild 154 des Bilderkennungssystems dasselbe Ziel von einer Bilderkennungssystemausgabe und repräsentiert ein Radardatenpunkt 158 dasselbe Ziel, wie es durch einen Radarsensor detektiert wird.
13 ist eine Darstellung eines Fahrzeugsystems 160 ähnlich dem oben diskutierten System 10 für ein Trägerfahrzeug 162, das einem Zielfahrzeug 164 hinterherfährt und es nachführt. Es sind dieselben Variablen für die Position, für die Geschwindigkeit, für den Richtungswinkel usw. wie in 1 gezeigt verwendet. In diesem Beispiel enthält das Trägerfahrzeug 162 einen LiDAR-Sensor 166, der ein Sichtfeld 168 aufweist, einen Radarsensor 170, der ein Sichtfeld 172 aufweist, und ein Bilderkennungssystem 174, das ein Sichtfeld 176 aufweist. Die Rückgaben von dem LiDAR-Sensor 166 sind als Absuchpunkte 178 gezeigt, die Rückgabe von dem Radarsensor 170 ist als Dreieck 180 bestimmt und die Rückgabe von dem Bilderkennungssystem 174 ist als Kasten 182 dargestellt. Wie im Gebiet bekannt ist, geben Bilderkennungssysteme und Radarsensoren vier Ausgaben von einem Ziel, d. h. die Entfernung zu dem Ziel, die Änderung der Entfernung zu dem Ziel, d. h. die Entfernungsrate, den Richtungswinkel des Ziels und die Änderung des Azimutwinkels des Ziels, d. h. die Azimutwinkelrate, aus.
14 ist ein Blockschaltplan einer allgemeinen Übersicht eines vorgeschlagenen Vereinigungssystems 190. In jedem Zeitschritt wird das von dem Radarsensor 170 und/oder von dem Bilderkennungssystem 174 erfasste Ziel 0 = (0₁, 0₂, ...,
) von dem Kasten 192 an einen Aufrufkontextblock 194 gesendet. Wie oben diskutiert wurde, werden im Block 196 die LiDAR-Absuchclusterkarten für einen LiDAR-Nachführungsalgorithmusblock 198 bereitgestellt. Der Nachführungsalgorithmus empfängt von dem Block 194 die Aufrufkontextzieldaten und die Zieldaten werden an das gespeicherte Objektmodell angepasst, wobei der Wert n_o die Anzahl detektierter Ziele ist. Jedes Ziel o_i = (x '' / i, y '' / i, ν '' / i, w '' / i) weist die Parameter der Längsverlagerung (x''), der Querverlagerung (y''), der Radialgeschwindigkeit (ν'') und der Quergeschwindigkeit (w'') auf. Die LiDAR-Absuchkarte R = (s₁, s₂, ..., s_N)^T mit jedem Absuchpunkt s_k enthält einen Längsversatz x '' / i und einen Quersatz y '' / i, wobei N die Anzahl der Absuchpunkte ist. Der Nachführungsalgorithmus überwacht die Eingabe von dem Aufrufkontextkasten 194 und von der LiDAR-Absuchkarte und erzeugt für jedes detektierte Objekt die Ausgabeparameter x, y, v_x v_y und ξ. Ein Anwendungsblock 200 verwendet die geschätzten Parameter der Objekte und implementiert aktive Fahrzeugsicherheitsanwendungen wie etwa adaptiven Tempomat, Kollisionsmilderungsbremsung usw.
15 ist ein Ablaufplandiagramm 204 ähnlich dem oben diskutierten Ablaufplandiagramm 80, wobei dieselben Betriebe mit denselben Bezugszeichen identifiziert sind. Das Ablaufplandiagramm 204 enthält den Kasten 206, der die Zieldaten von dem Radarsensor 170 oder von dem Bilderkennungssystem 174 liest. Nachfolgend richtet der Algorithmus in dem Kasten 208 die Zieldaten genau auf das LiDAR-Koordinatensystem aus. Um dies auszuführen, seien y₀ die Parameter (Translation und Drehung) der starren Transformation T, die ein Ziel von dem Radarsensor 170 oder von dem Bilderkennungssystem 174 in der Weise auf das LiDAR-Koordinatensystem abbildet, dass die abgebildeten Ziele in dem LiDAR-System wie folgt sind:
Der Parameter y₀ für die gegenseitige Ausrichtung kann über angepasste Paare zwischen den nachgeführten LiDAR-Objekten und den Zielen von dem Radarsensor 170 oder von dem Bilderkennungssystem 174 automatisch geschätzt werden. Das US-Patent Nr. 7,991,550 mit dem Titel Method and Apparatus for Onvehicle Calibration and Orientation of Object-Tracking Systems, erteilt am 7. August 2011, übertragen auf den Anmelder dieser Anmeldung und hier durch Bezugnahme mit aufgenommen, offenbart eine für diesen Zweck geeignete Technik.
Nachfolgend passt der Algorithmus im Kasten 210 die Zieldaten von dem Radarsensor 170 oder von dem Bilderkennungssystem 174 an Objektmodelle M an. Der Prozess ist in 16 als Bild 230 dargestellt, das ein Trägerfahrzeug 232 enthält, wobei die Punkte 234 Objektmodellpunkte sind, die Dreiecke 236 Radarziele sind und die Rauten 238 virtuelle Absuchpunkte sind, die von den Bilddaten von dem Bilderkennungssystem 174 abgeleitet sind. Ein Radarziel o_r wird durch einen durch die Dreiecke 236 repräsentierten Punkt modelliert. Ein Bilderkennungsziel O_ν wird als ein Rechteck modelliert, das durch eine Liste von Punkten repräsentiert werden kann, die an der Kante des Rechtecks durch von dem Trägerfahrzeug 232 einfallende ”virtuelle Absuchlinien” abgetastet werden. Der Wert O_ν = {o_l|l = 1, ..., 6} ist als die Rauten 238 gezeigt. Es werden die Menge von Objektmodellen L' = {M ~_n} und Absuchpunkten aller Objektmodelle L' = U_nM ~_n definiert. R = {o_i} bezeichne alle Zielpunkte, entweder Dreiecke oder Rauten, von dem Radarsensor 170 bzw. von dem Bilderkennungssystem 174.
Die oben diskutierte Prozedur wird zum Konstruieren eines in 17 gezeigten weggeschnittenen Graphen 240 genutzt. Der Graph 240 zeigt die Objektbewegung 242 bei den Knoten 246 und die Objektmodelle 244 bei den Knoten 248, wobei O₁ ↔ M ~₁ O₂ ↔ M ~₂, O₃ ein Kandidat für die Erzeugung eines neuen Objekts ist und ein vorhergesagtes Objektmodell M ~₃, das aus der Objektdatei entfernt werden kann, als verschwindend markiert ist.
Der Algorithmus stellt unter Verwendung der vorhergesagten Nachführungsobjektmodelle M ~ von dem Kasten 90, der angepassten Cluster mit vorausgeplanten Objektmodellen M ~ von dem Kasten 88 und der angepassten Zieldaten mit den Objektmodellen von dem Kasten 210 in dem Kasten 212 eine Zusammenführung und Aufteilung von Objektmodellen M bereit. Es werden zwei Fälle, d. h. Bilderkennungsziele und Radarziele, betrachtet. 18 zeigt einen bipartiten Graphen 250 für den Fall, dass zwei vorhergesagte Objektmodelle M ~₁ und M ~₂ an das Bilderkennungsziel O₁ angepasst werden. Diese Aufrufinformationen von dem Bilderkennungssystem 74 weisen nach, dass die zwei Objektmodelle M ~₁ und M ~₂ als ein neues Objektmodell M ~_1-2 zusammengeführt werden müssen.
19 ist ein induzierter bipartiter Graph 252, der die Zusammenführung der Objektmodelle M ~₁ und M ~₂ bei den Knoten 256 von dem Bilderkennungsziel O₁ bei dem Knoten 254 zu dem einzelnen Objektmodell M ~_1-2 zeigt.
20 ist ein bipartiter Graph 260, der einen anderen Fall zeigt, in dem ein Objektmodell M ~₁ an zwei Bilderkennungsziele O₁ und O₂ angepasst ist. Die Aufrufinformationen von dem Bilderkennungssystem 174 weisen nach, dass das Objektmodell M ~₁ in zwei getrennte Objektmodelle M ~_1a und M ~_1b aufgeteilt werden muss.
21 ist ein induzierter bipartiter Graph 262, der die Aufteilung des wie durch die zwei durch die Knoten 266 und 268 repräsentierten Bilderkennungsziele O₁ und O₂ detektierten Objektmodells M ~₁ bei dem Knoten 264 in die durch die Knoten 270 bzw. 272 repräsentierten Objektmodelle M ~_1a und M ~_1b zeigt.
22 ist ein bipartiter Graph 270, der einen Fall zeigt, in dem die Punktmenge R für zwei Objektmodelle M ~₁ und M ~₂ mit drei Radarzielen O₁, O₂ und O₃ angepasst wird.
23 ist ein induzierter bipartiter Graph 276, der die Zuweisung O₁ → M ~₁, O₂ M ~₂ und O₃ → M ~₂ zeigt. Insbesondere zeigt der Graph 276, dass das Radarziel O₁ bei dem Knoten 278 an das Objektmodell M ~₁ bei dem Knoten 280 angepasst wird und dass die Radarziele O₂ und O₃ bei den Knoten 282 bzw. 284 zu einem einzelnen Objektmodell M ~₂ bei dem Knoten 286 zusammengeführt werden.
Nachfolgend erzeugt der Algorithmus im Kasten 214 neue Objekte und löscht er verschwindende Objekte. Ähnlich der oben für das Ablaufplandiagramm 80 diskutierten Prozedur müssen zwei Spezialfälle behandelt werden, um neue Objekte zu erzeugen und um verschwindende Objekte aus der Objektdatei zu entfernen. Für jedes nicht angepasste Absuchcluster S von einem LiDAR-Segment und für jedes nicht angepasste Ziel von dem Radarsensor 170 oder von dem Bilderkennungssystem 174 wird eine Nachführungsinitialisierungsprozedur verwendet, um ein neues Objekt zu der Objektdatei hinzuzufügen. Falls es für ein Objekt in der Objektdatei keine Anpassung entweder an ein segmentiertes Cluster S von dem LiDAR-Sensor 166 oder an ein Ziel von dem Radarsensor 170 oder von dem Bilderkennungssystem 174 gibt, wird das Objekt als verschwindend gekennzeichnet. Falls das Objekt in mehreren aufeinanderfolgenden Zeitschritten ständig als verschwindend gekennzeichnet wird, wird es aus der Objektdatei entfernt.
Nachfolgend stellt der Algorithmus im Kasten 216 eine Nachführung und Modellaktualisierung bereit. Um diese auszuführen, seien O_o, ..., O_t und O_t+1 in dieser Reihenfolge die abgebildeten Messungen in dem LiDAR-Koordinatensystem eines dynamischen Objekts durch den Radarsensor 170 oder durch das Bilderkennungssystem 174 zu den Zeitschritten 0, ..., t und t + 1. Die Messung von dem Zeitschritt 0 bis zu dem Zeitschritt t ist mit
bezeichnet.
24 veranschaulicht ein abgeändertes dynamisches Bayes-Netz 290 aus 8, das zwei Zeitschritte des vorgeschlagenen Nachführungsalgorithmus mit Aufrufinformationen repräsentiert. Die Werte y_t und y_t+1 sind zu schätzende Parameter der Transformation in den Zeitschritten t bzw. t + 1. Die Modelle M_t und M_t+1 sind die Objektmodelle zu den Zeitschritten t und t + 1. In dem Netz 290 sind die Knoten 292 die Zieldaten o_t und o_t+1 zu den Zeitschritten t und t + 1, sind die Knoten 294 die Transformationsparameter y zu den Zeitschritten t und t + 1, sind die Knoten 296 die Objektmodelle M zu den Zeitschritten t und t + 1 und sind die Knoten 298 die Absuchkarten zu den Zeitschritten t und t + 1.
Ähnlich wie in Gleichung (47) werden die Bayes-Regel bzw. die Kettenregel verwendet, um die A-posteriori-PDF bei gegebenen LiDAR-Absuchkarten und Zieldaten von dem Radarsensor 170 oder von dem Bilderkennungssystem 174 bis zu dem Zeitschritt t + 1 wie folgt herzuleiten: p(y, M|S^(0:t+1), O^(0:t+1)) ∝ p(S|y, M)p(o|y, M)p(y, M|S^(0:t), o^(0:t)) = p(S|y, M)p(o|y)p(y|S^(0:t), o^(0:t))p(M|S^(0:t), o^(0:t)), (74) wobei y und M kurz für y_t+1 und M_t sind, S^(0:t+1) Absuchkarten bis zu dem Zeitschritt t + 1 repräsentiert, S die Absuchkarte bei t + 1 ist, o = o_t+1 kurz das gemessene Ziel zu dem Zeitschritt t + 1 ist und die letzte Gleichung unter der Annahme einer bedingten Unabhängigkeit bei gegebenen S^(0:t) und o^(0:t) folgt.
In Gleichung (74) ist p(y, M|S^(0:t), o^(0:t)) die frühere PDF von y zum Zeitschritt t + 1 bei gegebenen vorhergehenden Absuchkarten S^(0:t) und Zieldaten o^(0:t), die berechnet werden kann als: p(y|S^(0:t), o^(0:t)) = ∫p(y|y_t)p(y_t|S^(0:t), o^(0:t))dy_t, (75) wobei p(yt|S^(0:t), o^(0:t)) die A-posteriori-PDF für den Transformationsparameter bei t bezeichnet und p(y|y_t) die Anlagenmodellgleichung (49) repräsentiert.
Falls p(yt|S^(0:t), o^(0:t)) als eine Dirac'sche Deltaverteilung mit dem Zentrum bei y / -_t, angenommen ist, kann die frühere PDF zum Zeitschritt t + 1 geschrieben werden als: p(y,|S^(0:t), o^(0:t)) = N(y|y ~, Q), (76) wobei y ~ der vorhergesagte Werte des folgenden Anlagenmodells des Objekts y ~ = ∫(y -,) ist.
Nun wird die A-posteriori-Wahrscheinlichkeit des Objektmodells M betrachtet, wobei
ist und wobei
in Gleichung (51) definiert ist. Wie in 24 gezeigt ist, kann das frühere Netz für das Objektmodell zum Zeitschritt t geschrieben werden als:
Nun wird das Problem der Schätzung der A-posteriori-Wahrscheinlichkeit zum Zeitschritt t + 1 betrachtet, die faktorisiert wird als: p(y, M|S^(0:t+1), o^(0:t+1)) = p(y|S^(0:t+1), o^(0:t+1))p(M|S^(0:t+1), o^(0:t+1)) (79) und als die folgenden zwei Schritte unabhängig berechnet wird.
Es wird angenommen, dass p(y|S^(0:t+1), o^(0:t+1)) die Dirac'sche Delta-PDF mit dem Zentrum bei y -_t+1 ist, die durch Maximieren von Gleichung (74) in Bezug auf y geschätzt werden kann.
Das Messmodell der Zieldaten p(o|y) wird wie folgt modelliert: o = h(y) + ν, (80) wobei ν eine Gauß'sche Zufallsvariable mit dem Mittelwert null mit der Kovarianzmatrix E ist. Somit ist p(o|y) eine Gauß'sche PDF, d. h.: p(o|y) = N(o|h(y), E). (81)
Durch Einsetzen der Gleichungen (76) und (81) in Gleichung (74), durch Anwenden eines negativen Logarithmus auf Gleichung (74) und durch Vernachlässigen der für y irrelevanten Terme kann Folgendes erhalten werden: y -_t+1 = argmin_y – Σ_kja_kjlogK_σ(T_y ^–1(s_k) – m_j) + o – hyE2 + y – yQ2, (82) wobei
sind.
Somit kann Gleichung (38) im Algorithmus 1 durch Gleichung (55) ersetzt werden, um frühere Informationen vorhergehender Zeitschritte und Aufrufinformationen von dem Radarsensor 170 oder von dem Bilderkennungssystem 174 zu integrieren und um daraufhin den Algorithmus 1 anzuwenden, um herzuleiten.
Wenn p(M|S^(0:t+1), 0^(0:t+1) berechnet wird, wird angemerkt, dass Gleichung (78) und Gleichung (53) äquivalent sind und dass somit dieselben oben beschriebenen Aktualisierungsregeln für Hyperparameter angewendet werden.
Daraufhin wird die Objektdatei 78 in dem Kasten 98 in der wie oben diskutierten Weise aktualisiert.
Wie der Fachmann auf dem Gebiet gut versteht, können sich die mehreren und verschiedenen hier zur Beschreibung der Erfindung diskutierten Schritte und Prozesse auf durch einen Computer, durch einen Prozessor oder durch eine andere elektronische Rechenvorrichtung, die Daten unter Verwendung einer elektrischen Erscheinung manipulieren und/oder transformieren, ausgeführte Betriebe beziehen. Diese Computer und elektronischen Vorrichtungen können verschiedene flüchtige und/oder nicht flüchtige Speicher einschließlich eines nicht vorübergehenden computerlesbaren Mediums mit einem darauf gespeicherten ausführbaren Programm, das verschiedenen Code oder ausführbare Anweisungen enthält, die durch den Computer oder Prozessor ausgeführt werden können, nutzen, wobei der Speicher und/oder das computerlesbare Medium alle Formen und Arten von Speicher und anderen computerlesbaren Medien enthalten kann.
Die vorstehende Diskussion hat lediglich beispielhafte Ausführungsformen der vorliegenden Erfindung offenbart und beschrieben. Der Fachmann auf dem Gebiet erkennt aus dieser Diskussion und aus den vorstehenden Zeichnungen und Ansprüchen leicht, dass daran verschiedene Änderungen, Abwandlungen und Veränderungen vorgenommen werden können, ohne von dem wie in den folgenden Ansprüchen definierten Erfindungsgedanken und Schutzumfang der Erfindung abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 7991550 [0116]

Claims

Verfahren zum Vereinigen von Ausgaben von mehreren LiDAR-Sensoren in einem Fahrzeug, wobei das Verfahren umfasst: Bereitstellen von Objektdateien für durch die LiDAR-Sensoren zu einem vorhergehenden Abtastzeitpunkt detektierte Objekte, wobei die Objektdateien Objektmodelle aufweisen, die eine Position, eine Orientierung und eine Geschwindigkeit der durch die Sensoren detektierten Objekte identifizieren; Nachführen der Objektmodelle der durch die Sensoren detektierten Objekte; Vorausplanen nachgeführter Objektmodelle in den Objektdateien von dem vorhergehenden Abtastzeitpunkt, um vorhergesagte Objektmodelle bereitzustellen; Empfangen mehrerer Absuchrückgaben von in einem Sichtfeld der Sensoren zu einem aktuellen Abtastzeitpunkt detektierten Objekten; Konstruieren einer Absuchpunktwolke aus den Absuchrückgaben; Segmentieren der Absuchpunkte in der Absuchpunktwolke zu vorhergesagten Absuchclustern, wobei jedes Absuchcluster anfangs ein durch die Sensoren detektiertes Objekt identifiziert; Anpassen der vorhergesagten Absuchcluster an die vorhergesagten Objektmodelle; Lesen von Objektdaten von durch einen Radarsensor oder durch ein Bilderkennungssystem detektierten Objekten; gegenseitiges Ausrichten der Objektdaten auf ein für die Absuchpunkte der LiDAR-Sensoren bestimmtes Koordinatensystem; Anpassen der Objektdaten an die Objektmodelle in den Objektdateien unter Verwendung der vorhergesagten Objektmodelle; Zusammenführen vorhergesagter Objektmodelle, die zu dem vorhergehenden Abtastzeitpunkt als getrennte Absuchcluster identifiziert worden sind, nun aber unter Verwendung der angepassten vorhergesagten Absuchcluster und der angepassten Objektdaten zu dem aktuellen Abtastzeitpunkt als ein einzelnes Absuchcluster identifiziert werden; Aufteilen vorhergesagter Objektmodelle, die zu dem vorhergehenden Abtastzeitpunkt als ein einzelnes Absuchcluster identifiziert worden sind, nun aber unter Verwendung der angepassten vorhergesagten Absuchcluster und der angepassten Objektdaten zu dem aktuellen Abtastzeitpunkt als getrennte Absuchcluster identifiziert werden; Erzeugen neuer Objektmodelle für detektierte Objekte in dem aktuellen Abtastzeitpunkt, die zu dem vorhergehenden Abtastzeitpunkt nicht vorhanden waren, unter Verwendung der angepassten vorhergesagten Absuchcluster und der angepassten Objektdaten; Löschen von Objektmodellen, die in den vorhergesagten Absuchclustern nicht mehr vorhanden sind, unter Verwendung der angepassten vorhergesagten Absuchcluster und der angepassten Objektdaten; Bereitstellen von Objektmodellaktualisierungen auf der Grundlage der zusammengeführten Objektmodelle, der aufgeteilten Objektmodelle, der neuen Objektmodelle und der gelöschten Objektmodelle; und Aktualisieren der Objektdateien für den aktuellen Abtastzeitpunkt mit den Objektmodellaktualisierungen.
Verfahren nach Anspruch 1, wobei das Segmentieren der Absuchpunkte in der Punktwolke das Aufteilen der Cluster von Absuchpunkten in der Punktwolke in der Weise enthält, dass Cluster ein getrenntes Objekt identifizieren, das nachgeführt wird.
Verfahren nach Anspruch 1, wobei das Anpassen der vorhergesagten Absuchcluster an die vorhergesagten Objektmodelle das Erzeugen eines bipartiten bzw. zweigeteilten Graphen, der die Absuchcluster an die vorhergesagten Objektmodelle anpasst, enthält.
Verfahren nach Anspruch 3, wobei das Erzeugen eines bipartiten Graphen das Positionieren der Absuchpunkte an Eckpunkten des Graphen enthält.
Verfahren nach Anspruch 3, wobei das Zusammenführen vorhergesagter Objektmodelle und das Aufteilen vorhergesagter Objektmodelle das Umsetzen des bipartiten Graphen in einen induzierten bipartiten Graphen umfasst, der die Objektmodelle zeigt, die zusammengeführt oder aufgeteilt werden.
Verfahren nach Anspruch 5, wobei das Umsetzen des bipartiten Graphen in einen induzierten bipartiten Graphen das Berechnen von Gewichtungen und einer Mächtigkeit von Kanten für den induzierten bipartiten Graphen enthält, wobei jede Gewichtung eine Positionsänderung eines der Absuchpunkte für den wenigstens einen Sensor an einem Ort eines Absuchpunkts für einen anderen der Sensoren identifiziert und wobei die Kanten die Anpassung zwischen Objektmodellpunkten und segmentierten Absuchpunkten definieren.
Verfahren nach Anspruch 6, wobei das Umsetzen des bipartiten Graphen in einen induzierten bipartiten Graphen das Vergleichen der Mächtigkeit der Kanten mit einem Schwellenwert und das Hervorheben der Kante, falls die Mächtigkeit größer als der Schwellenwert ist, enthält und wobei eine Kante entfernt wird, falls sie nicht hervorgehoben ist.
Verfahren nach Anspruch 7, wobei das Löschen von Objektmodellen, die in den vorhergesagten Absuchclustern nicht mehr vorhanden sind, das Löschen eines Objektmodells, das mit einer Kante verbunden war, die entfernt worden ist, enthält.
Verfahren nach Anspruch 1, wobei das Bereitstellen von Objektmodellaktualisierungen das Identifizieren der Objektdaten, eines Transformationsparameters, der Objektmodelle und der Absuchkartencluster in einem Bayes-Netz für den Bildausschnitt zum vorhergehenden Zeitpunkt zu dem Bildausschnitt zum aktuellen Zeitpunkt enthält.
System zum Vereinigen von Ausgaben von mehreren LiDAR-Sensoren in einem Fahrzeug, wobei das System umfasst: ein Mittel zum Bereitstellen von Objektdateien für durch die LiDAR-Sensoren zu einem vorhergehenden Abtastzeitpunkt detektierte Objekte, wobei die Objektdateien Objektmodelle aufweisen, die eine Position, eine Orientierung und eine Geschwindigkeit der durch die Sensoren detektierten Objekte identifizieren; ein Mittel zum Nachführen der Objektmodelle der durch die Sensoren detektierten Objekte; ein Mittel zum Vorausplanen nachgeführter Objektmodelle in den Objektdateien von dem vorhergehenden Abtastzeitpunkt, um vorhergesagte Objektmodelle bereitzustellen; ein Mittel zum Empfangen mehrerer Absuchrückgaben von in einem Sichtfeld der Sensoren zu einem aktuellen Abtastzeitpunkt detektierten Objekten; ein Mittel zum Konstruieren einer Absuchpunktwolke aus den Absuchrückgaben; ein Mittel zum Segmentieren der Absuchpunkte in der Absuchpunktwolke zu vorhergesagten Absuchclustern, wobei jedes Absuchcluster anfangs ein durch die Sensoren detektiertes Objekt identifiziert; ein Mittel zum Anpassen der vorhergesagten Absuchcluster an die vorhergesagten Objektmodelle; ein Mittel zum Lesen von Objektdaten von durch einen Radarsensor oder durch ein Bilderkennungssystem detektierten Objekten; ein Mittel zum gegenseitigen Ausrichten der Objektdaten auf ein für die Absuchpunkte der LiDAR-Sensoren bestimmtes Koordinatensystem; ein Mittel zum Anpassen der Objektdaten an die Objektmodelle in den Objektdateien unter Verwendung der vorhergesagten Objektmodelle; ein Mittel zum Zusammenführen vorhergesagter Objektmodelle, die zu dem vorhergehenden Abtastzeitpunkt als getrennte Absuchcluster identifiziert worden sind, nun aber unter Verwendung der angepassten vorhergesagten Absuchcluster und der angepassten Objektdaten zu dem aktuellen Abtastzeitpunkt als ein einzelnes Absuchcluster identifiziert werden; und ein Mittel zum Aufteilen vorhergesagter Objektmodelle, die zu dem vorhergehenden Abtastzeitpunkt als ein einzelnes Absuchcluster identifiziert worden sind, nun aber unter Verwendung der angepassten vorhergesagten Absuchcluster und der angepassten Objektdaten zu dem aktuellen Abtastzeitpunkt als getrennte Absuchcluster identifiziert werden.