-
HINTERGRUND DER ERFINDUNG
-
Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft im Allgemeinen eine erweiterte Zielelementidentifizierung in einem Objektdetektionssystem und insbesondere ein Verfahren zum Gruppieren von Objektsensormessungen zu Zielelementen, welches Straßenbiegungsinformationen, zusätzliche Zielelementattribute und eine Abstandskompression für verbesserte Gruppierungsgenauigkeit, und ein Gitterbasiertes Abgleichen unter Verwenden von Hash-Tabellen für eine verbesserte Rechenleistung verwendet.
-
Diskussion der verwandten Technik
-
Viele Fahrzeuge umfassen heutzutage Objektdetektionssysteme, welche verschiedene Technologien zum Detektieren und Identifizieren von Objekten in der Nähe eines Trägerfahrzeugs einsetzen, wobei die Objekte andere Fahrzeuge, Fußgänger, feste Objekte usw. umfassen können. Die Technologien, welche zur Objektdetektion verwendet werden, umfassen unter anderem Kameras mit Bildverarbeitungsalgorithmen, Radar, Lidar und Ultraschall. Die Daten von dem Objektdetektionssystem werden typischerweise in einem oder mehreren nachgeschalteten Systemen in dem Fahrzeug verwendet - wozu Kollisionswarnsysteme, Kollisionsvermeidungssysteme und andere Fahreralarmsysteme gehören.
-
Die Objektdetektionssysteme können auch dazu verwendet werden, Straßenränder, Spurmarkierungen, Leitplanken und Mittelstreifen zu identifizieren, und der Standort dieser Elemente kann in einem Spurerfassungssystem dazu verwendet werden, die Spurgeometrie auf der Straße vor dem Trägerfahrzeug zu bestimmen.
-
Angesichts der Weiterverbreitung von Objektdetektionssensoren in Fahrzeugen und der vielen verschiedenen Objekttypen, welche es zu detektieren gilt, sind Geschwindigkeit und Genauigkeit der Verarbeitung aller Objektsensordaten von größter Bedeutung. Obwohl auf diesem Gebiet in der Vergangenheit gewisse Fortschritte gemacht wurden, werden weitere Verbesserungen benötigt, um das Ziel zu erreichen, einen Satz unverarbeiteter Sensormessungen effizient in eine exakte Liste von Fahrzeugen und anderen Zielelementen in der Nähe des Trägerfahrzeugs umzurechnen.
-
Die
DE 10 2013 113 570 A1 offenbart ein Bayes-Netz zum Nachführen von Objekten unter Verwendung von Absuchpunkten unter Verwendung mehrerer LiDAR-Sensoren.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Entsprechend den Lehren der vorliegenden Erfindung wird ein Verfahren zum verbesserten Gruppieren von Zielelementen von Sensormessungen in einem Objektdetektionssystem gemäß Anspruch 1 offenbart.
-
Zusätzliche Merkmale der vorliegenden Erfindung werden aus der nachstehenden Beschreibung und den beiliegenden Ansprüchen, in Zusammenhang mit den beiliegenden Zeichnungen gesehen, hervorgehen.
-
Figurenliste
-
- 1 ist ein schematisches Diagramm eines Fahrzeugs mit zwei verschiedenen Arten von Objektdetektionssystemen;
- 2 ist eine Abbildung, wie ein herkömmliches Objektdetektionssystem Sensormessungen mit möglichen Zielelementen abgleicht;
- 3 ist eine Abbildung, wie Straßenbiegungsinformationen dazu verwendet werden können, die Bewegung von Zielobjekten zu verfolgen und sie mit Sensormessungen abzugleichen;
- 4 ist ein Blockdiagramm eines Systems, welches zwei Quellen von Straßenbiegungsinformationen und externe Informationsquellen zusammen mit einer Liste von bekannten Zielobjekten verwendet, um Sensormessungen zu einer neuen Liste von Zielelementen zu gruppieren;
- 5A ist eine Abbildung eines Trägerfahrzeugs, welches sowohl feste als auch bewegliche Objekte auf der vorausliegenden Fahrbahn verfolgt;
- 5B ist eine Grafik, welche die Mehrdeutigkeit beim Gruppieren einer Sensormessung mit einem Zielelement zeigt, welche entstehen kann, wenn nur die Entfernung als Parameter verwendet wird;
- 5C ist eine Grafik, in der eine Objektentfernungsrate enthalten ist, um die Gruppierung von Sensormessungen mit Zielelementen zu verbessern;
- 6 ist eine Grafik einer abgebildeten Entfernungsmessung gegenüber einer tatsächlichen Entfernungsmessung, wobei die abgebildete Entfernung auf einer Log-Skala berechnet wird;
- 7A ist eine Grafik in Polarkoordinaten von Sensormessungen mit Bezug auf ein Trägerfahrzeug, wobei die tatsächliche Entfernungsmessung auf der radialen Skala verwendet wird;
- 7B ist eine Grafik in Polarkoordinaten von Sensormessungen mit Bezug auf ein Trägerfahrzeug, wobei die mittels Log abgebildete Entfernungsmessung auf der radialen Skala verwendet wird, wodurch die Variation der Entfernung reduziert wird;
- 8A ist eine Abbildung eines Gitters, welches dazu verwendet werden kann, Sensormessungen mit bekannten Zielelementen zu gruppieren;
- 8B ist eine Abbildung einer Hash-Tabelle und einer Technik zum effizienten Gruppieren von Sensormessungen mit bekannten Zielelementen unter Verwendung des Gitters aus 8A;
- 9 ist eine Abbildung eines Gitters, welches mit einem Flutfüllungsalgorithmus dazu verwendet werden kann, Sensormessungen mit bekannten Zielelementen beliebiger Form zu gruppieren; und
- 10 ist ein Flussdiagramm eines Verfahrens zum Gruppieren von Objektsensormessungen mit Zielelementen in einem Objektdetektionssystem.
-
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
-
Die nachstehende Diskussion der Ausführungsbeispiele der Erfindung bezüglich eines Verfahrens zum Gruppieren von Objektsensormessungen mit Zielelementen in einem Objektdetektionssystem ist rein beispielhafter Art und keineswegs dazu gedacht, die Erfindung oder ihre Anwendungen oder Verwendungen einzuschränken.
-
Objektdetektionssystems sind in modernen Fahrzeugen immer geläufiger geworden, da Kollisionswarn- und Kollisionsvermeidungssysteme und andere weiterentwickelte Systeme bei den Verbrauchern immer beliebter werden. Um genaue und rechtzeitige Objektinformationen bereitzustellen, wurden Objektdetektionssysteme entwickelt, welche verschiedene Sensortechnologien und verschiedene Techniken zur Objekterkennung verwenden. Alle diese Systeme können jedoch aus einer verbesserten Genauigkeit der Zielverfolgung und einer verbesserten Recheneffizienz Nutzen ziehen.
-
1 ist ein schematisches Diagramm eines Fahrzeugs 10, welches ein Objektdetektionssystem 12 umfasst, welches Informationen über umgebende Objekte von einem ersten Objekterfassungssystem 20 und einem zweiten Objekterfassungssystem 30 empfängt. Das erste Objekterfassungssystem 20 empfängt Bilder von einer Frontkamera 22, welche viele verschiedene Arten von Objekten vor dem Fahrzeug 10 detektieren kann. Die Frontkamera 22 kann vorherfahrende Fahrzeuge, Fußgänger, Straßenränder und Mittelstreifen, Überführungen, Schilder und andere Objekte detektieren, und das erste Objekterfassungssystem 20 verfolgt diese detektierten Objekte mit Bezug auf das Fahrzeug 10.
-
Das zweite Objekterfassungssystem 30 empfängt Messungen von einer Vielzahl von Sensoren um das Fahrzeug 10 herum. Die Sensoren können einen hinteren Sensor 32, einen vorderen Sensor 34 und seitliche Sensoren 36 und 38 umfassen. Alle Sensoren 32 bis 38 können eine Radar-, Lidar-, Ultraschall- oder eine bestimmte andere Sensortechnologie dazu verwenden, Objekte um das Fahrzeug 10 herum zu detektieren. Die Objekterfassungssysteme 20 und 30 sind rein beispielhaft für die Arten von Objektsensoren, welche in dem Fahrzeug 10 installiert werden können. Das Fahrzeug 10 muss nicht genau ein kamerabasiertes Objekterfassungssystem und ein nicht kamerabasiertes System umfassen. Es kann tatsächlich nur ein Objekterfassungssystem oder mehr als eines unter Verwendung von verschiedenen Kombinationen von Kamera, Radar, Lidar, Ultraschall usw. geben.
-
Die Objekterfassungssysteme 20 und 30 stellen ihre Sensormessungen dem Objektdetektionssystem 12 bereit, welches Sensormessungen mit einer Liste von verfolgten Zielobjekten (Fahrzeugen, Überführungen, Bäumen, Fußgängern usw.) in Echtzeit verknüpft. Es ist eine Hauptaufgabe des Objektdetektionssystems 12, ein genaues und effizientes Gruppieren von Sensormessungen zu Zielobjekten bereitzustellen.
-
Es versteht sich, dass das Objektdetektionssystem 12, das erste Objekterfassungssystem 20 und das zweite Objekterfassungssystem 30 mindestens aus einem Prozessor und einem Speichermodul bestehen, wobei die Prozessoren mit Software konfiguriert sind, welche derart ausgelegt ist, dass sie Sensormessungen empfängt und Zielobjekte identifiziert und verfolgt. Die Logik und die Berechnungen, welche in dem Objektdetektionssystem 12 verwendet werden, werden nachstehend ausführlich besprochen.
-
Es versteht sich weiter, dass die Merkmale und Berechnungen des Objektdetektionssystems 12, des ersten Objekterfassungssystems 20 und des zweiten Objekterfassungssystems 30 anders aufgeteilt sein könnten als hier beschrieben, ohne den Geist der offenbarten Erfindung zu verlassen. Beispielsweise könnten alle Berechnungen zum Gruppieren von Sensormessungen und zur Fusion von Zielelementen in einem einzigen Prozessor in dem Objektdetektionssystem 12 ausgeführt werden. D.h. die Systeme 12, 20 und 30 könnten in einer einzigen räumlichen Vorrichtung oder in mehreren verschiedenen Modulen ausgebildet sein; keine dieser Konfigurationsoptionen wirkt sich auf die nachstehend besprochenen erfindungsgemäßen Verfahren aus.
-
2 bildet ab, wie ein herkömmliches Objektdetektionssystem Sensormessungen mit möglichen Zielelementen abgleicht. Ein Zielfahrzeug 80 wird durch einen hypothetischen Schwerpunktstandort 82 zusammen mit einer Länge L und einer Breite W dargestellt, wobei sich der Schwerpunktstandort 82 in einer Position (x
f,y
f) befindet. Das Fahrzeug 80 wird als Beispiel einer üblichen Objektart verwendet, welches von einem Objektdetektionssystem detektiert werden kann. Die Sensormesspunkte 84 und 86 müssen überprüft werden, um zu bestimmen, ob sie zu dem Zielfahrzeug 80 gehören und den hypothetischen Schwerpunktstandort 82 unterstützen. Ein Verfahren, um dies zu bestimmen, besteht darin, die folgende Ungleichheit zu überprüfen:
-
Wobei x und y die Koordinaten des Messpunktes 84 oder 86 sind, welcher überprüft wird, und die anderen Variablen zuvor beschrieben wurden. Wenn die Ungleichheit der Gleichung (1) wahr ist, dann bestätigt sich, dass die Punktkoordinaten (x,y) in das Rechteck fallen, welches um (xf,yf) zentriert ist, und der Messpunkt 84 wird beispielsweise als zu dem Zielfahrzeug 80 gehörend und den hypothetischen Schwerpunktstandort 82 unterstützend bestimmt.
-
Obwohl die in der Gleichung (1) ausgebildete herkömmliche Technik für Zielfahrzeuge angemessen ist, welche vor einem Trägerfahrzeug geradeaus fahren, kann es sein, dass sie für den Fall von andersartigen Objekten in Situationen, in denen sich die Straßenbiegung auf Position und Orientierung des Zielelements auswirkt, oder unter anderen Umständen keine genauen Ergebnisse erbringt. Eine falsche Verknüpfung von Sensormesspunkten mit Zielelementen verursacht fehlerhafte Zielfusionsergebnisse, welche zu Fehlern in den nachgeschalteten Systemen führen, welche die Objektdetektionsdaten verwenden.
-
Nachstehend werden mehrere Techniken besprochen, welche sowohl die Genauigkeit als auch die Recheneffizienz des Gruppierens von Sensormesspunkten mit einer Liste von Zielobjekten erhöhen.
-
3 bildet ab, wie die Straßenbiegungsinformationen dazu verwendet werden können, die Bewegung von Zielobjekten zu verfolgen und sie mit Sensormessungen abzugleichen. Wie gezeigt, biegt eine Straße 100 vor einem Trägerfahrzeug 102 nach rechts ab. Ein Objektdetektionssystem in dem Fahrzeug 102, wie etwa das System 12 aus 1, verfolgt zwei Zielfahrzeuge voraus - ein Fahrzeug 110 und ein Fahrzeug 120. In dem Objektdetektionssystem des Trägerfahrzeugs 102 weist das Zielfahrzeug 110 einen hypothetischen Schwerpunktstandort 112 auf, und das Zielfahrzeug 120 weist einen hypothetischen Schwerpunktstandort 122 auf, wobei die beiden hypothetischen Schwerpunktstandorte 112 und 122 basierend auf Schwerpunktstandorten des vorhergehenden Zeitschritts und der bekannten Biegung der Straße 100 bestimmt werden. D.h. das Objektdetektionssystem in dem Trägerfahrzeug 102 geht davon aus, dass die Fahrzeuge 110 und 120 einer Rechtskurve folgen statt in der Richtung ihres vorhergehenden Geschwindigkeitsvektors geradeaus weiterzufahren.
-
Eine gewisse Anzahl von Sensormesspunkten (130 bis 140) muss als entweder zu dem Zielfahrzeug 110 oder 120 gehörend identifiziert werden, oder nicht. Wie in 3 gezeigt, da die Zielfahrzeuge 110 und 120 eine Position und Orientierung aufweisen, welche der Straßenbiegung folgen, gehören die Messpunkte 130 und 132 zu dem Zielfahrzeug 110, die Punkte 136 und 138 gehören zu dem Zielfahrzeug 120, und die Punkte 134 und 140 gehen zur linken Seite der Straße 100 ab und gehören wahrscheinlich zu anderen Objekten, wie etwa Bäumen oder Schildern.
-
In 3 ist zu sehen, dass, wenn das Trägerfahrzeug 102 die Straßenbiegung nicht berücksichtigen würde und sich die hypothetischen Schwerpunktstandorte 112 und 122 direkt vor ihrem vorhergehenden Standort befinden würden, das sich ergebende Gruppieren von Punkten mit Zielobjekten ganz anders wäre. In einer derartigen Situation würde der Messpunkt 130 wahrscheinlich nicht mit dem Fahrzeug 110 gruppiert werden, wie es sein sollte, der Punkt 134 würde wahrscheinlich fälschlicherweise mit dem Fahrzeug 110 gruppiert werden, der Messpunkt 136 würde wahrscheinlich nicht mit dem Fahrzeug 120 gruppiert werden, wie es sein sollte, und der Punkt 140 würde wahrscheinlich fälschlicherweise mit dem Fahrzeug 120 gruppiert werden. Zusammenfassend verhindert die Verwendung der Straßenbiegung zur Vorhersage von Zielelementstandorten fehlerhafte Ergebnisse beim Gruppieren der Zielfahrzeuge für vier der sechs Messpunkte bei diesem Beispiel.
-
4 ist ein Blockdiagramm eines Systems 150, welches zwei Quellen von Straßenbiegungsinformationen und externe Informationsquellen zusammen mit einer Liste von bekannten Zielobjekten dazu verwendet, Sensormessungen zu einer neuen Liste von Zielelementen zu gruppieren. Das System 150 setzt die Vorwegnahme der Straßenbiegung um, was in 3 abgebildet ist. Die Datenbank 152 enthält aktuelle Objektfusionsdaten, welche eine Liste von verfolgten Zielelementen {T} und ihre Schwerpunktstandorte enthalten. Digitale Kartendaten werden in dem Kästchen 154 bereitgestellt, wobei die digitalen Kartendaten von der Art sind, welche gewöhnlich in Fahrzeug-Navigationssystemen verwendet wird und die Straßenart, die Straßenbiegung und viele andere Informationen umfassen. In dem Kästchen 156 werden Spurbiegungsdaten von einem gegebenenfalls verfügbaren fahrzeugeigenen Spurverfolgungssystem bereitgestellt. Fahrzeugeigene Spurverfolgungssysteme sind in vielen Fahrzeugen verfügbar, welche Kamerabilder oder andersartige Datenerfassung dazu verwenden, Spurmarkierungen, wie etwa Straßenränder, Straßenstreifen, Mittelstreifen usw., zu identifizieren und zu verfolgen. Die Spurbiegungsdaten von dem Spurverfolgungssystem in dem Kästchen 156 stellen gegebenenfalls eine Quelle von Straßenbiegungsinformationen bereit, welche zu den Straßenbiegungsinformationen aus der digitalen Karte des Kästchens 154 ergänzend sind oder anstelle derselben verwendet werden können.
-
Objektdaten von einer beliebigen Quelle außerhalb des Trägerfahrzeugs 102 werden in dem Kästchen 158 bereitgestellt. Die Daten in dem Kästchen 158 werden über Funkkommunikationskanäle unter Verwendung von Fahrzeug-zu-Fahrzeug-(V2V), Fahrzeug-zu-Infrastruktur-(V2I) oder sogar Fahrzeug-zu-Fußgänger-Kommunikationstechnologien, wie etwa dedizierten Nahbereichskommunikationen (DSRC), WiFi usw., bereitgestellt. Die Daten in dem Kästchen 158 können von einer oder mehreren externen Quellen bereitgestellt werden und umfassen insgesamt eine Liste von Objekten {O}, welche den externen Quellen bekannt sind. Beispielsweise können die Daten in dem Kästchen 158 eine Zielfahrzeugposition, welche von einem anderen Fahrzeug über V2V rundgesendet wird, und/oder ein paar Baustellentonnen, welche von einer Kamera am Straßenrand detektiert wurden und über V2I rundgesendet werden, umfassen. Viele Arten von Objekten sind nun „standortbezogen“, und alle diese Objekte mit einer geeigneten Kommunikationsfähigkeit können ihre Objektdaten (Art, Größe, Standort, Orientierung, Bewegung) in dem Kästchen 158 bereitstellen. Die Objektliste {O} in dem Kästchen 158 ist optional, wie auch die externen Datenquellen und Objekte nicht immer vorhanden sein müssen.
-
Objektsensormessungen von den Objektsensoren an Bord des Trägerfahrzeugs 102 werden in dem Kästchen 160 bereitgestellt. Die Objektsensormessungen umfassen Punkte, an denen ein Objekt detektiert wird, wie etwa die Punkte 130 bis 140 aus 3. Das Kästchen 162 enthält einen Prozessor, wie etwa den Prozessor in dem Objektdetektionssystem 12 aus 1, welcher einen Gruppierungsalgorithmus ausführt, welcher Sensormesspunkte mit bekannten Zielelementen abgleicht. Wie zuvor mit Bezug auf 3 besprochen, verwendet der Algorithmus, welcher in dem Kästchen 162 abläuft, Straßenbiegungsinformationen, um die hypothetischen Schwerpunktstandorte der Fahrzeuge 110 und 120 zu bestimmen, was somit zu einem viel besseren Abgleich von Sensormesspunkten mit verfolgten Zielfahrzeugen führt. Der Gruppierungsalgorithmus, welcher in dem Kästchen 162 abläuft, nutzt auch das a-priori-Wissen fester oder beweglicher Objekte aus externen Quellen, welche in dem Kästchen 158 bereitgestellt werden. Eine aktualisierte Zielelementliste {T'} mit den Schwerpunktstandorten von Objekten wird als Ausgabe auf der Linie 164 bereitgestellt.
-
In der vorstehenden Diskussion basierte das Gruppieren von Sensormessungen mit Zielfahrzeugen nur auf dem Standort (Entfernung und Azimut) der Messungen und der Zielfahrzeuge. Es können jedoch andere Attribute der Sensormessungen und der Zielfahrzeuge dazu verwendet werden, die Genauigkeit des Gruppierungsprozesses zu verbessern. 5A ist eine Abbildung eines Trägerfahrzeugs, welches sowohl feste als auch bewegliche Objekte auf einer vorausliegenden Fahrbahn verfolgt. Auf einer Straße 170 fährt ein Trägerfahrzeug 180 und verfolgt Objekte voraus mit einem Objektdetektionssystem, wie etwa dem System 12 aus 1. Ein Zielfahrzeug 190 wird von dem Trägerfahrzeug 180 verfolgt. Eine Überführung 200, welche über die Straße 170 geht, wird ebenfalls als ein Objekt von dem Trägerfahrzeug 180 verfolgt. Die Überführung 200 kann eine beliebige Konstruktion sein, welche über die Straße 170 geht, einschließlich einer Brücke/Überführung, einer Schilderkonstruktion, einer Tunneleinfahrt usw. Anstelle der Überführung 200 könnte ein Objekt am Straßenrand, wie etwa ein Baum oder ein Fußgänger, oder ein Hindernis auf der Straße bei diesem Beispiel gleichermaßen verwendet zu werden.
-
Das Objektdetektionssystem in dem Fahrzeug 180 stellt bei diesem erläuternden Beispiel drei Sensormessungen bereit - einen Messpunkt 192, welcher ohne Weiteres mit dem Fahrzeug 190 verknüpft wird, einen Punkt 202 der mit der Überführung 200 verknüpft wird, und einen Messpunkt 188. Auf Grund der Nähe des Fahrzeugs 190 zu der Überführung 200 sind Entfernungsinformationen alleine nicht ausreichend, um zu bestimmen, zu welchem Zielelement der Punkt 188 gehört. Die Azimutwinkelinformationen tragen auch nicht dazu bei, die Mehrdeutigkeit aufzulösen, wie es 5A zu entnehmen ist.
-
5B ist eine Grafik 210, welche die Mehrdeutigkeit beim Gruppieren einer Sensormessung mit einem Zielelement zeigt, welche entstehen kann, wenn nur die Entfernung als Parameter verwendet wird, wie in 5A abgebildet. Die Grafik 210 zeichnet die Entfernung auf der Achse 212 ein. Die Messpunkte 192, 188 und 202 werden in ihren jeweiligen Positionen auf der Achse 212 gezeigt. Die Schwerpunktstandorte des Fahrzeugs 190 und der Überführung 200 werden ebenfalls genau unter der Achse 212 gezeigt. Der Schwerpunktstandort des Fahrzeugs 190 schreibt eine Wahrscheinlichkeitsverteilung 194 mit einer Mittellinie 196 vor, und der Schwerpunktstandort der Überführung 200 schreibt eine Wahrscheinlichkeitsverteilung 204 mit einer Mittellinie 206 vor. Die Wahrscheinlichkeitsverteilungen 194 und 204 werden bei diesem Beispiel der Einfachheit halber als identisch gezeigt. Aus 5B geht hervor, dass der Messpunkt 188 gut sowohl in die Wahrscheinlichkeitsverteilung 194 des Fahrzeugs 190 als auch in die Wahrscheinlichkeitsverteilung 204 der Überführung 200 fällt. Somit ist es nicht möglich, den Punkt 188 basierend auf der Entfernung alleine entweder mit dem Fahrzeug 190 oder der Überführung 200 genau zu gruppieren.
-
5C ist eine Grafik 220, in der die Objektentfernungsrate enthalten ist, um das Gruppieren von Sensormessungen mit Zielelementen zu verbessern. Objektdetektionssysteme auf Radar- oder Lidar-Basis stellen typischerweise Entfernungsratendaten zusammen mit Entfernungs- und Azimutdaten für Sensormessungen bereit. Für kamerabasierte Objektdetektionssysteme kann die Entfernungsrate durch Verfolgen der Zielelemententfernung über mehrere Zeitschritte und Teilen der Entfernungsänderung durch die verstrichene Zeit bestimmt werden. In der Grafik 220 wird die Entfernung auf der Achse 222 eingezeichnet und die Entfernungsrate wird auf der Achse 224 eingezeichnet. Die Schwerpunktstandorte des Fahrzeugs 190 und der Überführung 200 zusammen mit den Messpunkten 192, 188 und 202 werden in ihren jeweiligen Entfernungspositionen gezeigt. Wie zuvor besprochen, sind die Entfernungswerte des Fahrzeugs 190, der Überführung 200 und der Punkte 192, 188 und 202 kaum getrennt.
-
Nun stellt aber die Entfernungsrate eine deutliche Trennung zwischen dem Fahrzeug 190 und der Überführung 200 und ihren verknüpften Messpunkten bereit. Das Fahrzeug 190, welches ungefähr auf der gleichen Geschwindigkeit wie das Trägerfahrzeug 180 fährt, weist eine sehr geringe Entfernungsrate auf, wie es aus der Grafik 220 hervorgeht. Andererseits weist die Überführung 200, da sie ortsfest ist, eine sehr große negative Entfernungsrate mit Bezug auf das Trägerfahrzeug 180 auf. Unter Verwendung sowohl der Entfernungs- als auch der Entfernungsratenattribute der Zielelemente und Messpunkte, ist es klar, dass der Punkt 202 mit dem Fahrzeug 200 verknüpft ist und der Punkt 192 mit dem Fahrzeug 190 verknüpft ist, welche beide bereits aus 5B bekannt sind. Noch wichtiger ist, dass jetzt klar ist, dass der Messpunkt 188 mit dem Fahrzeug 190 verknüpft ist, da der Punkt 188 eine Entfernungsrate nahe null aufweist.
-
Das in 5A bis 5C gezeigte und zuvor besprochene Beispiel verwendet die Entfernungsrate als Attribut der Sensormessungen und der verfolgten Zielfahrzeuge, um die Gruppierungsgenauigkeit zu erhöhen. Zusätzlich zu der Entfernungsrate können ähnlich viele andere Attribute verwendet werden. Diese anderen Attribute umfassen: Mikro-Doppler-Daten (verfügbar von Radar- oder Lidar-Systemen), welche kleine Bewegungen detektieren können, wie etwa eine Fahrzeug-Karosseriebewegung und Vibrationen; Zielelementquerschnitt, welcher dadurch bestimmt wird, wie viel Energie von einem Objekt in einem Radar- oder Lidar-Signal zurückgegeben wird, und der eine Angabe über die Objektgröße und/oder das Material ist; Signal/RauschVerhältnis an den Messpunkten; und zahlreiche Attribute, welche von kamerabasierten Objekterfassungssystemen bereitgestellt werden können, wozu Farbe, Muster, Aussehen/Textur und Größe gehören.
-
Wie zuvor besprochen, ist die Entfernung ein wesentlicher Parameter, welcher beim Gruppieren von Sensormesspunkten mit verfolgten Zielelementen verwendet wird. Es gibt jedoch einen inhärenten Verlust an Genauigkeit bei Sensormessungen in größeren Abständen. Beispielsweise weisen einige radarbasierte Objekterfassungssysteme eine Entfernungsabweichung auf, welche ungefähr 5% der Entfernung ausmacht. Bei größeren Entfernungen könnte die Entfernungsabweichung ausreichen, um zu bewirken, dass ein Sensormesspunkt außerhalb der Grenzen eines verfolgten Fahrzeugs liegt. Diese Diskrepanz kann durch Verwenden einer Log-Skala-Darstellung der Entfernungsdaten behoben werden.
-
6 ist eine Grafik 230 einer abgebildeten Entfernungsmessung gegenüber einer tatsächlichen Entfernungsmessung, wobei die abgebildete Entfernung auf einer logarithmischen Skala berechnet wird. Die Achse 232 misst die tatsächliche Entfernungsmessung, während die Achse 234 die abgebildete Entfernungsmessung misst. Bei einem Ausführungsbeispiel kann der Wert
r der abgebildeten Entfernung unter Verwendung der folgenden Gleichung bestimmt werden:
-
Wobei r der tatsächliche Entfernungswert ist, L ein Abstands-/Kompressions-Verhältnis ist, und A eine Zellengröße ist, welche bei der Gitteraufteilung des abgebildeten Bereichs verwendet wird. 6 zeigt die nicht lineare Abbildung der Entfernung, welche sich aus der Verwendung der Gleichung (2) mit Werten für L gleich 3 % und A gleich 1 m ergeben. Diese Technik der Entfernungsabbildung verringert die Entfernungsdifferenzen bei größeren Entfernungswerten.
-
7A ist eine Grafik 240 in Polarkoordinaten von Sensormessungen mit Bezug auf ein Trägerfahrzeug, wobei die tatsächliche Entfernungsmessung auf der radialen Skala eingezeichnet ist, und der Azimutwinkel umfangsmäßig eingezeichnet ist. Die Messpunkte 242 und 244 werden in der Grafik 240 gezeigt. Die Punkte 242 und 244 sind in der Grafik 240 ziemlich weit entfernt, so dass ihre Entfernungsdifferenz größer als die Länge eines typischen Fahrzeugs ist. Ein Großteil dieser Entfernungsdifferenz kann jedoch auf eine Abweichung der Sensormessung bei der großen Entfernung zurückzuführen sein. Somit ist es nicht klar, ob die Punkte 242 und 244 zu dem gleichen Fahrzeug gehören oder nicht.
-
7B ist eine Grafik 250 in Polarkoordinaten von Sensormessungen mit Bezug auf ein Trägerfahrzeug, wobei eine Log-abgebildete Entfernungsmessung auf der radialen Skala verwendet wird, wodurch eine Variation der Entfernung reduziert wird. Wenn die abgebildete Entfernung r auf der radialen Skala wie in der Grafik 250 verwendet wird, werden die Abstände komprimiert, und die Abstandsabweichungen werden reduziert. Wenn sie in der Grafik 250 unter Verwendung ihrer abgebildeten Entfernungswerte r eingezeichnet werden, sind die Punkte 242' und 244' nahe genug aneinander, um deutlich mit demselben Zielfahrzeug verknüpft zu sein.
-
Die zuvor beschriebenen Techniken verbessern einzeln und zusammen verwendet die Genauigkeit der Gruppierung von Sensormessungen mit verfolgten Zielelementen erheblich. Zusammen mit der Genauigkeit ist auch die Recheneffizienz ein äußerst wichtiger Faktor für die Leistung eines Objektdetektionssystems. Nachstehend werden Techniken beschrieben, welche die Recheneffizienz der Gruppierung von Sensormessungen mit verfolgten Zielelementen erhöhen.
-
In einem herkömmlichen Zielgruppierungsalgorithmus werden alle möglichen Kombinationen von Sensormesspunkten (Punkten, welche von einem Radarsystem zurückgegeben werden usw.) und bekannten Fusionszielelementen (Fahrzeugen usw.) aufgezählt und ausgewertet. Bei diesem herkömmlichen Ansatz liegt für ein Szenario mit N Sensormessungen und N Fusionszielelementen die Rechenkomplexität bei einer Größenordnung von N2. Nachstehend wird ein verbesserter Ansatz vorgeschlagen, bei dem die Objekte (d.h. die Sensormessungen) vor dem Abgleich in einer Hash-Tabelle sortiert werden, was zu einer Berechnung führt, welche um eine Größenordnung schneller ist (in der Größenordnung N statt N2).
-
8A ist eine Abbildung eines Gitters 270, welches dazu verwendet werden kann, Sensormessungen mit bekannten Zielelementen zu gruppieren. Das Gitter 270 stellt den xy-Raum vor einem Trägerfahrzeug dar, wo sich verfolgte Zielelemente befinden und Sensormesspunkte bereitgestellt werden. Jede Zelle des Gitters 270 ist ein Quadrat mit einer Größe (272) gleich W. Ein Sensormesspunkt 274 an den Koordinaten (x,y) wird der Zelle (i,j) zugeteilt, so dass:
-
Wobei i und j auf ganzzahlige Zellennummern gerundet werden. Auf diese Art und Weise wird jeder Messpunkt mit seiner Zellennummer unter Verwendung einer Hash-Tabelle 280, in 8B gezeigt, indexiert.
-
Wenn beispielsweise der Sensormesspunkt 274 an den Koordinaten (x,y) der Zelle (i,j) zugeteilt wird, dann kann eine verkettete Liste 282 erstellt werden, welche alle Messpunkte enthält, welche ebenfalls der Zelle (i,j) zugeteilt sind. Diese Liste wird unter Verwendung der Gleichung (3) für die Koordinaten (xn,yn) jedes Punktes erstellt, was eine verkettete Liste (wie etwa die Liste 282) für jede Zelle in dem Gitter 270, welche Punkte enthält, ergibt.
-
Dann ist es einfach, die Zellen zu identifizieren, welche Nachbarn der Zelle (i,j) sind - d.h. die acht Zellen, welche die Zelle (i,j) umgeben, welche von (1-1,j-1) ... (i+1,j+1) reichen. Diese neunzellige Gruppe, welche in dem Kästchen 276 aus 8A gezeigt wird, kann ein Fusionszielelement, wie etwa ein Fahrzeug, darstellen. Dann kann für ein Fusionszielelement, welches einen hypothetischen Schwerpunktstandort 284 aufweist, welcher in die Zelle (i,j) fällt, eine Liste 286 erstellt werden, welche alle neun Zellen in dem Kästchen 276 umfasst, und die Sensormesspunkte, welche mit jeder Zelle verknüpft sind, können aus den verketteten Listen 282 übernommen werden. Auf diese Art und Weise kann für alle Fusionszielelemente eine Liste von verknüpften Messpunkten erstellt werden. Die Berechnung der Verknüpfung von Punkten mit Zellen für die verketteten Listen 282 liegt in der Größenordnung der Anzahl von Punkten N. Die Berechnung der Verknüpfung von Zellen mit Fusionszielelementen für die verketteten Listen 286 liegt ebenfalls in der Größenordnung der Anzahl von Fusionszielelementen N. Diese beiden Berechnungen sind additiv, ohne ihre gegenseitigen Faktoren zu berücksichtigen. Somit liegt die Gesamtberechnung der Punkt-Zielelement-Gruppierung in der Größenordnung von N statt N2 wie bei einem herkömmlichen Ansatz, welcher alle Faktoren vollständig berücksichtigt.
-
Die zuvor besprochene Gittergruppierungstechnik kann erweitert werden, um mit einer beliebigen gewünschten Form von Fusionszielelement statt nur mit dem einfachen Kästchen 276 aus 8A zu funktionieren.
-
9 ist eine Abbildung eines Gitters 300, welches mit einem Flutfüllungsalgorithmus dazu verwendet werden kann, Sensormessungen mit Fusionszielelementen beliebiger Form zu gruppieren. Das Gitter 300 stellt wieder den xy-Raum vor einem Trägerfahrzeug dar, wo es verfolgte Zielelemente gibt und Sensormesspunkte bereitgestellt werden. Wie zuvor, ist jede Zelle des Gitters 300 ein Quadrat mit einer Größe (302) gleich W. Die Messpunkte können mit Zellen in dem Gitter 300 unter Verwendung einer Hash-Tabelle und einer verketteten Liste, wie zuvor besprochen, verknüpft werden.
-
Nun kann man aber statt Nachbarpunkte in einem einfachen Kästchen zu identifizieren, ein beliebig geformtes Zielelement definieren und einen Flutfüllungsalgorithmus verwenden, um eine Zellenliste zu erstellen. In dem Fall aus 9 weist ein Fusionszielelement einen hypothetischen Schwerpunktstandort 304 auf. Das Fusionszielelement weist eine Form auf, welche durch eine Ellipse 306 definiert wird, deren Achsen nicht auf das rechteckige Muster des Gitters 300 ausgerichtet sein müssen. Es können einfache geometrische Berechnungen verwendet werden, um eine Liste von Gitterzellen zu identifizieren, von denen sich ein beliebiger Teil innerhalb der Ellipse 306 befindet. Sobald die Liste der Zellen, welche von der Ellipse 306 „berührt“ werden (wobei sich ein beliebiger Teil davon in ihrem Innern befindet), bekannt ist, wird dann jede dieser Zellen getestet, um sicherzustellen, dass ihre Nachbarn (oben, unten, links und rechts - wodurch ein neunzelliges Kästchen erstellt wird, wie zuvor) ebenfalls in der Liste der Zellen enthalten sind. Die sich ergebende Gruppe von Zellen, welche von dem Flutfüllungsalgorithmus identifiziert wird - die Zellen, welche von der Ellipse 306 berührt werden oder Nachbarn der Zellen sind, welche davon berührt werden - wird in dem Bereich 308 aus 9 schattiert gezeigt.
-
Nach der Ausführung der zuvor besprochenen Flutfüllungsberechnung ist eine Liste der Zellen bekannt, welche zu der Ellipse 306 benachbart sind, welche um den Schwerpunkt 304 zentriert ist. Die zuvor beschriebene Technik mit der Hash-Tabelle und der verketteten Liste kann dann dazu verwendet werden, die Messpunkte, welche mit der Ellipse 306 verknüpft sind, und somit das Fusionszielelement mit dem Schwerpunkt 304 zu identifizieren. Bei Realweltanwendungen ist der Bereich, welcher von dem Gitter 300 abgedeckt wird, sehr groß - z.B. erstreckt er sich über 100 m vor dem Trägerfahrzeug und enthält Tausende von Gitterzellen mit einer Größe von 1 Quadratmeter. In einem derartigen Fall, selbst wenn mehrere Zielfahrzeuge verfolgt werden, werden nur ein paar hundert Gitterzellen ausgefüllt. Somit ist im Vergleich zu einem Ansatz, welcher alle Faktoren berücksichtigt und jeden Messpunkt mit jedem Fusionszielelement vergleicht, die Technik mit der Flutfüllung und der Hash-Tabelle aus 9 rechnerisch sehr effizient.
-
10 ist ein Flussdiagramm 400 eines Verfahrens zum Gruppieren von Objektsensormessungen mit Zielelementen in einem Objektdetektionssystem. Das Verfahren des Flussdiagramms 400 umfasst die zuvor besprochenen Techniken für Genauigkeit und Recheneffizienz. Das Verfahren des Flussdiagramms 400 ist derart ausgelegt, dass es an einem Prozessor in einem Objektdetektionssystem, wie etwa dem Objektdetektionssystem 12 aus 1, ausgeführt werden kann.
-
In dem Kästchen 402 wird eine Liste von verfolgten Zielelementen bereitgestellt. Die Liste von verfolgten Zielelementen wird vorstehend manchmal als Fusionszielelemente beschrieben, weil Fusionstechniken häufig beim Identifizieren der Zielelemente verwendet werden. In dem Kästchen 404 wird eine Liste von hypothetischen Zielstandorten und Orientierungen erstellt. Die hypothetischen Zielelementdaten werden unter Verwendung von früheren Standort-/ Orientierungsdaten des Zielelements aus dem Kästchen 402 zusammen mit Zielelementgeschwindigkeiten bei Bewegung, Straßenbiegungsinformationen usw. erstellt. In dem Kästchen 406 werden Sensormesspunkte von einem oder mehreren Objekterfassungssystemen, wie etwa den Objekterfassungssystemen 20 und 30 aus 1, bereitgestellt. Wie zuvor besprochen, können die Sensormesspunkte unter Verwendung einer Radar-, Lidar-, Ultraschall-, Kamera- oder anderen geeigneten Technologie erzielt werden.
-
In dem Kästchen 408 werden die Sensormesspunkte mit hypothetischen Zielelementen gruppiert. Das Gruppieren von Punkten/Zielelementen verwendet mindestens geometrische Daten (Standort) zum Abgleichen der Punkte mit den Zielelementen. Das Gruppieren kann die Gitterbasierten Hash-Tabellen-Techniken verwenden, welche in 8A/B und 9 beschrieben werden. Das Gruppieren kann auch ergänzende Zielelementattribute verwenden - wie etwa Entfernungsrate, Mikro-Doppler-Daten, Zielelementquerschnitt, Signal/RauschVerhältnis in Messpunkten und visuelle Attribute, welche von kamerabasierten Objekterfassungssystemen bereitgestellt werden. Diese ergänzenden Zielelementattribute stellen eine größere Gewissheit beim Gruppieren von Messpunkten mit Zielelementen bereit. Das Gruppieren in dem Kästchen 408 kann auch eine Log-abgebildete Darstellung der Entfernung statt die tatsächliche Entfernung verwenden.
-
In dem Kästchen 410 werden die hypothetischen Schwerpunktstandorte validiert und können gegebenenfalls derart angepasst werden, dass sie optimale Gruppierungsergebnisse erzielen. Wenn die hypothetischen Schwerpunktstandorte in dem Kästchen 410 angepasst werden, dann kehrt der Prozess in einer Schleife zu dem Kästchen 408 zurück, um die Gruppierung der Punkte/Zielelemente neu zu berechnen. In dem Kästchen 412 werden neue Zielelemente basierend auf eventuellen Clustern von Messpunkten identifiziert, welche nicht mit bekannten Zielelementen in dem Kästchen 408 gruppiert sind. In dem Kästchen 414 wird eine aktualisierte Liste von Standorten und Orientierungen des Zielelements ausgegeben. Die aktualisierte Zielelementliste aus dem Kästchen 414 wird als Eingabe von bordeigenen Fahrzeuganwendungen, wie etwa von Kollisionswarn- und Kollisionsvermeidungssystemen, verwendet. Die aktualisierte Zielelementliste aus dem Kästchen 414 wird auch wieder dem Kästchen 402 bereitgestellt, um die nächste Iteration des Verfahrens zum Gruppieren von Punkten/Zielelementen zu beginnen.
-
Unter Verwendung der hier offenbarten Verfahren kann man die Geschwindigkeit und Genauigkeit der Berechnungen zum Gruppieren von Punkten/Zielelementen in einem Objektdetektionssystem erheblich verbessern. Schnelle, genaue Objektdetektionsdaten können von vielen wichtigen Systemen an Bord der Fahrzeuge verwendet werden - um die Fahrer vor eventuellen Kollisionsrisiken zu warnen oder automatisch Ausweichmaßnahmen zu treffen, um eine Kollision zu vermeiden, sowie aus anderen Gründen.
-
Die vorstehende Diskussion offenbart und beschreibt rein beispielhafte Ausführungsbeispiele der vorliegenden Erfindung. Der Fachmann wird ohne Weiteres aus dieser Diskussion und aus den beiliegenden Zeichnungen und Ansprüchen erkennen, dass diverse Änderungen, Modifikationen und Variationen daran vorgenommen werden können, ohne Geist und Umfang der Erfindung zu verlassen, wie sie in den nachstehenden Ansprüchen definiert wird.