-
Die Erfindung betrifft ein Verfahren zur Auswertung von Sensordaten wenigstens eines Abstandssensors zur Vermessung einer Umgebung, wobei durch die Auswertung der für verschiedene Messvorgänge eines auszuwertenden Zeitintervalls jeweils als Punktewolken vorliegenden Abstandsdaten dynamische Objekte in der Umgebung in ihrer Trajektorie und ihrer geometrischen Hüllfläche beschreibende Ergebnisdaten ermittelt werden. Daneben betrifft die Erfindung eine Ermittlungseinrichtung, ein Computerprogramm und einen elektronisch lesbaren Datenträger.
-
Insbesondere im automotiven Bereich ist ein seit langem bekanntes und bearbeitetes Problem die Detektion und Nachverfolgung mehrerer bewegter, also dynamischer Objekte in einer Umgebung auf der Basis von Sensordaten eines Sensors, der diese Umgebung erfasst. Dabei können bekannte Vorgehensweisen in modellbasierte und modellfreie Ansätze unterschieden werden. Modellbasierte Ansätze nutzen bekannte Modellinformationen, beispielsweise Form und Größe, der dynamischen Objekte. Modellfreie Ansätze werten Bewegungshinweise aus und können folglich genutzt werden, um dynamische Objekte beliebiger Form und Größe zu detektieren und nachzuverfolgen.
-
Im Bereich der modellfreien Ansätze wurde beispielsweise von Wang et al. in „Simultaneous Localization, Mapping and Moving Object Tracking“, The International Journal of Robotics Research 26 (9), 2007, Seiten 889 - 916, vorgeschlagen, dynamische Objekte im Kontext von Objekten in dreidimensionalen Karten, beispielsweise Punktewolken, zu detektieren und nachzuverfolgen. Dabei wird die Verwendung von SLAM (Simultaneous Localization and Mapping) in Verbindung mit DATMO (Detection and Tracking of Moving Objects) vorgeschlagen, wobei stationäre Objekte und dynamische Objekte getrennt behandelt werden, um die Dimensionalität zu reduzieren. In einem Artikel von Luiten et al., „Track to Reconstruct and Reconstruct to Track“, IEEE Robotics and Automation Letters 5 (2), 2020, Seiten 1803 - 1810, wird vorgeschlagen, Mask-RCNN zu verwenden, um Objekte im Bildraum zu detektieren, welche dann im 3D-Raum rekonstruiert und nachverfolgt werden.
-
Bei Mask-RCNN handelt es sich um einen zum Verfahren letztlich externen Detektor der künstlichen Intelligenz, der entsprechend trainiert werden muss. Ein Problem im Stand der Technik ist auch die Erzeugung von hochqualitativen Trainings- und Testdaten für die Entwicklung von auf künstlicher Intelligenz basierenden Detektionsalgorithmen, die beispielsweise aus Kameradaten Information zu dynamischen Objekte bestimmen sollen. Dies ist besonders wesentlich für die Entwicklung von pilotierten bzw. autonomen Kraftfahrzeugen, die auf künstlicher Intelligenz basieren. Im Stand der Technik sind drei wesentliche Arten zur Erzeugung von Trainings- und Testdaten für auf künstlicher Intelligenz basierende Algorithmen, insbesondere für das pilotierte bzw. autonome Fahren, bekannt. Die erste Vorgehensweise umfasst die Verwendung einer Simulation zur Erzeugung von Trainingsdaten. Dies ist schnell und günstig, weist jedoch das Problem auf, dass zwischen der Simulation und der Realität eine Lücke verbleibt. Die zweite Vorgehensweise nutzt menschliche Beobachter, insbesondere in großer Menge. Hierbei werden die Daten der Öffentlichkeit, beispielsweise im Internet, vorgestellt und erhalten Annotierungen von bezahlten oder freiwilligen Personen. In diesem Zusammenhang kann auf den COCO-Datensatz verwiesen werden, vgl. hierzu Lin et al., „Microsoft COCO: Common objects in context“, European conference on computer vision, Springer, Cham, 2014, Seiten 740 - 755. Für automotive Anwendungen ist dieser Weg zum Labeln von Daten problematisch, da Datenschutz und die Sicherung der Qualität der Annotierungen schwierig sind.
-
Die dritte Vorgehensweise ist die Vertragsvergabe an eine Firma, die die Daten manuell labelt. Dies ist die häufigste Vorgehensweise für automotive Anwendungen. Dieses Verfahren stellt jedoch auch eine große Herausforderung dar, nachdem auch hier der Datenschutz sichergestellt sein muss und zudem hohe Kosten und hoher Zeitverbrauch bestehen. Mithin ist hier ein verbessertes Verfahren wünschenswert.
-
Nachteile aktueller Verfahren zur Ermittlung von dynamischer Objekte beschreibenden Ergebnisdaten aus Sensordaten existieren dahingehend, dass aktuelle, modellfreie Detektions- und Nachverfolgungsalgorithmen nicht die dreidimensionale Form der dynamischen Objekte rekonstruieren, wobei selbst der Ansatz von Luiten et al., vgl. den oben zitierten Artikel, einen externen Detektor nutzt. Ferner arbeiten aktuelle Detektions- und Nachverfolgungsalgorithmen nicht im Kontext von dreidimensionalen Karten, was jedoch im Hinblick auf Anwendungen im autonomen Fahren/pilotierten Fahren ein wichtiger und wesentlicher Aspekt ist. Aktuelle Ansätze können zudem nicht einfach verwendet werden, um Labels für dynamische Objekte ohne Nutzung einer externen Komponente der künstlichen Intelligenz zu generieren. Schließlich benötigen Verfahren, die eine vorab trainierte Komponente der künstlichen Intelligenz aufweisen, vorab gesammelte Trainingsdaten, deren Beschaffung häufig schwierig, zeitaufwändig und kostenaufwändig ist.
-
US 2019/0220989 A1 betrifft Systeme und Verfahren zur Erzeugung eines dreidimensionalen Weltmodells unter Nutzung von Geschwindigkeitsdaten eines Fahrzeugs. Unter Nutzung einer optischen Kamera werden dreidimensionale Strukturen rekonstruiert, während das Fahrzeug fährt, so dass kontinuierlich ein dreidimensionales Modell der Umgebung aktualisiert werden kann. Das dort beschriebene Führungssystem vollzieht kontinuierlich die Identifizierung und Nachverfolgung von Untergrund, statischen Objekten und dynamischen Objekten anhand von Echtzeit-Kamerabildern. Tiefenwerte können dabei durch einen Abschätzer für die Kamerabilder ermittelt werden. Auf diese Weise können aus den Kamerabildern bzw. darin detektierten Objekten Punktwolken der Objekte abgeleitet werden.
-
WO 2012/091814 A2 betrifft ein mobiles Robotersystem mit einem mobilen Roboter und einem Steuersystem zur Steuerung des Betriebs des Roboters. Dabei wird eine Roboterkarte unter Verwendung eines Sensorsystems des Roboters erzeugt, wobei insbesondere eine dreidimensionale Tiefenkarte einer aktuellen Szene bestimmt werden kann. Dabei werden Merkmalsdetektoren der künstlichen Intelligenz, insbesondere SIFT- oder SURF-Detektoren, eingesetzt, die auf zweidimensionalen optischen Bildern arbeiten. Derart detektierte Eigenschaften können über Bilder verfolgt werden.
-
WO 2020/064955 A1 betrifft ein Verfahren zum Annotieren von Frames einer zeitlichen Sequenz von Frames, die durch ein bewegtes Fahrzeug aufgenommen werden. Es wird ein dreidimensionales Straßenmodell ermittelt und es werden Annotierungsdaten empfangen, die die dreidimensionale Position eines dynamischen Objekts für einen ersten Frame anzeigen. Es werden zweite Annotierungsdaten zum Markieren des dynamischen Objekts in wenigstens einem zweiten Frame erzeugt, indem angenommen wird, dass sich das dynamische Objekt entlang eines erwarteten Pfades bewegt, der aus der dreidimensionalen Position und dem dreidimensionalen Straßenmodell abgeleitet wird. Die dreidimensionale Lokalisierung des dynamischen Objekts erfolgt dabei manuell oder basierend auf künstlicher Intelligenz für den ersten Frame.
-
Der Erfindung liegt daher die Aufgabe zugrunde, ein demgegenüber verbessertes, insbesondere mit wenigen Daten, wenigen Grundannahmen und ohne externen Detektor auskommendes Verfahren zur Ermittlung von dreidimensionalen Form- und Trajektorieninformationen sich bewegender Objekte in der Umgebung anzugeben.
-
Zur Lösung dieser Aufgabe sind erfindungsgemäß ein Verfahren, eine Ermittlungseinrichtung, ein Computerprogramm und ein elektronisch lesbarer Datenträger gemäß den unabhängigen Patentansprüchen vorgesehen. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.
-
Ein Verfahren der eingangs genannten Art umfasst erfindungsgemäß folgende Schritte:
- - Zusammenfassen der mit einem Zeitstempel versehenen Punktewolken der einzelnen Messvorgänge zu einer vierdimensionalen Punktewolke,
- - Auffinden von aufgrund einer möglichen Dynamik entlang der Zeitachse abweichenden Ausreißerpunkten durch Vergleich zeitlich benachbarter Punkte der vierdimensionalen Punktewolke,
- - Ermitteln von wenigstens einem einem potentiellen dynamischen Objekt zuzuordnenden räumlichen Cluster von Ausreißerpunkten,
- - zeitliches und räumliches Nachverfolgen und Ergänzen des wenigstens einen räumlichen Clusters in der vierdimensionalen Punktewolke, wobei als Ergebnis der Nachverfolgung und Ergänzung die Trajektorie und die geometrische Hüllfläche des dem Cluster zugeordneten dynamischen Objekts als Ergebnisdaten erhalten werden.
-
Die vorliegende Erfindung benötigt als Datenbasis also lediglich dreidimensionale Punkte, die durch ein oder mehrere Abstandssensoren (Tiefensensoren) über ein bestimmtes Zeitintervall mit mehreren Messvorgängen, beispielsweise 5 bis 30 Messvorgängen, aufgenommen wurden. Bei einer Dauer eines Messzyklus von beispielsweise 0,1 Sekunden entspricht dies einem Zeitraum von 0,5 bis 3 Sekunden. Fasst man nun die dreidimensionalen Punkte, welche jeweils eine dreidimensionale Punktewolke, die in einem Messvorgang entsteht, bilden, zusammen, kann eine zusammengefasste, vierdimensionale Punktewolke entstehen, die die Struktur der aufgenommenen Umgebung abbildet. Dabei ist die der Erfindung zugrunde liegende Idee grundsätzlich unabhängig von der verwendeten Art des Abstandssensors, nachdem mit jedem Abstandssensor gearbeitet werden kann, der Abstandswerte mit einem Zeitstempel liefert. Zur Erläuterung und rein beispielhaft kann als Abstandssensor ein LIDAR-Sensor verwendet werden, wobei auch andere dreidimensionale Abstandssensoren eingesetzt werden können, beispielsweise 3D-Kameras, Radarsensoren und dergleichen. Dabei kann statt dem Begriff des „Abstands“ auch der Begriff der „Tiefe“ verwendet werden.
-
Dynamische Objekte bezeichnen (entlang einer Trajektorie) bewegte Objekte, welche, wie noch dargelegt werden wird, starr sein können, aber nicht zwangsläufig vollständig starr sein müssen.
-
Der grundlegende Gedanke der vorliegenden Erfindung ist es nun, dass man durch Betrachtung der zusammengesetzten, vierdimensionalen Punktewolke feststellen kann, dass statische Bestandteile der Umgebung, beispielsweise Gebäude, Bäume, Pfosten, Verkehrsschilder, geparkte Kraftfahrzeuge und dergleichen, deutlich sichtbar sind, nachdem jede Oberfläche an derselben Position mehrfach, also in mehreren Messvorgängen, aufgenommen wurde. Wird der Abstandssensor bewegt, wird die Oberfläche sogar unter unterschiedlichen Blickwinkeln und von unterschiedlichen Positionen aus aufgenommen. Diese mehrfach aufgenommenen Oberflächen liegen letztlich übereinander bzw. ergänzen sich bei anderen Blickwinkeln. Auf der anderen Seite wirken Oberflächen von Objekten, die sich durch die Umgebung bewegen, mithin dynamischen Objekten, verzerrt oder können noch nicht einmal als Oberflächen erkannt werden, nachdem sich ihre Position innerhalb des Zeitintervalls zwischen verschiedenen Messvorgängen, beispielsweise verschiedenen LIDAR-Scans, verändert hat. In der Folge können Punkte derselben Oberfläche desselben dynamischen Objekts an sehr unterschiedlichen Orten in der zusammengefassten, vierdimensionalen Punktewolke auftauchen, abhängig von der Trajektorie, insbesondere der Geschwindigkeit, des Objekts. Im Vergleich zu vermessenen Punkten von statischen Oberflächen in der Umgebung wirken diese Punkte dynamischer Objekte nun wie Ausreißer, da beispielsweise keine passenden zeitlichen Nachbarn existieren.
-
Aufgrund der hier beschriebenen neuen Ansätze ist es nichtsdestotrotz möglich, die Trajektorie sowie die Größe und Struktur (dreidimensionale Form bzw. dreidimensionale Hüllkurve) sich bewegender Objekte aus Sensordaten von Abstandssensoren zu rekonstruieren, solange die Trajektorie der dynamischen Objekte wenigstens zu einem bestimmten Grad vorhersagbar ist, mithin eine bestimmte Glätte ohne auftretende Sprünge aufweist, was bei natürlich vorkommenden, sensorisch im Wesentlichen kontinuierlich aufgenommen dynamischen Objekten üblicherweise der Fall ist.
-
Um die Ergebnisdaten für wenigstens ein in der Umgebung vorhandenes dynamisches Objekt zu ermitteln, wird die räumlich-zeitliche Natur der Aufnahme, insbesondere der zusammengefassten vierdimensionalen Punktewolke, ausgenutzt. Es wird von der Beobachtung ausgegangen, dass jeder aufgenommene Abstandspunkt nicht nur durch eine dreidimensionale Koordinate eines Punktes im Raum definiert ist, sondern auch einen Zeitstempel aufweist. Daraus folgt, dass dann, wenn die Trajektorie eines sich bewegenden Objekts genau bekannt ist, seine Bewegung kompensiert werden könnte und jeder gemessene Punkt des dynamischen Objekts dem korrekten Anteil seiner Oberfläche zugeordnet werden kann, so dass die dreidimensionale Hüllfläche und somit die Struktur des dynamischen Objekts rekonstruiert werden kann. Nimmt man anders herum an, dass die Trajektorie des dynamischen Objekts hinreichend glatt ist und verwendet man eine initiale Detektion des dynamischen Objekts sowie ein abgeschätztes Wissen über seine Größe, kann das dynamische Objekt über das Zeitintervall nachverfolgt werden, so dass die Trajektorie bestimmt wird. Im Rahmen der vorliegenden Erfindung wird, wie noch genauer beschrieben ist, eine iterative Verfeinerung sowohl der dreidimensionalen Struktur, also der geometrischen Hüllfläche, als auch der Trajektorie vorgeschlagen, was es ermöglicht, eine genaue räumlich-zeitliche Repräsentation sich bewegender Objekte in Sensordaten eines Abstandssensors zu erhalten.
-
Dazu wird nach Erzeugung der vierdimensionalen, zusammengefassten Punktewolke vorgeschlagen, aufgrund einer möglichen Dynamik entlang der Zeitachse abweichende Ausreißerpunkte durch Vergleich zeitlich benachbarter Punkte der vierdimensionalen Punktewolke aufzufinden, wobei bei Vorliegen eines räumlichen Clusters von Ausreißerpunkten davon ausgegangen werden kann, dass ein potentielles dynamisches, also sich bewegendes Objekt vorliegt, welches zeitlich und räumlich nachverfolgt und ergänzt werden kann. Das bedeutet, die Vorgehensweise gemäß der vorliegenden Erfindung benötigt keine externen Detektoren, insbesondere keine vortrainierten neuronalen Netzwerke. Wird beispielsweise das Vorgehen im Artikel von Luiten et al., der oben zitiert wurde, betrachtet, wird ein neuronales Netz zur Detektierung von Objekten in Kamerabildern verwendet. Dieses neuronale Netz muss im Voraus trainiert werden, so dass gelabelte Trainingsdaten der entsprechenden Art von Objekten notwendig sind. In diesem speziellen Fall würden die benötigten Trainingsdaten eine große Menge von Bildern umfassen, in denen gelabelte Informationen zu Fahrzeugen auf einer Straße vorhanden sind. Um eine gute Leistungsfähigkeit des neuronalen Netzes zu erhalten, müssten diese Daten idealerweise unter Verwendung derselben Kamera wie die im Zielsystem aufgenommen werden. Wie eingangs bereits erläutert wurde, stellen sich bei der Sammlung solcher Trainingsdaten und dem Labein solcher Trainingsdaten vielfältig Probleme und es werden zusätzliche Kosten erzeugt. Darüber hinaus muss immer dann, wenn das Kameramodell des Systems gewechselt wird, das neuronale Netzwerk neu trainiert werden, oder die Detektionsgenauigkeit und somit die Leistungsfähigkeit des Systems könnten stark absinken.
-
Demgegenüber hängt der hier vorgeschlagene Ansatz nicht von einem vorab trainierten Detektionsalgorithmus wie einem neuronalen Netz, einem Random Forest oder dergleichen ab. Es kann ohne die Notwendigkeit für zuvor gesammelte Trainingsdaten eingesetzt werden. Es wird mithin ein vollständig unüberwachtes Verfahren beschrieben, welches eingesetzt werden kann, um in beliebigen Punktewolken von Abstandssensoren dreidimensionale Objekte ohne Vorwissen zu detektieren und nachzuverfolgen. Insbesondere ist, wie noch genauer erläutert werden wird, das Verfahren geeignet, Trainingsdaten für solche Bildverarbeitungsalgorithmen der künstlichen Intelligenz auf einfache und kostengünstige Weise bereitzustellen, die dreidimensionale Objekte in Bilddaten einer Kamera detektieren sollen. Im Hinblick auf eine derartige Ausgestaltung kann beispielsweise die Nutzung von Vorgehensweisen wie durch Luiten et al. beschrieben erst sinnvoll ermöglicht werden, indem ein auf Basis der vorliegenden Erfindung trainierter Bildverarbeitungsalgorithmus der künstlichen Intelligenz zur Detektion von dynamischen Objekten in Bilddaten eingesetzt werden kann.
-
Mit besonderem Vorteil kann die vorliegende Erfindung ausschließlich auf Sensordaten eines Abstandssensors, insbesondere sogar ausschließlich auf Tiefeninformationen, basierend ausgeführt werden. Es wird mithin keine weitere Sensormodalität, wie beispielsweise Kamerabilder, benötigt. Dies erlaubt die Anwendbarkeit der vorliegenden Erfindung in Systemen, in denen Kamerabilder nicht verfügbar sind oder aus anderen Gründen nicht verwendet werden können. Werden beispielsweise im Stand der Technik Kamerabilder und Sensordaten eines Abstandssensors gemeinsam verwendet, müssen die Position und Orientierung der Kamera in Bezug auf den Abstandssensor kalibriert werden, um Kamerabilder zu erhalten, die mit den gemessenen Punktewolken registriert sind. Jedoch ist die akkurate Registrierung von Kamera zum Abstandssensor nicht einfach und üblicherweise zeitaufwändig. Hierzu kommt, dass die Nutzung von Kamerabildern eine hochgenaue Synchronisierung zwischen der Kamera und dem Abstandssensor benötigt. Dies bedeutet wiederum, dass zusätzliche Hardware und/oder Software zur Zeitsynchronisierung und zur Aufnahme genauer Zeitstempel für die Kamerabilder benötigt wird. Sowohl die Kalibrierung von Kamera zu Abstandssensor als auch die Synchronisierung von Kamera zu Abstandssensor erzeugen mithin zusätzlichen Aufwand und zusätzliche Systemkomplexität, die im Rahmen des erfindungsgemäßen Ansatzes vermieden werden können. Auf diese Weise reduziert der erfindungsgemäße Ansatz die Komplexität des Gesamtsystems, die Fehleranfälligkeit sowie Einrichtungs- und Wartungsaufwand und Kosten.
-
Dabei ist die Erfindung, wie bereits angedeutet, in einer Vielzahl von Anwendungsgebieten einsetzbar, welche neben der Generierung von Trainingsdaten für Bildverarbeitungsalgorithmen der künstlichen Intelligenz bzw. sonstige Auswertungsalgorithmen der künstlichen Intelligenz auch den Echtzeiteinsatz in wenigstens teilweise automatisch betriebenen Kraftfahrzeugen sowie Kalibrierungsaufgaben, insbesondere am Bandende für Kraftfahrzeuge, umfassen.
-
Je nach Anwendungsgebiet sind Ausgestaltungen denkbar, in denen ein winkelmäßig in der horizontalen Ebene eingeschränkter Erfassungsbereich des wenigstens einen Abstandssensors ausreichend ist. Besonders vorteilhaft ist es jedoch, insbesondere bei Nutzung wenigstens eines Abstandssensors eines Kraftfahrzeugs, wenn während eines insbesondere als Scanvorgang ausgeführten Messvorgangs ein 360°-Radius um den wenigstens einen Abstandssensor vermessen wird. Bei Kraftfahrzeugen ist beispielsweise ein LIDAR-Sensor denkbar, der im Dachbereich des Kraftfahrzeugs angeordnet sein kann und die Umgebung in einem 360°-Radius abscannt. Selbstverständlicherweise können zur vollständigen Abdeckung der Umgebung auch mehrere Abstandssensoren, beispielsweise LIDAR-Sensoren, eingesetzt werden, die außen am Kraftfahrzeug verteilt jeweils Teil-Winkelbereiche abdecken, insbesondere im Fall von LIDAR-Sensoren durch Abscannen.
-
Beim Zusammenfassen der dreidimensionalen Punktewolken der einzelnen Messvorgänge des Zeitintervalls zu der zusammengefassten, vierdimensionalen Punktewolke ist dann, wenn der Abstandssensor, beispielsweise aufgrund einer Montage an einem Kraftfahrzeug, bewegt wird, die Bewegung des Abstandssensors entsprechend zu berücksichtigen. Mit anderen Worten kann vorgesehen sein, dass bei Verwendung eines bewegten, insbesondere in einem Kraftfahrzeug verbauten Abstandssensors die Bewegung beschreibende Bewegungsdaten ermittelt und bei der Ermittlung der vierdimensionalen Punktewolke zur Kompensation der Bewegung verwendet werden. Eine derartige Bewegungserfassung und -kompensation ist im Stand der Technik weitgehend bekannt und wird üblicherweise unter dem Akronym SLAM (Simultaneous Localization and Mapping) zusammengefasst. Mit anderen Worten kann die Eigenbewegung des Abstandssensors in einem SLAM-Prozess kompensiert werden, um eine äußerst genaue vierdimensionale Punktewolke der Umgebung zu erhalten. Die Bewegungsdaten können dabei eine lineare Geschwindigkeit und/oder Winkelgeschwindigkeit und/oder einen Gierwinkel und/oder einen Nickwinkel und/oder einen Rollwinkel umfassen und/oder von wenigstens einem Inertialsensor, beispielsweise in einer Inertialplattform eines Kraftfahrzeugs, erhalten werden. Die Bewegungsdaten können verwendet werden, um gemessene Punktkoordinaten entsprechend der Position und Orientierung (Pose) des Abstandssensors bzw. Kraftfahrzeugs zum Zeitpunkt der Messung zu korrigieren.
-
Eine zweckmäßige Weiterbildung der Erfindung in diesem Zusammenhang sieht vor, dass zur genaueren Bestimmung der Bewegungsdaten, insbesondere iterativ, basierend auf den ursprünglichen Bewegungsdaten durch einen geometrischen Optimierungsprozess, insbesondere in einem ICP-Verfahren, verbleibende Abweichungen zwischen insbesondere statischen Anteilen der Punktewolken der einzelnen Messvorgänge ermittelt und/oder minimiert werden. Die Genauigkeit der Punktewolke kann also durch geometrische Optimierungsmaßnahmen wie ICP (Iterative Closest Point) verfeinert werden, wobei insbesondere verbesserte Abschätzungen der Eigenbewegung des Abstandssensors hergeleitet werden können. Durch optionale Iteration dieser Schritte lässt sich eine deutliche Verbesserung der Eigenbewegungsabschätzung und somit der zusammengefassten vierdimensionalen Punktewolke erreichen, welche somit genauer bestimmt ist. Dabei wird davon ausgegangen, dass der größte Teil der vermessenen Punkte zu statischen Objekten gehört, so dass keine tatsächliche Klassifizierung stattfinden muss.
-
Eine besonders bevorzugte Ausgestaltung der vorliegenden Erfindung sieht vor, dass zu einer Bodenfläche gehörende Punkte in der vierdimensionalen Punktewolke identifiziert und aus der Punktewolke entfernt werden. Es wird mithin ein Bodenoberflächenmodell abgeschätzt, so dass Punkte, die zur Bodenoberfläche gehören, aus der Punktewolke entfernt werden. Die Entfernung von Punkten des Bodens hat den Vorteil, dass Objekte in den Punktewolken besser erkennbar und clusterbar sind, so dass eine verbesserte, insbesondere robustere Ausführung des Verfahrens ermöglicht wird. Konkret kann hierbei vorgesehen sein, dass zur Identifikation von zu der Bodenfläche gehörenden Punkten flache Bodensegmente in die vierdimensionale Punktewolke eingefittet werden und/oder ein Klassifizierungsalgorithmus der künstlichen Intelligenz, insbesondere ein neuronales Netz, und/oder, insbesondere bei einem unbeweglich montierten Abstandssensor, ein Bodenmodell aus Vorgabeinformationen verwendet werden. Es ist also beispielsweise denkbar, ein Bodenoberflächenmodell durch das Anfitten von ebenen Bodensegmenten in der vierdimensionalen Punktewolke zu ermitteln. Auch möglich ist es grundsätzlich, Bodenpunkte anhand eines neuronalen Netzes zu identifizieren. Insbesondere im Fall eines statisch befestigten Abstandssensors ist es selbstverständlich auch denkbar, Vorgabeinformationen, beispielsweise in Form eines Bodenmodells, zu verwenden, nachdem die Bodensituation in der Umgebung bekannt ist.
-
Vorzugsweise kann zum Auffinden der Ausreißerpunkte für die Punkte der vierdimensionalen Punktewolke überprüft werden, ob sie einen übereinstimmenden zeitlichen Nachbarn aufweisen. Weist ein Punkt der vierdimensionalen Punktewolke keinen entsprechenden zeitlichen Nachbar auf, ist dies ein Hinweis auf ein sich bewegendes Objekt, welches an diesem Ort wahrscheinlicher vorliegt als die statische Umgebung bzw. Bodenpunkte. Mithin kann für die Punkte der vierdimensionalen Punktewolke jeweils überprüft werden, ob ein übereinstimmender zeitlicher Nachbar vorhanden ist, wobei zur Kennzeichnung als Ausreißerpunkt eine bestimmte Abweichung vorausgesetzt werden kann, welche insbesondere auch über mehrere zeitliche Nachbarn betrachtet werden kann, so dass beispielsweise auch dann, wenn zu allen Messvorgängen außer einem zumindest im Wesentlichen übereinstimmende Punkte vorliegen, auch auf einen einmaligen Messfehler geschlossen werden kann. Das bedeutet, Kriterien, unter denen ein Punkt der vierdimensionalen Punktewolke als Ausreißer markiert wird, können in der konkreten Umsetzung unterschiedlich gewählt werden, sind jedoch jeweils von einer Betrachtung der zeitlichen Nachbarschaft abhängig. Dabei sei darauf hingewiesen, dass der erhaltene Satz von Ausreißerpunkten nicht zwangsläufig alle Punkte, die auf dynamische Objekte zurückgehen, enthalten muss. Auf der anderen Seite können auch Punkte, die zur statischen Umgebung gehören, falsch klassifiziert werden und im Satz der Ausreißerpunkte liegen.
-
Mit besonderem Vorteil kann bei der Überprüfung auf übereinstimmende zeitliche Nachbarn neben dem Abstand auch wenigstens eine weitere in den Sensordaten enthaltene Sensorinformation verwendet werden, insbesondere eine Farbe und/oder eine Reflektanz. Übliche Abstandssensoren, beispielsweise 3D-Kameras und/oder LIDAR-Sensoren, liefern auch weitere Sensorinformationen, mithin Sensordaten, für die jeweiligen Punkte der Punktewolken, die in den einzelnen Messvorgängen enthalten werden. Beispielsweise kann es sich dabei bei optischer Erfassung um eine Farbe handeln, bei LIDAR-Sensoren auch um eine Reflektanz. Letztlich können durch Berücksichtigung solcher zusätzlicher Kriterien auch Veränderungen beobachtet werden, bei denen sich zwar der Abstand - beispielsweise aufgrund einer Parallelbewegung einer Fläche - nicht verändert, aber auf der Oberfläche selbst Besonderheiten vorhanden sind, die zeigen, dass nun eine andere Stelle der Oberfläche reflektiert als im vorangehenden Zeitschritt, mithin Messvorgang. So können Ausreißerpunkte verlässlicher und robuster auch in Sonderfällen detektiert werden, wobei weiterhin lediglich Daten des Abstandssensors selbst benötigt werden.
-
Liegt der Satz von Ausreißerpunkten der vierdimensionalen, zusammengefassten Punktewolke vor, können darin räumliche Cluster, mithin örtlich benachbarte Ausreißerpunkte, festgestellt werden, welche durch ein sich bewegendes Objekt entstanden sein können. Beispielsweise kann hier ein Schwellwert festgelegt werden, um einzelne Messfehler ausschließen zu können, so dass ein Cluster beispielsweise aus wenigstens 5 bis 15, insbesondere wenigstens 10, Ausreißerpunkten bestehen sollte.
-
In einer zweckmäßigen Weiterbildung des erfindungsgemäßen Verfahrens kann in diesem Zusammenhang vorgesehen sein, dass für jedes räumliche Cluster von Ausreißerpunkten das Cluster zunächst, insbesondere unter Ergänzung weiterer zu dem potentiellen dynamischen Objekt gehörender, nicht als Ausreißerpunkte klassifizierter Punkte, innerhalb der vierdimensionalen Punktewolke lokalisiert wird. Nachdem ein geometrisches Cluster von Punkten in dem Satz von bestimmten Ausreißerpunkten aufgefunden wurde, kann mithin vorgesehen sein, das entsprechende Cluster in dem kompletten Satz von insbesondere Nicht-Bodenpunkten, also in der vierdimensionalen zusammengefassten Punktewolke, zu identifizieren, so dass beispielsweise nicht als Ausreißerpunkte klassifizierte Punkte bereits aufgenommen werden können, wenn sie innerhalb der geometrischen Grenzen des betrachteten räumlichen Clusters liegen. Auf diese Weise können auch Punkte berücksichtigt werden, die zwar zu einem dynamischen, sich bewegenden Objekt gehören, jedoch nicht als Ausreißerpunkte klassifiziert wurden.
-
Vorzugsweise kann für jedes räumliche Cluster das Cluster gemäß der Zeitstempel in Zeitscheiben aufgeteilt werden, wobei ein Satz aufeinanderfolgender Zeitscheiben aufgesucht wird, der mit einem kontinuierlichen Bewegungsmodell, insbesondere zumindest im Wesentlichen konstanter Geschwindigkeit und Richtung für einen gegenüber dem Zeitintervall beschränkten Zeitabschnitt, konsistent ist. Mit anderen Worten bedeutet dies, dass das zunächst vierdimensionale räumliche Cluster, nachdem Punkte unterschiedlicher Zeitstempel in dem Cluster enthalten sind, in Zeitscheiben aufgespaltet wird, das bedeutet, Gruppen von Punkten, die während einem einzelnen Messvorgang, beispielsweise einer einfachen Rotation eines LIDAR-Sensors, aufgenommen wurden. Danach wird ein Satz von Zeitscheiben aufgesucht, für den die darin enthaltenen und beschriebenen Punkte, insbesondere also deren zeitliches Verhalten, durch ein kontinuierliches Objekt-Bewegungsmodell für den Zeitabschnitt, zu dem die Zeitscheiben korrespondieren, abgebildet werden kann. Ein derartiges einfaches, kontinuierliches Bewegungsmodell kann eine zumindest im Wesentlichen konstante Geschwindigkeit und Richtung während des Zeitabschnitts annehmen. Dem liegt der Gedanke zugrunde, dass bei hinreichender Glätte des Bewegungsablaufs der dynamischen Objekte eine zumindest kurzzeitige lineare Näherung denkbar ist, die dann zumindest im Wesentlichen durch die Punkte des Clusters abgebildet sein sollte. Letztlich wird also überprüft, ob unter Annahme des Bewegungsmodells für den Zeitabschnitt übereinstimmende Punkte für den nächsten Messvorgang an mit dem Bewegungsmodell übereinstimmenden Positionen für zumindest einem Großteil der Punkte des Clusters aufgefunden werden können.
-
Ein so aufgefundener Satz von Zeitscheiben eines Zeitabschnitts gemeinsam mit dem kontinuierlichen Bewegungsmodell für das dynamische Objekt kann die Grundlage für die nun stattfindende hauptsächliche Nachverfolgung und Ergänzung bilden.
-
Mithin sieht eine vorteilhafte Weiterbildung der vorliegenden Erfindung vor, dass, insbesondere iterativ, zum zeitlichen und räumlichen Nachverfolgen und Ergänzen der durch das Bewegungsmodell gegebene Trajektorienabschnitt zeitlich unter Aufnahme passender Punkte unter den Ausreißern erweitert wird, wobei an das Erweiterungsergebnis die Trajektorie und die geometrische Hüllfläche angefittet werden. Das bedeutet, der Trajektorienabschnitt, der durch das Bewegungsmodell beschrieben wird, wird in beiden Richtungen zeitlich fortgesetzt, um das dynamische Objekt bzw. Cluster nachzuverfolgen und gegebenenfalls auch zu ergänzen, wenn passende, übereinstimmende Punkte in der vierdimensionalen Punktewolke, die noch nicht Teil des räumlichen Clusters sind, aufgefunden werden, wobei dies zunächst auch eingeschränkt auf die Ausreißerpunkte erfolgen kann. Dabei kann weiterhin davon ausgegangen werden, dass eine gewisse Glätte des Bewegungsablaufs gegeben ist, mithin je nach Zeitauflösung nur kleine Veränderungen in Geschwindigkeit und Orientierung gegeben sind. In diesem Rahmen können auch bereits eine erste Annahme für die Trajektorie und die dreidimensionale Hüllfläche (bounding box) angefittet werden, wobei dieser Prozess zweckmäßigerweise fortgesetzt wird, bis keine weiteren Punkte eingesammelt werden können.
-
Dabei sei an dieser Stelle noch angemerkt, dass das Nachverfolgen und Ergänzen im Rahmen der vorliegenden Erfindung im Allgemeinen von der Annahme eines starren dynamischen Objekts ausgehen kann. Insbesondere im automotiven Bereich können viele bewegte Objekte, insbesondere eine Vielzahl anderer Verkehrsteilnehmer, als zumindest im Wesentlichen starr angenommen werden, so dass die Annahme in jedem Fall zutrifft. Bei der praktischen Erprobung der vorliegenden Erfindung hat sich jedoch gezeigt, dass selbst nicht vollständig starr bewegte Objekte wie Fußgänger durch die erfindungsgemäße Auswertung mit einer hohen Verlässlichkeit erfasst und nachverfolgt werden können. Durch die Annahme einer starren Objektbewegung ist eine deutlich vereinfachte Nachverfolgung und Ergänzung in der vierdimensionalen Punktewolke möglich, was das Verfahren robuster, verlässlicher und einfacher umsetzbar macht.
-
Zurückkehrend zum konkreten Ausführungsbeispiel, welches als Initialannahme ein Bewegungsmodell in einem Zeitabschnitt nutzt, kann hinsichtlich des Fittens der Trajektorie und der Hüllfläche konkret vorgesehen sein, dass entlang der gefitteten Trajektorie alle Nicht-Bodenpunkte der gefitteten Hüllfläche eingesammelt werden und/oder dass anhand der Trajektorie und der Hüllfläche eine Objektpunktewolke des dynamischen Objekts ermittelt wird, wonach durch geometrische Optimierungsprozesse, insbesondere in einem ICP-Verfahren, die Genauigkeit der Objektpunktewolke und somit der Ergebnisdaten verbessert wird. Anders ausgedrückt kann eine gegenseitige Verbesserung und Überprüfung hinsichtlich der Trajektorie und der dreidimensionalen Hüllfläche des dynamischen Objekts, besonders bevorzugt iterativ, derart erfolgen, dass möglichst genau das durch die Sensordaten beschriebene Messergebnis abgebildet wird. So kann beispielsweise entlang der aktuell gefitteten Trajektorie und Hüllfläche der ursprünglich gesammelten Punkte des Clusters gegangen werden und alle insbesondere Nicht-Bodenpunkte können hinzugefügt werden, insbesondere also Punkte, die nicht als Ausreißerpunkte markiert wurden, aber in Zeit und Raum übereinstimmen. Optional kann eine Objektpunktewolke des dynamischen Objekts anhand der Trajektorie und der Hüllfläche ermittelt werden, welche mit den als zum Cluster gehörenden Punkten der vierdimensionalen Punktewolke verglichen werden können. Auf diese Weise können verbleibende Abweichungen festgestellt werden. Erneut können geometrische Optimierungsmaßnahmen, beispielsweise ein ICP-Prozess, eingesetzt werden, um die Genauigkeit der Abschätzung zu verbessern. Hieraus können verbesserte Abschätzungen der Trajektorie und der Hüllfläche resultieren, aber auch Korrekturen an der vierdimensionalen Punktewolke an sich, die beispielsweise auf Messungenauigkeiten basieren können.
-
Mit besonderem Vorteil können so die Trajektorie und die Hüllfläche iterativ erweitert und optimiert werden, indem wiederholt Punkte entlang der Trajektorie gemäß der beschriebenen Schritte eingesammelt werden, die Punkte in einer gemeinsamen Bounding Box (Hüllfläche) angeordnet werden und die Trajektorie erneut und verbessert abgeschätzt wird. Es wird also ein iterativer gegenseitiger Verbesserungsprozess vorgeschlagen, der in einer hochqualitativen Ermittlung von Trajektorie und Hüllkurve des dynamischen Objekts resultiert.
-
In einer bevorzugten Weiterbildung der Erfindung kann vorgesehen sein, dass bei mehreren auffindbaren Clustern diese, mit dem größten Cluster beginnend zu dem kleinsten Cluster, nacheinander verarbeitet werden, wonach die zu dem dynamischen Objekt des verarbeiteten Clusters gehörenden Punkte aus der vierdimensionalen Punktewolke entfernt werden. Auf diese Weise wird mithin die Zahl zu berücksichtigender Punkte und auch Ausreißerpunkte sukzessive deutlich reduziert, was die Erkennung, Nachverfolgung und Ergänzung weiterer Cluster und somit dynamischer Objekte vereinfacht und verbessert.
-
Die Ergebnisdaten können, wie bereits angedeutet, auf vielfältige Weise im Rahmen der vorliegenden Erfindung angewendet werden. So kann in einer ersten Ausgestaltung der vorliegenden Erfindung vorgesehen sein, dass die Ergebnisdaten zur Annotierung von mit einem mit dem Abstandssensor registrierten Bildsensor, insbesondere einer Kamera, aufgenommenen Bilddaten verwendet werden, wobei die annotierten Bilddaten insbesondere als Trainingsdaten zum Trainieren eines Bildverarbeitungsalgorithmus der künstlichen Intelligenz zur Erkennung dynamischer Objekte in Bilddaten verwendet werden. Wie eingangs bereits erläutert wurde, stellt die Beschaffung von Trainingsdaten für Bildverarbeitungsalgorithmen der künstlichen Intelligenz bislang ein großes Problem dar. Dies kann deutlich vereinfacht bei schneller Ausführung verbessert werden, indem die Ergebnisdaten genutzt werden, um ein Labeling in Bilddaten einer mit dem Abstandssensor registrierten Kamera vorzunehmen, so dass die Bilddaten gemeinsam mit der Annotierung als Trainingsdaten verwendet werden können. Labels in Bilddaten können insbesondere die aus der Hüllfläche abgeleiteten Bounding Boxes von dynamischen Objekten, aber auch aus der Trajektorie abgeleitete Daten, beispielsweise relative Geschwindigkeiten und Positionen, umfassen.
-
In einer anderen konkreten Ausgestaltung kann vorgesehen sein, dass die Trajektorie der Ergebnisdaten zur Plausibilisierung und/oder Kalibrierung einer Eigenbewegungserfassung in einem dynamischen Objekt, welches sich durch den Erfassungsbereich des unbewegten Abstandssensors bewegt, verwendet werden. Dabei kann konkret vorgesehen sein, dass die durch die Eigenbewegungserfassung ermittelte Trajektorie und die Trajektorie der Ergebnisdaten mittels eines Ähnlichkeitsmaßes, insbesondere eines Cosinus-Ähnlichkeitsmaßes, verglichen werden. Mit anderen Worten kann beispielsweise die Bewegungstrajektorie eines Kraftfahrzeugs als dynamisches Objekt, dessen Eigenbewegungserfassung getestet werden soll, mithilfe des beschriebenen erfindungsgemäßen Verfahrens ermittelt werden. Aus der gemessenen Trajektorie können beispielsweise Geschwindigkeiten und Winkelgeschwindigkeiten ermittelt werden, wobei eine zweckmäßige Weiterbildung dieser Ausgestaltung vorsieht, die Trajektorie des Kraftfahrzeugs, die getestet werden soll, vorzudefinieren, um eine besonders gute Auswertung der Qualität der Signale zu erhalten. Berechnete Geschwindigkeiten und/oder Winkelgeschwindigkeiten können mit den Geschwindigkeiten und Winkelgeschwindigkeiten, die durch die Eigenbewegungserfassung ermittelt wurden, verglichen werden. Unter Verwendung eines Ähnlichkeitsmaßes, beispielsweise eines Cosinus-Ähnlichkeitsmaßes, ist es möglich, das Ergebnis zu quantifizieren. Je näher die durch die Eigenbewegungserfassung ermittelten Werte an den durch Auswertung der Sensordaten des Abstandssensors ermittelten Werten liegen, desto höhere Übereinstimmung zeigt das Ähnlichkeitsmaß an.
-
Um eine weiter verbesserte Beurteilung in diesem Kontext vorzunehmen, kann ferner vorgesehen sein, dass bei bekannten Abmessungen des dynamischen Objekts ein Genauigkeitswert für die Trajektorie der Ergebnisdaten durch Vergleich der Hüllfläche mit den bekannten Abmessungen ermittelt und bei der Plausibilisierung und/oder Kalibrierung berücksichtigt wird. Mit anderen Worten kann die Qualität der durch die Auswertung der Sensordaten des Abstandssensors erhaltenen Trajektorie anhand eines Rekonstruktionsfehlers quantifiziert werden, da es möglich ist, die ermittelte Hüllfläche des dynamischen Objekts, insbesondere Kraftfahrzeugs, mit bekannten Werten zu vergleichen. Beispielsweise kann eine Hüllfläche, die aus einem dreidimensionalen Modell des dynamischen Objekts ermittelt wurde, mit der Hüllfläche der Ergebnisdaten verglichen werden. Die Abweichung kann zur Quantifizierung der Qualität der gemessenen Trajektorie herangezogen werden. Diese wiederum kann dann ebenso in die Plausibilisierung und/oder Kalibrierung einfließen.
-
Ist der Abstandssensor, beispielsweise als LIDAR-Sensor, in einem Kraftfahrzeug verbaut, können die Ergebnisdaten selbstverständlich auch beim Betrieb von verschiedenen Fahrzeugsystemen, insbesondere bei der Realisierung von deren Funktionen, verwendet werden. Beispielsweise kann vorgesehen sein, dass der Abstandssensor in einem Kraftfahrzeug verbaut ist, welches wenigstens ein die Ergebnisdaten nutzendes Fahrzeugsystem, insbesondere ein zur wenigstens teilweise automatischen Führung des Kraftfahrzeugs ausgebildetes Fahrzeugführungssystem und/oder ein Sicherheitssystem, aufweist. Beispielsweise können die Ergebnisdaten zur Trajektorienplanung einer zur wenigstens teilweise automatischen Führung des Kraftfahrzeugs genutzten Funktion verwendet werden, nachdem dort Echtzeit-Posen, insbesondere umfassend Position, Geschwindigkeit und Orientierung, dynamischer Objekte in Bezug auf das eigene Kraftfahrzeug benötigt werden. Diese werden durch die Ergebnisdaten bereitgestellt, wobei sich gezeigt hat, dass bereits kurze Zeitintervalle, beispielsweise im Bereich von 0,5 bis 1 Sekunde, ausreichend sind, um robust dynamische Objekte, ihre Trajektorien und Hüllflächen aus den Sensordaten des wenigstens einen Abstandssensors zu bestimmen. Insbesondere kann hier auch ein gleitendes Zeitfenster als Zeitintervall verwendet werden, wobei Ergebnisdaten des vorherigen Zeitintervalls für das aktuelle Zeitintervall berücksichtigt werden können, beispielsweise zur entsprechenden Initialisierung bzw. zur Übernahme hinsichtlich gleicher Zeitscheiben/Messvorgänge. Die verlässliche, einfache und schnelle Datengewinnung anhand des erfindungsgemäßen Vorgehens erlaubt die flüssige und sichere Steuerung des eigenen Kraftfahrzeugs, insbesondere auch die Erzeugung mehrerer denkbarer Trajektorien mit hoher Genauigkeit, die von dem eigenen Kraftfahrzeug genutzt werden können. Mithin kann die Nachverfolgung und Rekonstruierung dynamischer Objekte gemäß dem hier beschriebenen Ansatz eine wesentliche Rolle in der Entwicklung auch für vollständig automatisch geführte Kraftfahrzeuge (autonome Kraftfahrzeuge) spielen.
-
Neben dem Verfahren betrifft die Erfindung auch eine Ermittlungseinrichtung, insbesondere in einem Kraftfahrzeug, aufweisend wenigstens einen Abstandssensor und eine zur Durchführung des erfindungsgemäßen Verfahrens ausgebildete Steuereinrichtung. Sämtliche Ausführungen bezüglich des erfindungsgemäßen Verfahrens lassen sich analog auf die Ermittlungseinrichtung übertragen, so dass mithin die bereits beschriebenen Vorteile auch für die Ermittlungseinrichtung erhalten werden. Ein Kraftfahrzeug mit einer solchen Ermittlungseinrichtung umfasst mithin den wenigstens einen Abstandssensor und die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildete Steuereinrichtung, welche beispielsweise als ein Steuergerät ausgebildet sein kann.
-
Allgemein gesagt kann die Steuereinrichtung wenigstens einen Prozessor und wenigstens ein Speichermittel aufweisen. Die verschiedenen Schritte des erfindungsgemäßen Verfahrens können durch entsprechende Funktionseinheiten umgesetzt werden, so dass die Steuereinrichtung beispielsweise eine Zusammenfassungseinheit zur Erzeugung der vierdimensionalen Punktewolke, eine Auffindungseinheit zur Ermittlung der Ausreißerpunkte, eine Ermittlungseinheit zur Ermittlung der räumlichen Cluster und eine Nachverfolgungseinheit zum zeitlichen und räumlichen Nachverfolgen und Ergänzen des wenigstens einen räumlichen Clusters in der vierdimensionalen Punktewolke umfassen kann. Über eine erste Schnittstelle der Steuereinrichtung können die Sensordaten von dem Abstandssensor erhalten werden; über eine zweite Schnittstelle der Steuereinrichtung können die Ergebnisdaten bereitgestellt werden. Selbstverständlich sind auch weitere Funktionseinheiten für weitere Schritte gemäß den hier beschriebenen Ausgestaltungen denkbar.
-
Ein erfindungsgemäßes Computerprogramm ist beispielsweise direkt in ein Speichermittel einer Steuereinrichtung einer Ermittlungseinrichtung ladbar und weist Programmmittel auf, um die Schritte eines erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm in der Steuereinrichtung der Ermittlungseinrichtung ausgeführt wird. Das Computerprogramm kann auf einem erfindungsgemäßen elektronisch lesbaren Datenträger gespeichert sein, welcher mithin darauf gespeicherte und elektronisch lesbare Steuerinformationen umfasst, welche zumindest ein erfindungsgemäßes Computerprogramm umfassen und derart ausgestaltet sind, dass sie bei Verwendung des Datenträgers in einer Steuereinrichtung einer Ermittlungseinrichtung ein erfindungsgemäßes Verfahren durchführen. Bei dem elektronisch lesbaren Datenträger kann es sich insbesondere um ein nicht transienten Datenträger handeln, beispielsweise eine CD-ROM.
-
Weitere Vorteile und Einzelheiten der vorliegenden Erfindung ergeben sich aus den im Folgenden beschriebenen Ausführungsbeispielen sowie anhand der Zeichnungen. Dabei zeigen:
- 1 einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
- 2 eine schematische Ansicht einer vierdimensionalen Punktewolke,
- 3 in der Punktewolke der 2 detektierte dynamische Objekte,
- 4 einen Ablaufplan zur Annotierung von Bilddaten unter Nutzung des erfindungsgemäßen Verfahrens,
- 5 eine Prinzipskizze zur Erläuterung einer Plausibilisierung und/oder Kalibrierung einer Eigenbewegungserfassung,
- 6 eine Prinzipskizze eines Kraftfahrzeugs, und
- 7 die funktionale Struktur einer Steuereinrichtung einer erfindungsgemäßen Ermittlungseinrichtung.
-
1 zeigt einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, in dem Sensordaten wenigstens eines Abstandssensors, der in seinem Erfassungsbereich eine Umgebung erfasst, ausgewertet werden, um dynamische, also bewegte, Objekte in der Umgebung zu identifizieren und ihre Trajektorie sowie ihre dreidimensionale Hüllfläche (Bounding-Box) zu bestimmen. Der Abstandssensor, welcher beispielsweise als ein LIDAR-Sensor ausgebildet sein kann, der während eines Messvorgangs seinen Erfassungsbereich abscannt, liefert für jeden Messvorgang durch Abstände definierte Punkte als Sensordaten, mithin eine Punktewolke von Oberflächenpunkten, die reflektiert haben, zu jedem Messvorgang. Dabei können in den Sensordaten auch weitere Sensorinformationen, beispielsweise eine Reflektanz, enthalten sein.
-
In einem Block 1 werden für ein Zeitintervall die Punktewolken der darin enthaltenen, aufeinanderfolgenden Messvorgänge zu einer vierdimensionalen Punktewolke zusammengefasst, in der jedem Punkt neben einer dreidimensionalen Position auch ein Zeitstempel, der den Messzeitpunkt beschreibt, zugeordnet ist. Beispielsweise kann ein Zeitintervall 5 bis 30 Messvorgänge, im Fall des LIDARs Scanvorgänge enthalten, wobei bei einer für einen LIDAR-Sensor typischen Dauer von 0,1 Sekunden pro Messvorgang das Zeitintervall mithin eine beispielhafte Länge von 0,5 bis 3 Sekunden aufweisen kann.
-
Die Schritte 2, 3 und 4 sind optional und werden nur benötigt, wenn der Abstandssensor während der Aufnahme der Sensordaten bewegt wurde, beispielsweise, indem er in einem sich bewegenden Kraftfahrzeug verbaut ist. Bei einem unbewegten, feststehenden Abstandssensor ist das Zusammenführen der einzelnen, dreidimensionalen Punktewolken zu einer vierdimensionalen Punktewolke aufgrund des gleichen Bezugssystems problemlos möglich.
-
Zur Korrektur einer Eigenbewegung des wenigstens einen Abstandssensors werden zunächst Bewegungsdaten, die eine lineare Geschwindigkeit, Winkelgeschwindigkeiten, Gierwinkel, Nickwinkel und Rollwinkel umfassen können und beispielsweise unter Verwendung eines Inertialsensors aufgenommen werden können, entgegengenommen und im Schritt 2 genutzt, um, wie im Stand der Technik grundsätzlich bekannt, die Bewegung zwischen den einzelnen Messvorgängen zu kompensieren. Ein derartiger Prozess wird auch als SLAM-Prozess (Simultaneous Localization and Mapping) bezeichnet. Die gemessenen Punktkoordinaten werden entsprechend der Position und Orientierung des Abstandssensors, insbesondere des Kraftfahrzeugs, zum Zeitpunkt der jeweiligen Messung korrigiert.
-
Die Schritte 3 und 4 sind selbst im Zusammenhang mit einem bewegten Abstandssensor optional und werden lediglich benötigt, wenn die Bewegungsdaten nicht mit hinreichender Verlässlichkeit erhalten werden können. Dann kann in einem Schritt 3 vorgesehen sein, eine geometrische Optimierung, beispielsweise mit Methoden wie ICP (Iterative Closest Point), vorzunehmen, wobei davon ausgegangen wird, dass ein Großteil der detektierten Punkte der vierdimensionalen Punktewolke statische Oberflächen betrifft. Dann kann nämlich die Korrektur gemäß der Bewegungsdaten angewandt werden und überprüft werden, wie nahe die Punkte aufeinanderfolgender Zeitschritte (Messvorgänge) tatsächlich beieinanderliegen. Durch ICP oder andere geometrische Optimierungsmaßnahmen können verbleibende Abweichungen, die auf Ungenauigkeiten der Bewegungsdaten hindeuten, bestimmt werden, so dass es in einem Schritt 4 möglich ist, eine verbesserte Abschätzung der die Eigenbewegung des Abstandssensors beschreibenden Bewegungsdaten herzuleiten. Gemäß dem Pfeil 5 kann dies optional iterativ zur weiteren Verbesserung erfolgen.
-
In dem hier gezeigten Ausführungsbeispiel werden in einem Vorbereitungsschritt 6 zudem den Boden, der ja statisch ist, zeigende Punkte aus der vierdimensionalen Punktewolke entfernt. Hierzu wird ein Bodenoberflächenmodell abgeschätzt, in dem ebene Bodensegmente angefittet werden und/oder Bodenpunkte unter Nutzung eines Klassifizierungsalgorithmus der künstlichen Intelligenz, insbesondere eines neuronalen Netzes, ermittelt werden. Bei einem unbewegten Abstandssensor kann ein Bodenmodell aus Vorgabeinformationen bereits vorhanden sein. Ist erst bekannt, welche Punkte der vierdimensionalen, zusammengefassten Punktewolke zu dem Boden gehören, können diese auch zur Vereinfachung der vierdimensionalen Punktewolke aus dieser entfernt werden, so dass Objekte leichter identifizierbar/ clusterbar sind.
-
2 zeigt rein schematisch, wie eine solche vierdimensionale, zusammengefasste Punktewolke 7 erscheinen kann. Dort ist beispielhaft als Umgebung ein Bereich einer Kreuzung 8 gezeigt, wobei die Straße von entsprechenden Gehsteigen (vgl. Kanten 9) begrenzt wird. Andere statische Objekte wie Randbebauung 10, Pfosten 11, Verkehrsschilder 12 und dergleichen sind vereinzelt beispielhaft angedeutet. Sie erscheinen scharf begrenzt, nachdem sie sich von Messvorgang zu Messvorgang nicht verändern und somit alle Messvorgänge Oberflächenpunkte an ihren entsprechenden Positionen zeigen. Jedoch befanden sich im Zeitintervall in der vermessenen Umgebung auch dynamische Objekte, die verwischt bzw. verzerrt erscheinen, wobei vorliegend drei Bereiche 13 gezeigt sind, in denen solche verzerrt wirkenden Oberflächen, die gegebenenfalls nicht einmal mehr als solche erkennbar sind, vorhanden sind.
-
Gemäß 1 werden in einem Schritt 14 solche auf Bewegungsprozesse hinweisenden Ausreißerpunkte in der vierdimensionalen, zusammengefassten Punktewolke 7 durch Überprüfung, ob übereinstimmende zeitliche Nachbarn vorliegen, identifiziert. Solche Ausreißerpunkte sind mithin bei Verwendung eines LIDAR-Sensors vermessene Reflexionspunkte, die zu einem bewegten Objekt gehören könnten. Neben den auf die Abstände zurückgehenden dreidimensionalen Koordinaten werden dabei vorliegend auch weitere Sensorinformationen, beispielsweise Farbe und/oder Reflektanz, berücksichtigt, um festzustellen, ob ein übereinstimmender zeitlicher Nachbar vorliegt. Ist dies nicht der Fall, wird der entsprechende Punkt als ein Ausreißerpunkt markiert.
-
Die Schrittgruppe 15 befasst sich sodann ausgehend von dem bestimmten Satz von Ausreißerpunkten mit der Lokalisierung eines Kandidaten für ein dynamisches Objekt. Dabei wird gemäß dem Schritt 16 das größte räumliche, mithin geometrische Cluster von Ausreißerpunkten in dem Satz von Ausreißerpunkten ermittelt, welches einen Grenzwert für eine Mindestanzahl an Ausreißerpunkten überschreitet. Dieser Grenzwert kann beispielsweise neun betragen. In einem Schritt 17 wird das korrespondierende Cluster in der vollständigen vierdimensionalen Punktewolke, aus der, wie beschrieben, die Bodenpunkte entfernt wurden, identifiziert. Dabei können bereits innerhalb des Clusters liegende, nicht als Ausreißerpunkte klassifizierte Punkte hinzugefügt werden.
-
In einem Schritt 18 wird das (aufgrund der Zeitstempel ja vierdimensionale) Cluster in Zeitscheiben aufgeteilt, wobei jede Zeitscheibe einem Messvorgang bzw. Zeitstempel entspricht. Mit anderen Worten enthält jede Zeitscheibe Gruppen von Punkten, die während eines einzigen Messvorgangs aufgenommen wurden, bei einem 360°-LIDAR-Sensor beispielsweise während einer einzigen Rotation.
-
In einem Schritt 19 wird dann ein Satz von zeitlich aufeinanderfolgenden Zeitscheiben eines Zeitabschnitts des Zeitintervalls gesucht, welcher konsistent mit einem kontinuierlichen Objekt-Bewegungsmodell ist. Dabei können beispielsweise für den Zeitabschnitt zumindest im Wesentlichen konstante Geschwindigkeit und Richtung angenommen werden. Letztlich entsteht hierdurch ein Trajektorienabschnitt für den Zeitabschnitt, der gemeinsam mit den bislang in dem Cluster enthaltenen Punkten als Ausgangspunkt für die in der Schrittgruppe 20 erfolgende Nachverfolgung und Ergänzung des dynamischen Objekts genutzt wird. Das bedeutet, der Kandidat für das dynamische Objekt, der durch den Trajektorienabschnitt und das räumliche Cluster beschrieben wird, wird in beiden Zeitrichtungen über Raum und Zeit nachverfolgt. Dabei wird in einem Schritt 21 der Trajektorienabschnitt in beiden zeitlichen Richtungen zunächst innerhalb des Satzes von Ausreißerpunkten erweitert, wodurch zusätzliche Ausreißerpunkte in das Cluster aufgenommen werden können. Dabei findet ein Wechselspiel zwischen drei Aspekten, wie in 1 angedeutet, statt, nämlich der Trajektorienerweiterung 22, dem Punkteeinsammeln 23 und dem Fitten 24 von Trajektorie und dreidimensionaler Hüllfläche des dynamischen Objekts. Dabei richtet sich beispielsweise die Erweiterung der Trajektorie selbstverständlich nach den in der entsprechenden Zeitscheibe verfügbaren Ausreißerpunkten derart, dass ein stimmiges Gesamtbild entsteht, wobei selbstverständlich nur die entsprechenden Punkte hinzugenommen werden und letztlich auch eine aktualisierte, zunehmend genauere Hüllfläche entsteht. Es werden also übereinstimmende Punkte unter den Ausreißerpunkten gesammelt, es wird eine Trajektorie und eine Hüllfläche gefittet, in beide Richtungen erweitert und diese Vorgehensweise so lange wiederholt, bis keine weiteren Punkte mehr gesammelt werden können.
-
Ergebnis des Schrittes 21 ist also eine auf die Ausreißerpunkte bezogene Trajektorie und Hüllfläche, welche nun noch weiter verfeinert werden soll. Dazu werden in einem Schritt 25 in der vollständigen vierdimensionalen Punktwolke 7 alle Punkte innerhalb der Hüllfläche entlang der Trajektorie eingesammelt. Auf diese Weise können auch Punkte aufgenommen werden, die nicht als Ausreißerpunkte markiert sind, aber dennoch in Raum und Zeit zu dem dynamischen Objekt passen.
-
Die nun folgenden Schritte 26 bis 28 sind wiederum optional, aber bevorzugt. In einem Schritt 26 wird eine Objektpunktewolke gemäß der Hüllfläche und der Trajektorie generiert, wobei innerhalb der Objektpunktewolke überprüft werden kann, ob tatsächlich die einander zugeordneten Punkte unterschiedlicher Zeitscheiben sich gemäß der bestimmten Trajektorie bewegen. Abweichungen können zur Korrektur dieser Objektpunktewolke eingesetzt werden.
-
Die Objektpunktewolke kann gemäß dem Schritt 27 auch genutzt werden, um zur Verbesserung der Objektpunktewolke bzw. der Trajektorie und der Hüllfläche geometrische Optimierungsprozesse, wie beispielsweise ein ICP-Verfahren, einzusetzen. Aus all diesen Beobachtungen folgt eine Verbesserung der Abschätzung der Trajektorie und der Hüllfläche gemäß Schritt 28, wobei diese Vorgänge gemäß dem Pfeil 29 iteriert werden können, bis keine weiteren Punkte entlang der Trajektorie bei Berücksichtigung der Hüllfläche aufgefunden werden.
-
Als Ergebnis der Schrittgruppe 20 werden mithin Ergebnisdaten, umfassend die Trajektorie und die Hüllfläche, für zunächst das größte Cluster bzw. das diesem zugeordnete dynamische Objekt erhalten. Diese werden in einem Schritt 30 gespeichert, wobei zudem die entsprechenden Punkte des Clusters aus dem Satz von Ausreißerpunkten und auch der vollständigen vierdimensionalen Punktwolke 7 entfernt werden. Danach wird in einem Schritt 31 überprüft, ob hinreichend viele Ausreißerpunkte übrig sind, um ein nächstkleineres Cluster bearbeiten zu können. Für dieses werden dann, wie eben beschrieben, wiederum Ergebnisdaten ermittelt. Dies wird letztlich fortgeführt, bis alle hinreichend großen Cluster gemäß dem Grenzwert bearbeitet sind, wonach in einem Schritt 32 die gesammelten Ergebnisdaten ausgegeben werden.
-
3 zeigt schematisch in der Kreuzung 8 der 2 (statische Objekte sind der Übersichtlichkeit halber weggelassen) die durch ihre Hüllfläche geometrisch dreidimensional beschriebenen dynamischen Objekte 33 sowie ihre Trajektorien 34 für die verschiedenen Bereiche 13 der 2. Wie sich gezeigt hat, wird, trotzdem von der Annahme einer starren Bewegung ausgegangen wird, durch das erfindungsgemäße Vorgehen auch ein Fußgänger (links oben) erkannt und nachverfolgt.
-
4 erläutert eine erste mögliche Verwendung der Ergebnisdaten. Dabei werden während des Zeitintervalls gemäß 4 neben den Sensordaten 35 des wenigstens einen Abstandssensors auch Bilddaten 60 einer Kamera aufgenommen. Aus den Sensordaten 35 werden gemäß dem erfindungsgemäßen Verfahren, hier der Einfachheit halber in einem einzigen Schritt 36 zusammengefasst, die Ergebnisdaten 37 ermittelt. Aufgrund einer Registrierung zwischen der Kamera und dem wenigstens einen Abstandssensor werden die Ergebnisdaten 37 nun genutzt, um die Bilddaten 60 hinsichtlich dynamischer Objekte in einem Schritt 38 zu annotieren. Neben der Markierung von zu einem dynamischen Objekt gehörenden Pixeln der Bilddaten 60 können auch weitere Annotierungen vorgenommen werden, beispielsweise die Geschwindigkeit aufgrund der in den Ergebnisdaten 37 enthaltenen Trajektorie 34. Ergebnis sind annotierte Bilddaten, die vorliegend als Trainingsdaten 39 in einem Schritt 40 verwendet werden, um einen Bildverarbeitungsalgorithmus der künstlichen Intelligenz, der in den Bilddaten 60 dynamischer Objekte auffinden soll, zu trainieren.
-
5 zeigt eine weitere Anwendung der erfindungsgemäßen Vorgehensweise. Dabei wird ein ortsfester, unbewegter Abstandssensor 41 verwendet, der eine eine Fahrbahn 42 enthaltende Umgebung überwacht. Ein dynamisches Objekt 33, hier ein Kraftfahrzeug 43, weist eine Eigenbewegungserfassungseinrichtung 44 auf, die kalibriert und/oder plausibilisiert werden soll. Bei dieser Anwendung werden nun Sensordaten des Abstandssensors 41 aufgenommen, während das Kraftfahrzeug 43 eine vorgegebene Testtrajektorie 45 abfährt. Wie oben beschrieben können aus den Sensordaten des Abstandssensors 41 als Ergebnisdaten die Hüllfläche des Kraftfahrzeugs 43 sowie die tatsächlich gefahrene Trajektorie 45 ermittelt werden, während weitere, die Trajektorie 45 beschreibende Eigenbewegungsdaten von der Eigenbewegungserfassungseinrichtung 44 des Kraftfahrzeugs 43, beispielsweise von einem Bussystem des Kraftfahrzeugs 43 abgreifbar, geliefert werden. Die Trajektorie 45 gemäß den Ergebnisdaten und die Trajektorie 45 gemäß den Eigenbewegungsdaten können nun verglichen werden, um die Qualität der Eigenbewegungserfassung zu beurteilen. Beispielsweise kann ein Cosinus-Ähnlichkeitsmaß verwendet werden.
-
Auch die Qualität der Ergebnisdaten, genauer von deren Trajektorie 45, kann beurteilt werden, nachdem die äußere 3D-Form des Kraftfahrzeugs 43 ebenso, beispielsweise in einem 3D-Modell bekannt ist. Die Hüllfläche der Ergebnisdaten kann mithin mit der 3D-Form aus dem 3D-Modell verglichen werden, um hieraus auf die Genauigkeit auch der Trajektorienermittlung zu schließen.
-
Auf diese Weise ist mithin eine Kalibrierungs-/Plausibilisierungsanordnung für eine Eigenbewegungserfassung realisiert. Der externe Abstandssensor 41 kann insbesondere ein LIDAR-Sensor sein.
-
Die Ergebnisdaten können auch in verschiedenen Funktionen eines Kraftfahrzeugs verwendet werden, wenn dieses eine Ermittlungseinrichtung gemäß der vorliegenden Erfindung aufweist. Ein beispielhaftes Kraftfahrzeug 46 zeigt die Prinzipskizze der 6. Das Kraftfahrzeug 46 kann einen dachmontierten, einen 360°-Umkreis abscannenden LIDAR-Sensor als Abstandssensor 47 aufweisen, wobei jedoch auch andere Arten und Konfigurationen von einem oder mehreren Abstandssensoren 47 möglich sind. Der wenigstens eine Abstandssensor 47 bildet gemeinsam mit einer Steuereinrichtung 48, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist, eine erfindungsgemäße Ermittlungseinrichtung 49. Die Steuereinrichtung 48 kann in diesem Fall als Steuergerät des Kraftfahrzeugs 46 ausgebildet sein. Die Ergebnisdaten, die von der Steuereinrichtung 48 ermittelt werden, können in einem oder mehreren Fahrzeugsystemen 50 des Kraftfahrzeugs 46 zur Umsetzung verschiedener Funktionen verwendet werden, beispielsweise in einem zur wenigstens teilweise automatischen Führung des Kraftfahrzeugs 46 ausgebildeten Fahrzeugführungssystem und/oder einem Sicherheitssystem. Selbstverständlich kann das Kraftfahrzeug auch weitere Sensoren, beispielsweise wenigstens eine Kamera 51, aufweisen, deren Sensordaten ebenso von den Fahrzeugsystemen 50 verwendet werden können. Denkbar ist es auch, dabei wiederum die Ergebnisdaten heranzuziehen, beispielsweise um in Bilddaten der Kamera 51 Annotierungen vorzunehmen.
-
7 zeigt die funktionale Struktur der Steuereinrichtung 48 einer erfindungsgemäßen Ermittlungseinrichtung 49 genauer. Neben einem Speichermittel 52, in welchem Punktewolken, Clusterinformationen, Ergebnisdaten und dergleichen gespeichert bzw. zwischengespeichert werden können, weist die Steuereinrichtung 48 eine erste Schnittstelle 53 zum Empfang der Sensordaten und eine zweite Schnittstelle 54 zur Ausgabe der Ergebnisdaten auf. In einer Zusammenfassungseinheit 55 kann, gegebenenfalls unter Verwendung von Bewegungsdaten, die zusammengefasste, vierdimensionale Punktewolke erstellt werden, vgl. auch Schrittgruppe 1. Optional kann eine Bodenpunkteentfernungseinheit 56 zur Entfernung von Bodenpunkten gemäß dem Schritt 6 genutzt werden.
-
In einer Auffindungseinheit 57 werden die Ausreißerpunkte gemäß Schritt 14 identifiziert. Eine Ermittlungseinheit 58 dient wenigstens dem Durchführen der Schritte 16 und 17, kann jedoch auch die die Nachverfolgung und Ergänzung vorbereitenden Schritte 18 und 19 der Schrittgruppe 15 bereits ausführen. Zur Durchführung der Schrittgruppe 20 ist dann eine Nachverfolgungseinheit 59 realisiert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2019/0220989 A1 [0007]
- WO 2012/091814 A2 [0008]
- WO 2020/064955 A1 [0009]
