DE102017011835A1

DE102017011835A1 - Verfahren zur Generierung von Punktewolken

Info

Publication number: DE102017011835A1
Application number: DE102017011835.3A
Authority: DE
Inventors: Philipp Schindler
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2017-12-21
Filing date: 2017-12-21
Publication date: 2018-05-30

Abstract

Die Erfindung betrifft ein Verfahren zur Generierung von Punktewolken (PW1, PW2) aus mittels eines Sensorsystems (2) erfassten Daten. Erfindungsgemäß werdenzeitglich eine erste Punktewolke (PW1) mit einer hohen Aktualisierungsrate bei geringer Reichweite des Sensorsystems (2) und eine zweite Punktewolke (PW2) mit einer niedrigen Aktualisierungsrate bei hoher Reichweite des Sensorsystems (2) generiert,Rohdaten (RD1, RD2) der generierten Punktewolken (PW1, PW2) in einem Pufferspeicher (3) abgelegt undmittels zumindest eines weiteren Sensors erfasste externe Objekte und/oder mittels des Sensorsystems (2) erfasste interne Objekte zu einer Steuerung von für eine Auswertung der Punktewolken (PW1, PW2) relevanten Bildbereichen herangezogen.

Description

Die Erfindung betrifft ein Verfahren zur Generierung von Punktewolken aus mittels eines Sensorsystems erfassten Daten.
Aus der DE 10 2014 018 419 A1 ist ein Verfahren zur Erzeugung eines Tiefenbilds einer Umgebung eines Fahrzeugs bekannt, wobei das Tiefenbild aus einer Punktewolke gebildet wird und wobei mittels jeweils eines Punkts der Punktewolke ein Tiefenwert für jeweils einen Bildpunkt eines zugehörigen mittels eines Lidarsystems erfassten Umgebungsbilds dargestellt wird. Für mehrere zeitlich nacheinander erfasste Umgebungsbilder werden Punktewolken ermittelt und in Abhängigkeit einer Eigenbewegung des Fahrzeugs werden die Punktewolken derart zu einer fusionierten Punktewolke transformiert oder fusioniert, dass für einen Bildpunkt eine Mehrzahl von Tiefenwerten vorliegt. Dabei wird zur Bildung des Tiefenbilds aus der Mehrzahl der vorliegenden Tiefenwerte für jeden Bildpunkt mittels zumindest eines statistischen Verfahrens für vordefinierte Verdeckungsgeometrien ein Tiefenwert bestimmt.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Generierung von Punktewolken aus mittels eines Sensorsystems erfassten Daten anzugeben.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Generierung von Punktewolken aus mittels eines Sensorsystems erfassten Daten werden erfindungsgemäß zeitglich eine erste Punktewolke mit einer hohen Aktualisierungsrate bei geringer Reichweite des Sensorsystems und eine zweite Punktewolke mit einer niedrigen Aktualisierungsrate bei hoher Reichweite des Sensorsystems generiert, Rohdaten der generierten Punktewolken in einem Pufferspeicher abgelegt und mittels zumindest eines weiteren Sensors erfasste externe Objekte und/oder mittels des Sensorsystems erfasste interne Objekte zu einer Steuerung von für eine Auswertung der Punktewolken relevanten Bildbereichen herangezogen.
Insbesondere kleine und/oder schwach reflektierende Signale sind problematisch für Sensorsysteme, wie beispielsweise Lidarsysteme, Radarsysteme, Ultraschallsysteme oder Kamerasysteme unter Verwendung eines so genannten Rolling Shutters. Ein Beispiel hierfür ist ein auf einer Fahrspur liegender Autoreifen. Bei diesem handelt es sich um ein relativ kleines, schwarzes und für ein herannahendes Fahrzeug potenziell gefährliches Objekt. Auch bei solchen Objekten ist für eine Funktion eines Fahrerassistenzsystems des Fahrzeugs eine frühe Erkennung erforderlich. Aufgrund der gleichzeitigen Erzeugung der Punktewolken mit unterschiedlicher Reichweite und unterschiedlichen Aktualisierungsraten kann mit Daten der ersten Punktewolke eine schnelle Reaktion auf Ziele in geringer Entfernung zum Fahrzeug realisiert werden und gleichzeitig können mit Daten der zweiten Punktewolke kleine, schwach reflektierende Ziele in hoher Entfernung detektiert werden.
Zusätzlich kann durch die Ablage der generierten Punktewolken in dem Pufferspeicher, auch als Cachen bezeichnet, und eine digitale Nachbearbeitung der Daten der Punktewolken eine gezielte Steuerung der relevanten Bildbereiche, auch als „Region of Interest“, kurz ROI, bezeichnet, stattfinden. Der Vorgang wird intern anhand der vom Sensorsystem beispielsweise durch Einzeldetektion im Fahrschlauch erfassten externen Objekte oder extern anhand der von dem zumindest einen weiteren Sensor erfassten Objekten, beispielsweise aus einer Objektliste und/oder Objektkandidaten, getriggert. Hierdurch können kleine, schwach reflektierende Objekte verlässlicher erkannt werden und eine Sicherheit von Fahrerassistenzsystemen, beispielsweise beim hochautomatisierten Fahren Level 3+, kurz HAF Level 3+, kann signifikant verbessert werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:

1 schematisch ein Blockschaltbild einer Vorrichtung zur Generierung einer Punktewolke aus mittels eines Sensorsystems erfassten Daten.

In der einzigen 1 ist ein Blockschaltbild eines möglichen Ausführungsbeispiels einer Vorrichtung 1 zur Generierung von Punktewolken PW1, PW2 aus mittels eines als Lidarsystem ausgebildeten Sensorsystems 2 erfassten Daten dargestellt. In nicht näher dargestellten Ausführungsbeispielen erfolgt die Generierung von Punktewolken PW1, PW2 aus mittels eines Radarsystems, Ultraschallsystems oder Kamerasystems unter Verwendung eines so genannten Rolling Shutters erfassten Daten.
Lidarsysteme generieren Punktwolken PW1, PW2 durch Abtastung einer Umgebung mit Laserpulsen. Ziel ist es, ein großes Sichtfeld, eine hohe Reichweite und eine hohe Auflösung bei gleichzeitig hoher Aktualisierungsrate, auch als Updaterate bezeichnet, zu realisieren.
Weiterhin ist eine verlässliche Detektion von kleinen, schwach reflektierenden Zielen in der Umgebung schwierig, da hier ein Konflikt zwischen hochwertigen wahren Detektionen mit geringer Latenz und einer geringen Zahl von falsch positiven Ergebnissen besteht. Um dennoch eine sichere Erkennung von kleinen, schwach reflektierenden Zielen bzw. Objekten zu realisieren, wird eine mehrstufige Detektion oder Mehrfachdetektion der Objekte durchgeführt.
Hierzu werden zeitglich mittels des Lidarsystems eine erste Punktewolke PW1 mit einer hohen Aktualisierungsrate bei geringer Reichweite des Lidarsystems und eine zweite Punktewolke PW2 mit einer niedrigen Aktualisierungsrate bei hoher Reichweite des Lidarsystems generiert.
Das heißt, verschiedene Lidartechnologien zeichnen Histogramme, beispielsweise aus so genannten Single-Photon-Avalanche-Diode-Arrays (kurz SPAD-Arrays) oder so genannten Silicon Photomultiplier (kurz: SiPM), oder analoge Eingangssignale von so genannten Avalanche-Photodioden (kurz: APD) auf. Diese werden mit der gewünschten, hohen Aktualisierungsrate oder höheren Aktualisierungsraten aufgezeichnet und verarbeitet, so dass Rohdaten RD1 der ersten Punktewolke PW1 erzeugt werden. Gleichzeitig läuft eine parallele Auswertung, die eine digitale Summierung inklusive Gewichtung und gegebenenfalls temporaler Korrektur der zweiten Punktewolke PW2 über ein gleitendes Fenster, d. h. über einen gleitenden oder rollierenden relevanten Bildbereich, vornimmt. Hierdurch werden Rohdaten RD2 erzeugt, die eine geringe Aktualisierungsrate aufweisen.
Die Rohdaten RD1, RD2 werden gemeinsam in einem Pufferspeicher 3, auch als Cache bezeichnet, hinterlegt und einer Verarbeitungseinheit 4 zugeführt.
Bei einer Auswertung der Rohdaten RD1, RD2 der Punktewolken PW1, PW2 mittels der Verarbeitungseinheit 4 werden mittels zumindest eines weiteren Sensors erfasste externe Objekte und/oder mittels des Lidarsystems erfasste interne Objekte zu einer Steuerung von für die Auswertung der Punktewolken PW1, PW2 relevanten Bildbereichen (= ROIs) herangezogen. Das heißt, die Rohdaten RD1, RD2 werden gecached und mittels rollierenden relevanten Bildbereichen digital summiert und gefiltert, wodurch ein Signalzu-Rausch-Verhältnis verbessert wird. Dabei wird durch die Summierung ein Rauschen verringert und das gewünschte Signal erhöht, wodurch eine verlässlichere Detektion von schwachen Signalen und somit schwach reflektierenden Zielen möglich ist. Dieser Vorgang wird extern anhand von zumindest einem weiteren Sensor erfassten Objekten, beispielsweise aus einer Objektliste und/oder Objektkandidaten, getriggert, so dass der weitere Sensor gezielt Hypothesen aufgrund des Gedächtnisses im nächsten Zyklus bestätigen oder falsifizieren kann. Ebenso kann der Vorgang intern anhand der vom Lidarsystem beispielsweise durch Einzeldetektion im Fahrschlauch erfassten externen Objekten, d. h. wenn eine Einzeldetektion in der Nähe einer aktuellen Eigenbewegungstrajektorie auftaucht, getriggert werden.
Bezugszeichenliste

1: Vorrichtung
2: Sensorsystem
3: Pufferspeicher
4: Verarbeitungseinheit
PW1: Punktewolke
PW2: Punktewolke
RD1: Rohdaten
RD2: Rohdaten

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014018419 A1 [0002]

Claims

Verfahren zur Generierung von Punktewolken (PW1, PW2) aus mittels eines Sensorsystems (2) erfassten Daten, dadurch gekennzeichnet, dass - zeitglich eine erste Punktewolke (PW1) mit einer hohen Aktualisierungsrate bei geringer Reichweite des Sensorsystems (2) und eine zweite Punktewolke (PW2) mit einer niedrigen Aktualisierungsrate bei hoher Reichweite des Sensorsystems (2) generiert werden, - Rohdaten (RD1, RD2) der generierten Punktewolken (PW1, PW2) in einem Pufferspeicher (3) abgelegt werden und - mittels zumindest eines weiteren Sensors erfasste externe Objekte und/oder mittels des Sensorsystems (2) erfasste interne Objekte zu einer Steuerung von für eine Auswertung der Punktewolken (PW1, PW2) relevanten Bildbereichen herangezogen werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Steuerung rollierende relevante Bildbereiche erzeugt werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass in den rollierenden relevanten Bildbereichen ermittelte Signale summiert und gefiltert werden.