DE102019123483A1

DE102019123483A1 - Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene

Info

Publication number: DE102019123483A1
Application number: DE102019123483.2A
Authority: DE
Inventors: Simon Steinmeyer; Marek Musial; Carsten Deeg; Patrick Glässer; Max Graf; Rauno Büscher; Johann Hamm; Jonas Marquardt; Rene Waldmann; Ionut Damian; Oliver Birbach
Original assignee: Audi AG; Volkswagen AG
Current assignee: Audi AG; Volkswagen AG
Priority date: 2019-09-02
Filing date: 2019-09-02
Publication date: 2021-03-04
Anticipated expiration: 2039-09-03
Also published as: CN113008296B; CN113008296A; DE102019123483B4

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen einer Umgebung (U) eines Kraftfahrzeugs (1) mittels an dem Kraftfahrzeug (1) angeordneter Sensoreinheiten (2,3,4). Um eine verbesserte Auswertung von Sensordaten (6) beziehungsweise Punktwolken (8) zu ermöglichen sieht die Erfindung die folgenden Schritte vor:Erzeugen eines ersten und eines zweiten Punktwolkendatensatzes (10), wobei der erste Punktwolkendatensatz (10) Datenpunkte, welche aus Sensordaten (6) einer ersten der Sensoreinheiten (2,3,4) abgeleitet sind, aufweist und der zweite Punktwolkendatensatz (10) Datenpunkte, welche aus Sensordaten (6) einer zweiten der Sensoreinheiten (2,3,4) abgeleitet sind, aufweist und die Datenpunkte innerhalb des ersten und/oder zweiten Punktwolkendatensatzes (10) zumindest zwei unterschiedliche Erfassungszeitpunkte (t, tr) repräsentieren,Fusionieren der jeweiligen Datenpunkte des ersten und zweiten Punktwolkendatensatzes (10) zu einem Fusionsdatensatz (12), undGenerieren einer Grundfläche (14), welche einen Untergrund, auf dem sich das Kraftfahrzeug (1) bewegt, repräsentiert, und/oder von Objekthypothesen (15) für mögliche Objekte in der Umgebung (U) durch räumliche und/oder zeitliche Segmentierung der Datenpunkte des Fusionsdatensatzes (12).

Description

Die Erfindung betrifft ein Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels an dem Kraftfahrzeug angeordneter Sensoreinheiten. Außerdem umfasst die Erfindung eine Kraftfahrzeug-Steuereinheit, welche dazu ausgebildet ist, das genannte Verfahren durchzuführen sowie ein Kraftfahrzeug mit einer solchen Kraftfahrzeug-Steuereinheit.
Kraftfahrzeuge haben bereits heute eine Vielzahl an Sensoreinheiten für verschiedene Fahrerassistenzsysteme, insbesondere solche Fahrerassistenzsysteme, die zur Bereitstellung von Fahrerassistenzfunktionen auf dem Autonomielevel 2 ausgebildet sind. Derartige Sensoreinheiten beziehungsweise Sensoren werden häufig als sogenannte intelligente Sensoren ausgebildet, was bedeutet, dass diese eine Vorverarbeitung der jeweils erfassten Sensorsignale sowie eine fusionsspezifische Aufbereitung beziehungsweise Auswertung der Sensorsignale selbst durchführen. Ausgegeben werden durch derartige Sensoreinheiten dann eine geringe Anzahl an ausgewerteten Objekthypothesen. Ein Beispiel für eine solche Sensoreinheit ist beispielsweise ein Laserscanner beziehungsweise Lidar-Sensor, welcher Punktwolken misst und selbstständig eine Menge von Punkten der Punktwolke zu Objekten beziehungsweise Objekthypothesen clustert beziehungsweise segmentiert. Dies gilt analog auch für Radar-Sensoren und Kamerasensoren sowie für beliebige andere Sensoren. Diese Objekte beziehungsweise Objekthypothesen, welche durch die einzelnen Sensoreinheiten ausgegeben werden, können anschließend durch eine Steuereinheit des Kraftfahrzeugs fusioniert werden. Dies wird auch als sogenannte „High-Level-Fusion“ bezeichnet. Insbesondere werden bei einer solchen High-Level-Fusion gemäß Stand der Technik die Messergebnisse zunächst interpretiert, die Objekthypothesen daraus abgeleitet und/oder eine Segmentierung der Messwerte durchgeführt, bevor die Fusion erfolgt. Im Rahmen der High-Level-Fusion können die Objekthypothesen der einzelnen Sensoreinheiten erfasst werden, für diese sogenannte „Tracks“ aufgesetzt werden und die Objekthypothesen in den Tracks fusioniert werden. Hierfür werden üblicherweise Kalman-Filter eingesetzt. Die Objekthypothesen stammen dann direkt aus jeweiligen Segmentierungsalgorithmen der Sensoreinheiten. Die Objekthypothesen werden dann durch die Sensoreinheiten zweidimensional als Rechtecke oder dreidimensional als Quader ausgegeben. Als Objekthypothesen beziehungsweise Tracks kommen dabei auch Fahrbahnmarkierungen oder Freibereiche, also als befahrbar klassifizierte Flächen, neben Objekten im klassischen Sinn, wie Hindernissen, Fremdfahrzeugen oder Fußgängern, in Frage.
In diesem Kontext offenbart die DE 10 2017 125 963 A1 eine Steuerung, welche Ausgaben einer Vielzahl von Sensoren, wie einer Kamera, einem Lidar-Sensor, einem Radar-Sensor und einem Ultraschallsensor, empfängt. Die einem Objekt entsprechenden Sensorausgaben werden einem Tracklet zugewiesen. Anschließende Ausgaben von einem beliebigen der Sensoren, die dem Objekt entsprechen, werden ebenfalls dem Tracklet zugewiesen. Anhand der dem Tracklet zugewiesenen Sensorausgaben wird eine Bahn des Objekts berechnet, wie beispielsweise durch Kalman-Filterung.
Aus der DE 10 2017 126 877 A1 ist ein Steuersystem für ein autonomes Fahrzeug zu entnehmen. Eine Steuerung des Steuersystems ist so programmiert, um erste Sensorwerte von einer ersten Gruppe von Sensoren zu empfangen, eine erste Sensor-Fusionsausgabe basierend auf den ersten Sensorwerten bereitzustellen, wobei die erste Sensor-Fusionsausgabe einen ersten erfassten Zustand eines detektierten Objekts enthält, sowie um zweite Sensorwerte von einer zweiten Gruppe Sensoren zu empfangen und eine zweite Sensor-Fusionsausgabe basierend auf den zweiten Sensorwerten bereitzustellen, wobei die zweite Sensor-Fusionsausgabe einen zweiten erfassten Zustand des detektierten Objekts enthält. Die Steuerung ist zusätzlich darauf programmiert, in Reaktion darauf, dass der erste erkannte Zustand außerhalb eines vorbestimmten Bereichs des zweiten erfassten Zustands ist, ein Diagnosesignal zu erzeugen.
Die DE 10 2018 112 115A1 beschreibt ein System und ein Verfahren zum Steuern eines autonomen Fahrzeugs. Diese erhalten erste und zweite zeitlich beabstandete Punktwolken basierend auf dreidimensionalen Positionsdaten einer sich außerhalb des autonomen Fahrzeugs befindlichen Szene von einem Sensor des autonomen Fahrzeugs. Dabei wird ein statischer Aspekt der Szene in der ersten Punktwolke mit einem statischen Aspekt der Szene in der zweiten Wolke positionsbezogen ausgerichtet. Eine Geschwindigkeit eines sich bewegenden Objekts wird über einen Prozessor in ersten und zweiten Punktwolken, deren Position ausgerichtet ist, ermittelt.
Es ist Aufgabe der vorliegenden Erfindung, eine verbesserte Auswertung von Sensordaten beziehungsweise Punktwolken unterschiedlicher Sensoreinheiten eines Kraftfahrzeugs zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen mit zweckmäßigen Weiterbildungen sind Gegenstand der Unteransprüche.
Eine Idee, auf der die Erfindung beruht, liegt darin, jeweilige Sensordaten unterschiedlicher Sensoreinheiten, insbesondere mit untereinander unterschiedlichem Erfassungsprinzip, auf Punktwolkenebene zu fusionieren. Dabei umfassen jeweilige Punktwolken Datensätze der unterschiedlichen Sensoreinheiten vorzugsweise Datenpunkte, welche zu unterschiedlichen Zeitpunkten aufgenommen wurden. Mit anderen Worten kann jeder der Punktwolkendatensätze in sich Datenpunkte unterschiedlicher Erfassungszeitpunkte beinhalten. Beim Fusionieren der unterschiedlichen Punktwolkendatensätze der unterschiedlichen Sensoreinheiten werden auf diese Weise jeweilige Datenpunkte unterschiedlicher Erfassungszeitpunkte und unterschiedlicher Sensoreinheiten zu einem Fusionsdatensatz fusioniert. Dies erfolgt somit insbesondere auf „Low-Level-Ebene“.
Im Allgemeinen beansprucht die Erfindung ein Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs mittels an dem Kraftfahrzeug angeordneter Sensoreinheiten mit den folgenden Schritten:

- Erzeugen eines ersten und eines zweiten Punktwolkendatensatzes, wobei der erste Punktwolkendatensatz Datenpunkte, welche aus Sensordaten einer ersten der Sensoreinheiten abgeleitet sind, aufweist und der zweite Punktwolkendatensatz Datenpunkte, welche aus Sensordaten einer zweiten der Sensoreinheiten abgeleitet sind, aufweist und die Datenpunkte innerhalb des ersten und/oder zweiten Punktwolkendatensatzes zumindest zwei unterschiedliche Erfassungszeitpunkte repräsentieren,
- Fusionieren der jeweiligen Datenpunkte der Punktwolkendatensätze zu einem Fusionsdatensatz und
- Generieren einer Grundfläche, welche einen Untergrund auf dem sich das Kraftfahrzeug bewegt, repräsentiert, und/oder von Objekthypothesen für mögliche Objekte in der Umgebung durch räumliche und/oder zeitliche Segmentierung der Datenpunkte des Fusionsdatensatzes.

Der jeweilige Erfassungszeitpunkt eines Datenpunktes kann angeben, zu welchem Zeitpunkt der entsprechende Datenpunkt erfasst wurde. Insbesondere gibt der Erfassungszeitpunkt an, zu welchem Zeitpunkt die Sensordaten, aus denen der entsprechende Datenpunkt abgeleitet ist, erfasst wurden. Somit beschreiben die Datenpunkte vorzugsweise die Umgebung des Kraftfahrzeugs zu dem entsprechenden Erfassungszeitpunkt.
Innerhalb des ersten Punktwolkendatensatzes können Datenpunkte enthalten sein, welche untereinander einen unterschiedlichen Erfassungszeitpunkt aufweisen beziehungsweise repräsentieren. Alternativ oder zusätzlich können innerhalb des zweiten Punktwolkendatensatzes Datenpunkte enthalten sein, welche untereinander unterschiedliche Erfassungszeitpunkte aufweisen beziehungsweise repräsentieren. Dabei können die Datenpunkte innerhalb des jeweiligen Punktwolkendatensatzes zwei oder mehr unterschiedliche Erfassungszeitpunkte repräsentieren. Die Erfindung sieht vor, dass zumindest einer der beiden Punktwolkendatensätze, wie zuvor beschrieben, die Datenpunkte unterschiedlicher Erfassungszeitpunkte beinhaltet. In manchen Ausführungsformen der Erfindung gilt dies jedoch für sowohl den ersten als auch den zweiten Punktwolkendatensatz.
Aufgrund der unterschiedlichen Erfassungszeitpunkte der beinhalteten Datenpunkte weisen der erste und/oder der zweite Punktwolkendatensatz eine jeweilige zeitliche Ausdehnung betreffend die darin enthaltenen Datenpunkte auf. Dementsprechend beinhalten der erste und/oder der zweite Punktwolkendatensatz beziehungsweise deren Datenpunkte nicht nur eine räumliche sondern auch eine zeitliche Information. Der erste und/oder der zweite Punktwolkendatensatz weisen somit eine Historie über die räumliche (zweidimensional oder dreidimensional) Veränderung der Umgebung des Kraftfahrzeugs auf. Der jeweilige Punktwolkendatensatz kann somit als geometrischer Index oder geometrischer Index über die Zeit bezeichnet werden.
Die jeweiligen Punktwolkendatensätze, also der erste und der zweite Punktwolkendatensatz, sind jeweils aus unterschiedlichen Sensordaten einer unterschiedlichen Sensoreinheit des Kraftfahrzeugs abgeleitet. Beispielsweise können beide Sensoreinheiten an unterschiedlichen Positionen am Kraftfahrzeug angeordnet sein. Die Sensoreinheit, aus deren Sensordaten der ersten Punktwolkendatensatz abgeleitet ist, kann als erste Sensoreinheit bezeichnet werden. Die Sensoreinheit, aus deren Sensordaten der zweite Punktwolkendatensatz abgeleitet ist, kann als zweite Sensoreinheit bezeichnet werden. In manchen Ausführungsformen weisen die ersten und die zweite Sensoreinheit dasselbe Erfassungsprinzip auf. In bevorzugten Ausführungsformen ist jedoch vorgesehen, dass die erste und die zweite Sensoreinheit ein unterschiedliches Erfassungsprinzip aufweisen. Beispielsweise kann es sich bei der ersten Sensoreinheit um einen Radar-Sensor, einen Lidar-Sensor bzw. Laserscanner, einen Ultraschallsensor, einen Kamerasensor oder eine Stereo-Kamera handeln. Bei der zweiten Sensoreinheit kann es sich somit um einen Sensor derselben Art handeln oder um einen Sensor, der nach einem abweichenden der beispielhaft genannten Erfassungsprinzipien arbeitet. Somit können der erste und der zweite Punktwolkendatensatz aus Sensordaten, denen ein unterschiedliches Erfassungsprinzip zugrunde liegt, erzeugt werden.
Die jeweiligen Datenpunkte der Punktwolkendatensätze werden anschließend zu einem gemeinsamen Fusionsdatensatz fusioniert. Dabei kann der Fusionsdatensatz beispielsweise eine einzige Punktwolke sein, der die Datenpunkte sowohl des ersten als auch des zweiten Punktwolkendatensatze enthält. Alternativ kann der Fusionsdatensatz mehrere Punktwolken aufweisen, wobei jede der Punktwolken ausschließlich Datenpunkte des ersten und/oder des zweiten Punktwolkendatensatzes enthält. Insgesamt können beim Fusionieren die jeweiligen Datenpunkte der unterschiedlichen Punktwolkendatensätze, also des ersten und des zweiten Punktwolkendatensatzes, räumlich und/oder zeitlich, entsprechend ihres jeweiligen Erfassungszeitpunktes, fusioniert beziehungsweise ineinander gefächert werden. Auf diese Weise kann der Fusionsdatensatz ebenso wie der erste und/oder der zweite Punktwolkendatensatz Datenpunkte aufweisen, welche zumindest zwei unterschiedliche Erfassungszeitpunkte repräsentieren. Somit weist der Fusionsdatensatz sowohl Datenpunkte aus Sensordaten unterschiedlicher Sensoreinheiten, insbesondere mit unterschiedlichem Erfassungsprinzip, auf als auch Datenpunkte unterschiedlicher Erfassungszeitpunkte. Durch die unterschiedlichen Erfassungszeitpunkte weist der Fusionsdatensatz eine Historie beziehungsweise eine zeitliche Information über die Veränderung der jeweiligen Datenpunkte des ersten und/oder des zweiten Punktwolkendatensatzes auf.
Der Fusionsdatensatz kann durch ein Segmentierungsmodul beziehungsweise ein Modul zur Dynamik- und Konturschätzung ausgewertet werden. In diesem Rahmen kann die räumliche und/oder zeitliche Segmentierung der Datenpunkte des Fusionsdatensatzes erfolgen. Dabei wird, insbesondere wiederholt oder periodisch, entschieden, welche Datenpunkte repräsentativ für die Grundfläche und/oder eine Objekthypothese sind. Diese Datenpunkte können markiert werden. Hierbei kann jedem Modul zum Auswerten, also insbesondere dem Segmentierungsmodul und dem Modul zur Dynamik- und Konturschätzung, nur ein bestimmtes Budget an Markierungen zugeordnet werden. Die Module dürfen somit jeweils nur eine maximale Anzahl an Punkten markieren, welche einen vorbestimmten Höchstwert nicht überschreiten. Basierend auf diesen Datenpunkten kann die Grundfläche generiert beziehungsweise abgeschätzt werden. Alternativ oder zusätzlich können die Objekthypothesen basierend auf den entsprechenden, markierten Datenpunkten generiert beziehungsweise aufgestellt werden. Insbesondere kann den Objekthypothesen basierend auf den entsprechend markierten Datenpunkten eine Kontur und/oder eine Dynamik, insbesondere eine Geschwindigkeit oder eine Richtungsänderung, zugeordnet werden.
Insgesamt zeigt das Verfahren, wie basierend auf den Sensordaten der Sensoreinheiten eine verbesserte Fusionierung ermöglicht wird. Aufgrund dieser verbesserten Fusionierung, auch auf zeitlicher Ebene kann eine verbesserte Erfassung der Umgebung ermöglicht werden.
Gemäß einer Weiterbildung ist vorgesehen, dass die jeweiligen Datenpunkte des ersten und des zweiten Punktwolkendatensatzes zumindest zwei räumliche Koordinaten und/oder eine zeitliche Koordinate aufweisen, wobei die zeitliche Koordinate der Datenpunkte den jeweiligen Erfassungszeitpunkt des entsprechenden Datenpunktes angibt. Zusätzlich zu den zumindest zwei räumlichen Koordinaten und/oder der zeitlichen Koordinate können die jeweiligen Datenpunkte noch einen oder mehrere Nutzwerte, beispielsweise einen Intensitätswert und/oder einen Radialgeschwindigkeitswert, beinhalten. Vorzugsweise ist vorgesehen, dass die jeweiligen Datenpunkte des ersten und/oder des zweiten Punktwolkendatensatzes neben der jeweiligen zeitlichen Koordinate zwei räumliche Koordinaten (zweidimensional) oder drei räumliche Koordinaten (dreidimensional) aufweisen. Die zeitliche Koordinate der Datenpunkte innerhalb des ersten oder zweiten Punktwolkendatensatzes weicht entsprechend den unterschiedlichen Erfassungszeitpunkten zumindest teilweise voneinander ab. Durch die Nutzung der zeitlichen Koordinate und/oder der räumlichen Koordinate können die Datenpunkte innerhalb des jeweiligen Punktwolkendatensatzes besonders gut dargestellt werden.
Gemäß einer Weiterbildung ist vorgesehen, dass durch wiederholtes Hinzufügen neuer Datenpunkte anhand von neu erfassten Sensordaten zu dem ersten und/oder zweiten Punktwolkendatensatz eine zeitliche Akkumulation von Datenpunkten des jeweiligen Punktwolkendatensatzes erfolgt. Mit anderen Worten können anhand neu erfasster Sensordaten wiederholt, insbesondere periodisch, neue Datenpunkte zu dem ersten beziehungsweise dem zweiten Punktwolkendatensatz hinzugefügt werden. Insbesondere stellen hierzu der erste und/oder der zweite Sensor wiederholt, insbesondere periodisch, neu erfasste Sensordaten bereit. Auf diese Weise werden wiederholt neue Datenpunkte mit jüngerem Erfassungszeitpunkt generiert.
Durch das wiederholte Hinzufügen neuer Datenpunkte können der erste und/oder der zweite Punktwolkendatensatz mit der Zeit zu groß zur echtzeitfähigen Verarbeitung werden. Außerdem ist es vorteilhaft, ältere Datenpunkte zu löschen, insbesondere wenn diese die aktuelle Umgebung des Kraftfahrzeugs nicht mehr optimal beschreiben. Aus diesem Grund ist es vorteilhaft, Datenpunkte wiederholt beziehungsweise periodisch aus dem jeweiligen Punktwolkendatensatz zu entfernen beziehungsweise zu löschen.
Gemäß einer Weiterbildung ist vorgesehen, dass gemäß einer vorbestimmten Vorschrift ausgewählte Datenpunkte des ersten und/oder zweiten Punktwolkendatensatzes verworfen werden, sobald die Anzahl an Datenpunkten in dem entsprechenden Punktwolkendatensatz einen Maximalwert überschreitet und/oder sich diesem bis auf ein vorbestimmtes Maß annähert. Mit anderen Worten können die gemäß der vorbestimmten Vorschrift ausgewählten Datenpunkte dann aus dem entsprechenden Punktwolkendatensatz gelöscht werden. Auf diese Weise wird die Echtzeitfähigkeit des Verfahrens gewährleistet, da einerseits ein unkontrolliertes Anwachsen der Punktwolkendatensätze vermieden und andererseits deren Aktualität gewährleistet wird.
Insbesondere ist vorgesehen, dass entsprechend der vorbestimmten Vorschrift Datenpunkte zumindest teilweise in Abhängigkeit ihres Erfassungszeitpunktes zum Verwerfen ausgewählt werden, wobei insbesondere entsprechend dem jeweiligen Erfassungszeitpunkt ältere Datenpunkte gegenüber jüngeren Datenpunkten bevorzugt verworfen werden. Mit anderen Worten können die Datenpunkte zumindest teilweise in Abhängigkeit von ihrem Erfassungszeitpunkt verworfen beziehungsweise gelöscht werden. Beispielsweise können Datenpunkte dann gelöscht werden, wenn deren Alter gemäß dem Erfassungszeitpunkt ein vorbestimmtes Maß überschreitet.
Gemäß einer Weiterbildung ist vorgesehen, dass unter mehreren älteren Datenpunkten diejenigen bevorzugt verworfen werden, deren Messdaten eine höhere Übereinstimmung mit einem jüngeren Datenpunkt aufweisen und insbesondere vor dem Verwerfen eines älteren Datenpunktes dessen Messdaten mit einem jüngeren Datenpunkt fusioniert werden, insbesondere durch Mitteln der jeweiligen Messdaten des jüngeren und des älteren Datenpunktes. Mit anderen Worten können Datenpunkte trotz eines relativ weit in der Vergangenheit liegenden Erfassungszeitpunktes behalten werden, wenn diese eine geringere Übereinstimmung mit einem jüngeren Datenpunkt aufweisen, als andere Datenpunkte gleichen oder ähnlichen Erfassungszeitpunkts. Auf diese Weise wird gewährleistet, dass Objekte beziehungsweise Objekthypothesen auch dann nicht vergessen werden, wenn diese momentan nicht erfasst werden können. Ältere Datenpunkte, die aufgrund ihrer Ähnlichkeit beziehungsweise Übereinstimmung zu einem jüngeren Datenpunkt gelöscht werden, können zunächst mit dem jüngeren Datenpunkt fusioniert werden. Dieses Fusionieren kann durch Mitteln der Messdaten und/oder räumlichen Koordinaten des älteren und des jüngeren Datenpunktes erfolgen. Die Messdaten können beispielsweise die oben genannten weiteren Werte, beispielsweise den Intensitätswert und/oder den Radialgeschwindigkeitswert, umfassen. Nach dem Mitteln eines jüngeren und eines älteren Datenpunktes, kann der daraus entstandene fusionierte Datenpunkt den Erfassungszeitpunkt beziehungsweise die zeitliche Koordinate des jüngeren Zeitpunkts übernehmen. Außerdem kann dem fusionierten Datenpunkt eine höhere Priorität zugeordnet werden, da dieser durch den älteren Datenpunkt verifiziert wurde.
Gemäß einer Weiterbildung ist vorgesehen, dass basierend auf einer räumlichen Dichte der Datenpunkte, insbesondere basierend auf den räumlichen Koordinaten, Datenpunkte in Bereichen höherer Dichte bevorzugt verworfen werden gegenüber Datenpunkten in Bereichen niedriger Dichte. Mit anderen Worten werden Datenpunkte in den Bereichen höherer Dichte mit größerer Wahrscheinlichkeit zum Verwerfen ausgewählt, als Datenpunkte in Bereichen niedrigerer Dichte. Mit allgemeinen Worten werden die Datenpunkte basierend auf der räumlichen Dichte zum Verwerfen ausgewählt. Dabei können die Datenpunkte mit umso größerer Wahrscheinlichkeit verworfen werden, je größere deren räumliche Dichte in einem Bereich ist. Beispielsweise wird hierdurch angestrebt, dass die räumliche Dichte der Datenpunkte sich möglichst einem vorbestimmten Durchschnittswert annähert. Auf diese Weise kann eine gleichmäßige Verteilung der Datenpunkte gewährleistet werden.
Gemäß einer Weiterbildung ist vorgesehen, dass das Verwerfen von Datenpunkten in Abhängigkeit von einem Prioritätswert erfolgt, der bei der räumlichen und/oder zeitlichen Segmentierung der Datenpunkte bestimmt wird, wobei der Prioritätswert angibt, von welcher Bedeutung jeweilige Datenpunkte für das Generieren der Grundfläche und/oder der Objekthypothesen ist. Das Bestimmen des Prioritätswerts kann dem Markieren der Datenpunkte entsprechen. Beispielsweise kann der Prioritätswert nur zwei Werte annehmen, nämlich markiert oder nicht markiert. Alternativ kann der Prioritätswert eine Vielzahl unterschiedlicher Werte annehmen, wobei durch den Prioritätswert angegeben wird, von welcher Bedeutung der jeweilige Datenpunkt ist. Umgekehrt können bei der räumlichen und/oder zeitlichen Segmentierung auch Datenpunkte zum bevorzugten Löschen bestimmt werden. Auch diese Bevorzugung zum Löschen kann mittels des Prioritätswerts, insbesondere durch einen besonders niedrigen Prioritätswert ausgedrückt werden.
Gemäß einer Weiterbildung ist vorgesehen, dass Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass entsprechend dem Prioritätswert Datenpunkte bevorzugt verworfen werden, auf die eines oder mehrere der folgenden Kriterien zutrifft:

- Datenpunkte tragen nicht zu einer Objekthypothese bei,
- Datenpunkte tragen nicht zu einer Geschwindigkeitsmessung bei,
- Datenpunkte liegen außerhalb einer vorbestimmte Region von Interesse,
- Datenpunkte sind Teil der Grundfläche, auf der sich das Kraftfahrzeug bewegt und diese ist durch benachbarte Datenpunkte hinreichend definiert, und/oder
- Datenpunkte liegen unterhalb der Grundfläche.

Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass entsprechend dem Prioritätswert Datenpunkte nachrangig verworfen werden, auf die eines oder mehrere der folgenden Kriterien zutrifft:

- Datenpunkte liegen oberhalb der Grundfläche und die Entfernung von der Grundfläche liegt innerhalb eines vorbestimmten Intervalls,
- Datenpunkte sind Teil einer Objekthypothese, welche für Datenpunkte mit jüngerem Erfassungszeitpunkt außerhalb eines Erfassungsbereichs einer oder mehrerer der Sensoreinheiten liegt,
- Datenpunkte werden für das Klassifizieren der Objekthypothese herangezogen, weil jüngere Datenpunkte eine entsprechende Klassifikation nicht ermöglichen.

Gemäß einer Weiterbildung ist vorgesehen, dass bei dem Generieren der Grundfläche Datenpunkte aus dem ersten Punktwolkendatensatz und bei dem Generieren der Objekthypothesen Datenpunkte aus dem zweiten Punktwolkendatensatz verwendet werden. In einem konkreten Beispiel handelt es sich bei der ersten Sensoreinheit um einen Lidar-Sensor und bei der zweiten Sensoreinheit um eine Kamera beziehungsweise einen Kamerasensor. In diesem Fall kann die Grundfläche im Wesentlichen aus den Datenpunkten des ersten Punktwolkendatensatzes, welche also aus einem Lidar-Sensorsignal erzeugt wurden, generiert werden. Objekthypothesen können aus Datenpunkten des zweiten Punktwolkendatensatzes generiert werden, wobei die Datenpunkte des zweiten Punktwolkendatensatzes aus Bildern einer Kamera als Sensorsignal erzeugt wurden. Dieses Beispiel trägt dem Umstand Rechnung, dass ein Kamerasensor zur Abstandsmessung eine gute Abschätzung der Grundfläche benötigt. Insbesondere bei kuppen- oder wannenförmigen Straßenverläufen kann bei einer Schätzung der Grundebene gemäß Stand der Technik eine große Ungenauigkeit entstehen. Durch das Lldar-System ist eine genauere Abschätzung der Bodenebene möglich.
Gemäß einer Weiterbildung ist vorgesehen, dass bei dem Generieren der Objekthypothesen Datenpunkte aus dem ersten Punktwolkendatensatz und bei dem Zuordnen eines jeweiligen Geschwindigkeitswerts zu den Objekthypothesen Datenpunkte aus dem zweiten Punktwolkendatensatz verwendet werden. In diesem Beispiel kann es sich bei der ersten Sensoreinheit beispielsweise um eine Kamera beziehungsweise einen Kamerasensor und bei der zweiten Sensoreinheit um einen Radar-Sensor handeln. In diesem Fall können die Objekthypothesen beziehungsweise die Kontur der Objekthypothesen bevorzugt und/oder vollständig aus dem ersten Punktwolkendatensatz generiert werden. Der zweite Punktwolkendatensatz kann zum Zuordnen eines jeweiligen Geschwindigkeitswerts zu den Objekthypothesen herangezogen werden. Dies ist insbesondere vorteilhaft, da aus dem Radarsignal der Radialgeschwindigkeitswert extrahiert werden kann.
Gemäß einer Weiterbildung ist vorgesehen, dass das Generieren der Grundfläche und/oder Objekthypothesen jeweils zweistufig erfolgt, wobei die räumliche und/oder zeitliche Segmentierung zunächst ausschließlich anhand von jüngsten Datenpunkten, welche den aktuellsten Erfassungszeitpunkt aller Datenpunkte aufweisen, erfolgt und anschließend ein Ergebnis der räumlichen und/oder zeitlichen Segmentierung, insbesondere nur in einem Teilbereich der resultierenden Grundfläche und/oder Objekthypothesen, anhand älterer Datenpunkte verifiziert wird. Mit anderen Worten werden zunächst ausschließlich die jüngsten Datenpunkte, also diejenigen Datenpunkte des Fusionsdatensatzes, deren Erfassungszeitpunkt der aktuellste unter allen Datenpunkten des Fusionsdatensatzes ist, für die räumliche und/oder zeitliche Segmentierung herangezogen. Im Rahmen dieser räumlichen und/oder zeitlichen Segmentierung anhand der jüngsten Datenpunkte kann den Segmenten ein Plausibilitätswert zugeordnet werden, welcher angibt, wie groß ein Fehler der räumlichen und/oder zeitlichen Segmentierung eingeschätzt wird. Anschließend können entsprechend dem Plausibilitätswert diejenigen Teilbereiche der resultierenden Grundfläche und/oder Objekthypothesen verifiziert werden, deren Plausibilität nicht ein vorbestimmtes Niveau erreicht. Auf diese Weise können die älteren Datenpunkte zum Verifizieren unsicherer Teilbereiche der resultierenden Grundfläche und/oder Objekthypothesen oder auch der gesamten Grundfläche und/oder Objekthypothesen genutzt werden. Durch diese Ausführungsform ist einerseits die Echtzeitfähigkeit des Systems durch Reduzierung der Auswertung auf die jüngsten Datenpunkte sowie die Aktualität des Ergebnisses der Segmentierung gewährleistet. Insbesondere erfolgt das hier beschriebene zweistufige Generieren der Grundfläche und/oder Objekthypothesen ausschließlich im Rahmen einer räumlichen Segmentierung.
Gemäß einer Weiterbildung ist vorgesehen, dass zur Berechnung einer Dynamik für die Objekthypothesen eine Hough-Transformation durchgeführt wird, wobei die Hough-Transformation auf Houghräume parallel zu Normalvektoren erfasster Ebenen der jeweiligen Objekthypothesen beschränkt wird. Mit anderen Worten beinhaltet das System einen oder mehrere Geschwindigkeits-Houghräume, die auf Basis von Segmenteigenschaften der Objekthypothesen reduzierte Dimensionen haben. Die Reduktion der Dimensionen der Geschwindigkeits-Houghräume ist notwendig, um die Echtzeitfähigkeit des Verfahrens zu gewährleisten. Die Dimension der Geschwindigkeits-Houghräume wird im Rahmen der vorliegenden Weiterbildung auf Houghräume beschränkt, welche parallel zu Normalvektoren der erfassten Ebenen verlaufen. Die erfassten Ebenen sind Ebenen, welche entsprechend der geometrischen Anordnung der Datenpunkte, die gemeinsam die Objekthypothese bilden, erkannt werden. Insbesondere ist vorgesehen, dass die erfassten Ebenen eine vorbestimmte Mindestgröße verglichen mit der Gesamtgröße der Objekthypothese aufweisen müssen, um bei der Hough-Transformation zur Bestimmung der Dynamik berücksichtigt zu werden.
Ein weiterer Aspekt der Erfindung betrifft eine Kraftfahrzeug-Steuereinheit, welche dazu ausgebildet ist, eine Umgebung eines Kraftfahrzeugs zu erfassen, wobei die Kraftfahrzeug-Steuereinheit zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche ausgebildet ist. Beispielsweise weist die Kraftfahrzeug-Steuereinheit hierzu eine Recheneinheit auf, welche zum Durchführen der Schritte des Erzeugens, des Fusionierens und des Generierens ausgebildet ist. Bei der Recheneinheit kann es sich beispielsweise um einen Mikroprozessor, ein programmierbares Logikgatter (FPGA) oder einen Computer handeln.
Weiterhin umfasst die Erfindung ein Kraftfahrzeug mit der oben genannten Kraftfahrzeug-Steuereinheit. Das Kraftfahrzeug kann zudem zumindest zwei Sensoreinheiten, insbesondere die erste Sensoreinheit und die zweite Sensoreinheit, aufweisen, wobei die Sensoreinheiten am Kraftfahrzeug, insbesondere an einer Außenhülle des Kraftfahrzeugs, angeordnet sind.
Ein weiterer Aspekt der Erfindung betrifft ein Softwareprogrammprodukt sowie ein computerlesbares Medium mit Programmcodemitteln, welche beim Laden Programmcodemittel in einen Speicher einer Recheneinheit, insbesondere eines Mikroprozessors oder Computers, und deren Ausführung dazu in der Lage sind, das Verfahren zum Erfassen einer Umgebung eines Kraftfahrzeugs durchzuführen.
Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs und/oder der Kraftfahrzeug-Steuereinheit, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen des erfindungsgemäßen Kraftfahrzeugs beziehungsweise der Kraftfahrzeug-Steuereinheit hier nicht noch einmal beschrieben.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigen:

1 ein Kraftfahrzeug aus einer schematischen Vogelperspektive;
2 eine beispielhafte Architektur eines Systems zum Auswerten von Sensorsignal unterschiedlicher Sensoren;
3 in einer schematischen Seitenansicht die zweidimensionale Erfassung einer Grundfläche;
4 die Auswertung von einer Objektdynamik anhand von Geschwindigkeits-Houghräumen allein anhand von Punktwolken; und
5 die Auswertung von einer Objektdynamik anhand von Geschwindigkeits-Houghräumen bei einem Radarsensor mit gemessener Radialgeschwindigkeit.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
Architektur und Hardware
1 zeigt ein Kraftfahrzeug 1, insbesondere einen Kraftwagen, beispielsweise einen Personenkraftwagen, Lastkraftwagen oder ein Motorrad, welches mehrere Sensoreinheiten 2, 3, 4 aufweist. Das Kraftfahrzeug 1 kann als teilweise oder vollständig autonom fahrendes Kraftfahrzeug ausgebildet sein. Insbesondere weist das Kraftfahrzeug 1 eine Kraftfahrzeug-Steuereinheit 5 auf, welche dazu ausgebildet ist, Sensordaten 6 aus den einzelnen Sensoreinheiten 2, 3, 4 auszuwerten. Die Kraftfahrzeug-Steuereinheit 5 kann dazu ausgebildet sein, aus den Sensordaten 6 abgeleitete Informationen betreffend eine Umgebung U des Kraftfahrzeugs an eine weitere Kraftfahrzeug-Steuereinheit weiterzugeben. Die genannten Informationen können Objekte in der Umgebung U sowie eine Grundfläche, welche einen Untergrund, auf dem sich das Kraftfahrzeug 1 bewegt oder befindet, angeben. Als Objekt im Sinne der vorliegenden Anmeldung kann auch frei befahrbare Raum der umgebenden bezeichnet werden. Anhand der genannten Informationen kann das Kraftfahrzeug 1 durch die weitere Kraftfahrzeug-Steuereinheit autonom oder teilweise autonom gesteuert werden. Insbesondere ist die weitere Kraftfahrzeug-Steuereinheit zur Bereitstellung entsprechender Fahrerassistenzfunktionen ausgebildet.
2 zeigt eine Architektur eines Systems 19, welches die mehreren Sensoren 2, 3, 4 sowie der Kraftfahrzeug-Steuereinheit 5 aufweist. Bei den Sensoreinheiten 2, 3, 4 kann es sich um Lidar-Sensoren 2, Kameras 3, Radar-Sensoren 4, Ultraschallsensor oder beliebige andere Sensoren handeln. Sensordaten 6, insbesondere unverarbeitete Rohdaten, der einzelnen Sensoreinheiten 2, 3, 4 werden zunächst einer jeweiligen Vorverarbeitungseinheit 7 zugeführt. Vorzugsweise befindet sich die jeweilige Vorverarbeitungseinheit 7 in einem Sensorgehäuse der jeweiligen Sensoreinheit 2, 3, 4. Alternativ kann die Vorverarbeitungseinheit 7 in oder bei der Kraftfahrzeug-Steuereinheit 5 verortet sein. Es kann auch eine gemeinsame Vorverarbeitungseinheit 7 für mehrere der Sensoreinheiten 2, 3, 4 vorgesehen sein.
Im Rahmen der Vorverurteilung wird aus den jeweils aktuellen Sensordaten 6 eine jeweilige einzelne Punktwolke 8 erzeugt. Dabei betreffen pro Verarbeitungsschritt sowohl die Sensordaten 6 als auch die jeweiligen Punktwolken 8 nur genau einen Erfassungszeitpunkt. Beispielsweise sind sie Sensoreinheiten 2, 3, 4 dazu ausgebildet, die Sensordaten 6 wiederholt, insbesondere periodisch, in der sogenannten Einzelmessungen oder Frames zu erfassen. Jeder Frame beziehungsweise jede Einzelmessung bildet dabei Umgebung U zu genau einem Zeitpunkt ab. Die Punktwolken 8 werden jeweils aus genau einem Frame beziehungsweise einer Einzelmessungen erzeugt und repräsentieren daher jeweils genau einen Zeitpunkt. Dies wird insbesondere wiederholt, vorzugsweise periodisch, durchgeführt. In den Punktwolken 8 sind jeweils zweidimensionale oder dreidimensionale Datenpunkte aus einer der Sensoreinheiten 2, 3, 4 und betreffend genau einen Erfassungszeitpunkt zusammengefasst.
Anschließend werden die Punktwolken 8, welche jeweils aus den Sensordaten 6 einer der Sensoreinheiten 2, 3, 4 erzeugt wurden, in einem Aggregationsmodul 9 zeitlich aggregiert. Das Aggregationsmodul 9 kann auch als geometrischer Index bezeichnet werden. Im Aggregationsmodul 9 wird ein jeweiliger Punktwolkendatensatz 10 aus den einzelnen Punktwolken 8 erzeugt. Die jeweiligen Punktwolkendatensätze 10 weisen dabei jeweils Datenpunkte, welche aus den Sensordaten 6 genau einer der Sensoreinheiten 2, 3, 4 abgeleitet sind, auf. Die Datenpunkte eines Punktwolkendatensatzes 10 weisen Datenpunkte unterschiedliche Erfassungszeitpunkte auf. Mit anderen Worten sind innerhalb eines jeweiligen Punktwolkendatensatzes 10 jeweils Datenpunkte aus genau einer der Sensoreinheiten 2, 3, 4 zusammengefasst, welche untereinander unterschiedliche, beispielsweise mehr als zwei, Erfassungszeitpunkte repräsentieren. Somit stellen die Punktwolkendatensätze 10 gewissermaßen eine Historie über die jeweiligen Punktwolken 8 genau einer der Sensoreinheiten 2, 3, 4 bereit. Die jeweiligen Datenpunkte eines jeweiligen Punktwolkendatensatzes 10 weisen insbesondere zwei oder drei räumliche Koordinaten (2D beziehungsweise 3D), im vorliegenden Beispiel x und y, sowie eine Zeitkoordinate t auf.
Anschließend werden die Punktwolkendatensätze 10 in einem Fusionierungsmodul 11 auf „Low-Level-Ebene“ zu einem Fusionsdatensatz 12 fusioniert. Mit anderen Worten werden die Punktwolkendatensätze 10 aus unterschiedlichen Sensoreinheiten der 2, 3, 4, insbesondere mit unterschiedlichem Erfassungsprinzip, auf Punktwolken-Ebene fusioniert. Dabei weisen die Punktwolkendatensätze 10 und im Ergebnis somit auch der Fusionsdatensatz 12 Datenpunkte unterschiedliche Erfassungszeitpunkte und somit gewissermaßen eine Historie auf.
Anschließend werden in einem Segmentierungsmodul 13 die Grundfläche 14, welche den Untergrund, auf dem sich das Kraftfahrzeug 1 bewegt, repräsentiert, und/oder Objekthypothesen 15 für mögliche Objekte in der Umgebung U durch räumliche und/oder zeitliche Segmentierung der Datenpunkte des Fusionsdatensatzes 12 generiert. Mit anderen Worten erfolgt eine räumliche und/oder zeitliche Segmentierung des Fusionsdatensatzes 12 Beziehungen dessen Datenpunkte zum Zwecke der Objekterkennung. Dabei werden insbesondere Datenpunkte, welche ursprünglich aus unterschiedlichen Sensoreinheiten 2, 3, 4 stammen beziehungsweise welche aus den Sensorsignalen 6 unterschiedlicher Sendeeinheit 2, 3, 4 abgeleitet sind, gemeinsam segmentiert. Die Grundfläche 14 kann dabei auch zum Auswerten und/oder Segmentieren von weiteren Datenpunkten herangezogen werden. Insbesondere kann das Generieren der Objekthypothesen 15 zumindest teilweise basierend auf der zuvor generierten Grundfläche 14 erfolgen. Die Objekthypothesen 15 und/oder die Grundfläche 14 wird einem Modul 16 zur Dynamik- und/oder Konturschätzung bereitgestellt. Bei der Dynamik- und/oder Konturschätzung werden für die Objekthypothesen 15 eine Kontur und/oder Dynamik, insbesondere ein Geschwindigkeitswert, bestimmt. Das Bestimmen der Dynamik erfolgt insbesondere anhand von Dies wird im Folgenden noch genauer erläutert.
Um die Nachteile einer herkömmlichen „High-Level-Fusion“ zu beheben, wird eine neue Architektur genutzt, die sowohl eine „Low-Level-Fusion“ von Sensordaten unterschiedlicher Sensoreinheiten 2, 3, 4, insbesondere Lidar-Sensor 2, Kamera 3 und Radar-Sensor 4, als auch eine gemeinsame Segmentierung über Sensorgrenzen ermöglicht. Diese kann sowohl die Segmentierungsentscheidung über mehrere Sensoren und Messprinzipien fällen als auch innerhalb eines Zyklus fehlerhafte Segmentierungs- und Assoziationsentscheidungen revidieren.
Organisation der Datenpunkte
Durch die zeitliche Aggregation der Punktwolken 8 in den Punktwolkendatensätzen 10 werden diese mit zunehmender Dauer immer umfangreicher. Um die Echtzeitfähigkeit des Systems zu gewährleisten nötig, alte oder nicht mehr benötigte Datenpunkte aus den Punktwolkendatensätzen 10 zu verwerfen beziehungsweise zu löschen. Dies ist im Folgenden erläutert:

Der geometrische Index beziehungsweise die Punktwolkendatensätze 10 sind dafür da, die Punktwolken 8 in ihrer zeitlichen Entwicklung zu speichern und schnelle Zugriffsoperatoren auf diese zu ermöglichen. Hierzu können 3D-Voxel Grids, KDTrees oder Octrees genutzt werden. Vorliegend soll der verwendete geometrische Index eine zeitlich akkumulierte repräsentative Punktwolke als jeweiligen Punktwolkendatensatz 10 für die Umgebung U halten. Dies beruht auf der Erkenntnis, dass die aktuellsten Sensordaten 6 beziehungsweise Punktwolken 8 nicht ausreichen, da ansonsten verdeckte Bereiche sehr schnell verloren gehen. Ein wichtiger Aspekt ist die Echtzeitfähigkeit des Systems 19, weshalb der geometrische Index nur eine maximale Anzahl an Datenpunkte speichern darf. Hierzu werden vorliegend unterschiedliche Kriterien genutzt, um eine repräsentative Punktwolke zu speichern, welche eine max. Obergrenze von Datenpunkten einhält. Die im folgenden offenbarten Kriterien können beliebig miteinander kombiniert werden.

Gemäß eines ersten beispielhaften Kriteriums, werden je Datenpunkte bevorzugt gehalten, da häufig eine Akkumulation benötigt wird, bevor eine Objekthypothese 15 sicher generiert werden kann. Hier kann über ein Zeitfenster eine maximale Obergrenze der Datenpunkte indirekt bestimmt werden.
Gemäß eines zweiten beispielhaften Kriteriums, welches allein auf der Ebene des geometrischen Indexes beziehungsweise des Aggregationsmoduls 9 erfolgt, kann folgender Mechanismus genutzt werden, wenn neue Datenpunkte eintreffen, welche sehr ähnlich zu alten Datenpunkte sind, um die Datenpunkte zu vereinfachen:

- Es werden die neuesten Messdaten bevorzugt gehalten und alte, sehr ähnlichen Messdaten verworfen
- Alte und neue sehr ähnliche Messdaten werden fusioniert und mit dem neueren Zeitstempel versehen. In dem neuen Datenpunkt werden Messbestätigungen in Form eines Zählers oder in Form eines Existenzwahrscheinlichkeitsattributs mitgeführt. Abweichungen werden gemittelt.
- Eine bevorzugte Art eine Vereinfachung der Datenpunkte zu triggern, ist die dichtebasierte Messung. Wenn in einem Teilvolumen des Raumes zu viele Datenpunkte liegen (Schwellwert), so werden diese soweit vereinfacht, bis der Schwellwert unterschritten ist. Hierbei werden die Datenpunkte aussortiert, die noch am ähnlichsten sind. Das Dichtekriterium kann ortsvariabel sein, d. h. im Nahfeld werden mehr Datenpunkte gespeichert als im Fernbereich.

Das Segmentierungsmodul 13 bzw. das Modul 16 zur Dynamik- und/oder Konturschätzung entscheiden in jedem Zyklus, welche Datenpunkte wichtig und repräsentativ sind und markieren diese. Hierbei wird jedem Modul, also dem Segmentierungsmodul 13 bzw. dem Modul 16, ein jeweiliges „Budget“ an Datenpunkte zugeschrieben, welches nicht überschritten werden darf. Das jeweilige Modul 13, 16 darf also nur eine bestimmte Anzahl an Datenpunkte markieren. Die markierten Datenpunkte sollen nicht gelöscht werden. Ebenso kann das jeweilige Modul 13, 16 auch besonders unwichtige Datenpunkte markieren, welche bevorzugt gelöscht werden, wenn das jeweilige Budget aufgebraucht ist.
Kriterien für unwichtige Datenpunkte sind folgende:

- Die Datenpunkte haben nicht entscheidend zur Objektbildung beigetragen.
- Die Datenpunkte haben nicht entscheidend zu der Berechnung des Geschwindigkeitsvektors beigetragen.
- Die Datenpunkte liegen außerhalb der „Region-Of-Interest“ der Extraktoren. In [1] werden schwebende Objekte ausgefiltert, welche nicht mit dem Boden verbunden sind. Dieses Vorgehen gilt es zu vermeiden, da scheinbar schwebende Objekte in der Umwelt existieren können, welche teilweise verdeckt sind, sodass die Verbindung zum Boden nicht erkannt werden kann. Z. B. eine Schranke, wobei der Schrankenhalter teilverdeckt ist oder bei überstehender Ladung, welche nicht zum Fahrzeug assoziiert wird. Erfindungsgemäß sollen insbesondere solche Datenpunkte ausgefiltert werden, welche außerhalb des befahrbaren Manövrierraumes befinden, beispielsweise Objekte hinter Leitplanken, 3D-Datenpunkte innerhalb geschlossener Konturen (z. B. erkannte 3D-Punkte aus dem Inneren von Fremdfahrzeugen, wie beispielsweise Lenkrad und Kopfstützen) oder Datenpunkte sehr weit oberhalb des Fahrzeuges (z. B. Schilderbrücke).
- Die Datenpunkte beschreiben die statische Strukturen (z. B. Bodenfläche) und sind von benachbarten Datenpunkten desselben Segments umgeben, sodass bereits eine bestimmte, extraktorspezifische Datenpunktdichte erreicht wird.
- Invalide Datenpunkte, wie z. B. Datenpunkte unterhalb der Bodenebene.

Folgende Kriterien lassen selbst alte Datenpunkte als wichtig erscheinen:

- Datenpunkte liegen knapp über der geschätzten Fahrbahnoberfläche: Eine Akkumulation ist noch notwendig, um kleine Objekte von Sensorrauschen sicher zu separieren.
- Datenpunkte beschreiben Teile einer Kontur, welche sich aber mittlerweile außerhalb des Sensorsichtbereiches befindet (beispielsweise durch Verdeckung) und können nicht mehr aktualisiert werden. Dieses tritt beispielsweise bei einer Parklückenvermessung auf.
- Datenpunkte tragen wichtige Klassifizierungsinformationen oder Instanzeninformationen aus der Low-Level-Fusion, welche neue Datenpunkte nicht ausweisen.

In der aktuellen Ausprägung besteht die Datenbank zur Speicherung der Datenpunkte aus einem physikalischem Speicher und logischen Listen, welche die Speicherzellenadressen beinhalten. Die ankommenden Datenpunkte aus einer Sensoreinheit, beziehungsweise einer der Punktwolken 8 werden in dem Speicher abgelegt. Dafür wird geprüft ob genug Speicher zu Verfügung steht und dann die Datenpunkte in die freien Zellen gespeichert. Dabei wird die Speicheradresse jeder Zelle, in der ein Datenpunkt liegt, gemerkt und in die logischen Listen sortiert abgelegt. Im System können mehrere logische Listen mit unterschiedlichsten Sortierstrategien vorhanden sein. Andere Ausprägungen sind auch denkbar. Insbesondere aber nicht ausschließlich besteht das System aus folgenden zwei Listen. Die erste Liste („List1“) speichert die Datenpunktspeicheradressen einsortiert in drei dimensionalen Boxen, dabei entspricht die erste Dimension der x-Position, die zweite Dimension der y-Position und die dritte Dimension der Zeit. Der Zugriff auf die 3D-Box erfolgt über eine zeitlich-örtliche Koordinate, wobei man einen Iterator bekommt, der durch das Iterieren den Zugriff auf alle Datenpunkte in der drei dimensionalen Box realisiert. Die zweite Liste („List2“) speichert die Datenpunktspeicheradressen sortiert nach Zeit und organisiert nach Azimut- und Elevationswinkel der Datenpunkte im Sensorkoordinatensystem. Der Zugriff auf die Datenpunkte erfolgt also erst mit einer zeitlichen Koordinate, wobei man eine Liste bekommt, in der die Datenpunkte eines Sensors nach Azimut- und Elevationswinkel organisiert sind. Neben dem Speicher für die Datenpunkte, enthält die Datenbank auch andere Schichten, die das Speichern von anderen Arten von Daten erlauben. Zum Beispiel können die generierten Objekthypothesen in einer Objekt-Schicht gespeichert werden die konsistent zu dem Datenpunktspeicher gehalten wird. Das bedeutet, jede Objekthypothese wird mit den Punkten die zur Generierung der Hypothese beigetragen haben, mittels des geometrischen Indexes verlinkt. Eine weitere Schicht in der Datenbank ist die Freiraum-Schicht. Diese speichert den 3D-Höhenverlauf des befahrbaren Raums (z.B. der Fahrbahn) in einer leicht auswertbaren Repräsentation.
Für eine hochautomatisierte Fahrfunktion (Level 3+) ist eine präzise und zuverlässige Vermessung der Umgebung notwendig. Wie in der Problembeschreibung bereits erwähnt, haben die aktuellen Fahrerassistenzsysteme in Serie mehrere Systemgrenzen. In diesem Kapitel werden die Probleme der konturgenaue Bodenschätzung, präzise Dynamikschätzung der Objekte in der Umgebung und rechtzeitige Erkennung kleiner Objekte auf der Fahrbahn behandelt.
Konturgenaue Bodenschätzung
Die konturgenaue Bodenschätzung ist in Grenzfällen notwendig für die Separierung kleiner Objekte, wie z.B. verlorene Ladung und für komplexe Fahrbahntopologien, wie Spiralauffahrten und Rampen. Aktueller Stand der Technik ist etwa die Schätzung der Bodenpunkte auf Einzelscanbasis. In der Umgebungsvermessungstechnik macht dies Sinn, da der Sensor nicht bewegt wird und somit mehrere Scans keine neue Informationen liefern. Aber auch mobile Systeme nutzen häufig nur Einzelscans zur Bodenschätzung.
Gemäß einem dritten Ausführungsbeispiel wird die Klassifikation der Bodenpunkte, also Datenpunkten, die als Teil der Grundfläche segmentiert werden, in zwei Schritten realisiert. Hierfür wird initial eine Befahrbarkeitswahrscheinlichkeit für alle Datenpunkte auf Einzelscanbasis, also beispielsweise auf Ebene des Sensorsignals 6 oder der Punktwolke 8, Tiefenbild (auch als die „List2“ bezeichnet) berechnet. Im zweiten Schritt wird die Befahrbarkeitswahrscheinlichkeit für unsichere Datenpunkte durch Untersuchung der älteren Nachbarpunkte im Weltkoordinatensystem (der ersten Liste „List1‟) verbessert.
Die Bestimmung der Befahrbarkeitswahrscheinlichkeit wird wie folgt anhand von 3 erläutert. Vereinfachungshalber wird eine Punktwolke in 2D betrachtet. Das konkrete System kann eine Punktwolke mit größeren Dimensionen behandeln. Die Befahrbarkeitswahrscheinlichkeit ist beispielhaft wie folgt danke definiert: Befahrbarkeitswahrscheinlichkeit 0% >= 90°, Befahrbarkeitswahrscheinlichkeit 100% = 0°, Befahrbarkeitswahrscheinlichkeit = 100% - 100% / 90° Winkel.
Anhand der 3 mit den Datenpunkte a bis f wird das vorliegende Verfahren kurz erläutert. Zuerst werden Datenpunkte c und d als Bodenpunkte initialisiert. Dies kann beispielhaft mit einem Algorithmus aus „Phuong Chu; Seoungjae Cho; Sungdae Sim; Kiho Kwak; Kyungeun Cho; A Fast Ground Segmentation Method for 3D Point Cloud, J Inf Process Syst, Vol.13, No.3, pp.491-499, June 2017 ; ISSN 2092-805X (Electronic)‟ geschehen. Es wird ein Winkel β zwischen Ausrichtung des Kraftfahrzeugs 1 (Egofahrzeug) und L2 berechnet. Der Winkel β beträgt Null Grad, das entspricht einer Befahrbarkeitswahrscheinlichkeit für Datenpunkt e von 100%, es sind keine weiteren Berechnungen notwendig. Dann wird der Winkel α1 berechnet. Dieser beträgt z.B. 10°. Dies entspricht einer Befahrbarkeit Wahrscheinlichkeit von 89%. Im zweiten Schritt wird die Befahrbarkeitswahrscheinlichkeit präzisiert. Es werden alle Datenpunkte gesucht, die in der Umgebung von Datenpunkt f sind und somit Datenpunkte b und g aus der vorherigen Messungen identifiziert. Datenpunkt g liegt über der Linie L3 und somit könnte von einem dynamische Objekt stammen und deswegen verworfen. Datenpunkt b liegt unter der L3 Linie und wird für die Berechnung des neuen Befahrbarkeitswahrscheinlichkeit für Datenpunkt f verwendet, es wird der Winkel α2= 70° ermittelt, das einer Befahrbarkeitswahrscheinlichkeit von ca. 22% entspricht. Das System ist somit für die konturgenaue Schätzung der Bodenebene vorbereitet.
Präzise Dvnamikschätzung
Für die automatisierte Fahrfunktion, insbesondere auf einer Autobahn oder Schnellstraße, ist eine stabile und präzise Dynamikschätzung anderer Objekte notwendig, insbesondere um Kollisionen mit Objekten zu vermeiden. Stand der Technik ist beispielsweise die Dynamikschätzung der Objekte basierend auf einem Referenzpunkt pro Modell. Dies führt zu Fehlern, falls der Referenzpunkt nicht stabil auf dem Objekt liegt oder im Modell auf einer anderen Position springt oder die Assoziation der Referenzpunkte zwischen zwei Messungen falsch ist z.B. durch Blickwinkeländerung des Sensors auf die Zielobjekte. Die Sprünge zwischen den Referenzpunkten oder deren falschen Assoziation über Zeit können zwar mit einem Kalman-Filter behandelt werden, dies induziert andere Probleme wie Tracking eines falsch erkannten Objekts über eine längere Zeit im System. Das vorgestellte System ist darauf ausgelegt die Dynamik eines Objekts auf Basis mehrerer markanter Datenpunkte, die in einem gewissen Zeitraum aufgenommen und in ein Geschwindigkeits-Houghraum transformiert werden, zu schätzen.
Um die Dynamik eines Objekts zu berechnen, müssen die Datenpunkte über Ort und Zeit korrekt zu einander assoziiert werden. Pro Erfassungszeitpunkt werden die Datenpunkte örtlich segmentiert. Dabei ist vorgesehen, dass die Bodenpunkte mit dem hier vorgestellten Verfahren klassifiziert werden. Für die zeitliche Assoziation werden die Datenpunkte mehrerer aufeinanderfolgenden Erfassungszeitpunkte verglichen und miteinander in Relation gebracht. Dafür können unterschiedliche Verfahren eingesetzt werden. Eine Option stellen Scan-Matching Verfahren dar. Alternativ können aus Datenpunkte Segmente mit speziellen Eigenschaften pro Erfassungszeitpunkt identifiziert und in ein oder mehrere Geschwindigkeits-Houghräume eingetragen werden.
Insbesondere beinhaltet das System ein oder mehrere Geschwindigkeits-Houghräume, die auf Basis der Segmenteigenschaften der Segmente reduzierte Dimensionen haben. Die Reduktion der Dimensionen der Geschwindigkeits-Houghräume ist notwendig um die Echtzeitfähigkeit des Systems zu gewährleisten. Im vorliegenden System wird beispielsweise der 3D-Raum in acht Geschwindigkeit-Abstand-Houghräumen nach möglichen Geschwindigkeitsrichtungen aufgeteilt. In dieser Ausprägung des Systems wird nach x-y-Geschwindigkeitsvektoren in Richtung des Normalvektors einer Fläche um den Datenpunkt, die anhand von benachbarten Datenpunkte identifiziert worden ist, gesucht. Dabei wird der Normalvektor in die x-y-Ebene projiziert und die Flächendatenpunkte werden abhängig von der Richtung des x-y-Normalvektors in den passenden Geschwindigkeits-Houghraum einsortiert.
Nach dem die Datenpunkte dem jeweiligen Geschwindigkeits-Houghraum zugeordnet sind, werden die Geschwindigkeiten für jeden Datenpunkt zum Referenzzeitpunkt berechnet. Angenommen P_tr ist ein Referenzpunkt zur Referenzzeit tr, P_t ist ein beliebiger Datenpunkt aufgenommen zur Zeit t und es gilt t < tr, so gilt für den Referenzpunkt P_tr: $P_{t r} = P_{t} + V * (t r - t)$
Es folgt für die Geschwindigkeit V $V = \frac{P_{t r} - P_{t}}{(t r - t)}$
Für den Referenzpunt P_tr werden alle Geschwindigkeiten V mit Formel 1 für alle Datenpunkte P_t in dem Geschwindigkeits-Houghraum berechnet und akkumuliert. Alle Datenpunkte P_t, die die Bewegung des Referenzpunts P_tr am besten beschreiben, erzeugen eine Häufung/Maximum in den akkumulierten Geschwindigkeiten. Insbesondere werden alle Datenpunkte und somit alle Segmente, die zu einem Maximum beigetragen haben, über Zeit zu einander und zum Referenzpunktsegment assoziiert.
In dieser Ausprägung besteht das System aus Datenpunkte verschiedener Erfassungszeitpunkte, die pro Erfassungszeitpunkt zu einem Segment zusammengefasst worden sind. Die Datenpunkte, die eine Fläche des Segments beschreiben, werden je nach Flächennormalvektor in den passenden Geschwindigkeits-Houghraum eingetragen. Für die Referenzdatenpunkte wird ein Maximum in dem entsprechenden Geschwindigkeits-Houghraum ermittelt und somit wird das Segment mit dem Referenzdatenpunkt mit allen Segmenten deren Datenpunkte zum Maximum beigetragen haben, über Zeit assoziiert. Dies ist anhand von 4 anhand eines konkreten Beispiels erläutert:

Ein erstes Objekt 30 und ein zweites Objekt 31 sind in einem zweidimensionalen Koordinatensystem mit ihrer jeweiligen räumlichen Koordinate x und y abhängig von der Zeit t eingezeichnet. Das Objekt 30 befindet sich zurzeit t0 am Ort des Bezugszeichens 30, zurzeit t1 am Ort des Bezugszeichens 30' und zurzeit t2 am Ort des Bezugszeichens 30". Das Objekt 30 bewegt sich also zur Position 30". Das Objekt 31 befindet sich zurzeit t, t1 und t2 am Ort der Bezugszeichen 31, 31' und 31", es verharrt also in Ruhe.

Die Objekte 30, 31 weisen jeweils mehrere Datenpunkte (im Beispiel jeweils sechs Datenpunkte) auf, welche zum jeweiligen Objekt beziehungsweise zur jeweiligen Objekthypothese 15 segmentiert wurden. Die beiden Objekte 30, 31 sehen sich sehr ähnlich (siehe relative Ausrichtung der einzelnen Datenpunkte), weshalb eine Verwechslung beim Tracken der Objekte 30, 31 mit Methoden aus dem Stand der Technik möglich wäre. Dies würde in einer fehlerhaft erfassten Geschwindigkeit resultieren.
Die beiden Objekte 30, 31 weisen jeweils zwei Flächen beziehungsweise Ebenen auf, welche in der 4 durch die Normalvektoren 38 und 39 kenntlich gemacht sind. Entsprechend der Normalvektoren werden die Positionen der Objekte 30, 31 in zwei Geschwindigkeits-Houghräume V_90° und V_0° eingeteilt. In dem jeweiligen Geschwindigkeits-Houghräumen V_90° und V_0° wird die Geschwindigkeit jeweils parallel zu einem der beiden Normalvektoren 38, 39 bestimmt. In den jeweiligen Geschwindigkeits- Houghräumen V_90° und V_0° wird die Position parallel zu dem jeweiligen Normalvektoren 38, 39 des entsprechenden Geschwindigkeits-Houghraumes eingezeichnet. Anschließend wird im Geschwindigkeits-Houghraum V_90° ausgehend von den Positionen zum Zeitpunkt t0 und t1 des Objekts 31 ermittelt, welche Geschwindigkeit parallel zum Normalvektor 38 das Objekt 31 haben müsste, um zurzeit t2 an der Position 30" des Objekts 30 zu erscheinen. Entsprechend der jeweils ermittelten Geschwindigkeit werden die Geraden 36, 37 eingezeichnet. Die beiden Geraden 36, 37 ausgehend von den beiden Punkten für t0 und t1 haben keinen gemeinsamen Schnittpunkt und divergieren. Somit kann das Objekt an der Position 30" nicht durch Bewegung des Objekts 31 aus der Position 31 und 31' entstanden sein. Eine Verwechslung der beiden Objekte 30, 31 ist ausgeschlossen.
Analog wird dies für den Geschwindigkeits-Houghraum V_0° durchgeführt. In diesem wird die Position des Objekts 30 zum Zeitpunkt t0, t1 und t2 sowie die Position des Objekts 31 zum Zeitpunkt t0 und t1 jeweils bezogen auf den Normalvektoren 39 eingetragen. Für das Objekt 30 zum Zeitpunkt t0 und t1 schneiden sich die Linien 32, 33, welche die berechnete Geschwindigkeit angeben, in einem gemeinsamen Schnittpunkt mit der Geraden 34, welche parallel zur Geschwindigkeitsachse durch den Datenpunkt des Objekts 30 zum Zeitpunkt t2 verläuft. Auf diese Weise kann verifiziert werden, dass eine gleichförmige Bewegung des Objekts 31 zwischen den Zeitpunkten t0, t1 und t2 erfolgt. Analog werden wiederum die Geraden 36', 37' für das Objekt 31 eingetragen. Diese divergieren wiederum, weshalb ausgeschlossen werden kann, dass das Objekt an der Position 30''durch Bewegung des Objekts 31 aus der Position 31 und 31' entstanden ist.
Besteht ein Segment zu einem Messzeitpunkt aus nicht genug Flächen, so dass kein vollständiger Geschwindigkeitsvektor geschätzt werden kann, können andere Merkmale wie z.B. Abrisskanten zum Schätzen der fehlenden Geschwindigkeitsvektoren unter der Nutzung angepasster Geschwindigkeits-Houghräume genutzt werden. Wird ein Sensor verwendet, der zu einem Datenpunkt zusätzliche Attribute als die Entfernung des Datenpunkts zum Sensor liefert, so werden diese Attribute erfindungsgemäß zum Filtern der Datenpunkte, die zum Maximum im GHR beitragen oder zum Aufspannen anderer Geschwindigkeit-Abstand-Houghräume genutzt.
In einem weiteren Beispiel gemäß 5 stammen die Datenpunkte aus dem Radar-Sensor 4 und besitzen somit einen Radialgeschwindigkeitswert pro Datenpunkt, da mithilfe eines Radar-Sensors 4 die radiale Geschwindigkeit gemessen werden kann. Abhängig von dem Radialgeschwindigkeitswert eines Datenpunktes kann ein Geschwindigkeit-Abstand-Houghraum für diesen Datenpunkt aufgespannt werden, wobei die Geschwindigkeitsachse die Geschwindigkeit orthogonal zur gemessenen Radialgeschwindigkeit ist, also die gesuchte tangentiale Komponente. Es kann also auf einen Geschwindigkeits-Houghraum parallel zur radialen Geschwindigkeit bezogen auf den Radar-Sensor 4 verzichtet werden, da diese bereits aus den Sensordaten 6 abgeleitet werden kann.
Zuerst wird die Geschwindigkeit V_I1 berechnet, mit $V_{t 1} * (t r - t) = P_{t r} - P_{t} - V_{r 1} * (t r - t)$
woraus folgt: $V_{t 1} = \frac{P_{t r} - P_{t}}{(t r - t)} - V_{r 1}$
Sind V_t1 und V_t1 orthogonal zueinander, also ist V_l1 die gesuchte tangentiale Geschwindigkeit, dann gilt V_t1 ° V_r1 = 0 (Skalarprodukt). Dabei beschreibt der Index t die tangentiale Geschwindigkeitskomponente, der Index r die radiale Geschwindigkeitskomponente. Der zweite Index nummeriert die Datenpunkte unterordnet die jeweiligen Werte einem bestimmten Datenpunkt zu (Datenpunkte 1 bis 4 zur Zeit t, t+1, t+2 und tr).
Ist die obige Bedingung erfüllt, so kann der Datenpunkt in den Geschwindigkeits-Houghraum 40 parallel zu V_r1 eingetragen werden, aber da der zweite Datenpunkt auch eine Radialgeschwindigkeit hat, wird erst geprüft, ob seine Radialgeschwindigkeit V_r2 die erste Messung bestätigt. Analog wird der Geschwindigkeitsvektor V_t2 analog zu Formel 4 $V_{t 2} = \frac{P_{t r} - P_{t}}{(t r - t)} - V_{r 2}$
Berechnet und auf Orthogonalität mit dem Vektor Vr2 geprüft, durch V_t2 ° V_r2 = 0 (Skalarprodukt).
Wenn Vt2 und Vr2 orthogonal zueinander sind, wird der Datenpunkt in den Geschwindigkeit-Houghraum V_r1 tangential, also den Geschwindigkeit-Houghraum 40, eingetragen. Dabei werden analog zu 4 entsprechende Linien 42 eingetragen.
Kann ein Maximum in dem Geschwindigkeit-Houghraum V_r1 tangential ermittelt werden, so werden alle Datenpunkte, die zu dem Maximum beigetragen haben, zueinander über die Zeit t assoziiert.
Insgesamt kann die Assoziation der Datenpunkte des Fusionsdatensatzes 12 auf unterschiedlichen Arten eingesetzt werden. Genauer gesagt, kann der oben erwähnte oder ein analoger Algorithmus einmalig über alle Sensoren oder in mehreren Schritten ausgeführt werden. Zum Beispiel können die Lidar-Messungen zuerst assoziiert und mit Geschwindigkeitsvektoren versehen werden. In einem zweiten Schritt würden Lidar-Messungen dann mit den RADAR-Messungen assoziiert werden. Diese Assoziation hätte dann als Folge auch eine Aktualisierung der Geschwindigkeitsvektoren der Segmente. Beliebig andere Kombinationen und Reihenfolgen sind auch vorstellbar und werden von dieser Erfindungsmeldung abgedeckt. Das Ergebnis sind über Ort und Zeit zu einander assoziierte Datenpunkte sowie Geschwindigkeitsvektoren für jedes Segment. Bei den ermittelten Geschwindigkeitsvektoren für jedes Segment handelt es sich um über den Beobachtungszeitraum gemittelte Werte unter der Annahme linearer Bewegung. Diese können als Grundlage für eine komplexere Modellierung der Bewegung (z.B. mit Hilfe nichtlinearer Dynamikmodelle) dienen. Die Kontur eines dynamischen Segments wird durch alle Datenpunkte des Segments beschrieben, die zuerst auf ein Referenzzeitpunkt mit der Segmentgeschwindigkeit prädiziert werden.
Rechtzeitige Erkennung kleiner Objekte auf der Fahrbahn insbesondere bei Level 3+ Systemen gibt es keinen Fahrer, der im Fehlerfall eingreifen kann, somit müssen bei hohen Geschwindigkeiten kleine statische Objekte, die nicht überfahrbar sind, rechtzeitig erkannt werden (z.B. Autobahnpilot). Die System in aktueller Ausprägung gemäß Level 2 behandeln diesen Fall nicht. Um die kleinen Objekte so früh wie möglich zu erkennen, werden die über die Zeit auf kumulierte Punktwolkendatensätze 10 oder wird der über die Zeit auf kumulierte Fusionsdatensatz 12, die in der zuvor beschriebenen Datenbank organisiert sind, benutzt.
Dabei ist vorliegend folgender Ablauf vorgesehen:

1. Ausganssituation ist ein Fusionsdatensatz mit mehreren Punktwolkendatensätzen, die wie oben beschrieben vorliegen und segmentiert wurden.
2. Es werden alle Datenpunkte, die keinem Segment zugeordnet werden konnten oder zu einem kleinen Segment gehören, ermittelt.
3. Mit dem Zugriff über List1 wird die Nachbarschaft der Datenpunkte in Zeit und Raum untersucht.
4. Befinden sich die Datenpunkte aus verschiedenen Erfassungszeitpunkt im näheren Raum zu einander und die Anzahl der Datenpunkte erreicht ein gewisses Maß, so werden diese zu einem kleinen Segment zusammen gefasst.

Nach dem vorgeschlagenen Ablauf sind im System segmentierte und über Zeit assoziierte Datenpunkte kleiner statischer, statischer und dynamischer Objekte sowie Bodenpunkte vorhanden. Diese wie oben beschrieben im geometrischen Index organisiert. Des Weiteren besitzen dynamische Segmente einen Geschwindigkeitsvektor und alle Segmente bestehen aus akkumulierten Datenpunktwolke, die eine präzise Schätzung der Kontur des Segment ermöglicht.
Insgesamt zeigt das Beispiel, wie durch die Erfindung eine verbesserte Auswertung von Sensordaten beziehungsweise Punktwolken unterschiedlicher Sensoreinheiten eines Kraftfahrzeugs ermöglicht wird.
Bezugszeichenliste

1: Kraftfahrzeug
2: Lidar-Sensor
3: Kamera
4: Radar-Sensor
5: Kraftfahrzeug-Steuereinheit
6: Sensordaten
7: Vorverarbeitungseinheit
8: Punktwolke
9: Aggregationsmodul
10: Punktwolkendatensatz
11: Fusionierungsmodul
12: Fusionsdatensatz
13: Segmentierungsmodul
14: Grundfläche
15: Objekthypothese
16: Modul
19: System
30,30'. 30'': erstes Objekt
30,31 ',31'': zweites Objekt
32...37: Linien
38, 39: Normalvektoren
40: Geschwindigkeits-Houghraum
41...41 ‚‘‘: Objekt zu unterschiedlichen Zeitpunkten
42: Linien
x, y, t: Koordinaten
a...f: Datenpunkte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017125963 A1 [0003]
DE 102017126877 A1 [0004]
DE 102018112115 A1 [0005]

Zitierte Nicht-Patentliteratur

„Phuong Chu; Seoungjae Cho; Sungdae Sim; Kiho Kwak; Kyungeun Cho; A Fast Ground Segmentation Method for 3D Point Cloud, J Inf Process Syst, Vol.13, No.3, pp.491-499, June 2017 [0057]

Claims

Verfahren zum Erfassen einer Umgebung (U) eines Kraftfahrzeugs (1) mittels an dem Kraftfahrzeug (1) angeordneter Sensoreinheiten (2,3,4), mit den Schritten: - Erzeugen eines ersten und eines zweiten Punktwolkendatensatzes (10), wobei der erste Punktwolkendatensatz (10) Datenpunkte, welche aus Sensordaten (6) einer ersten der Sensoreinheiten (2,3,4) abgeleitet sind, aufweist und der zweite Punktwolkendatensatz (10) Datenpunkte, welche aus Sensordaten (6) einer zweiten der Sensoreinheiten (2,3,4) abgeleitet sind, aufweist und die Datenpunkte innerhalb des ersten und/oder zweiten Punktwolkendatensatzes (10) zumindest zwei unterschiedliche Erfassungszeitpunkte (t, tr) repräsentieren, - Fusionieren der jeweiligen Datenpunkte des ersten und zweiten Punktwolkendatensatzes (10) zu einem Fusionsdatensatz (12), und - Generieren einer Grundfläche (14), welche einen Untergrund, auf dem sich das Kraftfahrzeug (1) bewegt, repräsentiert, und/oder von Objekthypothesen (15) für mögliche Objekte in der Umgebung (U) durch räumliche und/oder zeitliche Segmentierung der Datenpunkte des Fusionsdatensatzes (12).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die jeweiligen Datenpunkte des ersten und des zweiten Punktwolkendatensatzes (10) zumindest zwei räumliche Koordinaten (x, y) und/oder eine zeitliche Koordinate (t) aufweisen, wobei die zeitliche Koordinate (t) der Datenpunkte den jeweiligen Erfassungszeitpunkt des entsprechenden Datenpunktes angibt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch wiederholtes Hinzufügen neuer Datenpunkte anhand von neu erfassten Sensordaten (6) zu dem ersten und/oder zweiten Punktwolkendatensatz (10) eine zeitliche Akkumulation von Datenpunkten in dem jeweiligen Punktwolkendatensatz (10) erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass gemäß einer vorbestimmten Vorschrift ausgewählte Datenpunkte des ersten und/oder zweiten Punktwolkendatensatzes (10) verworfen werden, sobald die Anzahl an Datenpunkten in dem entsprechenden Punktwolkendatensatz (10) einen Maximalwert überschreitet und/oder sich diesem bis auf ein vorbestimmtes Maß annähert.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass entsprechend der vorbestimmtes Vorschrift Datenpunkte zumindest teilweise in Abhängigkeit ihres Erfassungszeitpunktes zum Verwerfen ausgewählt werden, wobei insbesondere entsprechend dem jeweiligen Erfassungszeitpunkt ältere Datenpunkte gegenüber jüngeren Datenpunkten bevorzugt verworfen werden.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass unter mehreren älteren Datenpunkten diejenigen bevorzugt verworfen werden, deren Messdaten eine höhere Übereinstimmung mit einem jüngeren Datenpunkt aufweisen und insbesondere vor dem Verwerfen eines älteren Datenpunktes dessen Messdaten mit einem jüngeren Datenpunkt fusioniert werden, insbesondere durch Mitteln der jeweiligen Messdaten des jüngeren und des älteren Datenpunktes.
Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass basierend auf einer räumlichen Dichte der Datenpunkte, insbesondere basierend auf den räumlichen Koordinaten (x, y), Datenpunkte in Bereichen höher Dichte bevorzugt verworfen werden gegenüber Datenpunkten in Bereichen niedriger Dichte.
Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass das Verwerfen von Datenpunkten in Abhängigkeit von einem Prioritätswert erfolgt, der bei der räumlichen und/oder zeitlichen Segmentierung der Datenpunkte bestimmt wird, wobei der Prioritätswert angibt, von welcher Bedeutung jeweilige Datenpunkte für das Generieren der Grundfläche und/oder der Objekthypothesen ist.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass entsprechend dem Prioritätswert Datenpunkte bevorzugt verworfen werden, auf die eines oder mehrere der folgenden Kriterien zutrifft: - Datenpunkte tragen nicht zu einer Objekthypothese bei, - Datenpunkte tragen nicht zu einer Geschwindigkeitsmessung bei, - Datenpunkte liegen außerhalb einer vorbestimmte Region von Interesse, - Datenpunkte sind Teil der Grundfläche, auf der sich das Kraftfahrzeug bewegt und diese ist durch benachbarte Datenpunkte hinreichend definiert, und/oder - Datenpunkte liegen unterhalb der Grundfläche.
Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass entsprechend dem Prioritätswert Datenpunkte nachrangig verworfen werden, auf die eines oder mehrere der folgenden Kriterien zutrifft: - Datenpunkte liegen oberhalb der Grundfläche und die Entfernung von der Grundfläche liegt innerhalb eines vorbestimmten Intervalls, - Datenpunkte sind Teil einer Objekthypothese, welche für Datenpunkte mit jüngerem Erfassungszeitpunkt außerhalb eines Erfassungsbereichs einer oder mehrerer der Sensoreinheiten liegt, - Datenpunkte werden für das Klassifizieren der Objekthypothese herangezogen, weil jüngere Datenpunkte eine entsprechende Klassifikation nicht ermöglichen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Generieren der Grundfläche (14) Datenpunkte aus dem ersten Punktwolkendatensatz (10) und bei dem Generieren der Objekthypothesen Datenpunkte aus dem zweiten Punktwolkendatensatz (10) verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Generieren der Objekthypothesen (15) Datenpunkte aus dem ersten Punktwolkendatensatz (10) und bei dem Zuordnen eines jeweiligen Geschwindigkeitswerts zu den Objekthypothesen (15) Datenpunkte aus dem zweiten Punktwolkendatensatz (10) verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - das Generieren der Grundfläche (14) und/oder Objekthypothesen (15) jeweils zweistufig erfolgt, wobei - die räumliche und/oder zeitliche Segmentierung zunächst ausschließlich anhand von jüngsten Datenpunkten, welche den aktuellsten Erfassungszeitpunkt aller Datenpunkte aufweisen, erfolgt, und - anschließend ein Ergebnis der räumlichen und/oder zeitlichen Segmentierung, insbesondere nur in einem Teilbereich der resultierenden Grundfläche und/oder Objekthypothesen, anhand älterer Datenpunkte verifiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Bestimmung einer Dynamik für die Objekthypothesen eine Hough-Transformation durchgeführt wird, wobei die Hough-Transformation auf Houghräume parallel zu Normalvektoren (38, 39) erfasster Ebenen der jeweiligen Objekthypothesen (15) beschränkt wird.
Kraftfahrzeug-Steuereinheit (5), welche dazu ausgebildet ist, eine Umgebung (U) eines Kraftfahrzeugs (1) zu erfassen, wobei die Kraftfahrzeug-Steuereinheit (5) zur Durchführung eines Verfahren nach einem der vorhergehenden Ansprüche ausgebildet ist.