DE102018131495B4 - Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors und Fahrunterstützungssystem zur Durchführung des Verfahrens - Google Patents

Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors und Fahrunterstützungssystem zur Durchführung des Verfahrens Download PDF

Info

Publication number
DE102018131495B4
DE102018131495B4 DE102018131495.7A DE102018131495A DE102018131495B4 DE 102018131495 B4 DE102018131495 B4 DE 102018131495B4 DE 102018131495 A DE102018131495 A DE 102018131495A DE 102018131495 B4 DE102018131495 B4 DE 102018131495B4
Authority
DE
Germany
Prior art keywords
distance
field
dimensional data
sensor
optical sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018131495.7A
Other languages
English (en)
Other versions
DE102018131495A1 (de
Inventor
Christian Witt
Martin Simon
Varun-Ravi Kumar
Stefan Milz
Victor Vaquero
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102018131495.7A priority Critical patent/DE102018131495B4/de
Publication of DE102018131495A1 publication Critical patent/DE102018131495A1/de
Application granted granted Critical
Publication of DE102018131495B4 publication Critical patent/DE102018131495B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes (54) eines Abstandsensors (22) aus einer Perspektive eines optischen Sensors (24), zum Durchführen mit einem Fahrunterstützungssystem (32), wobei der Abstandsensor (22) ein Abstand-Sichtfeld (42) aufweist und der optische Sensor (24) ein Bild-Sichtfeld (48) aufweist, das sich zumindest teilweise mit dem Abstand-Sichtfeld (42) deckt, umfassend die SchritteBereitstellen eines 3-dimensionalen Datenfeldes (40), mittels des Abstandsensors (22), das eine Umgebung (26) eines Fahrzeuges (20) im Abstand-Sichtfeld (42) aus der Perspektive des Abstandsensors (22) abbildet, wobei das 3-dimensionale Datenfeld (40) Datenpunkte (44) mit jeweils einem Abstandswert umfasst,Bestimmen einer 2D-Position (46) der Datenpunkte (44) des 3-dimensionalen Datenfeldes (40) aus der Perspektive des optischen Sensors (24) durch Projizieren des 3-dimensionalen Datenfeldes (40) in das Bild-Sichtfeld (48),Aufteilen des 3-dimensionalen Datenfeldes (40) in Abstandswertklassen (50) unter Berücksichtigung der Abstandswerte der Datenpunkte (44) des 3-dimensionalen Datenfeldes (40),Bereitstellen von binären Schnittmasken (52) basierend auf den jeweiligen Datenpunkten (44) in einer Abstandswertklasse (50) unter Berücksichtigung der 2D-Position (46) der Datenpunkte (44), undAuswählen einer Teilmenge (54) des 3-dimensionalen Datenfeldes (40) unter Berücksichtigung der binären Schnittmasken (52) als 3-dimensionales Datenfeld (54) des Abstandsensors (22) aus der Perspektive des optischen Sensors (24).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors.
  • Des Weiteren betrifft die vorliegende Erfindung ein Verfahren zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten, basierend auf einem optischen Sensor und einem Abstandsensor.
  • Auch betrifft die vorliegende Erfindung ein Fahrunterstützungssystem zur Durchführung des Verfahrens zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors.
  • Autonomes und halbautonomes Fahren wird in der Automobilindustrie immer wichtiger, wobei Prototypen für das autonome Fahren bereits entwickelt und eingesetzt werden. An einigen Orten werden diese Prototypen sogar unter realen Fahrsituationen getestet. Es wird erwartet, dass autonom fahrende Fahrzeuge manuell gesteuerte Fahrzeuge in der Zukunft ersetzen bzw. diese vom Markt verdrängen werden. Dementsprechend wird autonomes Fahren für den Automobilsektor als eine disruptive Technologie angesehen.
  • Autonomes und halbautonomes Fahren hängt von einer detaillierten Kenntnis der Umgebung des Fahrzeugs ab, das im Folgenden als Ego-Fahrzeug bezeichnet wird. Um die Umgebung zu erfassen, können im Ego-Fahrzeug verschiedene Arten von Umgebungssensoren eingesetzt werden, wodurch Objekte wie Fremdfahrzeuge oder Verkehrszeichen in der Umgebung des Ego-Fahrzeuges erfasst, lokalisiert und/oder identifiziert werden können.
  • Die zur Überwachung der Umgebung des Ego-Fahrzeugs verwendeten Umgebungssensoren können nach der Art der Informationen, die die Sensoren bereitstellen, in verschiedene Kategorien eingeteilt werden. Beispielsweise können einige Umgebungssensoren eine Distanz zu einem Objekt an einem Messpunkt in der Umgebung des Ego-Fahrzeugs bestimmen. Hierzu gehören zum Beispiel lidar- oder radarbasierte Sensoren, welche im Folgenden als Abstandsensoren bezeichnet werden. Andere Umgebungssensoren, wie beispielsweise optische Sensoren, können keine so genauen Informationen über die Entfernung zu einem Objekt liefern. Stattdessen besteht ihre Stärke darin, ein zweidimensionales Bild der Umgebung des Ego-Fahrzeuges bereitzustellen, in dem beispielsweise Objekte identifiziert werden können. Zu solchen optischen Sensoren gehören beispielsweise Mono- bzw. Stereokamerasysteme.
  • Für autonomes und halbautonomes Fahren sind beide Arten von Informationen wichtig. Dementsprechend werden zunehmend auch beide Arten von Sensoren, also Abstandsensoren und optische Sensoren, gemeinsam zum Erfassen der Umgebung des Ego-Fahrzeuges eingesetzt. Allerdings sind diese Sensoren nur in Ausnahmefällen an der gleichen Position am Ego-Fahrzeug angebracht. Dementsprechend erfassen der optische Sensor und der Abstandsensor die Umgebung des Ego-Fahrzeuges aus unterschiedlichen Perspektiven. Bei mehreren Objekten in der Umgebung kann beispielsweis ein Sensor, der auf dem Dach des Ego-Fahrzeuges montiert ist, Objekte in der Umgebung erfassen, die aus der Perspektive eines weniger hoch montierten Sensors nicht erfasst werden können, da diese durch andere Objekte verdeckt sind. Bei der Fusionierung der durch die Sensoren bereitgestellten Sensordaten kann diese unterschiedliche Perspektive der Sensoren zu Problemen führen, weil beispielsweise falsche Tiefeninformationsbilder erstellt werden, wie das folgende Beispiel illustriert.
  • 1 zeigt ein Beispiel aus dem Stand der Technik, wie durch Projektion von Sensordaten eines Abstandsensors ein nicht korrektes Tiefeninformationsbild entsteht. Die 1 zeigt schematisch ein Ego-Fahrzeug 1 mit einem Abstandsensor 2, hier ein Lidar-Sensor, und einem optischen Sensor 3, hier eine Kamera. Der Lidar-Sensor 2 ist auf dem Dach des Ego-Fahrzeuges 1 angebracht und somit in größerer Höhe als die Kamera 3, die an der Front des Ego-Fahrzeuges 1 angebracht ist. In der Umgebung 4 des Ego-Fahrzeuges 1 befinden sich zwei Objekte 5,6; ein weiteres Fahrzeug 5, sowie ein Fußgänger 6. Das weitere Fahrzeug 5 befindet sich direkt vor dem Ego-Fahrzeug 1. Der Fußgänger 6 befindet sich vor dem weiteren Fahrzeug 5 und ist somit weiter vom Ego-Fahrzeug 1 entfernt als das weitere Fahrzeug 5. Da der Lidar-Sensor 2 auf dem Dach des Ego-Fahrzeugs 1 montiert ist, kann der Lidar-Sensor 2 den Fußgänger 6 erfassen. Hingegen ist aus der Perspektive der Kamera 3 der Fußgänger 6 durch das weitere Fahrzeug 5 verdeckt. Werden nach einem Verfahren aus dem Stand der Technik die Lidar-Daten in das Sichtfeld der Kamera 3 projiziert, entsteht ein inkorrektes Tiefeninformationsbild 7. Das Tiefeninformationsbild 7 zeigt die Umgebung 4 des Ego-Fahrzeuges 1 aus der Perspektive der Kamera 3 und stellt durch die Stärke der Schraffierung der Bildbereiche dar, wie weit ein Bereich 8, 9 von der Kamera 3 entfernt ist. Bereiche 8, die stärker schraffiert sind und somit dunkler erscheinen, sind weiter von der Kamera 3 entfernt als Bereiche 9, die weniger stark schraffiert sind und somit heller erscheinen. Das Tiefeninformationsbild 7, das durch das Verfahren aus dem Stand der Technik erstellt wurde, weist zwei dunkle Bereiche 8 auf, die in einem korrekten Tiefeninformationsbild nicht vorhanden sein sollten. Aus Sicht der Kamera 3 ist nämlich nur das weitere Fahrzeug 5 zu erkennen, und der Fußgänger 6 wird von dem weiteren Fahrzeug 5 verdeckt. Solche unzuverlässigen oder falschen Informationen, insbesondere hinsichtlich der Entfernung zu einem Objekt, erhöhen das Unfallrisiko, da viele weitere Systeme am Fahrzeug auf die Distanzinformationen im Tiefeninformationsbild zurückgreifen. Daher sind Methoden zum Bereitstellen von Sensordaten aus einer Perspektive eines weiteren Sensors von großer Bedeutung.
  • EP 3293669 A1 beschreibt ein Objektdetektionssystem beinhaltend eine Kama mit einem Sichtfeld. Die Kamera liefert eine Ausgabe, die Informationen über potenzielle Objekte innerhalb des Sichtfelds enthält. Ein Prozessor ist konfiguriert, dass er einen Teil der Kameraausgabe auf der Grundlage von Informationen von mindestens einem anderen Detektortyp auswählt, der ein potenzielles Objekt im ausgewählten Teil angibt. Der Prozessor ermittelt eine Objektivität des ausgewählten Teils basierend auf Informationen in der Kameraausgabe über den ausgewählten Teil.
  • US 2019 / 0 353 791 A1 offenbart ein elektronisches Gerät zur Erweiterung der Bilddaten eines passiven optischen Sensors. Das elektronische Gerät ist konfiguriert zum: Empfangen erster Bilddaten eines passiven optischen Sensors, wobei die ersten Bilddaten mehrere Pixel in einer Bildebene umfassen; Empfangen zweiter Daten eines aktiven Sensors, wobei der passive optische Sensor und der aktive Sensor dieselbe Szene außerhalb des Fahrzeugs erkennen, wobei der aktive Sensor mehrere über die Szene verteilte Scanbereiche umfasst, wobei die zweiten Daten Messwerte an zurückgegebenen Scanbereichen umfassen; Identifizieren mindestens eines Cluster basierend auf der Verteilung der zurückgegebenen Scanbereiche; Projizieren des Clusters auf die Bildebene; Identifizieren von Pixeln, die mit dem projizierten Cluster in der Bildebene übereinstimmen; und Verknüpfen dieser identifizierten Pixel mit zweiten Daten des übereinstimmenden Clusters.
  • Yenkanchi, S., „Multi sensor data fusion for autonomous vehicles“, M.A.Sc. Thesis, University of Windsor, ON, Canada, Jan. 2016, Electronic Theses and Dissertations https://scholar.uwindsor.ca/etd/5680 offenbart eine kooperative Fusionsarchitektur für die Detektion von Objekten auf der Straße.
  • Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, die unterschiedlichen Perspektiven der Umgebungssensoren zu berücksichtigen.
  • Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
  • Erfindungsgemäß ist somit ein Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors, zum Durchführen mit einem Fahrunterstützungssystem, angegeben, wobei der Abstandsensor ein Abstand-Sichtfeld aufweist und der optische Sensor ein Bild-Sichtfeld aufweist, das sich zumindest teilweise mit dem Abstand-Sichtfeld deckt. Das Verfahren umfasst die Schritte Bereitstellen eines 3-dimensionalen Datenfeldes mittels des Abstandsensors, das eine Umgebung eines Fahrzeuges im Abstand-Sichtfeld aus der Perspektive des Abstandsensors abbildet, wobei das 3-dimensionale Datenfeld Datenpunkte mit jeweils einem Abstandswert umfasst, Bestimmen einer 2D-Position der Datenpunkte des 3-dimensionalen Datenfeldes aus der Perspektive des optischen Sensors durch Projizieren des 3-dimensionalen Datenfeldes in das Bild-Sichtfeld, Aufteilen des 3-dimensionalen Datenfeldes in Abstandswertklassen unter Berücksichtigung der Abstandswerte der Datenpunkte des 3-dimensionalen Datenfeldes, Bereitstellen von binären Schnittmasken basierend auf den jeweiligen Datenpunkten in einer Abstandswertklasse unter Berücksichtigung der 2D-Position der Datenpunkte, und Auswählen einer Teilmenge des 3-dimensionalen Datenfeldes unter Berücksichtigung der binären Schnittmasken als 3-dimensionales Datenfeld des Abstandsensors aus der Perspektive des optischen Sensors.
  • Erfindungsgemäß ist außerdem ein Verfahren zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten zum Durchführen mit einem Fahrunterstützungssystem, basierend auf einem optischen Sensor und einem Abstandsensor, angegeben. Das Verfahren umfasst die Schritte Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus der Perspektive des optischen Sensors, nach dem obigen Verfahren, Bereitstellen eines 2-dimensionalen Datenfeldes, mittels des optischen Sensors, das die Umgebung des Fahrzeuges im Bild-Sichtfeld aus der Perspektive des optischen Sensors abbildet und Übertragen von Merkmalen des 2-dimensionalen Datenfeldes auf das 3-dimensionale Datenfeld des Abstandsensors aus der Perspektive des optischen Sensors unter Berücksichtigung der 2D-Position der Datenpunkte.
  • Die Grundidee der Erfindung ist also, dass eine Teilmenge des 3-dimensionalen Datenfeldes ausgewählt wird, die möglichst ausschließlich Datenpunkte umfasst, die durch Reflexion an Objekten generiert wurden, die aus der Perspektive des optischen Sensors erfassbar sind. Oder in anderen Worten: Die Teilmenge umfasst Datenpunkte, die von Messpunkten an Objekten, die aus der Perspektive des optischen Sensors erfassbar sind, stammen. Diese Teilmenge stellt also das 3-dimensionale Datenfeld des Abstandsensors aus der Perspektive des optischen Sensors dar. Datenpunkte, die durch Reflexion an Objekten, die aus der Perspektive des optischen Sensors durch andere Objekte verdeckt sind, generiert wurden, sind möglichst nicht in dieser Teilmenge enthalten.
  • Damit kann die Teilmenge des 3-dimensionalen Datenfeldes ausgewählt werden, ohne dass dafür vom optischen Sensor Daten bereitgestellt werden müssen, oder Daten des optischen Sensors ausgewertet werden müssen. Es ist auch nicht notwendig die Objekte in der Umgebung des Ego-Fahrzeuges zu identifizieren oder zu klassifizieren.
  • Stattdessen wird die Teilmenge des 3-dimensionalen Datenfeldes unter Berücksichtigung der binären Schnittmasken ausgewählt. Eine binäre Schnittmaske im Sinne der Erfindung umfasst Daten, die ausschließlich zwei Werte annehmen können, beispielsweise 0 und 1, oder wahr und falsch. Die binären Schnittmasken basieren ihrerseits unter anderem auf den 2D-Positionen der Datenpunkte des 3-dimensionalen Datenfeldes.
  • Die 2D-Positionen der Datenpunkte werden durch ein Projizieren des 3-dimensionalen Datenfeldes in das Bild-Sichtfeld des optischen Sensors bestimmt. Somit ist es für das Verfahren notwendig, die jeweiligen Sichtfelder des optischen Sensors und des Abstandsensors zu kennen, die unter anderem von den relativen Positionen der Sensoren zueinander abhängen. Der optische Sensor stellt in der Regel 2-dimensionale Daten der Umgebung des Fahrzeuges zur Verfügung. Dieses 2-dimensionale Datenfeld definiert das Bild-Sichtfeld des optischen Sensors. Die 2D-Positionen des projizierten 3-dimensioalen Datenfeldes beziehen sich auf dieses Bild-Sichtfeld. Um das 3-dimensionalen Datenfeld des Abstandsensors zu projizieren, muss der optische Sensor allerdings kein 2-dimensiolanes Datenfeld zur Verfügung stellen. Allerdings muss das Bild-Sichtfeld, das durch das 2-dimensiolane Datenfeld definiert würde, bekannt sein. Somit kann es sich beim Bild-Sichtfeld des optischen Sensors auch um ein virtuelles Sichtfeld handeln, das zu Beginn des Verfahrens definiert wird. Das virtuelle Sichtfeld würde beispielsweise dem Bild-Sichtfeld eines realen optischen Sensors entsprechen, wenn der reale optische Sensor ein 2-dimensionales Datenfeld bereitstellen würde, das die Umgebung des Fahrzeuges im Bild-Sichtfeld aus der Perspektive des optischen Sensors abbilden würde.
  • Da Abstandsensoren die Eigenschaft haben, dass sie nur von einzelnen Messpunkten in der Umgebung des Fahrzeuges Daten liefern, sind viele 2D-Positionen des Bild-Sichtfeldes nach dem Projizieren des 3-dimensionalen Datenfeldes nicht mit einem projizierten Datenpunkt belegt. Das Bild-Sichtfeld weist also wenige projizierte Datenpunkte auf und ist somit dünn besetzt. Dementsprechend ist es kaum möglich ohne binäre Schnittmasken zu bestimmen, welche Datenpunkte des 3-dimensionalen Datenfeldes durch Reflexion an Objekten generiert wurden, die aus der Perspektive des optischen Sensors durch andere Objekte verdeckt sind. Denn die Wahrscheinlichkeit, dass nach Projektion der Datenpunkte in das Sichtfeld des optischen Sensors ein Datenpunkt direkt von einem anderen Datenpunkt überdeckt wird, ist sehr gering. Dementsprechend wird im erfindungsgemäßen Verfahren die Teilmenge des 3-dimensionalen Datenfeldes unter Berücksichtigung von binären Schnittmasken ausgewählt.
  • Ein weiterer, wesentlicher Aspekt des Verfahrens ist, dass die binären Schnittmasken nicht nur auf der 2D-Position der Datenpunkte sondern auch auf den Abstandswertklassen basieren. Hierfür umfasst das Verfahren den Schritt des Aufteilens des 3-dimensionalen Datenfeldes in Abstandswertklassen unter Berücksichtigung der Abstandswerte der Datenpunkte des 3-dimensionalen Datenfeldes. Das 3-dimensionale Datenfeld, das vom Abstandsensor bereitgestellt wird, umfasst Datenpunkte mit jeweils einem Abstandswert. Diese Abstandswerte werden berücksichtigt beim Aufteilen des Datenfeldes in Abstandswertklassen.
  • Der Schritt des Bestimmens der 2D-Position der Datenpunkte des 3-dimensionalen Datenfeldes aus der Perspektive des optischen Sensors durch Projizieren des 3-dimensionalen Datenfeldes in das Bild-Sichtfeld, und der Schritt des Aufteilens des 3-dimensionalen Datenfeldes in Abstandswertklassen unter Berücksichtigung der Abstandswerte der Datenpunkte des 3-dimensionalen Datenfeldes, sind unabhängig voneinander und können in einer beliebigen Reihenfolge durchgeführt werden. Beide Schritte müssen lediglich ausgeführt worden sein, bevor der Schritt des Bereitstellens von binären Schnittmasken basierend auf den jeweiligen Datenpunkten in einer Abstandswertklasse unter Berücksichtigung der 2D-Position der Datenpunkte durchgeführt werden kann.
  • Die durch das erste Verfahren bereitgestellte Teilmenge des 3-dimensionalen Datenfeldes umfasst also möglichst ausschließlich Datenpunkte, die bei Messpunkten an Objekten, die aus der Perspektive des optischen Sensors erfassbar sind, gemessen wurden. Diese Teilmenge wird im Rahmen des weiteren, erfindungsgemäßen Verfahrens genutzt, um perspektivisch unterschiedlich bereitgestellte Sensordaten zu fusionieren. Dieses weitere Verfahren umfasst somit zusätzlich die Schritte Bereitstellen eines 2-dimensionalen Datenfeldes mittels des optischen Sensors, das die Umgebung des Fahrzeuges im Bild-Sichtfeld aus der Perspektive des optischen Sensors abbildet und Übertragen von Merkmalen des 2-dimensionalen Datenfeldes auf das 3-dimensionale Datenfeld des Abstandsensors aus der Perspektive des optischen Sensors unter Berücksichtigung der 2D-Position der Datenpunkte. Es werden also Merkmale bzw. Information, die aus dem 2-dimensionalen Datenfeld gewonnen werden, auf die Teilmenge des 3-dimensionalen Datenfeldes übertragen. Solche Informationen können beispielsweis Farb- oder Intensitätswerte sein, also Merkmale, die direkt aus den Daten des 2-dimensionalen Datenfeldes übertragen werden können. Alternativ oder zusätzlich können dies aber auch Informationen sein, die aus dem 2-dimensionalen Datenfeld durch übliche Methoden gewonnen werden. Beispielsweise können im 2-dimensionalen Datenfeld Objekte identifiziert und/oder klassifiziert werden und die Bereiche, die zu den jeweiligen Objekten gehören, ausgewählt werden. Diese semantischen Informationen bezüglich der Art der jeweiligen Objekte können als Merkmale auf das 3-dimensionale Datenfeld des Abstandsensors aus der Perspektive des optischen Sensors übertragen werden. Um sicherzustellen, dass das Übertragen von Merkmalen zielgenau durchgeführt wird, wird beim Übertragen von Merkmalen des 2-dimensionalen Datenfeldes auf die Teilmenge des 3-dimensionale Datenfeldes die 2D-Position des jeweiligen Datenpunktes berücksichtigt. Somit erhalten die jeweiligen Datenpunkte der Teilmenge des 3-dimensionalen Datenfeldes jeweils die Merkmale der Objekte, wie beispielsweise eine Klasse der Objekte, von denen die Messpunkte stammen.
  • Das im erfindungsgemäßen Verfahren betrachtete Fahrzeug, sprich das Ego-Fahrzeug, kann jede Art von Fahrzeug sein, zum Beispiel ein Kraftfahrzeug, ein PKW oder ein LKW. Das Fahrzeug kann manuell von einem menschlichen Fahrer gefahren werden. Alternativ unterstützt das Fahrzeug halbautonomes oder autonomes Fahren. Es ist möglich, dass das Fahrzeug Passagiere einschließlich eines Fahrers befördert oder für den Frachttransport verwendet wird.
  • Im Sinne der Erfindung ist unter Abstandsensor jegliche Art von Sensor zu verstehen, der Informationen über die Umgebung des Fahrzeugs bereitstellt, wobei die Informationen einen Abstandswert zu den Objekten in der Umgebung des Fahrzeugs umfassen. Somit ist der Abstandsensor eine Vorrichtung, die die dreidimensionale Struktur der Umgebung aus Sicht bzw. aus der Perspektive des Abstandsensors erfasst und den Abstand zu einer Oberfläche des Objektes an jedem Messpunkt misst. Ein Abstandsensor kann ein Sensor auf Lidar/Laser-Basis, ein Sensor auf Radar-, Infrarot- oder auch prinzipiell auf Ultraschallbasis sein. Radarsensoren verwenden Funkwellen, um die Entfernung, die Ausrichtung und/oder die Geschwindigkeit von Objekten zu bestimmen. Abstandsensoren auf Ultraschallbasis arbeiten nach dem Prinzip von reflektierten Schallwellen. Abstandsensoren auf Lidar/Laser-Basis messen die Entfernung zu einem Objekt an einem Messpunkt, indem das Objekt mit gepulstem Laserlicht beleuchtet wird und die Reflexionen der Pulse ausgewertet werden. Unterschiede in der Laufzeit der empfangenen Reflexionen, der Wellenlängen und der Intensität können dann verwendet werden, um eine dreidimensionale Darstellung der Umgebung des Fahrzeugs bereitzustellen. Abstandsensoren auf Infrarotbasis arbeiten ebenfalls nach dem Prinzip reflektierter Lichtwellen. Allerdings sind Abstandsensoren auf Infrarotbasis weniger zuverlässig, da der gemessene Abstandswert bei unterschiedlichen Lichtbedingungen stark schwankt. Die Abstandsmessungen zu den Objekten in der Umgebung können an einzelnen Messpunkten der Umgebung des Ego-Fahrzeugs durchgeführt werden. Alternativ können entlang einer festen Sichtlinie mehrere dicht hintereinanderliegende Messpunkte abgetastet werden. Bevorzugt werden an möglichst vielen Messpunkten der Umgebung des Ego-Fahrzeugs Abstandsmessungen durchgeführt, so dass ein möglichst vollständiges Bild mit Tiefen- und/oder Entfernungsmessungen der Umgebung entsteht. Die vom Abstandsensor ermittelten Daten umfassen ein 3-dimensionales Datenfeld, wobei die Datenpunkte in Kugelkoordinaten, einschließlich des Abstands zu einem Objekt (r) und der Position des Objekts relativ zur Abstandsensorposition, gegeben durch den Polar- und Azimutwinkel (Theta, Phi), vorliegen können. Alternativ dazu können die Daten in kartesischen Koordinaten ermittelt oder in diese umgewandelt werden, wodurch die Position des Objekts relativ zu den Koordinatenachsen X, Y und Z und dem Ursprung des Koordinatensystems identifiziert wird. Das 3-dimensionale Datenfeld umfasst Datenpunkte mit jeweils einem Abstandswert, bezogen auf die Position des Abstandssensors. Zusätzlich können die Datenpunkte noch mit weiteren Informationen versehen sein, beispielsweise Intensitätsinformation der reflektierten Pulse. Weiterhin ist es möglich, dass die Datenpunkte zeitaufgelöst sind.
  • Ein optischer Sensor ist im Sinne der Erfindung ein Sensor, der Informationen über die Umgebung als 2-dimensionales Datenfeld erfasst und übermittelt, so dass sich diese als Bild darstellen lassen. Die Bilder werden durch Umwandlung der Intensität von Lichtwellen oder elektromagnetischen Wellen in Signale, vorzugsweise elektrische Signale, erzeugt. Lichtwellen oder elektromagnetische Wellen können unterschiedliche Wellenlängen haben. Je nach Wellenlänge können unterschiedliche optische Sensoren verwendet werden. Beispielsweise kann für das sichtbare Spektrum eine Kamera verwendet werden. Alternativ können optische Sensoren für elektromagnetische Wellen im Infrarotbereich (typischerweise bei etwa 780 bis 1000 nm) oder im Ultraviolettbereich (typischerweise bei etwa 200 bis 370 nm) verwendet werden. Das 2-dimensionale Datenfeld, das vom optischen Sensor bereitgestellt wird, kann grundsätzlich in kartesischen Koordinaten oder in Polarkoordinaten vorliegen. Beispielsweise können die Daten einer Kamera, die die Umgebung des Ego-Fahrzeuges mit einem Fischaugenobjektiv erfasst, in Polarkoordinaten vorliegen. Die Daten der Kamera können in kartesische Koordinaten transformiert oder alternativ direkt in kartesischen Koordinaten aufgenommen worden sein. Durch kartesische Koordinaten werden die Positionen der einzelnen Datenpunkte oder Pixel relativ zu den Bildachsen X und Y definiert. Die Datenpunkte des 2-dimensionalen Datenfeldes des optischen Sensors können selbst weitere Informationen enthalten. Beispielsweise liefert eine Farbkamera ein pixelbasiertes Bild als 2-dimensionales Datenfeld, wobei die einzelnen Pixel Informationen in den drei Farbkanälen RGB enthalten. Alternativ können die einzelnen Pixel Informationen über die Intensität des Signals und/oder einen Helligkeitswert enthalten. Darüber hinaus können die von der Kamera aufgenommenen Bilder einzelne Standfotos oder Bildsequenzen sein, die Videosignale bilden. Beispielsweise kann der optischer Sensor eine Kamera, eine Wärmebildkamera oder ein Nachtsichtgerät sein.
  • Das Bildsichtfeld des optischen Sensors und das Abstand-Sichtfeld des Abstandsensors sind die jeweiligen Sichtfelder der Sensoren. Das Sichtfeld eines Sensors ist ein Sektor oder im Allgemeinen ein Teil der Umgebung des Fahrzeugs, aus dem der jeweilige Sensor Informationen erfassen kann. Das Sichtfeld des Sensors kann durch die Ausgestaltung des Sensors beeinflusst werden. Wenn die Daten des Sensors graphisch dargestellt werden, beeinflusst das Sichtfeld des Sensors welcher Anteil der Umgebung des Ego-Fahrzuges in der graphischen Abbildung dargestellt wird. Beispielsweise erfasst eine Kamera Informationen über ein Objektiv, das eingehende Lichtwellen fokussiert. Die Krümmung der Linse beeinflusst das Sichtfeld der Kamera. Beispielsweise ist das Sichtfeld einer Kamera mit einem Fischaugenobjektiv größer als das Sichtfeld einer Kamera mit einem herkömmlichen Weitwinkelobjektiv oder mit einem Teleobjektiv. Das Sichtfeld kann auch durch die Größe oder die Abmessungen des Detektors beeinflusst werden, mit dem die Intensität der Lichtwellen und/oder der elektromagnetischen Wellen und/oder der reflektierten Pulse in elektrische Signale umgewandelt wird. Es ist möglich, dass ein Sensor ein Sichtfeld aufweist, das 360° der Umgebung des Fahrzeugs abdeckt. Dies kann zum Beispiel durch einen rotierenden Sensor oder durch Verwendung mehrerer miteinander verbundener Sensoren erreicht werden. Das Sichtfeld eines Sensors hat nicht nur eine Ausdehnung parallel zum Horizont sondern auch eine Ausdehnung senkrecht dazu. Das Abstand-Sichtfeld des Abstandsensors und das Bild-Sichtfeld des optischen Sensors überlappen sich zumindest teilweise.
  • Grundsätzlich ist es möglich, dass das mittels des optischen Sensors bereitgestellte 2-dimensionale Datenfeld das Bild-Sichtfeld des optischen Sensors definiert und dass das mittels des Abstandsensors bereitgestellte 3-dimensionale Datenfeld das Abstand-Sichtfeld des Abstandsensors definiert. Alternativ kann das Sichtfeld eines Sensors - also das Abstand-Sichtfeld des Abstandsensors und/oder das Bildsichtfeld des optischen Sensors - auch definiert werden, ohne dass ein realer Sensor am Ego-Fahrzeug vorhanden ist. Insbesondere kann das Bild-Sichtfeld des optischen Sensors definierte werden, ohne dass ein optischer Sensor am Ego-Fahrzeug vorhanden ist. Dann kann das Bild-Sichtfeld des optischen Sensors beispielsweise ein virtuelles Sichtfeld sein. Dieses virtuelle Sichtfeld kann dann auch dem Sichtfeld des Fahrers oder des Beifahrers entsprechen. Alternativ kann das virtuelle Sichtfeld einem Bild-Sichtfeld eines optischen Sensors entsprechen, wenn der optische Sensor Daten bereitstellen würde, die die Umgebung des Fahrzeuges im Bild-Sichtfeld aus der Perspektive des optischen Sensors abbilden würde.
  • Die Perspektive gibt ein Abstandsverhältnis der Objekte in der Umgebung in Bezug auf die Position des Abstandsensors und/oder die Position des optischen Sensors wieder. Die Perspektive und somit die Abstandsverhältnisse der Objekte sind also von der Position des Abstandsensors und/oder der Position des optischen Sensors abhängig. Insbesondere wenn ein Sensor, beispielsweise der Abstandsensor, in einer größeren Höhe am Fahrzeug montiert ist als der andere Sensor, beispielsweise der optische Sensor, kann der Sensor in größerer Höhe Objekte erfassen, die aus der Perspektive des anderen Sensors verdeckt bleiben.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung umfasst der Schritt des Aufteilens des 3-dimensionalen Datenfeldes in Abstandswertklassen unter Berücksichtigung der Abstandswerte der Datenpunkte des 3-dimensionalen Datenfeldes ein Aufteilen der Datenpunkte entsprechend ihres jeweiligen Abstandswertes in die Abstandswertklassen und ein Bestimmen eines Abstandsklassendistanzwertes. Somit lässt sich dieser Schritt als Bilden einer Häufigkeitsverteilung der Abstandswerte der Datenpunkte des 3-dimensionalen Datenfeldes beschreiben, oder grafisch als Darstellen eines Histogramms der Abstandswerte der Datenpunkte. Ein einzelner Datenpunkt wird also aufgrund seines Abstandswertes in die entsprechende Abstandswertklasse eingeteilt. Die Abstandswertklassen weisen einen unteren Grenzwert und einen oberen Grenzwert auf, welche einen Abstandsbereich bzw. als Differenz des oberen und unteren Grenzwertes eine Breite der Abstandswertklasse definieren. Datenpunkte des 3-dimensionalen Datenfeldes, die einen Abstandswert innerhalb dieses Abstandsbereiches aufweisen, werden in die entsprechende Abstandswertklasse einsortiert. Es ist möglich, dass die unterschiedlichen Abstandswertklassen alle die gleiche Breite ausweisen, oder aber dass die unterschiedlichen Abstandswertklassen eine unterschiedliche Breite aufweisen.
  • Bevorzugt wird den Abstandswertklassen ihrerseits wieder ein Abstandswert zugewiesen, im Folgenden als Abstandsklassendistanzwert bezeichnet. Beispielsweise kann der Abstandsklassendistanzwert ein Mittelwert aus allen Abstandswerten der Datenpunkte innerhalb einer Abstandsklasse sein. Alternativ kann der Abstandsklassendistanzwert der untere Grenzwert oder der obere Grenzwert der Abstandsklasse sein. Bevorzugt ist der Abstandsklassendistanzwert der Mittelwert aus dem unteren und dem oberen Grenzwert der Abstandswertklasse.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung umfasst der Schritt des Aufteilens des 3-dimensionalen Datenfeldes in Abstandswertklassen unter Berücksichtigung der Abstandswerte der Datenpunkte des 3-dimensionalen Datenfeldes ein Bestimmen der Abstandswertklassen unter Berücksichtigung der Verteilung der Abstandswerte des 3-dimensionalen Datenfeldes. Grundsätzlich ist es möglich, dass es nur eine Abstandswertklasse gibt und alle Datenpunkte des 3-dimensionalen Datenfeldes in diese Abstandswertklasse einsortiert werden. Bevorzugt werden die Abstandswertklassen aber bestimmt unter Berücksichtigung der Verteilung der Abstandswerte des 3-dimensionalen Datenfeldes. Es ist prinzipiell möglich, dass es unendlich viele Abstandswertklassen gibt, allerdings wird das Verfahren hierdurch sehr rechenintensiv. Bevorzugt werden also endlich viele Abstandswertklassen bestimmt, da hierdurch das Verfahren schneller wird. Grundsätzlich ist es möglich, dass es gleich viele Abstandswertklassen wie unterschiedliche Abstandswerte gibt. Bevorzugt gibt es weniger Abstandswertklassen als unterschiedliche Abstandswerte. Weiter bevorzugt hängt die Anzahl an Abstandswertklassen vom größten im 3-dimensionalen Datenfeld vorhandenen Abstandswert ab. Noch weiter bevorzugt hängt die Anzahl an Abstandswertklassen vom der Verteilung der Abstandswerte des 3-dimensionalen Datenfeldes ab.
  • Grundsätzlich ist es möglich, dass in Abstandsbereichen, in denen das 3-dimensionale Datenfeld mehr Datenpunkte aufweist, mehr Abstandswertklassen bestimmt werden, als in Abstandsbereichen, in denen das 3-dimensionale Datenfeld weniger Datenpunkte aufweist. Alternativ ist es möglich, dass die Breite der Abstandswertklasse zunimmt mit größerem Abstandswert, so dass es bei hohen Abstandswerten nur wenige Abstandswertklassen bestimmt werden und bei kleinen Abstandswerten viele Abstandswertklassen. Alternativ ist es möglich, dass die Breite der Abstandswertklasse abnimmt mit höherem Abstandwert, so dass bei kleinen Abstandswerten nur wenige Abstandswertklassen bestimmt werden und bei hohen Abstandswerten viele Abstandswertklassen. Bevorzugt ist die Breite der Abstandswertklasse konstant, so dass unabhängig vom Abstandswert gleich viele Abstandswertklassen bestimmt werden.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung umfasst der Schritt des Bereitstellens von binären Schnittmasken aus den jeweiligen Datenpunkten in einer Abstandswertklasse unter Berücksichtigung der 2D-Position der Datenpunkte ein Bereitstellen einer binären Schnittmaske für jede Abstandswertklasse. Das Verfahren sieht also bevorzugt vor, dass ausgehend von den Datenpunkten in der Abstandswertklasse, für jede Abstandswertklasse eine Schnittmaske bereitgestellt wird. Somit ist die Anzahl an binären Schnittmasken im Wesentlichen gleich groß wie die Anzahl an Abstandswertklassen. Bevorzugt wird eine binäre Schnittmaske, die auf den Datenpunkten einer bestimmten Abstandswertklasse basiert, unabhängig von den Datenpunkten in den anderen Abstandswertklassen bereitgestellt.
  • In Zusammenhang mit dem Bereitstellen von binären Schnittmasken ist gemäß einer bevorzugten Weiterbildung der Erfindung auch vorgesehen, dass der Schritt des Bereitstellens von binären Schnittmasken das Bereitstellen von binären Schnittmasken mittels eines morphologischen Filters umfasst. Ein morphologischer Filter fasst die 2D-Position der Datenpunkte nicht als Elemente in einem Vektorraum auf, sondern interpretiert sie als Elemente eines Verbandes. Ein Verband ist in der Mathematik eine Struktur, die sowohl als Ordnungsstruktur als auch als algebraische Struktur vollständig beschrieben werden kann, wobei die Verbandstheorie diese Strukturen beschreibt. Mittels des morphologischen Filters können die Strukturen bzw. Formen, die durch die 2D-Position der Datenpunkte gebildet werden, analysiert und beeinflusst werden. Das Ziel des morphologischen Filters ist, dass über die Gesamtheit der 2D-Positionen der Datenpunkte innerhalb einer Abstandswertklasse eine binäre Schnittmaske erstellt wird. Bevorzugt wird als morphologischer Filter ein Dilatationsfilter eingesetzt.
  • In diesem Zusammenhang ist in einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass der Schritt des Bereitstellens von binären Schnittmasken aus den jeweiligen Datenpunkten in einer Abstandswertklasse unter Berücksichtigung der 2D-Position der Datenpunkte ein Verwenden eines strukturierenden Elementes an den 2D-Positionen der Datenpunkte innerhalb einer Abstandsklasse umfasst, wobei eine Form des strukturierenden Elementes den Bereich der wahren Werte der binären Schnittmaske definiert. Der morphologische Filter basiert auf dem Prinzip, dass ein strukturierendes Element verwendet wird. Das strukturierende Element weist eine geschlossene 2-dimensional Form auf. Innerhalb dieser Grenzen kann das strukturierende Element im Prinzip jede Form aufweisen. Beispielsweise kann es die Form eines Sternes aufweisen. Bevorzugt ist es aber kreis- oder rechteckförmig. Das strukturierende Element weist einen Bezugspunkt auf, beispielsweise der Mittelpunkt des Kreises, für den Fall, dass das strukturierende Element kreisförmig ist, oder eine Ecke des Rechteckes, für den Fall, dass das strukturierende Element die Form eines Rechtecks aufweist. Im Prinzip kann ein beliebiger Punkt als Bezugspunkt des strukturierenden Elementes definiert werden. Bevorzugt befindet sich der Bezugspunkt des strukturierenden Elementes allerdings nicht außerhalb des strukturierenden Elementes. Bei Verwendung des Dilatationsfilters wird der Bezugspunkt des strukturierenden Elementes über jede 2D-Position der Datenpunkte innerhalb einer Abstandswertklasse gelegt. Der Bereich der wahren Werte der binären Schnittmaske entspricht dann dem Bereich, der durch die Form des strukturierenden Elementes umschlossen wird. In anderen Worten entspricht dies der Menge an 2D-Positionen, die von der Form des strukturierenden Elementes an jeder 2D-Position der Datenpunkte innerhalb einer Abstandswertklasse umschlossen werden. Die binäre Schnittmaske, welche auf den Datenpunkten einer Abstandswertklasse basiert, hat also nicht nur an den 2D-Positionen der Datenpunkte einen wahren Wert, sondern auch an weiteren, in der Regel benachbarten Positionen. Jede binäre Schnittmaske wird somit aus den Datenpunkten in einer Abstandswertklasse unter Berücksichtigung der 2D-Position der Datenpunkte mittels des morphologischen Filters bereitgestellt. Da Abstandsensoren die Eigenschaft haben, dass sie nur von einzelnen Messpunkten der Umgebung des Fahrzeuges Daten liefern, sind nach dem Projizieren des 3-dimensionalen Datenfeldes viele mögliche 2D-Positionen nicht mit einem projizierten Datenpunkt belegt. Des Weiteren werden jeweils nur die Datenpunkte innerhalb einer Abstandswertklasse zur Bereitstellung der jeweiligen binären Schnittmaske berücksichtigt. Der Dilatationsfilter führt dazu, dass dieses dünn besetzte Datenfeld aufgefüllt wird, so dass ein weniger stark dünn besetztes Datenfeld entsteht.
  • Grundsätzlich ist es möglich, dass die Form des strukturierenden Elementes den Bereich der falschen Werte der binären Schnittmaske definiert. Bevorzugt ist allerdings vorgesehen, dass die Form des strukturierenden Elementes den Bereich der wahren Werte der binären Schnittmaske definiert. Die binäre Schnittmaske umfasst nur Werte, die entweder wahr oder falsch, bzw. 0 oder 1 sind. Es ist für das Verfahren ohne weiteres möglich, dass die Schnittmaske invers definiert wird, dass also alle falschen Werte wahr sind und alle wahren Werte falsch, bzw. dass Nullen und Einsen ausgetauscht werden. Die Definition der binären Schnittmaske hat allerdings Auswirkungen darauf, wie das Auswählen der Teilmenge des 3-dimensionalen Datenfeldes unter Berücksichtigung der binären Schnittmasken durchgeführt wird und muss entsprechend berücksichtigt werden.
  • In diesem Zusammenhang ist in einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass das Auswählens einer Teilmenge des 3-dimensionalen Datenfeldes unter Berücksichtigung der binären Schnittmasken ein Prüfen, ob für einen Datenpunkt in einer Abstandswertklasse eine Schnittmaske existiert, die einen wahren Wert an der 2D-Position des Datenpunktes aufweist, umfasst. Das Auswählen der Teilmenge des 3-dimensionalen Datenfeldes umfasst also ein erstes Prüfen. Für einen Datenpunkt Di mit Abstandswert di und einer 2D-Position P(X,Y)i wird also geprüft, ob eine Schnittmaske S existiert, die die folgende Bedingung erfüllt: Die Schnittmaske S muss an der 2D-Position des zu prüfenden Datenpunktes einen wahren Wert aufweisen (S mit P(XY)i = 1).
  • Das Auswählen der Teilmenge des 3-dimensionalen Datenfeldes kann des Weiteren ein zweites Prüfen umfassen. Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der Schritt des Auswählens einer Teilmenge des 3-dimensionalen Datenfeldes unter Berücksichtigung der binären Schnittmasken ein Prüfen, ob für einen Datenpunkt in einer Abstandswertklasse eine Schnittmaske existiert, die basierend auf einer Abstandswertklasse mit einem kleineren Abstandsklassendistanzwert bereitgestellt wurde als ein auf dem Abstandswert des Datenpunktes basierender Abstandsgrenzwert, umfasst. Für einen Datenpunkt Di mit Abstandswert di wird also geprüft, ob eine Schnittmaske S existiert, die die folgende Bedingung erfüllt: Die Schnittmaske S muss aus Datenpunkten Di aus einer Abstandswertklasse Ki mit einem kleineren Abstandsklassendistanzwert dKi hervorgegangen sein, als ein Abstandsgrenzwert, der auf dem Abstandswert di des zu prüfenden Datenpunktes basiert (S basiert auf Daten aus einer Abstandswertklasse Ki mit dKi < di - ε).
  • Der Abstandsgrenzwert, der auf dem Abstandswert des zu prüfenden Datenpunktes basiert, basiert des Weiteren auf einem Randbereichbeschreibungswert. Dieser Randbereichbeschreibungswert kann prinzipiell frei gewählt werden, muss allerdings größer Null, also positiv sein. Der Abstandsgrenzwert wird als Differenz des Abstandswertes des zu prüfenden Datenpunktes und des Randbereichbeschreibungswertes gebildet. Somit verkleinert sich der Abstandsgrenzwert bei steigendem Randbereichbeschreibungswert. Der Randbereichbeschreibungswert kann beispielsweise von der Verteilung der Abstandswerte des 3-dimensionalen Datenfeldes abhängen. Alternativ kann er von den verschiedenen Abstandsklassendistanzwerten abhängen. Bevorzugt hängt der Randbereichbeschreibungswert von der Breite der Abstandsklasse ab, wobei er besonders bevorzugt einen Wert zwischen einer halben Breite und einer ganzen Breite der Abstandsklasse beträgt.
  • Bevorzugt ist vorgesehen, dass wenn eine Schnittmaske existiert, die die Bedingung des ersten und zweiten Prüfens erfüllt, der zu prüfende Datenpunkt nicht für die Teilmenge ausgewählt wird. Es werden also nur Datenpunkte ausgewählt, die entweder beide Prüfungen nicht bestehen, oder die eine der beiden Prüfungen nicht bestehen. Diese ausgewählten Datenpunkte stellen das 3-dimensionalen Datenfeldes des Abstandsensors aus der Perspektive des optischen Sensors dar. Wenn ein Datenpunkt beide Prüfungen besteht und nicht für die Teilmenge ausgewählt wird, heißt das, dass der Datenpunkt durch Reflexion an einem Objekt generiert wurde, das aus der Perspektive des optischen Sensors durch ein anderes Objekt verdeckt ist.
  • Erfindungsgemäß ist außerdem ein Fahrunterstützungssystem zur Durchführung eines obigen Verfahrens angegeben.
  • Erfindungsgemäß ist also ein Fahrunterstützungssystem zur Durchführung des Verfahrens zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors, angegeben, wobei das Fahrunterstützungssystem mindestens einen Abstandsensor umfasst, der dazu ausgeführt ist ein 3-dimensionales Datenfeld bereitzustellen, das die Umgebung des Fahrzeuges in einem Abstand-Sichtfeld aus der Perspektive des mindestens einen Abstandsensors abbildet. Zum Durchführen des ersten Verfahrens - dem Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors - ist es nicht notwendig, dass das Fahrunterstützungssystem einen optischen Sensor umfasst. Es reicht aus, wenn ein Bild-Sichtfeld als virtuelles Sichtfeld definiert wird.
  • Weiterhin ist ein Fahrunterstützungssystem zur Durchführung des Verfahrens zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten, angegeben, wobei das Fahrunterstützungssystem mindestens einen Abstandsensor, der dazu ausgeführt ist ein 3-dimensionales Datenfeld bereitzustellen, das die Umgebung des Fahrzeuges in einem Abstand-Sichtfeld aus der Perspektive des mindestens einen Abstandsensors abbildet, und mindestens einen optischen Sensor, der dazu ausgeführt ist ein 2-dimensionales Datenfeld bereitzustellen, das die Umgebung des Fahrzeuges in einem Bild-Sichtfeld aus der Perspektive des mindestens einen optischen Sensors abbildet, wobei das Bild-Sichtfeld sich zumindest teilweise mit dem Abstand-Sichtfeld deckt, umfasst. Das Fahrunterstützungssystem umfasst also mindestens einen optischen Sensor und mindestens einen Abstandsensor, wobei der mindestens eine optische Sensor ein 3-dimensionales Datenfeld bereitstellt und der mindestens eine Abstandsensor ein 2-dimensionales Datenfeld.
  • Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der mindestens eine Abstandsensor in einer größeren Höhe angebracht ist, als der optische Sensor. Somit lassen sich mittels des mindestens einen Abstandsensors Objekte in der Umgebung erfassen, die aus der Perspektive des mindestens einen optischen Sensors durch andere Objekte verdeckt sind. Bevorzugt ist vorgesehen, dass der Abstandsensor in einer größeren Höhe am Fahrzeug - beispielsweise auf dem Dach des Fahrzeuges - angebracht ist als der optische Sensor, der zum Beispiel an der Front des Fahrzeuges montiert sein kann. Es ist möglich, dass der mindestens eine Abstandsensor und/oder der mindestens eine optische Sensor innerhalb des Fahrzeugs angebracht sind, also zum Beispiel innerhalb einer Fahrerkabine oder außerhalb des Fahrzeugs, beispielsweise auf einem Dach des Fahrzeuges.
  • Gemäß einer weiteren bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass der mindestens eine Abstandsensor wenigstens einen Lidar- und/oder Radarsensor umfasst und/oder dass der mindestens eine optische Sensor wenigstens eine Kamera umfasst.
  • In diesem Zusammenhang ist gemäß einer weiteren bevorzugten Weiterbildung der Erfindung vorgesehen, dass der mindestens eine optische Sensor und/oder der mindestens eine Abstandsensor ein Bild-Sichtfeld und/oder ein Abstand-Sichtfeld von 360° umfasst. Dies kann beispielsweise durch die Verwendung mehrerer optischer Sensoren und/oder Abstandsensoren erreicht werden. Beispielsweise können am Fahrzeug vier Kameras angebracht sein, von denen eine ein Bild-Sichtfeld aufweist, das die Umgebung vor dem Fahrzeug abdeckt, eine ein Bild-Sichtfeld aufweist, das die Umgebung hinter dem Fahrzeug abdeckt und jeweils eine Kamera mit einem Sichtfeld, das die Umgebung an den Seiten des Fahrzeugs abdecken.
    Alternativ können ein oder mehrere rotierende optische Sensoren und/oder Abstandsensoren verwendet werden.
  • Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
  • Es zeigt
    • 1 eine schematische Darstellung eines Fahrzeugs mit einem optischen Sensor und einem Abstandsensor, zur Durchführung eines Verfahrens aus dem Stand der Technik, das zu einem inkorrekten Tiefeninformationsbild führt,
    • 2 eine schematische Darstellung eines Fahrzeugs mit einem optischen Sensor und einem Abstandsensor, zur Durchführung eines Verfahrens zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors, gemäß einer ersten bevorzugten Ausführungsform der Erfindung,
    • 3 ein Flussdiagram eines Verfahrens zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten, gemäß einer zweiten Ausführungsform der Erfindung, wobei dieses Verfahren alle Schritte des Verfahrens zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors umfasst,
    • 4 eine schematische Darstellung eines 3-dimensionalen Datenfeldes, von dem mittels des Verfahrens zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors eine Teilmenge ausgewählt wird, gemäß der ersten Ausführungsform der Erfindung,
    • 5 eine schematische Darstellung einiger Schritte des Verfahrens zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors anhand eines Ausschnittes des 3-dimensionalen Datenfeldes aus 4, gemäß der ersten Ausführungsform der Erfindung und
    • 6 eine schematische Darstellung eines weiteren 3-dimensionalen Datenfeldes und eines 2-dimensionalen Datenfeldes, wobei diese mittels des Verfahrens zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten fusioniert werden, gemäß der zweiten bevorzugten Ausführungsform der Erfindung.
  • 2 zeigt eine schematische Darstellung eines Ego-Fahrzeugs 20 mit einem Abstandsensor 22, hier ein Lidar-Sensor, und einem optischen Sensor 24, hier eine Kamera. Der Lidar-Sensor 22 ist auf dem Dach des Ego-Fahrzeuges 20 angebracht und somit in größerer Höhe als die Kamera 24, die an der Front des Ego-Fahrzeuges 20 angebracht ist. In der Umgebung 26 des Ego-Fahrzeuges 20 befinden sich zwei Objekte 28, 30; ein weiteres Fahrzeug 28, sowie ein Fußgänger 30. Das weitere Fahrzeug 28 befindet sich direkt vor dem Ego-Fahrzeug 20. Der Fußgänger 30 befindet sich vor dem weiteren Fahrzeug 28 und ist somit weiter vom Ego-Fahrzeug 20 entfernt als das weitere Fahrzeug 28. Da der Lidar-Sensor 22 auf dem Dach des Ego-Fahrzeugs 20 montiert ist, kann der Lidar-Sensor 22 den Fußgänger 30 erfassen. Hingegen ist aus der Perspektive der Kamera 24 der Fußgänger 30 durch das weitere Fahrzeug 28 verdeckt.
  • Das Ego-Fahrzeug 20 weist ein Fahrunterstützungssystem 32 auf, um ein Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes des Abstandsensors 22 aus einer Perspektive des optischen Sensors 24, gemäß einer ersten Ausführungsform der Erfindung durchzuführen. Mittels dieses Verfahrens entsteht ein korrektes Tiefeninformationsbild 34. Das Tiefeninformationsbild 34 zeigt die Umgebung 26 des Ego-Fahrzeuges 20 aus der Perspektive der Kamera 24 und stellt durch die Stärke der Schraffierung dar, wie weit ein Bereich 36, 38 von der Kamera 24 entfernt ist. Bereiche 36, die stark schraffiert sind und somit dunkler erscheinen, sind weiter von der Kamera 24 entfernt als Bereiche 38, die weniger stark schraffiert sind und somit heller erscheinen. Im Tiefeninformationsbild 34 aus 2 finden sich nur helle Bereiche 38, da der Fußgänger 30 aus der Perspektive der Kamera 24 nicht erfasst werden kann.
  • 3 zeigt ein Flussdiagram eines Verfahrens zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten gemäß einer zweiten Ausführungsform der Erfindung, wobei dieses Verfahren alle Schritte des Verfahrens zum Bereitstellen des 3-dimensionalen Datenfeldes des Abstandsensors 22 aus der Perspektive des optischen Sensors 24 der ersten Ausführungsform umfasst. Das Verfahren zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten weist verglichen mit dem Verfahren zum Bereitstellen des 3-dimensionalen Datenfeldes 54 des Abstandsensors 22 aus der Perspektive des optischen Sensors 24 zusätzlich noch Schritte S120 und S500 auf.
  • 4 zeigt eine schematische Darstellung eines 3-dimensionalen Datenfeldes 40, von dem mittels des Verfahrens zum Bereitstellen des 3-dimensionalen Datenfeldes 54 des Abstandsensors 22 aus der Perspektive des optischen Sensors 24 eine Teilmenge 54 ausgewählt wird, gemäß der ersten Ausführungsform der Erfindung und 5 zeigt eine schematische Darstellung ausgewählter Schritte dieses Verfahrens, anhand eines Ausschnittes des 3-dimensionalen Datenfeldes 40 aus 4.
  • Im Weiteren werden mit Bezugnahme auf die 3 bis 5 die Schritte des Verfahrens zum Bereitstellen des 3-dimensionalen Datenfeldes 54 des Abstandsensors 22 aus der Perspektive des optischen Sensors 24 erklärt.
  • Das Verfahren umfasste den Schritt S110 zum Bereitstellen eines 3-dimensionalen Datenfeldes 40 mittels des Abstandsensors 22, das die Umgebung 26 des Ego-Fahrzeuges 20 im Abstand-Sichtfeld 42 aus der Perspektive des Abstandsensors 22 abbildet, wobei das 3-dimensionale Datenfeld 40 Datenpunkte 44 mit jeweils einem Abstandswert umfasst.
  • In einem weiteren Schritt S210 des Verfahrens werden von den Datenpunkten 44 des 3-dimensionalen Datenfeldes 40 2D-Positionen 46 bestimmt. Dies wird durch Projizieren des 3-dimensionalen Datenfeldes 40 in ein Bild-Sichtfeld 48 des optischen Sensors 24 ermöglicht. Dieser Schritt wird auch im Verfahren des Stands der Technik angewendet (siehe 1) und führt alleine durchgeführt zu einem nicht korrekten Tiefeninformationsbild. Der optische Sensor 24 stellt in der Regel ein 2-dimensionales Datenfeld 58 der Umgebung des Ego-Fahrzeuges 20 zur Verfügung. Dieses 2-dimensionale Datenfeld 58 definiert das Bild-Sichtfeld 48 des optischen Sensors 24. Die 2D-Position 46 des projizierten 3-dimensioalen Datenfeldes 40 beziehen sich auf das Bild-Sichtfeld 48. Im hier bevorzugten Ausführungsbeispiel stellt der optische Sensor 24 allerdings kein 2-dimensionales Datenfeld 58 zur Verfügung. Somit handelt es sich beim Bild-Sichtfeld 48 des optischen Sensors 24 um ein virtuelles Sichtfeld, das dem Bild-Sichtfeld 48 des optischen Sensors 24 entspricht, wenn der optische Sensor 24 ein 2-dimensionales Datenfeld 58 bereitstellen würde.
  • Das Verfahren umfasst des Weiteren Schritt S220 zum Aufteilen des 3-dimensionalen Datenfeldes 40 in Abstandswertklassen 50 unter Berücksichtigung der Abstandswerte der Datenpunkte 44 des 3-dimensionalen Datenfeldes 40. Jeder Datenpunkt 44 weist einen Abstandswert auf. Die Anzahl der Abstandswertklassen 50 und die Breite der einzelnen Abstandswertklassen 50 hängen vom 3-dimensionalen Datenfeld 40 ab. Im hier bevorzugten Ausführungsbeispiel haben die Abstandswertklassen 50 alle dieselbe Breite.
  • 4 zeigt eine Darstellung des 3-dimensionalen Datenfeldes 40 nachdem die Schritte S210 und S220 durchgeführt wurden. Die Datenpunkte 44 weisen jeweils eine 2D-Position 46 auf, wobei sie je nach Abstandswert in unterschiedliche Abstandswertklassen 50 eingeteilt wurden. Die Abstandswertklassen 50 sind in 4 als Ebenen dargestellt. Da die Breite der Abstandswertklassen 50 für alle Abstandswertklassen 50 gleich ist, sind die Ebenen gleichverteilt. Im hier bevorzugten Ausführungsbeispiel umfasst der Schritt des Aufteilens des 3-dimensionalen Datenfeldes 40 in Abstandswertklassen 50 ein Bestimmen eines Abstandsklassendistanzwertes 51. Der Abstandsklassendistanzwert 51 ist in 4 der Abstand der Ebene vom Ursprung, wobei der Ursprung die Position des optischen Sensors 24 ist. Die einzelnen Ebenen in 4 stellen zugleich das Bild-Sichtfeld 48 des optischen Sensors 24 dar. Der Bereich 41 zeigt jeweils den Bereich im Bild-Sichtfeld 48 an auf dem Datenpunkte 44 des 3-dimensionalen Datenfeldes 40 abgebildet sind.
  • In 5 ist exemplarisch ein 3-dimensionales Datenfeld 40 dargestellt, nachdem es in das Bild-Sichtfeld 48 des optischen Sensors 24 projiziert wurde. Danach wird das Datenfeld 40 in 3 Abstandswertklassen 50a, 50b, 50c dargestellt, wobei der Abstandsklassendistanzwert 51 a der Abstandsklasse 50a kleiner ist als der Abstandsklassendistanzwert 51 b der Abstandsklasse 50b und dieser ebenfalls kleiner ist als der Abstandsklassendistanzwert 51c der Abstandsklasse 50c. Die 2D-Position 46 der Datenpunkte 44 bezieht sich also auf das Bild-Sichtfeld 48 des optischen Sensors 24.
  • Da der Abstandsensor 22 nur von einzelnen Messpunkten der Umgebung 26 des Ego-Fahrzeuges 20 Daten liefert, sind viele 2D-Positionen 46 des Bild-Sichtfeldes 48 nach dem Projizieren des 3-dimensionalen Datenfeldes 40 nicht mit einem projizierten Datenpunkt belegt. Dieser Effekt wird dadurch noch verstärkt, dass die Datenpunkte 44 des 3-dimensionalen Datenfeldes 40 in Abstandswertklassen 50 eingeteilt werden. Die durch das Bild-Sichtfeld 48 und die Abstandswertklassen 50 vorgegebenen Datenfelder sind also dünn besetzt. Dies ist insbesondere an den Datenfeldern in 5 zu erkennen.
  • In einem weiteren Schritt S300 werden binäre Schnittmasken 52 basierend auf den jeweiligen Datenpunkten 44 in einer Abstandswertklasse 50 unter Berücksichtigung der 2D-Position 46 der Datenpunkte 44 bereitgestellt. Es wird für jede Abstandswertklasse 50 eine eigene binäre Schnittmaske 52 bereitgestellt, wobei die binäre Schnittmaske 52 mittels eines morphologischen Filters bereitgestellt wird. Das Ziel des morphologischen Filters ist, dass über die Gesamtheit der 2D-Positionen 46 der Datenpunkte 44 innerhalb einer Abstandswertklasse 50 eine binäre Schnittmaske 52 erstellt wird. Hierbei wird als morphologischer Filter ein Dilatationsfilter eingesetzt, der ein strukturierendes Element verwendet. Das strukturierende Element weist eine geschlossene 2-dimensionale Form und einen Bezugspunkt innerhalb der geschlossenen Form des strukturierenden Elementes auf. Bei Verwendung des Dilatationsfilters wird der Bezugspunkt des strukturierenden Elementes über jede 2D-Position 46 der Datenpunkte 44 innerhalb einer Abstandswertklasse 50 gelegt. Der Bereich der wahren Werte 53 der Schnittmaske 52 entspricht dann dem Bereich, der durch die Form des strukturierenden Elementes an jeder 2D-Position 46 der Datenpunkte 44 umschlossen wird. Die binäre Schnittmaske 52, welche auf den Datenpunkten 44 einer Abstandswertklasse 50 basiert, hat also nicht nur an den 2D-Positionen 48 der Datenpunkte 44 einen wahren Wert 53, sondern auch an weiteren, benachbarten Positionen.
  • In 5 sind die Schnittmasken 52a, 52b und 52c dargestellt, welche aus den Daten der Abstandswertklassen 50a, 50b und 50c bereitgestellt wurden. Der Dilatationsfilter führt dazu, dass die durch das Bild-Sichtfeld 48 und die Abstandswertklassen 50 vorgegebenen Datenfelder weniger dünn besetzt sind. Die Bereiche mit wahren Werten 53 der Schnittmasken 52a, 52b und 52c weisen somit kaum Fehlstellen auf, also einzelne 2D-Positionen 46 innerhalb eines Bereichs mit wahren Werten 53, der selbst aber einen falschen Wert aufweist.
  • In 4 sind durch den Bereich 49 die Bereiche markiert, die durch die Anwendung des Dilatationsfilters einen wahren Wert haben und zuvor noch keinen Datenpunkt 44 aufgewiesen haben. Der Bereich der wahren Werte 53 entspricht also dem Bereich 49 und dem Bereich 41.
  • In einem weiteren Schritt S400 des Verfahrens wird eine Teilmenge 54 des 3-dimensionalen Datenfeldes 40 unter Berücksichtigung der binären Schnittmasken 52 ausgewählt. Hierbei werden alle erstellten binären Schnittmasken 52 berücksichtigt.
  • Zum einen wird geprüft, ob für einen Datenpunkt 44, in einer Abstandswertklasse 50, eine Schnittmaske 52 existiert, die einen wahren Wert 53 an der 2D-Position 46 des Datenpunktes 44 aufweist. Des Weiteren wird geprüft, ob für diesen Datenpunkt 44 in der Abstandswertklasse 50 eine Schnittmaske 52 existiert, die basierend auf einer Abstandswertklasse 50 mit einem kleineren Abstandsklassendistanzwert 51 bereitgestellt wurde als ein auf dem Abstandswert des Datenpunktes 44 basierender Abstandsgrenzwert. Es ist vorgesehen, dass wenn eine Schnittmaske 52 existiert, die beide Bedingungen erfüllt, der Datenpunkt 44 nicht für die Teilmenge 54 ausgewählt wird.
  • Zur besseren Leserlichkeit wird die Schnittmaske 52 im Folgenden als S bezeichnet, der Datenpunkt 44 als Di, der Abstandswert des Datenpunktes 44 als di, die Abstandswertklasse 50 als Ki, der Abstandsklassendistanzwert 51 als dKi und die 2D-Position 46 des Datenpunktes 44 als P(X,Y) .
  • Für einen Datenpunkt Di mit Abstandswert di und einer 2D-Position P(X,Y)i wird also geprüft, ob eine Schnittmaske S existiert, die beide der folgende Bedingungen erfüllt:
    • Die Schnittmaske S muss an der 2D-Position des zu prüfenden Datenpunktes einen wahren Wert aufweisen: S mit P(XY)i = 1
    • Die Schnittmaske S muss aus Datenpunkten Di aus einer Abstandswertklasse Ki mit einem kleineren Abstandsklassendistanzwert dKi hervorgegangen sein, als ein Abstandsgrenzwert, der auf dem Abstandswert di des zu prüfenden Datenpunktes basiert: S basiert auf Di aus Ki mit dKi < di - ε.
  • Der Abstandsgrenzwert (di - ε), der auf dem Abstandswert di des zu prüfenden Datenpunktes 44 basiert, basiert des Weiteren auf einem Randbereichbeschreibungswert ε. Dieser Randbereichbeschreibungswert ε beträgt in der hier bevorzugten Ausführungsform der Erfindung einen Wert von einer halben Breite der Abstandswertklasse 50.
  • 5 illustriert welche Datenpunkte 44 des 3-dimensionalen Datenfeldes 40 für die Teilmenge 54 ausgewählt werden und welche Datenpunkte 44 des 3-dimensionalen Datenfeldes 40 nicht ausgewählt werden und die Restmenge 56 des 3-dimensionalen Datenfeldes 40 bildet. Die Datenpunkte 44 in der Restmenge 56 wurden durch Reflexion an Objekten generiert, die aus der Perspektive des optischen Sensors 24 durch andere Objekte verdeckt sind.
  • Die Prüfung der obigen Bedingungen kann bildlich gesprochen wie folgt durchgeführt werden. Zuerst werden alle Schnittmasken 52 für einen Datenpunkt 44 ausgewählt, die die zweite obengenannte Bedingung erfüllen. Es werden also die Schnittmasken 52 ausgewählt, die aus Datenpunkten 44 aus einer Abstandswertklasse 50 mit einem Abstandsdistanzwert 51 hervorgegangen sind, dessen Abstandsdistanzwert 51 kleiner ist als der Abstandsgrenzwert. Diese ausgewählten Schnittmasken 52 werden über die Datenpunkte 44 in der Abstandswertklasse 50 gelegt.
  • Für 5 sind das im Falle eines Datenpunktes 44 in der Abstandsklasse 50c die Schnittmasken 52b und 52a. Beide dieser Schnittmasken 52b und 52a werden über die Datenpunkte 44 in der Abstandswertklasse 50c gelegt. Die Datenpunkte 44, die sich im Bereich der wahren Werte 53 der Schnittmasken 52b und 52a befinden, werden nicht für die Teilmenge 54 ausgewählt. Diese Datenpunkte 44 des 3-dimensionalen Datenfeldes 40 zählen zur Restmenge 56, was Datenpunkte 44 sind, die aus der Perspektive des optischen Sensors 24 durch andere Objekte verdeckt sind. Die für die Teilmenge ausgewählten Datenpunkte 44, also jene Datenpunkte 44, für die keine Schnittmaske 52 existiert, die beide Bedingungen erfüllt, sind die Datenpunkte 44, die das 3-dimensionales Datenfeld 54 des Abstandsensors 22 aus der Perspektive des optischen Sensors 24 bilden. In 4 sind die Bereiche mit Datenpunkten 44, welche zur Restmenge 56 zählen, am stärksten schraffiert.
  • 6 zeigt eine schematische Darstellung eines weiteren 3-dimensionalen Datenfeldes 40 und eines 2-dimensionalen Datenfeldes 58, wobei diese mittels des Verfahrens zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten, gemäß der zweiten Ausführungsform der Erfindung, fusioniert werden. Verglichen zum Verfahren zum Bereitstellen des 3-dimensionalen Datenfeldes 54 des Abstandsensors 22 aus der Perspektive des optischen Sensors 24, weist das Verfahrens zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten zusätzlich noch Schritte S120 und S500 auf.
  • Im Schritt S120 wird ein 2-dimensionales Datenfeld 58 mittels des optischen Sensors 24 bereitgestellt, wobei das 2-dimensionale Datenfeld 58 die Umgebung 26 des Ego-Fahrzeuges 20 im Bild-Sichtfeld 48 aus der Perspektive des optischen Sensors 24 abbildet. Ein solches 2-dimensionales Datenfeld 58 ist in 6c) dargestellt. 6a) zeigt das 3-dimensionale Datenfeld 40 aus der Perspektive des Abstandsensors 22, also das Resultat des Schrittes S110. 6b) zeigt das Resultat nach Schritt S400, also dem Auswählen der Teilmenge 54 des 3-dimensionalen Datenfeldes 40. Die Teilmenge 54 entspricht dem 3-dimensionalen Datenfeld aus der Perspektive des optischen Sensors 24. Im Vergleich zwischen 6a) und 6b) ist zu erkennen, dass die Datenpunkte 44 in 6a), die durch Reflexion an der Hauswand 30 hinter dem Fahrzeug 28, generiert wurden, in 6b) entfernt wurden.
  • In dem weiteren Schritt S500 des Verfahrens zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten werden Merkmale des 2-dimensionalen Datenfeldes 58 auf das 3-dimensionale Datenfeld 54 des Abstandsensors 22 aus der Perspektive des optischen Sensors 24 unter Berücksichtigung der 2D-Positionen 46 der Datenpunkte 44 übertragen. In diesem Ausführungsbeispiel sind das die RGB-Werte des 2-dimensionalen Datenfeldes 58 in 6c). Diese werden auf die entsprechenden Datenpunkte 44 in 6c) übertragen (nicht gezeigt).
  • Bezugszeichenliste
    • 1
    Ego Fahrzeug (Stand der Technik)
    2
    Abstandsensor, Lidar-Sensor (Stand der Technik)
    3
    optischer Sensor, Kamera (Stand der Technik)
    4
    Umgebung (Stand der Technik)
    5
    erstes Objekt, Fahrzeug (Stand der Technik)
    6
    zweites Objekt, Fußgänger (Stand der Technik)
    7
    Tiefeninformationsbild aus Sicht des optischen Sensors (Stand der Technik)
    8
    dunkler Bereich, weit entfernte Objekte (Stand der Technik)
    9
    heller Bereich, nahe Objekte (Stand der Technik)
    10
    Projektion in das Sichtfeld des optischen Sensors (Stand der Technik)
    20
    Ego-Fahrzeug
    22
    Abstandsensor, Lidar-Sensor
    24
    optischer Sensor, Kamera
    26
    Umgebung
    28
    erstes Objekt, Fahrzeug
    30
    zweites Objekt, Fußgänger (2), Hauswand (6)
    32
    Fahrunterstützungssystem
    34
    Tiefeninformationsbild
    36
    dunkler Bereich, weit entfernte Objekte
    38
    heller Bereich, nahe Objekte
    40
    3-dimensionales Datenfeld
    41
    Bereich mit Datenpunkten 44
    42
    Abstand-Sichtfeld
    44
    Datenpunkt des 3-dimensionales Datenfeldes
    46
    2D-Postition des Datenpunktes
    48
    Bild-Sichtfeld
    49
    Vom Dilatationsfilter hinzugefügter Bereich mit wahren Werten
    50
    Abstandswertklassen
    51
    Abstandsklassendistanzwert
    52
    binäre Schnittmaske
    53
    Bereich der wahren Werte der Schnittmaske
    54
    Teilmenge des 3-dimensionalen Datenfeldes 40, 3-dimensionales Datenfeld aus Perspektive des optischen Sensors
    55
    Bereich der falschen Werte der Schnittmaske
    56
    Restmenge, nicht in Teilmenge 54 enthaltene Datenpunkte 44 des 3-dimensionalen Datenfeldes 40, aus Perspektive des optischen Sensors 24 verdeckte Datenpunkte 44
    58
    2-dimensionales Datenfeld aus der Perspektive des optischen Sensors 24

Claims (14)

  1. Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes (54) eines Abstandsensors (22) aus einer Perspektive eines optischen Sensors (24), zum Durchführen mit einem Fahrunterstützungssystem (32), wobei der Abstandsensor (22) ein Abstand-Sichtfeld (42) aufweist und der optische Sensor (24) ein Bild-Sichtfeld (48) aufweist, das sich zumindest teilweise mit dem Abstand-Sichtfeld (42) deckt, umfassend die Schritte Bereitstellen eines 3-dimensionalen Datenfeldes (40), mittels des Abstandsensors (22), das eine Umgebung (26) eines Fahrzeuges (20) im Abstand-Sichtfeld (42) aus der Perspektive des Abstandsensors (22) abbildet, wobei das 3-dimensionale Datenfeld (40) Datenpunkte (44) mit jeweils einem Abstandswert umfasst, Bestimmen einer 2D-Position (46) der Datenpunkte (44) des 3-dimensionalen Datenfeldes (40) aus der Perspektive des optischen Sensors (24) durch Projizieren des 3-dimensionalen Datenfeldes (40) in das Bild-Sichtfeld (48), Aufteilen des 3-dimensionalen Datenfeldes (40) in Abstandswertklassen (50) unter Berücksichtigung der Abstandswerte der Datenpunkte (44) des 3-dimensionalen Datenfeldes (40), Bereitstellen von binären Schnittmasken (52) basierend auf den jeweiligen Datenpunkten (44) in einer Abstandswertklasse (50) unter Berücksichtigung der 2D-Position (46) der Datenpunkte (44), und Auswählen einer Teilmenge (54) des 3-dimensionalen Datenfeldes (40) unter Berücksichtigung der binären Schnittmasken (52) als 3-dimensionales Datenfeld (54) des Abstandsensors (22) aus der Perspektive des optischen Sensors (24).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Schritt des Aufteilens des 3-dimensionalen Datenfeldes (40) in Abstandswertklassen (50) unter Berücksichtigung der Abstandswerte der Datenpunkte (44) des 3-dimensionalen Datenfeldes (40) ein Aufteilen der Datenpunkte (44) entsprechend ihres jeweiligen Abstandswertes in die Abstandswertklassen (50) und ein Bestimmen eines Abstandsklassendistanzwertes (51) umfasst.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Aufteilens des 3-dimensionalen Datenfeldes (40) in Abstandswertklassen (50) unter Berücksichtigung der Abstandswerte der Datenpunkte (44) des 3-dimensionalen Datenfeldes (40) ein Bestimmen der Abstandswertklassen (50) unter Berücksichtigung der Verteilung der Abstandswerte des 3-dimensionalen Datenfeldes (40) umfasst.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Bereitstellens von binären Schnittmasken (52) aus den jeweiligen Datenpunkten (44) in einer Abstandswertklasse (50) unter Berücksichtigung der 2D-Position (46) der Datenpunkte (44) ein Bereitstellen einer binären Schnittmaske (52) für jede Abstandswertklasse (50) umfasst.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Bereitstellens von binären Schnittmasken (52) aus den jeweiligen Datenpunkten (44) in einer Abstandswertklasse (50) unter Berücksichtigung der 2D-Position (46) der Datenpunkte (44) ein Bereitstellen von binären Schnittmasken (52) mittels eines morphologischen Filters umfasst.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Bereitstellens von binären Schnittmasken (52) aus den jeweiligen Datenpunkten (44) in einer Abstandswertklasse (50) unter Berücksichtigung der 2D-Position (46) der Datenpunkte (44) ein Verwenden eines strukturierenden Elementes an den 2D-Positionen (46) der Datenpunkte (44) innerhalb einer Abstandswertklasse (50) umfasst, wobei eine Form des strukturierenden Elementes den Bereich (53) der wahren Werte der binären Schnittmaske (52) definiert.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Auswählens einer Teilmenge (54) des 3-dimensionalen Datenfeldes (40) unter Berücksichtigung der binären Schnittmasken (52) ein Prüfen umfasst, ob für einen Datenpunkt (44) in einer Abstandswertklasse (50) eine Schnittmaske (52) existiert, die einen wahren Wert an der 2D-Position (46) des Datenpunktes (44) aufweist.
  8. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schritt des Auswählens einer Teilmenge (54) des 3-dimensionalen Datenfeldes (40) unter Berücksichtigung der binären Schnittmasken (52) ein Prüfen umfasst, ob für einen Datenpunkt (44) in einer Abstandswertklasse (50) eine Schnittmaske (52) existiert, die basierend auf einer Abstandswertklasse (50) mit einem kleineren Abstandsklassendistanzwert (51) bereitgestellt wurde als ein auf dem Abstandswert des Datenpunktes (44) basierender Abstandsgrenzwert.
  9. Verfahren zum Fusionieren perspektivisch unterschiedlich bereitgestellter Sensordaten, zum Durchführen mit einem Fahrunterstützungssystem (32), basierend auf einem optischen Sensor (24) und einem Abstandsensor (22), umfassend die Schritte Bereitstellen eines 3-dimensionalen Datenfeldes (40) des Abstandsensors (22) aus einer Perspektive des optischen Sensors (24) durch das Verfahren nach einem der Ansprüche 1 bis 8, Bereitstellen eines 2-dimensionalen Datenfeldes (58), mittels des optischen Sensors (24), das die Umgebung (26) des Fahrzeuges (20) im Bild-Sichtfeld (48) aus der Perspektive des optischen Sensors (24) abbildet und Übertragen von Merkmalen des 2-dimensionalen Datenfeldes (58) auf das 3-dimensionale Datenfeld (40) des Abstandsensors (22) aus der Perspektive des optischen Sensors (24) unter Berücksichtigung der 2D-Position (46) der Datenpunkte (44).
  10. Fahrunterstützungssystem (32) zur Durchführung eines Verfahrens zum Bereitstellen eines 3-dimensionalen Datenfeldes (54) eines Abstandsensors (22) aus einer Perspektive eines optischen Sensors (24), wobei der Abstandsensor (22) ein Abstand-Sichtfeld (42) aufweist und der optische Sensor (24) ein Bild-Sichtfeld (48) aufweist, das sich zumindest teilweise mit dem Abstand-Sichtfeld (42) deckt, gekennzeichnet durch mindestens einen Abstandsensor (22), der dazu ausgeführt ist, ein 3-dimensionales Datenfeld (40) bereitzustellen, das die Umgebung (26) des Fahrzeuges (20) in einem Abstand-Sichtfeld (42) aus der Perspektive des mindestens einen Abstandsensors (22) abbildet, wobei das 3-dimensionale Datenfeld (40) Datenpunkte (44) mit jeweils einem Abstandswert umfasst, und wobei das Fahrunterstützungssystem (32) ausgebildet ist, eine 2D-Position (46) der Datenpunkte (44) des 3-dimensionalen Datenfeldes (40) aus der Perspektive des optischen Sensors (24) durch Projizieren des 3-dimensionalen Datenfeldes (40) in das Bild-Sichtfeld (48) zu bestimmen, das 3-dimensionalen Datenfeldes (40) in Abstandswertklassen (50) unter Berücksichtigung der Abstandswerte der Datenpunkte (44) des 3-dimensionalen Datenfeldes (40) aufzuteilen, binäre Schnittmasken (52) basierend auf den jeweiligen Datenpunkten (44) in einer Abstandswertklasse (50) unter Berücksichtigung der 2D-Position (46) der Datenpunkte (44) bereitzustellen, und eine Teilmenge (54) des 3-dimensionalen Datenfeldes (40) unter Berücksichtigung der binären Schnittmasken (52) als 3-dimensionales Datenfeld (54) des Abstandsensors (22) aus der Perspektive des optischen Sensors (24) auszuwählen.
  11. Fahrunterstützungssystem (32) nach Anspruch 10, gekennzeichnet durch mindestens einen optischen Sensor (24), der dazu ausgeführt ist, in 2-dimensionales Datenfeld (58) bereitzustellen, das die Umgebung (26) des Fahrzeuges (20) in einem Bild-Sichtfeld (48) aus der Perspektive des mindestens einen optischen Sensors (24) abbildet, wobei das Bild-Sichtfeld (48) sich zumindest teilweise mit dem Abstand-Sichtfeld (42) deckt.
  12. Fahrunterstützungssystem (32) nach Anspruch 11, dadurch gekennzeichnet, dass der mindestens eine Abstandsensor (22) in einer größeren Höhe angebracht ist als der optische Sensor (24).
  13. Fahrunterstützungssystem (32) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass der mindestens eine Abstandsensor (22) wenigstens einen Lidar- und/oder Radarsensor umfasst und/oder dass der mindestens eine optische Sensor (24) wenigstens eine Kamera umfasst.
  14. Fahrunterstützungssystem (32) nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass der mindestens eine optische Sensor (24) und/oder der mindestens eine Abstandsensor (22) ein Bild-Sichtfeld (48) und/oder ein Abstand-Sichtfeld (42) von 360° umfasst.
DE102018131495.7A 2018-12-10 2018-12-10 Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors und Fahrunterstützungssystem zur Durchführung des Verfahrens Active DE102018131495B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018131495.7A DE102018131495B4 (de) 2018-12-10 2018-12-10 Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors und Fahrunterstützungssystem zur Durchführung des Verfahrens

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018131495.7A DE102018131495B4 (de) 2018-12-10 2018-12-10 Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors und Fahrunterstützungssystem zur Durchführung des Verfahrens

Publications (2)

Publication Number Publication Date
DE102018131495A1 DE102018131495A1 (de) 2020-06-10
DE102018131495B4 true DE102018131495B4 (de) 2023-08-10

Family

ID=70776323

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018131495.7A Active DE102018131495B4 (de) 2018-12-10 2018-12-10 Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors und Fahrunterstützungssystem zur Durchführung des Verfahrens

Country Status (1)

Country Link
DE (1) DE102018131495B4 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293669A1 (de) 2016-09-12 2018-03-14 Delphi Technologies, Inc. Verbesserte kameraobjekterkennung für automatische fahrzeuge
US20190353791A1 (en) 2016-12-20 2019-11-21 Toyota Motor Europe Electronic device, system and method for augmenting image data of a passive optical sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3293669A1 (de) 2016-09-12 2018-03-14 Delphi Technologies, Inc. Verbesserte kameraobjekterkennung für automatische fahrzeuge
US20190353791A1 (en) 2016-12-20 2019-11-21 Toyota Motor Europe Electronic device, system and method for augmenting image data of a passive optical sensor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yenkanchi, S., "Multi sensor data fusion for autonomous vehicles", M.A.Sc. Thesis, University of Windsor, ON, Canada, Jan. 2016, Electronic Theses and Dissertations https://scholar.uwindsor.ca/etd/5680

Also Published As

Publication number Publication date
DE102018131495A1 (de) 2020-06-10

Similar Documents

Publication Publication Date Title
DE102008003948B4 (de) Vorrichtung zum Bestimmen des Vorhandenseins von Nebel unter Verwendung einer Abbildung, die durch eine in ein Fahrzeug eingebaute Abbildungsvorrichtung erzielt wird
DE10026586B4 (de) Objekterfassungssystem
DE102018108027B4 (de) Objekterfassungsvorrichtung
DE102011100927A1 (de) Objekt- und Fahrzeugdetektion und -verfolgung unter Verwendung von 3-D-Laserentfernungsmesser
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
DE102016117710A1 (de) Radar-sicht-fusion zur abschätzung der geschwindigkeit eines zielobjektes
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
DE102018120405A1 (de) Fusion von radar- und bildsensorsystemen
DE102019106845A1 (de) Verschleierungsentfernung für Fahrzeugsensoren
DE112017004333T5 (de) Umgebungsüberwachvorrichtung und Umgebungsüberwachverfahren
DE102018132805A1 (de) Verfahren für eine verbesserte Objekterfassung
EP1460454B1 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE102007013664A1 (de) Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
DE102013204597A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Sichtweite bei Nebel am Tag
DE102018108936A1 (de) Formmesssystem und Formmessverfahren
DE102021114078A1 (de) Detektieren dreidimensionaler Strukturmodelle zur Laufzeit in Fahrzeugen
DE102015211874A1 (de) Objekterkennungsvorrichtung
EP3921819B1 (de) Überwachungsvorrichtung und verfahren zur man-overboard-überwachung eines schiffsabschnitts
EP3815044B1 (de) Verfahren zu einer sensor- und speicherbasierten darstellung einer umgebung, anzeigevorrichtung und fahrzeug mit der anzeigevorrichtung
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102006044615A1 (de) Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen
DE112019004963T5 (de) Optikbasiertes mehrdimensionales Ziel- und Mehrfachobjekterkennungs- und verfolgungsverfahren
DE102021121712A1 (de) Gruppenobjektnachverfolgung
DE102020110809B3 (de) Verfahren und Vorrichtung zum Erkennen von Blooming in einer Lidarmessung
DE102018131495B4 (de) Verfahren zum Bereitstellen eines 3-dimensionalen Datenfeldes eines Abstandsensors aus einer Perspektive eines optischen Sensors und Fahrunterstützungssystem zur Durchführung des Verfahrens

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final