DE102018132805A1 - Verfahren für eine verbesserte Objekterfassung - Google Patents

Verfahren für eine verbesserte Objekterfassung Download PDF

Info

Publication number
DE102018132805A1
DE102018132805A1 DE102018132805.2A DE102018132805A DE102018132805A1 DE 102018132805 A1 DE102018132805 A1 DE 102018132805A1 DE 102018132805 A DE102018132805 A DE 102018132805A DE 102018132805 A1 DE102018132805 A1 DE 102018132805A1
Authority
DE
Germany
Prior art keywords
data points
dimensional arrangement
sensor
vehicle
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018132805.2A
Other languages
English (en)
Inventor
Vanessa Picron
Ashley Chacon-Alam
Camilo Vejarano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102018132805.2A priority Critical patent/DE102018132805A1/de
Priority to PCT/EP2019/085490 priority patent/WO2020127151A1/en
Publication of DE102018132805A1 publication Critical patent/DE102018132805A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren für eine verbesserte Erfassung von Objekten (22) auf Basis von zwei Arten von Umgebungssensoren (14, 16) an, das in einem Fahrunterstützungssystem (12) eines Fahrzeugs (10) verwendet wird, wobei die erste Art von Umgebungssensor ein für Bilder ausgelegter Sensor (14) ist, der ein Bildersichtfeld (18) aufweist, und die zweite Art von Umgebungssensor ein für Entfernungen ausgelegter Sensor (16) ist, der ein Entfernungssichtfeld (20) aufweist, welches das Bildersichtfeld (18) zum Teil überschneidet, die folgenden Schritte umfassend: Bereitstellen einer 2-dimensionalen Anordnung von Datenpunkten (26), welche die Umgebung des Fahrzeugs (10) im Bildersichtfeld (18) darstellen, durch mindestens einen für Bilder ausgelegten Sensor (14), Identifizieren einer oder mehrerer möglicher Fehlerquellen (24) in der 2-dimensionalen Anordnung von Datenpunkten (26), Bereitstellen einer 3-dimensionalen Anordnung von Datenpunkten (28), welche die Umgebung des Fahrzeugs (10) im Entfernungssichtfeld (20) darstellen, durch mindestens einen für Entfernungen ausgelegten Sensor (16), Abbilden der 3-dimensionalen Anordnung von Datenpunkten (28) auf die 2-dimensionale Anordnung von Datenpunkten (26), Auswählen eines oder mehrerer 3D-Untersätze von Datenpunkten (27) in der 3-dimensionalen Anordnung von Datenpunkten (28), die der einen oder den mehreren möglichen Fehlerquellen (24) entsprechen, Bereitstellen einer überarbeiteten 3-dimensionalen Anordnung von Datenpunkten (34), Berücksichtigen der 3-dimensionalen Anordnung von Datenpunkten (28) und des einen oder der mehreren 3D-Untersätze von Datenpunkten (27) und Erfassen von Position, Größe, Geschwindigkeit und/oder Ausrichtung von Objekten (22) unter Berücksichtigung der überarbeiteten 3-dimensionalen Anordnung von Datenpunkten (34).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren für eine verbesserte Objekterfassung auf Basis von zwei Arten von Umgebungssensoren, das in einem Fahrunterstützungssystem eines Fahrzeugs angewendet wird.
  • Auch betrifft die vorliegende Erfindung ein Fahrunterstützungssystem zur Durchführung des genannten Verfahrens.
  • Autonomes und halbautonomes Fahren wird ein immer wichtigeres Thema in der Automobilindustrie. Prototypen für autonomes Fahren wurden bereits entwickelt und eingesetzt und werden derzeit getestet, an manchen Orten sogar in echten Fahrsituationen. Autonomes Fahren wird als revolutionäre Technik auf dem Automobilsektor betrachtet.
  • Autonomes und halbautonomes Fahren hängt von Kenntnissen über die Umgebung um das Fahrzeug ab, das im Folgenden als eigenes Fahrzeug bezeichnet wird. In dem eigenen Fahrzeug können verschiedene Arten von Umgebungssensoren verwendet werden, um dessen Umgebung zu überwachen und um Objekte wie andere Fahrzeuge, Verkehrszeichen oder anderes zu identifizieren. Für autonome und halbautonome Fahrsysteme sind Kenntnisse über die Position eines Objekts und die Berechnung präziser Bewegungsbahnen von beweglichen Objekten in der Umgebung des eigenen Fahrzeugs, wie etwa von anderen Fahrzeugen, eine unverzichtbare Voraussetzung. Um Unfälle zu vermeiden, müssen daher die Informationen über das Objekt, seine Position, Ausrichtung und Geschwindigkeit zuverlässig sein.
  • Die Umgebungssensoren, die für die Überwachung der Umgebung des Fahrzeugs verwendet werden, können gemäß der Art der Informationen, die von den Sensoren erhalten werden, in mehrere Kategorien eingeteilt werden. Zum Beispiel können einige Arten von Sensoren einen Abstand zu einem Objekt in der Umgebung des eigenen Fahrzeugs messen, z.B. Sensoren auf LiDAR- oder Radarbasis, und werden daher als für Entfernungen ausgelegte Sensoren bezeichnet. Andere Arten von Sensoren, z.B. optische Kameras, können keine exakten Informationen über den Abstand zu einem Objekt liefern. Ihre Stärke liegt vielmehr in der Bereitstellung eines 2-dimensionalen Bildes der Umgebung des eigenen Fahrzeugs, das verwendet werden kann, um Objekte zu identifizieren.
  • Daten, die von den für Entfernungen ausgelegten Sensoren bereitgestellt werden, haben die Eigenschaft, dass sie ziemlich spärliche Daten sind, was bedeutet, dass die Dichte von Datenpunkten im Vergleich zu für Bilder ausgelegten Sensoren gering ist.
  • Daher werden spezifische Algorithmen verwendet, um Informationen über die Art von Objekten, ihre Position, Ausrichtung und Geschwindigkeit aus den für Entfernungen ausgelegten Sensoren herauszuholen. Jedoch können diese spezifischen Algorithmen auch falsche Erfassungsergebnisse hervorbringen, wodurch die Leistung des Systems als Ganzes sinkt und das Unfallrisiko steigt.
  • 1 zeigt ein Beispiel für ein Verfahren des Standes der Technik für eine Objekterfassung. 1a) zeigt ein Fahrzeug 1 mit einem für Entfernungen ausgelegten Sensor 2 in einer Umgebung mit einem anderen Fahrzeug 3 und einem Busch 4. 1b) zeigt Entfernungen betreffende Sensordaten 5, die vom für Entfernungen ausgelegten Sensor 2 gesammelt werden. Wie in 1c) gezeigt ist, kann ein Verfahren gemäß dem Stand der Technik zu falschen Erfassungsergebnissen führen. Die Entfernungen betreffenden Sensordaten 5, die auf das andere Fahrzeug 3 bezogen sind, werden korrekt als erstes Fahrzeug 6 erfasst. Jedoch werden die Entfernungen betreffenden Sensordaten 5, die auf den Busch 4 bezogen sind, als zweites Fahrzeug 7 fehlinterpretiert. Dieser Erfassungsfehler verringert die Leistung des Systems als Ganzes und erhöht das Unfallrisiko. Daher sind Verfahren für eine zuverlässige Erfassung von Objekten sehr wichtig.
  • Ausgehend vom oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren für eine verbesserte Objekterfassung anzugeben, um falsche Erfassungsergebnisse zu vermeiden und um das Unfallrisiko zu verringern. Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
  • Erfindungsgemäß ist somit ein Verfahren für eine verbesserte Objekterfassung auf Basis von zwei Arten um Umgebungssensoren angegeben, das in einem Fahrunterstützungssystem eines Fahrzeugs angewendet wird, wobei die erste Art von Umgebungssensor ein für Bilder ausgelegter Sensor ist, der ein Bildersichtfeld aufweist, und die zweite Art von Umgebungssensor ein für Entfernungen ausgelegte Sensor ist, der ein Entfernungssichtfeld aufweist, welches das Bildersichtfeld zumindest zum Teil überschneidet, die folgenden Schritte umfassend: Bereitstellen einer 2-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs im Bildersichtfeld darstellt, durch mindestens einen für Bilder ausgelegten Sensor, Identifizieren einer oder mehrerer möglicher Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkten, Bereitstellen einer 3-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs im Entfernungssichtfeld darstellt, durch mindestens einen für Entfernungen ausgelegten Sensor, Abbilden der 3-dimensionalen Anordnung von Datenpunkten auf die 2-dimensionale Anordnung von Datenpunkten, Auswählen eines oder mehrerer 3D-Untersätze von Datenpunkten in der 3-dimensionalen Anordnung von Datenpunkten, die der einen oder den mehreren möglichen Fehlerquellen entsprechen, Bereitstellen einer überarbeiteten 3-dimensionalen Anordnung von Datenpunkten, Abgleichen der 3-dimensionalen Anordnung von Datenpunkten und des einen oder der mehreren 3D-Untersätze von Datenpunkten und Erfassen von Position, Größe, Geschwindigkeit und/oder Ausrichtung von Objekten unter Berücksichtigung der überarbeiteten 3-dimensionalen Anordnung von Datenpunkten.
  • Erfindungsgemäß ist außerdem ein Fahrunterstützungssystem angegeben zum Durchführen des genannten Verfahrens, das umfasst: mindestens einen für Bilder ausgelegten Sensor zur Bereitstellung einer 2-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs in einem Bildersichtfeld darstellen, und einen für Entfernungen ausgelegten Sensor zur Bereitstellung einer 3-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs in einem Entfernungssichtfeld darstellen.
  • Der Grundgedanke der Erfindung ist die Verwendung von zwei unterschiedlichen Arten von Sensoren, einem für Entfernungen ausgelegten Sensor, der exakte Informationen über die Position, Größe, Geschwindigkeit und/oder Ausrichtung des Objekts liefert, und einem für Bilder ausgelegten Sensor, der exakte Informationen über die Beschaffenheit oder die Art des Objekts liefert. Die von diesen Sensoren gesammelten Daten werden unabhängig analysiert, was eine zuverlässige Bestimmung der Position, Größe und/oder Ausrichtung des Objekts ermöglicht. Ein Schlüsselaspekt des Verfahrens ist die Verwendung der 2-dimensionalen Anordnung von Datenpunkten des für Bilder ausgelegten Sensors zur Identifizierung von möglichen Fehlerquellen. Diese vom für Bilder ausgelegten Sensor gesammelten Informationen werden für die Verarbeitung der 3-dimensionalen Anordnung von Datenpunkten verwendet, die vom für Entfernungen ausgelegten Sensor bereitgestellt wird. Was dies betrifft, so wird die 3-dimensionale Anordnung von Datenpunkten auf die 2-dimensionale Anordnung von Datenpunkten abgebildet, und ein oder mehrere 3D-Untersätze von Datenpunkten in der 3-dimensionalen Anordnung von Datenpunkten, die jeweils mit den identifizierten möglichen Fehlerquellen übereinstimmen, werden ausgewählt. Es wird eine überarbeitete 3-dimensionale Anordnung von Datenpunkten bereitgestellt, in der die 3-dimensionale Anordnung von Datenpunkten und der eine oder die mehreren 3D-Untersätze von Datenpunkten berücksichtigt sind. Die überarbeitete 3-dimensionale Anordnung von Datenpunkten wird für die Erfassung von Position, Größe, Geschwindigkeit und/oder Ausrichtung von Objekten verwendet.
  • Eine mögliche Fehlerquelle ist ein Objekt in der Umgebung des eigenen Fahrzeugs, das mit hoher Wahrscheinlichkeit falsche und/oder unzuverlässige Erfassungsergebnisse hervorbringt. Das Verfahren verwendet die überarbeitete 3-dimensionale Anordnung von Datenpunkten für die Erfassung von Position, Größe, Geschwindigkeit und/oder Ausrichtung von Objekten. Die überarbeitete 3-dimensionale Anordnung von Datenpunkten wird unter Berücksichtigung der 3-dimensionalen Anordnung von Datenpunkten und des einen oder der mehreren 3D-Untersätze von Datenpunkten bereitgestellt. Da der eine oder die mehreren 3D-Untersätze von Datenpunkten auf einer oder mehreren möglichen Fehlerquellen basieren, hat das Verfahren die Vorteile, dass die Stabilität und die Zuverlässigkeit der Erfassungsergebnisse erhöht sind. Das Verfahren verringert eine falsche Bestimmung von Position, Größe, Geschwindigkeit und/oder Ausrichtung von Objekten im Vergleich zu einem Verfahren, wo mögliche Fehlerquellen nicht identifiziert werden. Daher ist das Verfahren weniger fehleranfällig, die Zuverlässigkeit und Stabilität der Objekterfassung ist verbessert und das Unfallrisiko ist gesenkt.
  • Das Fahrzeug gemäß der vorliegenden Erfindung, d.h. das eigene Fahrzeug, kann jede Art von Fahrzeug sein, z.B. ein PKW oder ein LKW. Das Fahrzeug kann manuell von einem Menschen als Fahrer gesteuert werden. Alternativ dazu unterstützt das Fahrzeug halbautonomes oder autonomes Fahren. Es ist möglich, dass das Fahrzeug Passagiere, einschließlich eines Fahrers, transportiert oder für einen Warenumschlag verwendet wird.
  • Ein für Bilder ausgelegter Sensor ist eine Vorrichtung, die Informationen erfasst, die verwendet werden, um eine 2-dimensionale Anordnung von Datenpunkten zu erstellen, die ihrerseits als Bild dargestellt werden kann. Dies geschieht durch Umwandeln der variablen Dämpfung von Lichtwellen oder elektromagnetischen Wellen in Signale, vorzugsweise elektrische Signale. Lichtwellen oder elektromagnetische Wellen können unterschiedliche Wellenlängen aufweisen. Abhängig von der Wellenlänge können verschiedene für Bilder ausgelegte Sensoren verwendet werden. Zum Beispiel kann für das sichtbare Spektrum eine Kamera verwendet werden. Alternativ dazu können für Bilder ausgelegte Sensoren für elektromagnetische Wellen im Infrarot (um 1000 nm) oder im Ultraviolett (um 200 nm) verwendet werden. Abhängig vom für Bilder ausgelegten Sensor kann die 2-dimensionale Anordnung von Datenpunkten in kartesischen Koordinaten oder in Polarkoordinaten vorliegen. Zum Beispiel können die Daten, die von einer Kamera aufgenommen werden, in kartesischen Koordinaten vorliegen, welche die Position einzelner Datenpunkte oder Pixel in Bezug auf die Achse des Bildes bestimmen. Die Datenpunkte selbst können mit mehr Informationen versehen werden. Zum Beispiel liefert eine Farbkamera ein auf Pixeln basierendes Bild als 2-dimensionale Daten, wobei in den einzelnen Pixeln Informationen in den drei Farbkanälen RGB enthalten sind. Alternativ dazu können die einzelnen Pixel Informationen über die Intensität des Signals und/oder einen Leuchtdichtewert enthalten. Ferner können die Bilder, die von der Kamera aufgenommen werden, einzelne Standbilder oder Bildfolgen, die Videos oder Filme bilden, sein. Zum Beispiel kann ein für Bilder ausgelegter Sensor ein optischer Sensor, eine Kamera, eine Wärmebildvorrichtung oder ein Nachtsichtsensor sein.
  • Ein für Entfernungen ausgelegter Sensor ist eine Vorrichtung, welche die dreidimensionale Struktur der Umgebung vom Blickpunkt des Sensors aus aufnimmt, üblicherweise durch Messen der Tiefe und/oder des Abstands bis zu den nächstgelegenen Oberflächen. Ein für Entfernungen ausgelegter Sensor kann ein auf LiDAR basierender Sensor, ein auf Radar basierender Sensor, ein auf Infrarot basierender Sensor oder ein auf Ultraschall basierender Sensor sein. Radarsensoren verwenden Funkwellen, um die Entfernung, den Winkel und/oder die Geschwindigkeit von Objekten zu bestimmen. Auf Ultraschall basierende Sensoren arbeiten nach dem Prinzip der reflektierten Schallwellen. Auf LiDAR basierende Sensoren messen den Abstand zu einem Objekt durch Beleuchten des Objekts mit gepulstem Laserlicht und Messen der reflektierten Impulse. Differenzen in Bezug auf Laserrücklaufzeiten, -wellenlängen und -intensität können dann verwendet werden, um eine 3-dimensionale Darstellung der Umgebung des Fahrzeugs bereitzustellen. Auf Infrarot basierende Sensoren arbeiten ebenfalls nach dem Prinzip reflektierter Lichtwellen. Die Messungen der Abstände zu den Objekten können an einzelnen Punkten der Umgebung des eigenen Fahrzeugs, über Abtastebenen durchgeführt werden, oder die Messungen können ein Vollbild mit Tiefen- und/oder Abstandsmessungen an jedem Punkt der Umgebung des eigenen Fahrzeugs bereitstellen. Die Daten, die vom für Entfernungen ausgelegten Sensor bestimmt werden, sind eine 3-dimensionale Anordnung von Datenpunkten und können in Kugelkoordinaten vorliegen, die den Abstand zu einem Objekt (r) und die Position des Objekts in Bezug auf die Sensorposition, die vom Polar- und vom Azimutwinkel (teta, phi) bestimmt wird, einschließen. Alternativ dazu können die Daten in kartesischen Koordinaten bestimmt oder in solche umgewandelt werden, wodurch die Position des Objekts in Bezug auf die Achsenlinien X, Y und Z und den Ursprung des Koordinatensystems identifiziert wird. Die einzelnen Datenpunkte der 3-dimensionalen Anordnung von Datenpunkten können mit mehr Informationen versehen werden, z.B. Informationen über die Intensität der reflektierten Lichtimpulse.
  • Objekte in der Umgebung des eigenen Fahrzeugs können alle Arten von Objekten sein. Objekte können statische Objekte wie Häuser, Verkehrszeichen oder geparkte Autos sein. Ferner können die Objekte beweglich sein, wie andere Fahrzeuge oder Fußgänger. Mögliche Fehlerquellen sind ebenfalls Objekte in der Umgebung des eigenen Fahrzeugs. Jedoch bringen auf Entfernungen bezogene Daten möglicher Fehlerquellen tendenziell falsche und/oder unzuverlässige Erfassungsergebnisse hervor. Der für Entfernungen ausgelegte Sensor nimmt durch Beleuchten der Objekte in der Umgebung mit gepulster elektromagnetischer Strahlung und Messen der reflektierten Impulse Informationen über die dreidimensionale Struktur der Umgebung auf. Aufgrund der gepulsten Strahlung sind die Daten, die von den für Entfernungen ausgelegten Sensoren bereitgestellt werden, ziemlich spärliche Daten, was bedeutet, dass die Dichte von Datenpunkten im Vergleich zu für Bilder ausgelegten Sensoren gering ist. Falls das Objekt eine kontinuierliche Oberfläche aufweist, z.B. die Oberfläche eines anderen Fahrzeugs, ergeben die Daten, die von dem für Entfernungen ausgelegten Sensor gesammelt werden, eine zuverlässige Bestimmung der Position, Größe, Geschwindigkeit und/oder Ausrichtung des Objekts. Falls das Objekt jedoch eine diskontinuierliche Oberfläche aufweist, z.B. ein Drahtzaun, ein Netz oder Vegetation, werden manche von den elektromagnetischen Impulsen nicht vom Objekt an sich reflektiert, sondern laufen durch das Objekt und werden schließlich von einem anderen Objekt reflektiert. Die Verwendung dieser Daten für die Objekterfassung führt häufig zu falschen und/oder unzuverlässigen Ergebnissen.
  • Das Sichtfeld ist ein Sektor oder allgemein ein Teil der Umgebung des Fahrzeugs, aus dem der jeweilige Sensor Informationen aufnimmt. Das Sichtfeld eines Sensors kann vom Design des Sensors beeinflusst werden. Zum Beispiel sammelt eine Kamera Informationen mittels einer Linse, die einfallende Lichtwellen bündelt. Die Krümmung der Linse beeinflusst das Sichtfeld der Kamera. Zum Beispiel ist das Sichtfeld einer Kamera mit einer Fischaugenlinse weiter als das Sichtfeld einer Kamera mit einer herkömmlichen Linse. Das Sichtfeld kann auch durch die Größe oder die Abmessungen des Detektors, der verwendet wird, um die Dämpfung von Lichtwellen oder elektromagnetischen Wellen in elektrische Signale umzuwandeln, beeinflusst werden. Es ist auch möglich, dass ein Sensor ein Sichtfeld aufweist, das 360 Grad der Umgebung des Fahrzeugs abdeckt. Zum Beispiel kann dies durch einen rotierenden Sensor oder durch die Verwendung mehrerer untereinander verbundener Sensoren erreicht werden.
  • Die beiden Arten von Umgebungssensoren, die im Fahrunterstützungssystem des Fahrzeugs verwendet werden, weisen einander zumindest zum Teil überschneidende Sichtfelder auf. Daher nehmen die zwei Arten von Sensoren zumindest manche Informationen aus demselben Sektor oder Bereich der Umgebung des Fahrzeugs auf. Es ist auch möglich, mehrere Umgebungssensoren eines Typs zu nehmen, die untereinander verbunden sind, um das Sichtfeld dieser Art von Umgebungssensor zu vergrößern.
  • Das Verfahren umfasst die Schritte des Bereitstellens einer 2-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs in dem Bildersichtfeld darstellen, durch mindestens einen für Bilder ausgelegten Sensor und des Identifizierens einer oder mehrerer möglicher Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkten.
  • Die mögliche Fehlerquelle kann durch Klassifizieren von Objekten in der Umgebung des Fahrzeugs identifiziert werden. Zum Beispiel kann ein Objekt in der Umgebung des Fahrzeugs ein Busch sein. Alternativ dazu kann das Objekt ein anderes Fahrzeug, ein Drahtzaun oder ein Fußgänger sein. Die unterschiedlichen Arten von Objekten unterscheiden sich in ihrer Beschaffenheit und ihren Eigenschaften, beispielsweise ihrer Fähigkeit, sich zu bewegen, in ihrer Geschwindigkeit und ihrer Verletzlichkeit. Ferner unterscheiden sich die unterschiedlichen Arten von Objekten in der Wahrscheinlichkeit, dass sie bei der Erfassung der Position, Größe, Geschwindigkeit und/oder Ausrichtung des Objekts falsche und/oder unzuverlässige Ergebnisse hervorbringen. Um das Unfallrisiko zu senken, ist es bevorzugt, Kenntnisse darüber zu haben, welche Arten von Objekten sich in der Umgebung des eigenen Fahrzeugs befinden. Daher kann die eine oder können die mehreren Fehlerquellen durch Einteilen der Objekte in unterschiedliche Klassen und durch Berücksichtigen der Klasse des Objekts identifiziert werden. Durch Identifizieren des Objekts kann auch ein Konfidenzwert in Bezug auf die Klasse des Objekts bestimmt werden. Die Informationen über die Klasse des Objekts und die Konfidenz können für eine spätere Verwendung gespeichert werden.
  • Vorzugsweise umfasst das Identifizieren einer oder mehrerer möglicher Fehlerquellen das Erfassen nur von Objekten, die zu einer vordefinierten Klasse gehören. Dies kann durch Erfassen von Vorkommen semantischer Objekte einer bestimmten Klasse (wie etwa Büschen oder Netzen) in der 2-dimensionalen Anordnung von Datenpunkten erreicht werden. Jede Objektklasse weist ihre eigenen speziellen Merkmale auf, die bei der Zuordnung des Objekts zu der spezifischen Klasse helfen. Zum Beispiel sind alle Kreise rund. Eine Objektklassenerfassung nutzt diese speziellen Merkmale. Wenn beispielsweise nach Kreisen Ausschau gehalten wird, wird nach Objekten gesucht, die einen bestimmten Abstand von einem Punkt (d.h. dem Zentrum) aufweisen. Das Identifizieren von möglichen Fehlerquellen kann auch umfassen, dass die mögliche Fehlerquelle mit einer eindeutigen Markierung versehen wird, wodurch die Möglichkeit geschaffen wird, die mögliche Fehlerquelle im Zeitverlauf zu verfolgen.
  • Vorzugsweise wird die mögliche Fehlerquelle durch Analysieren der 2-dimensionalen Anordnung von Datenpunkten identifiziert. Zum Beispiel können mögliche Fehlerquellen durch Mustererkennungsalgorithmen identifiziert werden, die automatisch Regelmäßigkeiten oder Unregelmäßigkeiten in der 2-dimensionalen Anordnung von Datenpunkten entdecken. Ferner kann die 2-dimensionale Anordnung von Datenpunkten in mehrere Segmente unterteilt werden. Zum Beispiel kann die 2-dimensionale Anordnung von Datenpunkten anhand eines Schwellenwertverfahrens unterteilt werden, wobei ein Schwellenwert verwendet wird, um zu entscheiden, zu welchem Segment ein einzelner Datenpunkt der 2-dimensionalen Anordnung von Datenpunkten gehört. Alternativ oder zusätzlich dazu können Clusterverfahren verwendet werden, um die 2-dimensionale Anordnung von Datenpunkten in Cluster/Segmente zu unterteilen. Es ist auch möglich, auf Histogrammen basierende Verfahren zu verwenden, wobei ein Histogramm aus allen Datenpunkten in der 2-dimensionalen Anordnung von Datenpunkten berechnet wird. Farb- oder Intensitätswerte können als Maß für das Histogramm verwendet werden. Danach werden Gipfel und Täler im Histogramm verwendet, um die Segmente in der 2-dimensionalen Anordnung von Datenpunkten zu lokalisieren. Das Ziel der Segmentierung ist die Unterteilung der 2-dimensionalen Anordnung von Datenpunkten in Segmente, wobei die Datenpunkte, die zum selben Segment gehören, mindestens ein gemeinsames Merkmal aufweisen oder die Datenpunkte aus einem Objekt mit einer semantischen Bedeutung (z.B. einem Busch) bestehen. Durch diesen Prozess können Objekte und/oder mögliche Fehlerquellen und/oder Grenzen (Linien, Kurven usw.) von Objekten und/oder möglichen Fehlerquellen identifiziert werden.
  • Vorzugsweise umfasst das Identifizieren einer oder mehrerer möglicher Fehlerquellen das Entdecken einer oder mehrerer möglicher Fehlerquellen in Verbindung mit der Segmentierung der 2-dimensionalen Anordnung von Datenpunkten. Wenn Bilderfolgen verwendet werden, die Videos oder Filme bilden, kann eine Objekt-Cosegmentierung angewendet werden. Die mögliche Fehlerquelle kann sporadisch in einem Satz von Bildern vorhanden sein oder die mögliche Fehlerquelle kann im Video von Interesse immer wieder intermittierend verschwinden. Für eine Objekt-Cosegmentierung werden mehrere Bilder oder Video-Frames auf Basis semantisch ähnlicher Objekte gemeinsam segmentiert. Daher können Informationen über die mögliche Fehlerquelle von aufeinanderfolgenden Frames gemeinsam genutzt werden, und Informationen über Bewegung und Aussehen der möglichen Fehlerquelle können verwendet werden, um in mehreren Bildern die gemeinsamen Regionen zu finden, die zu der möglichen Fehlerquelle gehören.
  • Vorzugsweise umfasst der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkten das Zuweisen einer Kennung zu jedem Datenpunkt in der 2-dimensionalen Anordnung von Datenpunkten, so dass Datenpunkte mit der gleichen Kennung bestimmte vordefinierte Eigenschaften gemeinsam haben.
  • Das Verfahren umfasst außerdem die Schritte des Bereitstellens einer 2-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs darstellen, in dem Entfernungssichtfeld durch mindestens einen für Entfernungen ausgelegten Sensor und des Abbildens der 3-dimensionalen Anordnung von Datenpunkten auf die 2-dimensionale Anordnung von Datenpunkten. Das Abbilden oder Projizieren der 3-dimensionalen Anordnung von Datenpunkten auf die 2-dimensionale Anordnung von Datenpunkten beinhaltet das Definieren von Translations- und Rotationsparametern, um die 3-dimensionale Anordnung von Datenpunkten mit der 2-dimensionalen Anordnung von Datenpunkten zu assoziieren. Aus diesem Grund müssen die relativen Orte des für Entfernungen ausgelegten Sensors und des für Bilder ausgelegten Sensors am eigenen Fahrzeug und ihre jeweiligen Sichtfelder bekannt sein.
  • Nach dem Abbilden der 3-dimensionalen Anordnung von Datenpunkten auf die 2-dimensionale Anordnung von Datenpunkten wird ein oder werden mehrere 3D-Untersätze von Datenpunkten in der 3-dimensionalen Anordnung von Datenpunkten, die mit der einen oder den mehreren möglichen Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkte übereinstimmen, ausgewählt. Nun sind die spezifischen Datenpunkte, die zu möglichen Fehlerquellen gehören, bekannt. In einem nächsten Schritt wird eine überarbeitete 3-dimensionale Anordnung von Datenpunkten bereitgestellt, in der die 3-dimensionale Anordnung von Datenpunkten und der eine oder die mehreren 3D-Untersätze von Datenpunkten berücksichtigt sind. Vorzugsweise werden nur Datenpunkte, die nicht zu möglichen Fehlerquellen gehören, in der überarbeiteten 3-dimensionalen Anordnung von Datenpunkten behalten. Die überarbeitete 3-dimensionale Anordnung von Datenpunkten wird für die Erfassung von Position, Größe, Geschwindigkeit und/oder Ausrichtung der Objekte verwendet.
  • Die Position des Objekts ist die Position des Objekts in Bezug auf das eigene Fahrzeug. Aus der Position des Objekts kann daher der Abstand vom Objekt zum eigenen Fahrzeug bestimmt werden. Diese Informationen sind gemeinsam mit der Geschwindigkeit des Objekts sehr wichtig für die Berechnung der Zeit einer möglichen Kollision mit einem Objekt Die Größe eines Objekts beinhaltet die 3 Dimensionen Breite, Länge und Höhe eines Objekts.
  • Die Ausrichtung des Objekts ist die Ausrichtung des Objekts in Bezug auf das eigene Fahrzeug. Zum Beispiel weist ein anderes Fahrzeug eine Vorderseite und eine Rückseite auf, wodurch ein internes Koordinatensystem des Objekts bestimmt wird. Ein Fußgänger weist ebenfalls eine Vorder- und eine Rückseite auf, die ein auf dem Fußgänger basierendes internes Koordinatensystem bestimmen. Die Ausrichtung des Objekts ist die Ausrichtung des Koordinatensystems des Objekts in Bezug auf das Koordinatensystem, das vom eigenen Fahrzeug definiert wird. Wenn beispielsweise ein anderes Fahrzeug und das eigene Fahrzeug beide auf einer geraden Straße und in der gleichen Richtung fahren, dann wäre die Ausrichtung des anderen Fahrzeugs parallel zum eigenen Fahrzeug. Dies ist unabhängig vom Ort des anderen Fahrzeugs, das heißt, es spielt keine Rolle, ob das andere Fahrzeug vor dem eigenen Fahrzeug oder neben dem eigenen Fahrzeug fährt. Falls das andere Fahrzeug jedoch auf einer Fahrbahn fährt, welche die Fahrbahn des eigenen Fahrzeugs schneidet, dann ist die Ausrichtung des anderen Fahrzeugs anders als parallel. Die Ausrichtung eines Objekts kann für statische ebenso wie für bewegliche Objekte bestimmt werden.
  • Position, Größe, Geschwindigkeit und/oder Ausrichtung der Objekte unter Berücksichtigung der überarbeiteten 3-dimensionalen Anordnung von Datenpunkten können durch Schätzen von Parametern eines mathematischen Modells anhand der überarbeiteten 3-dimensionalen Anordnung von Datenpunkten erhalten werden.
  • Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Identifizierens eines oder mehrerer Objekte in der 2-dimensionalen Anordnung von Datenpunkten das Bestimmen einer Fläche der 2-dimensionalen Anordnung von Datenpunkten, die zu der einen oder den mehreren möglichen Fehlerquellen gehören, und der Schritt des Auswählens eines oder mehrerer 3D-Untersätze von Datenpunkten in der 3-dimensionalen Anordnung von Datenpunkten, die mit der einen oder den mehreren möglichen Fehlerquellen übereinstimmen, umfasst das Auswählen eines oder mehrerer 3D-Untersätze von Datenpunkten in der 3-dimensionalen Anordnung von Datenpunkten, die innerhalb der Fläche abgebildet werden, die zu der einen oder den mehreren möglichen Fehlerquellen gehört.
  • Die Fläche in der 2-dimensionalen Anordnung von Datenpunkten, die zu den möglichen Fehlerquellen gehören, kann jede beliebige Form haben. Zum Beispiel kann sie ein Rechteck oder eine Ellipse sein, das bzw. die die mögliche Fehlerquelle umgibt. Zum Beispiel kann ein rechteckiger Rahmen, ein sogenannter Begrenzungsrahmen, der die mögliche Fehlerquelle umgibt, zur Bestimmung der Fläche in der 2-dimensionalen Anordnung von Datenpunkten, die zu der möglichen Fehlerquelle gehören, verwendet werden. Dieser hat den Vorteil, dass er eine einfache Form aufweist und daher ohne gro-ßen Aufwand zu verarbeiten ist. Jedoch weist die Fläche, die zu der möglichen Fehlerquelle gehört, vorzugsweise eine Form auf, welche die Umrisse der möglichen Fehlerquelle nachzeichnet. Dies hat die Vorteile, dass die Ergebnisse des Verfahrens genauer sind als wenn ein rechteckiger Rahmen verwendet wird. Falls die mögliche Fehlerquelle durch Segmentieren der 2-dimensionalen Anordnung von Datenpunkten identifiziert wird, zeichnet ferner das Segment häufig bereits den Umriss der möglichen Fehlerquelle nach. Daher sind keine zusätzlichen Rechenressourcen erforderlich. Falls ein Datenpunkt der 3-dimensionalen Anordnung von Datenpunkten innerhalb der Fläche abgebildet wird, die zu der möglichen Fehlerquelle gehört, wird er als mit der möglichen Fehlerquelle übereinstimmend betrachtet. Daher wird dieser Datenpunkt für den 3D-Untersatz von Datenpunkten ausgewählt.
  • Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Bereitstellens einer überarbeiteten 3-dimensionalen Anordnung von Datenpunkten, unter Berücksichtigung der 3-dimensionalen Anordnung von Datenpunkten und des einen oder der mehreren 3D-Untersätze von Datenpunkten das Entfernen des einen oder der mehreren 3D-Untersätze von Datenpunkten aus der 3-dimensionalen Anordnung von Datenpunkten. Wenn Entfernungen betreffende Daten möglicher Fehlerquellen zur Erfassung der Position, Größe, Geschwindigkeit und/oder Ausrichtung verwendet werden, sind die Erfassungsergebnisse mit hoher Wahrscheinlichkeit falsch und/oder unzuverlässig. Nach dem Entfernen des einen oder der mehreren 3D-Untersätze von Datenpunkten besteht die überarbeitete 3-dimensionale Anordnung von Datenpunkten nur aus Datenpunkten, die nicht von möglichen Fehlerquellen stammen. Durch Entfernen der Entfernungen betreffenden Daten, die von der möglichen Fehlerquelle stammen, aus der 3-dimensionalen Anordnung von Datenpunkten sind die Zuverlässigkeit und die Stabilität der Erfassungsergebnisse verbessert.
  • Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkten das Identifizieren eines oder mehrerer Objekte mit einer inkonsistenten Reflexionsfläche und/oder das Identifizieren eines oder mehrerer Objekte mit einer diskontinuierlichen Reflexionsfläche. Die mögliche Fehlerquelle ist ein Objekt mit einer inkonsistenten Reflexionsfläche und/oder ein Objekt mit einer diskontinuierlichen Reflexionsfläche. Da der für Entfernungen ausgelegte Sensor durch Beleuchten der Objekte in der Umgebung mit gepulster elektromagnetischer Strahlung und Messen der reflektierten Impulse Informationen über die dreidimensionale Struktur der Umgebung aufnimmt, bringen Objekte, die eine diskontinuierliche Reflexionsfläche aufweisen, mit hoher Wahrscheinlichkeit falsche und/oder unzuverlässige Erfassungsergebnisse hervor. Zum Beispiel zeigen die von einem Busch reflektierten Daten, die von einem auf Entfernungen ausgelegten Sensor empfangen werden, im Allgemeinen nicht die Außenränder des Busches. Manche von den elektromagnetischen Impulsen können in den Busch hinein gelaufen sein und können von einem inneren Teil des Busches reflektiert werden. Ferner können die Datenpunkte, die von dem Busch stammen, in dem Sinne instabil sein, dass es scheint, als würde sich ein bestimmter Teil des Busches in Bezug auf einen anderen Teil des Busches bewegen. Aus diesem Grund bringen auf Entfernungen bezogene Daten möglicher Fehlerquellen tendenziell falsche und/oder unzuverlässige Erfassungsergebnisse hervor. Eine ähnliche Wirkung stellt sich bei Objekten ein, die eine inkonsistente Reflexionsfläche aufweisen, was bedeutet, dass das Maß, in dem der elektromagnetische Impuls reflektiert wird, an unterschiedlichen Stellen auf der Reflexionsfläche des Objekts jeweils stark variiert. Aufgrund der Spärlichkeit der Entfernungen betreffenden Daten sind solche Situationen in den Entfernungen betreffenden Daten an sich jedoch nicht leicht zu erfassen. Daher verwendet das Verfahren die Informationen, die von dem auf Bilder ausgelegten Sensor gesammelt werden, um mögliche Fehlerquellen zu identifizieren.
  • Was dies betrifft, so umfasst gemäß einer modifizierten Ausführungsform der Erfindung der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkten das Identifizieren eines oder mehrerer Objekte der Kategorie Baum, Busch, Hecke, Vegetation, Netz und/oder Drahtzaun. Die Verwendung der 2-dimensionalen Anordnung von Datenpunkten, die vom auf Bilder ausgelegten Sensor gesammelt werden, um die eine oder die möglichen Fehlerquellen zu identifizieren, hat den Vorteil, dass eine leichte, schnelle und/oder zuverlässige Identifizierung der möglichen Fehlerquelle erreicht werden kann. Die Kenntnisse darüber, welches Objekt eine mögliche Fehlerquelle ist, werden durch eine heuristische Technik erlangt.
  • Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Bereitstellens einer 2-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs im Bildersichtfeld darstellen, durch mindestens einen auf Bilder ausgelegten Sensor das Bereitstellen einer 2-dimensionalen Anordnung von Datenpunkten durch mindestens eine Kamera. In vielen Fahrzeugen sind auf Kameras basierende Systeme bereits integriert, um die Umgebung zu erfassen. Daher erzeugt die Verwendung einer Kamera als auf Bilder ausgelegter Sensor keine extra Kosten, wenn das Verfahren angewendet wird. Ferner können Kameras mit speziellen Linsen, z.B. Fischaugenlinsen, die ein weites Sichtfeld von bis zu 180 Grad oder noch mehr aufweisen, verwendet werden. Kameras liefern exakte Informationen über die Art eines Objekts. Ebenso kann die Form eines Objekts in dem Bild durch etablierte Vorgehensweisen bestimmt werden. Ferner können durch Verwenden einer Nachtsichttechnologie, wo Teile des elektromagnetischen Spektrums, die für einen Menschen nicht sichtbar sind, wie Nah-Infrarot- oder Ultraviolettstrahlung, berücksichtigt werden und sehr empfindliche Detektoren verwendet werden, in Situationen, wo ein Mensch als Fahrer an seine Grenzen kommt, von der Kamera Informationen über Objekte und/oder mögliche Fehlerquelle gesammelt werden.
  • Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Bereitstellens einer 3-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs im Entfernungssichtfeld darstellen, durch mindestens einen auf Entfernungen ausgelegten Sensor das Bereitstellen einer 3-dimensionalen Anordnung von Datenpunkten durch mindestens einen LiDAR-Sensor und/oder durch mindestens einen Radarsensor. In vielen Fahrzeugen wird/werden ein LiDAR- und/oder ein Radarsensor in einem Kollisionsvermeidungssystem verwendet, zum Beispiel, um den Abstand zu einem anderen Fahrzeug vor dem eigenen Fahrzeug zu messen. LiDAR- und/oder Radarsensoren liefern sehr exakte Informationen über die Position eines Objekts, insbesondere über dessen Abstand zum eigenen Fahrzeug. LiDAR- und/oder Radarsensoren können Sichtfelder von bis zu 360 Grad aufweisen, z.B. durch die Verwendung rotierender Sensoren. Es ist auch möglich, mehrere auf Entfernungen ausgelegte Sensoren, z.B. eine Kombination aus einem LiDAR- und einem Radarsensor, zu verwenden.
  • Gemäß einer modifizierten Ausführungsform der Erfindung umfasst der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkten das Identifizieren einer oder mehrerer möglicher Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkten unter Verwendung eines Bilderkennungsalgorithmus und/oder unter Verwendung eines neuronalen Netzes. Die Verarbeitung einer 2-dimensionalen Anordnung von Datenpunkten z.B. aus Kameras, insbesondere Videodaten, die eine Abfolge vieler Frames pro Sekunde umfassen, ist sehr anspruchsvoll. Riesige Datenmengen müssen in Echtzeit verarbeitet werden, um die Umgebung des Fahrzeugs zuverlässig und ohne Verzögerung zu erfassen. Jedoch sind Ressourcen des Fahrzeugs für die Verarbeitung der Daten in Bezug auf den Raum für die Unterbringung von Verarbeitungsvorrichtung und auch in Bezug auf verfügbare Rechen- und elektrische Leistung beschränkt. Auch wenn die technischen Probleme gelöst werden, bleiben die Ressourcen wegen ihres Preises beschränkt, um Fahrzeuge auf einem erschwinglichen Preis zu halten.
  • Eine leistungsfähige Möglichkeit für die Verarbeitung einer 2-dimensionalen Anordnung von Datenpunkten ist die Verwendung eines neuronalen Netzes. Anwendungen neuronaler Netze des Standes der Technik für die Bildverarbeitung basieren typischerweise auf tiefen neuronalen Netzen. Es hat sich gezeigt, dass die Verwendung solcher Arten von Netzen vielversprechende Ergebnisse zu einem erschwinglichen Preis liefert. Neuronale Netze umfassen eine Eingabe- und eine Ausgabeschicht, ebenso wie eine oder mehrere verdeckte Schichten. Die verdeckten Schichten eines tiefen neuronalen Netzes bestehen typischerweise aus gefalteten Schichten, gepoolten Schichten, voll verbundenen Schichten und Normalisationsschichten. Die gefalteten Schichten legen eine Faltungsoperation an die Eingabe an und geben das Ergebnis an die nächste Schicht weiter. Die Faltung emuliert die Reaktion eines einzelnen Neurons auf visuelle Reize.
  • Alternativ oder zusätzlich zur Verwendung eines neuronalen Netzes kann ein Bilderkennungsalgorithmus verwendet werden. Bilderkennungsalgorithmen, die verwendet werden können, sind beispielsweise genetische Algorithmen, Ansätze, die auf CAD-ähnlichen Objektmodellen, wie Primal Sketch, auf dem Äußeren basierenden Modellen, z.B. Edge Matching oder Conquer and Search, basieren, und andere auf Merkmalen basierende Verfahren, wie Histogram of Oriented Gradients (HOG), Haar-ähnliche Merkmale, Scale-Invariant Feature Transform (SIFT) oder Speeded UP Robust Feature (SURF).
  • Es ist möglich, Segmentierungstechniken zu verwenden, um die 2-dimensionale Anordnung von Datenpunkten gemäß Hinweisen auf niedriger Ebene, wie Farbe, Textur und/oder Glätte eines Randes, in mehrere Teile zu unterteilen. Alternativ oder zusätzlich dazu können semantische Segmentierungstechniken zum Beispiel mit tiefen neuronalen Netzen verwendet werden, wo die 2-dimensionale Anordnung von Datenpunkten in semantisch bedeutungsvolle Teile unterteilt wird, und um jeden Teil einer der vorab bestimmten Klassen zuzuordnen. Ferner können Klassifizierungstechniken nach Pixeln verwendet werden, wobei jeder Datenpunkt der 2-dimensionalen Anordnung von Datenpunkten statt der gesamten 2-dimensionalen Anordnung von Datenpunkten klassifiziert wird.
  • Vorzugsweise wird eine Kombination der Techniken verwendet.
  • Nachdem eine oder die mehreren Fehlerquellen in der 2-dimensionalen Anordnung von Datenpunkten identifiziert wurden, ist die Klasse der möglichen Fehlerquelle mit einem gewissen Konfidenzwert bekannt. Außerdem werden die Stelle der möglichen Fehlerquelle in dem Bild und die Fläche, die zu der Fehlerquelle in dem Bild gehören, bestimmt.
  • Gemäß einer modifizierten Ausführungsform der Erfindung umfasst das Fahrunterstützungssystem mindestens eine Kamera als einen für Bilder ausgelegten Sensor zur Bereitstellung einer 2-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs in einem Bildersichtfeld darstellt, und mindestens einen LiDAR-Sensor und/oder mindestens einen Radarsensor als einen für Entfernungen ausgelegten Sensor zur Bereitstellung einer 3-dimensionalen Anordnung von Datenpunkten, welche die Umgebung des Fahrzeugs in einem Entfernungssichtfeld darstellt. Die Kamera und/oder der LiDAR-Sensor und/oder der Radarsensor kann/können innerhalb des Fahrzeugs oder außerhalb des Fahrzeugs installiert werden.
  • In einer modifizierten Ausführungsform der Erfindung umfasst das Fahrunterstützungssystem mindestens einen für Bilder ausgelegten Sensor zur Bereitstellung einer 2-dimensionalen Anordnung von Datenpunkten mit einem Bildersichtfeld von 360 Grad von der Umgebung des Fahrzeugs. Dies kann auch unter Verwendung mehrerer für Bilder ausgelegter Sensoren erreicht werden. Zum Beispiel kann das eigene Fahrzeug vier Kameras verwenden, eine mit einem Sichtfeld, das den Sektor der Umgebung vor dem eigenen Fahrzeug abdeckt, eine mit einem Sichtfeld, das den Sektor der Umgebung hinter dem eigenen Fahrzeug abdeckt, und zwei Kameras mit Sichtfeldern, welche die Sektoren der Umgebung auf den jeweiligen Seiten des eigenen Fahrzeugs abdecken. Alternativ dazu können ein oder mehrere rotierende, für Bilder ausgelegte Sensoren verwendet werden.
  • In einer modifizierten Ausführungsform der Erfindung umfasst das Fahrunterstützungssystem mindestens einen für Entfernungen ausgelegten Sensor zur Bereitstellung einer 3-dimensionalen Anordnung von Datenpunkten mit einem Entfernungssichtfeld von 360 Grad von der Umgebung des Fahrzeugs. Es ist auch möglich, mehrere für Entfernungen ausgelegte Sensoren zu verwenden, die Sichtfelder aufweisen, die nur einen Teil der Umgebung abdecken. Alternativ dazu kann ein oder können mehrere rotierende, für Entfernungen ausgelegte Sensoren verwendet werden.
  • Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.
  • Es zeigt:
    • 1 ein Verfahren des Standes der Technik auf Basis einer Art von Umgebungssensor, das ein falsches Erfassungsergebnis hervorbringt,
    • 2 ein Fahrzeug mit einem Fahrunterstützungssystem für eine verbesserte Objekterfassung auf Basis von zwei Arten von Umgebungssensoren gemäß einer ersten, bevorzugten Ausführungsform der Erfindung zusammen mit einer Umgebung des Fahrzeugs,
    • 3 ein Ablaufschema der Schritte des Verfahrens für eine verbesserte Objekterfassung auf Basis von zwei Arten von Umgebungssensoren gemäß der ersten, bevorzugten Ausführungsform der Erfindung,
    • 4 die Daten, welche die Umgebung des Fahrzeugs darstellen, die vom für Entfernungen ausgelegten Sensor geliefert werden, die ein Ergebnis der Schritte S110 und S120 des Verfahrens für eine verbesserte Objekterfassung gemäß der ersten, bevorzugten Ausführungsform der Erfindung sind,
    • 5 die Ergebnisse von Schritt S210 des Verfahrens für eine verbesserte Objekterfassung, das mögliche Fehlerquellen in den Daten identifiziert, die vom für Bilder ausgelegten Sensor von 4 geliefert werden, gemäß der ersten, bevorzugten Ausführungsform der Erfindung,
    • 6 das Ergebnis des Schritts S300, des Auswählens eines 3D-Untersatzes, gemäß der ersten, bevorzugten Ausführungsform der Erfindung, und
    • 7 das Ergebnis der Schritte S400 und S500, die eine überarbeitete 3-dimensionale Anordnung von Datenpunkten und eine Erfassung von Position, Größe, Geschwindigkeit und/oder Ausrichtung von Objekten liefern, gemäß der ersten, bevorzugten Ausführungsform der Erfindung.
  • Die 2 zeigt ein Fahrzeug 10 mit einem Fahrunterstützungssystem 12 für die Durchführung eines Verfahrens für eine verbesserte Objekterfassung auf Basis von zwei Arten von Umgebungssensoren 14, 16 gemäß einer ersten, bevorzugten Ausführungsform der Erfindung.
  • Das Fahrunterstützungssystem 12 umfasst zwei Umgebungssensoren 14, 16, wobei ein Umgebungssensor 14, 16 ein für Bilder ausgelegter Sensor 14, in der bevorzugten Ausführungsform der Erfindung eine Kamera 14, ist. Der andere Umgebungssensor 14, 16 ist ein für Entfernungen ausgelegter Sensor 16, in dieser bevorzugten Ausführungsform ein LiDAR-Sensor 16. Die Kamera 14 weist ein Bildersichtfeld 18 auf, das einen Sektor der Umgebung des Fahrzeugs 10 definiert, aus dem die Kamera 14 Informationen aufnehmen kann. Der LiDAR-Sensor 16 weist ein Entfernungssichtfeld 20 auf, das einen anderen Sektor der Umgebung des Fahrzeugs 10 definiert, aus dem der LiDAR-Sensor 16 Informationen aufnehmen kann. Es gibt mindestens eine Teilüberschneidung des Bildersichtfelds 18 und des Entfernungssichtfelds 20. In der Umgebung des Fahrzeugs 10 gibt es verschiedene Objekte 22, 24, wobei manche von den Objekten 22, 24 mögliche Fehlerquellen 24 sind, die mit hoher Wahrscheinlichkeit zu falschen Erfassungsergebnissen führen, wenn nur der LiDAR-Sensor 16 verwendet wird. Die Kamera 14 stellt eine 2-dimensionale Anordnung von Datenpunkten 26 bereit, welche die Umgebung des Fahrzeugs 10 im Bildersichtfeld 18 darstellen, und der LiDAR-Sensor 16 stellt eine 3-dimensionale Anordnung von Datenpunkten 28 bereit, welche die Umgebung des Fahrzeugs 10 im Entfernungssichtfeld 20 darstellen. Im Fahrunterstützungssystem 12 wird ein neuronales Netz verwendet, um mögliche Fehlerquellen 24 in der 2-dimensionalen Anordnung von Datenpunkten 26 zu identifizieren.
  • 3 zeigt ein Ablaufschema des Verfahrens für eine verbesserte Objekterfassung auf Basis der zwei Arten von Umgebungssensoren 14, 16 gemäß der ersten, bevorzugten Ausführungsform der Erfindung. Das Verfahren wird unter Verwendung des Fahrunterstützungssystems 12 im Fahrzeug 10 der ersten Ausführungsform der Erfindung durchgeführt.
  • Im Folgenden werden die einzelnen Schritte des Verfahrens für eine verbesserte Objekterfassung auf Basis der zwei Arten von Umgebungssensoren 14, 16 unter Bezugnahme auf das Ablaufschema in 3 und die Beispiele in den 4 bis 7 beschrieben.
  • Das Verfahren beginnt mit der Bereitstellung von Daten von den Umgebungssensoren 14, 16. In Schritt S110 wird von der Kamera 14 eine 2-dimensionale Anordnung von Datenpunkten 26 bereitgestellt, welche die Umgebung des Fahrzeugs 10 im Bildersichtfeld 18 darstellen.
  • Parallel dazu wird in Schritt S120 wird vom LiDAR-Sensor 16 eine 3-dimensionale Anordnung von Datenpunkten 28 bereitgestellt, welche die Umgebung des Fahrzeugs 10 im Entfernungssichtfeld 20 darstellen. Das Verfahren liefert Daten von beiden Sensoren 14, 16 auf parallele und kontinuierliche Weise.
  • 4 stellt die Daten dar, welche die Umgebung des Fahrzeugs 10 darstellen, die von der für Bilder ausgelegten Kamera 14 und vom LiDAR-Sensor 16 bereitgestellt werden. 4a) stellt die 2-dimensionale Anordnung von Datenpunkten 26 mit Objekten 22 und möglichen Fehlerquellen 24, die von der Kamera 14 bereitgestellt werden, dar. 4b) stellt die 3-dimensionale Anordnung von Datenpunkten 28 dar, die vom LiDAR-Sensor 16 bereitgestellt werden.
  • In einem weiteren Schritt S210 des Verfahrens werden mögliche Fehlerquellen 24 in der 2-dimensionalen Anordnung von Datenpunkten 26 identifiziert, und die Fläche 32 in der 2-dimensionalen Anordnung von Datenpunkten 26, die zu den identifizierten möglichen Fehlerquellen 24 gehört, wird bestimmt. 5 zeigt die Ergebnisse dieses Schritts. In diesem Fall werden die mögliche Fehlerquelle 24, hier ein Busch, und die entsprechende Fläche 32 durch eine semantische Segmentierungstechnik bestimmt, und die Fläche 32 weist eine Form auf, welche die Konturen der möglichen Fehlerquelle 24 nachzeichnet.
  • Parallel zu diesem Schritt wird in Schritt S220 die 3-dimensionale Anordnung von Datenpunkten 28 auf die 2-dimensionale Anordnung von Datenpunkten 26 abgebildet. In einem weiteren Schritt S300 des Verfahrens wird ein 3D-Untersatz von Datenpunkten 27 in der 3-dimensionalen Anordnung von Datenpunkten 28, die innerhalb der Fläche 32 abgebildet werden, die zu den identifizierten möglichen Fehlerquellen 24 gehört, ausgewählt. 6 stellt die 3-dimensionale Anordnung von Datenpunkten 28 und den ausgewählten 3D-Untersatz von Datenpunkten 27 dar. Alle Datenpunkte in dem ausgewählten 3D-Untersatz von Datenpunkten 27 wurden in 5 auf die Fläche 32 des Busches abgebildet.
  • In einem weiteren Schritt S400 des Verfahrens wird dieser ausgewählte 3D-Untersatz von Datenpunkten 27 aus der 3-dimensionalen Anordnung von Datenpunkten 28 entfernt, wodurch eine überarbeitete 3-dimensionale Anordnung von Datenpunkten 34 bereitgestellt wird. Das Ergebnis von Schritt S400 ist in 7 dargestellt. Alle Datenpunkte, die zu dem ausgewählten 3D-Untersatz von Datenpunkten 27 nach Schritt S300 gehören, die von der möglichen Fehlerquelle 24 (dem Busch) kommen, wurden aus der 3-dimensionalen Anordnung von Datenpunkten 28 entfernt, was zu der überarbeiteten 3-dimensionalen Anordnung von Datenpunkten 34 führt (7a).
  • Durch die Verwendung der überarbeiteten 3-dimensionalen Anordnung von Datenpunkten 34 ist der nächste Schritt S500 - die Erfassung von Position, Größe, Geschwindigkeit und/oder Ausrichtung des Objekts 22 - zuverlässiger. Es kommt zu keinen falschen Erfassungsergebnissen wodurch die Bestimmung der Position, Größe, Geschwindigkeit und/oder Ausrichtung der Objekte 22 verbessert ist (7b).
  • Bezugszeichenliste
    • 1
    Fahrzeug
    2
    für Entfernungen ausgelegter Sensor
    3
    anderes Fahrzeug
    4
    Busch
    5
    Daten vom für Entfernungen ausgelegten Sensor
    6
    Korrektes Erfassungsergebnis, erstes Fahrzeug
    7
    falsches Erfassungsergebnis, zweites Fahrzeug
    10
    Fahrzeug
    12
    Fahrunterstützungssystem
    14
    für Bilder ausgelegter Sensor, Kamera
    16
    für Entfernungen ausgelegter Sensor, LiDAR-Sensor
    18
    Bildersichtfeld
    20
    Entfernungssichtfeld
    22
    Objekt
    24
    Mögliche Fehlerquelle
    26
    2-dimensionale Anordnung von Datenpunkten
    27
    3D-Untersatz von Datenpunkten
    28
    3-dimensionale Anordnung von Datenpunkten
    32
    Fläche, die zur möglichen Fehlerquelle gehört
    34
    überarbeitete 3-dimensionale Anordnung von Datenpunkten

Claims (13)

  1. Verfahren für eine verbesserte Erfassung von Objekten (22) auf Basis von zwei Arten von Umgebungssensoren (14, 16), das in einem Fahrunterstützungssystem (12) eines Fahrzeugs (10) verwendet wird, wobei die erste Art von Umgebungssensor ein für Bilder ausgelegter Sensor (14) ist, der ein Bildersichtfeld (18) aufweist, und die zweite Art von Umgebungssensor ein für Entfernungen ausgelegter Sensor (16) ist, der ein Entfernungssichtfeld (20) aufweist, welches das Bildersichtfeld (18) zumindest zum Teil überschneidet, die folgenden Schritte umfassend: Bereitstellen einer 2-dimensionalen Anordnung von Datenpunkten (26), welche die Umgebung des Fahrzeugs (10) im Bildersichtfeld (18) darstellen, durch mindestens einen für Bilder ausgelegten Sensor (14), Identifizieren einer oder mehrerer möglicher Fehlerquellen (24) in der 2-dimensionale Anordnung von Datenpunkten (26), Bereitstellen einer 3-dimensionalen Anordnung von Datenpunkten (28), welche die Umgebung des Fahrzeugs (10) im Entfernungssichtfeld (20) darstellen, durch mindestens einen für Entfernungen ausgelegten Sensor (16), Abbilden der 3-dimensionalen Anordnung von Datenpunkten (28) auf die 2-dimensionale Anordnung von Datenpunkten (26), Auswählen eines oder mehrerer 3D-Untersätze von Datenpunkten (27) in der 3-dimensionalen Anordnung von Datenpunkten (28), die mit der einen oder den mehreren möglichen Fehlerquellen (24) übereinstimmen, Bereitstellen einer überarbeiteten 3-dimensionalen Anordnung von Datenpunkten (34) unter Berücksichtigung der 3-dimensionalen Anordnung von Datenpunkten (28) und des einen oder der mehreren 3D-Untersätze von Datenpunkten (27) und Erfassen einer Position, Größe, Geschwindigkeit und/oder Ausrichtung von Objekten (22) unter Berücksichtigung der überarbeiteten 3-dimensionalen Anordnung von Datenpunkten (34).
  2. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen (24) in der 2-dimensionalen Anordnung von Datenpunkten (28) umfasst: Bestimmen einer Fläche (32) in der 2-dimensionalen Anordnung von Datenpunkten (26), die zu der einen oder den mehreren möglichen Fehlerquellen (24) gehören, und der Schritt des Auswählens eines oder mehrerer 3D-Untersätze von Datenpunkten (27) in der 3-dimensionalen Anordnung von Datenpunkten (28), die mit der einen oder den mehreren möglichen Fehlerquellen (24) übereinstimmen, umfasst: Auswählen eines oder mehrerer 3D-Untersätze von Datenpunkten (27) in der 3-dimensionalen Anordnung von Datenpunkten (28), die innerhalb der Fläche (32), die zu der der einen oder den mehreren möglichen Fehlerquellen (24) gehört, abgebildet sind.
  3. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen (24) in der 2-dimensionalen Anordnung von Datenpunkten (28) umfasst: Entdecken einer oder mehrerer möglicher Fehlerquellen (24) in Verbindung mit einer Segmentierung der 2-dimensionale Anordnung von Datenpunkten (28).
  4. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Bereitstellens einer überarbeiteten 3-dimensionalen Anordnung von Datenpunkten (34) unter Berücksichtigung der 3-dimensionalen Anordnung von Datenpunkten (28) und des einen oder der mehreren 3D-Untersätze von Datenpunkten (27) umfasst: Entfernen des einen oder der mehreren 3D-Untersätze von Datenpunkten (27) aus der 3-dimensionalen Anordnung von Datenpunkten (28).
  5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen (24) in der 2-dimensionalen Anordnung von Datenpunkten (26) umfasst: Identifizieren eines oder mehrerer Objekte (22) mit einer inkonsistenten Reflexionsfläche und/oder eines oder mehrerer Objekte (22) mit einer diskontinuierlichen Reflexionsfläche.
  6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen (24) in der 2-dimensionalen Anordnung von Datenpunkten (26) umfasst: Identifizieren eines oder mehrerer Objekte (22) der Kategorie Baum, Busch, Hecke, Vegetation, Netz und/oder Drahtzaun.
  7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Bereitstellens einer 2-dimensionalen Anordnung von Datenpunkten (26), welche die Umgebung des Fahrzeugs (10) im Bildersichtfeld (18) darstellen, durch mindestens einen für Bilder ausgelegten Sensor (14) umfasst: Bereitstellen einer 2-dimensionalen Anordnung von Datenpunkten (26) durch mindestens eine Kamera (14).
  8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Bereitstellens einer 3-dimensionalen Anordnung von Datenpunkten (28), welche die Umgebung des Fahrzeugs (10) im Entfernungssichtfeld (20) darstellen, durch mindestens einen für Entfernungen ausgelegten Sensor (16) umfasst: Bereitstellen einer 3-dimensionalen Anordnung von Datenpunkten (28) durch mindestens einen LiDAR-Sensor (16) und/oder durch mindestens einen Radarsensor.
  9. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt des Identifizierens einer oder mehrerer möglicher Fehlerquellen (24) in der 2-dimensionalen Anordnung von Datenpunkten (26) das Identifizieren einer oder mehrerer möglicher Fehlerquellen (24) in der 2-dimensionale Anordnung von Datenpunkten (26) durch einen Bilderkennungsalgorithmus und/oder durch ein neuronales Netz umfasst.
  10. Fahrunterstützungssystem (12) zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche 1 bis 9, aufweisend mindestens einen für Bilder ausgelegten Sensor (14) für die Bereitstellung einer 2-dimensionalen Anordnung von Datenpunkten (26), welche die Umgebung des Fahrzeugs (10) in einem Bildersichtfeld (18) darstellen, und einen für Entfernungen ausgelegten Sensor (16) zur Bereitstellung einer 3-dimensionalen Anordnung von Datenpunkten (28), welche die Umgebung des Fahrzeugs (10) in einem Entfernungssichtfeld (20) darstellen, umfassend.
  11. Fahrunterstützungssystem (12) nach Anspruch 10, dadurch gekennzeichnet, dass der für Bilder ausgelegte Sensor (14) zur Bereitstellung einer 2-dimensionalen Anordnung von Datenpunkten (26) eine Kamera (14) ist und der für Entfernungen ausgelegte Sensor (16) zur Bereitstellung eine 3-dimensionalen Anordnung von Datenpunkten (28) ein LiDAR-Sensor (16) und/oder ein Radarsensor ist.
  12. Fahrunterstützungssystem (12) nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass der mindestens eine für Bilder ausgelegte Sensor (14) zur Bereitstellung einer 2-dimensionalen Anordnung von Datenpunkten (26) ein Bildersichtfeld (18) von 360 Grad der Umgebung des Fahrzeugs (10) aufweist.
  13. Fahrunterstützungssystem (12) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass der mindestens eine für Entfernungen ausgelegte Sensor (16) zur Bereitstellung einer 3-dimensionalen Anordnung von Datenpunkten (28) ein Entfernungssichtfeld (20) von 360 Grad von der Umgebung des Fahrzeugs (10) aufweist.
DE102018132805.2A 2018-12-19 2018-12-19 Verfahren für eine verbesserte Objekterfassung Pending DE102018132805A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102018132805.2A DE102018132805A1 (de) 2018-12-19 2018-12-19 Verfahren für eine verbesserte Objekterfassung
PCT/EP2019/085490 WO2020127151A1 (en) 2018-12-19 2019-12-17 Method for improved object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018132805.2A DE102018132805A1 (de) 2018-12-19 2018-12-19 Verfahren für eine verbesserte Objekterfassung

Publications (1)

Publication Number Publication Date
DE102018132805A1 true DE102018132805A1 (de) 2020-06-25

Family

ID=69061331

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018132805.2A Pending DE102018132805A1 (de) 2018-12-19 2018-12-19 Verfahren für eine verbesserte Objekterfassung

Country Status (2)

Country Link
DE (1) DE102018132805A1 (de)
WO (1) WO2020127151A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210215809A1 (en) * 2020-01-15 2021-07-15 Ike Robotics, Inc. Methods and systems for calibration of multiple lidar devices with non-overlapping fields of view
DE102020210380A1 (de) 2020-08-14 2022-02-17 Conti Temic Microelectronic Gmbh Verfahren zum Bestimmen einer Bewegung eines Objekts
DE102020210816A1 (de) 2020-08-27 2022-03-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung dreidimensionaler Objekte, Computerprogramm, Maschinenlesbares Speichermedium, Steuergerät, Fahrzeug und Videoüberwachungssystem

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI768548B (zh) * 2020-11-19 2022-06-21 財團法人資訊工業策進會 定位用基礎資訊產生系統與方法以及自身定位判斷裝置
US20230153967A1 (en) * 2021-11-14 2023-05-18 Faro Technologies, Inc. Removing reflection from scanned data
CN114897684A (zh) * 2022-04-25 2022-08-12 深圳信路通智能技术有限公司 车辆图像的拼接方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160306041A1 (en) * 2007-11-07 2016-10-20 Magna Electronics Inc. Object detection system
US20180288320A1 (en) * 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160306041A1 (en) * 2007-11-07 2016-10-20 Magna Electronics Inc. Object detection system
US20180288320A1 (en) * 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210215809A1 (en) * 2020-01-15 2021-07-15 Ike Robotics, Inc. Methods and systems for calibration of multiple lidar devices with non-overlapping fields of view
US11921239B2 (en) * 2020-01-15 2024-03-05 Nuro, Inc. Methods and systems for calibration of multiple lidar devices with non-overlapping fields of view
DE102020210380A1 (de) 2020-08-14 2022-02-17 Conti Temic Microelectronic Gmbh Verfahren zum Bestimmen einer Bewegung eines Objekts
DE102020210816A1 (de) 2020-08-27 2022-03-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung dreidimensionaler Objekte, Computerprogramm, Maschinenlesbares Speichermedium, Steuergerät, Fahrzeug und Videoüberwachungssystem

Also Published As

Publication number Publication date
WO2020127151A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
DE102018132805A1 (de) Verfahren für eine verbesserte Objekterfassung
DE102006057552B4 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE112018000899T5 (de) Gemeinsame 3D-Objekterfassung und Ausrichtungsabschätzung über multimodale Fusion
DE112018007287T5 (de) Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
DE102011086512B4 (de) Nebeldetektion
DE102013102153A1 (de) Verfahren zur Registrierung von Entfernungsbildern von mehreren LiDAR-Sensoren
DE102014210820A1 (de) Verfahren zum Nachweis von großen und Passagierfahrzeugen von festen Kameras
DE112011103690T5 (de) Erkennung und Verfolgung sich bewegender Objekte
DE102018120405A1 (de) Fusion von radar- und bildsensorsystemen
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102011117585A1 (de) Systeme und Verfahren zum Verfolgen von Objekten
DE102007013664A1 (de) Multisensorieller Hypothesen-basierter Objektdetektor und Objektverfolger
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
DE112020004301T5 (de) Objekterkennungsvorrichtung
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
EP3931798B1 (de) Schätzung der bewegung einer bildposition
DE102022102934A1 (de) Ereignisbasierte fahrzeugposenschätzung unter verwendung monochromatischer bildgebung
DE102019200849A1 (de) Verfahren zum Erfassen einer Bewegung eines Objekts
DE102021114078A1 (de) Detektieren dreidimensionaler Strukturmodelle zur Laufzeit in Fahrzeugen
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
DE102019127283A1 (de) System und Verfahren zum Erfassen eines Objekts in einer dreidimensionalen Umgebung eines Trägerfahrzeugs
EP2037407B1 (de) Verfahren zur Objekterfassung
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
DE102018132808A1 (de) Verfahren für eine verbesserte Objekterfassung

Legal Events

Date Code Title Description
R163 Identified publications notified
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000