DE102019219247A1 - Verfahren zur Umfelderfassung, Datenverarbeitungseinheit - Google Patents

Verfahren zur Umfelderfassung, Datenverarbeitungseinheit Download PDF

Info

Publication number
DE102019219247A1
DE102019219247A1 DE102019219247.5A DE102019219247A DE102019219247A1 DE 102019219247 A1 DE102019219247 A1 DE 102019219247A1 DE 102019219247 A DE102019219247 A DE 102019219247A DE 102019219247 A1 DE102019219247 A1 DE 102019219247A1
Authority
DE
Germany
Prior art keywords
surroundings
contour
determined
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019219247.5A
Other languages
English (en)
Inventor
Joern Jachalsky
Fabian Gigengack
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019219247.5A priority Critical patent/DE102019219247A1/de
Priority to US17/110,886 priority patent/US11532100B2/en
Priority to CN202011451942.3A priority patent/CN112949374A/zh
Publication of DE102019219247A1 publication Critical patent/DE102019219247A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Umfelderfassung, insbesondere zur Erfassung des Umfelds eines Fahrzeugs (1), bei dem- mit Hilfe mehrerer Kameras (2) und/oder Sensoreinrichtungen von mindestens zwei Positionen (A, B) aus Abbilder des Umfelds erzeugt werden und anhand der Abbilder eine Freifläche (3) sowie eine die Freifläche begrenzende Kontur (4) ermittelt werden,- getrennt für jedes Abbild und der anhand dieses Abbilds bestimmten Kontur (4) für eine Vielzahl von Punkten (P1, P2, P3, P4... Pn) entlang der Kontur (4) Merkmalsvektoren berechnet und in einem eindimensionalen Array (5) abgelegt werden, und- durch Matchen der eindimensionalen Arrays (5) nach Korrespondenzen gesucht wird, für die anschließend durch Triangulation die dreidimensionale Position ermittelt wird.Die Erfindung betrifft ferner eine Recheneinheit zur Ausführung zumindest einzelner Verfahrensschritte des erfindungsgemäßen Verfahrens.

Description

  • Die Erfindung betrifft ein Verfahren zur Umfelderfassung, insbesondere zur Erfassung des Umfelds eines Fahrzeugs. Ferner betrifft die Erfindung eine Datenverarbeitungseinheit zur Ausführung des Verfahrens.
  • Die Erfindung kann im Automotivbereich, insbesondere in autonom oder teilautonom fahrenden Fahrzeugen, darüber hinaus aber auch in anderen Bereichen, wie beispielsweise im Bereich der Robotik, Anwendung finden.
  • Stand der Technik
  • Im Automotivbereich werden aktuell 3D-Punktwolken zur Beschreibung des Fahrzeugumfelds generiert. Diese enthalten für jeden Bildpixel mit einer gültigen Korrespondenz (z. B. Flussvektor oder Stereo-Match) einen zugehörigen 3D-Punkt. Im Idealfall liegt somit für jeden Bildpixel eine Messung vor. Eine vollständige Repräsentation des Fahrzeugumfelds in Form einer 3D-Punktwolke weist aufgrund der Datenmenge den Nachteil auf, dass der Rechenaufwand und der Speicherbedarf sehr hoch sind. Zudem erfordert das Versenden von Daten zwischen verschiedenen Systemmodulen eine sehr große Bandbreite.
  • Es gibt daher bereits Bestrebungen, den Rechenaufwand bei der Umfelderfassung eines Fahrzeugs zu reduzieren.
  • Aus der Offenlegungsschrift DE 10 2013 205 882 A1 ist beispielsweise ein Verfahren zum Führen eines Fahrzeugs im Umfeld eines Objekts bekannt, das folgende Schritte umfasst:
    • - Einlesen einer Mehrzahl von Sichtstrahlenendpunkten in einem von einer Stereokamera erzeugten dreidimensionalen Abbild einer das Objekt enthaltenen Umgebung, wobei mindestens einer der Sichtstrahlenendpunkte eine Außenfläche des Objekts repräsentiert,
    • - Verbinden der Mehrzahl von Sichtstrahlenendpunkte zur Bildung eines Polygons, das eine Freifläche zu Befahren durch das Fahrzeug repräsentiert,
    • - Generieren eines für das Fahrzeug vorgesehenen Fahrkorridors zum Umfahren des Objekts, basierend auf der Freifläche.
  • Das dreidimensionale Abbild wird dabei in Form einer Disparitätskarte basierend auf einem ersten Bild und einem zweiten Bild der Stereokamera erstellt. Dabei kann jedem Punkt einer Mehrzahl von Punkten des dreidimensionalen Abbilds ein vorbestimmter Entfernungswert zugeordnet werden. Um den Rechenaufwand zu reduzieren, wird vorgeschlagen, dass in einem weiteren Schritt eine Auswahl von Punkten aus der Mehrzahl von Punkten des dreidimensionalen Abbilds getroffen wird, anhand welcher eine Form bzw. ein Ausmaß der Freifläche zum Befahren des Fahrzeugs bestimmt und aktualisiert werden kann.
  • Ausgehend von dem vorstehend genannten Stand der Technik liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein Verfahren anzugeben, das eine minimalistische aber hinreichende Repräsentation eines Umfelds, insbesondere eines Fahrzeugumfelds, ermöglicht.
  • Zur Lösung der Aufgabe wird das Verfahren mit den Merkmalen des Anspruchs 1 vorgeschlagen. Vorteilhafte Weiterbildungen der Erfindung sind den Unteransprüchen zu entnehmen. Darüber hinaus wird eine Datenverarbeitungseinheit zur Ausführung des Verfahrens angegeben.
  • Offenbarung der Erfindung
  • Vorgeschlagen wird ein Verfahren zur Umfelderfassung, insbesondere zur Erfassung des Umfelds eines Fahrzeugs, bei dem
    • - mit Hilfe mehrerer Kameras und/oder Sensoreinrichtungen von mindestens zwei Positionen aus Abbilder des Umfelds erzeugt werden und anhand der Abbilder eine Freifläche sowie eine die Freifläche begrenzende Kontur ermittelt werden,
    • - getrennt für jedes Abbild und der anhand dieses Abbilds bestimmten Kontur für eine Vielzahl von Punkten entlang der Kontur Merkmalsvektoren berechnet und in einem eindimensionalen Array abgelegt werden, und
    • - durch Matchen der eindimensionalen Arrays nach Korrespondenzen gesucht wird, für die anschließend durch Triangulation die dreidimensionale Position ermittelt wird.
  • Durch Vergleichen eindimensionaler Arrays kann die Korrespondenzsuche auf einen eng begrenzten Bereich eingeschränkt werden, und zwar auf eine einzelne Linie. Denn anstelle der Betrachtung des gesamten Kamerabilds muss lediglich die hierin bestimmte Kontur der Freifläche betrachtet werden. Auf diese Weise wird die Korrespondenzsuche deutlich vereinfacht. Gleichwohl die Beschreibung des Umfelds auf ein Minimum reduziert wird, sind alle relevanten Informationen enthalten, so dass, beispielsweise im Fall eines autonom fahrenden Fahrzeugs, dieses die geforderte Fahraufgabe zu erfüllen vermag.
  • Mit Hilfe des vorgeschlagenen Verfahrens können demnach Rechenaufwand und Rechenzeit verringert werden. Zugleich sinkt der Speicherbedarf. Darüber hinaus wird eine geringere Bandbreite zum Transferieren von Informationen in Form von Daten benötigt.
  • In Weiterbildung des erfindungsgemäßen Verfahrens wird vorgeschlagen, dass die ermittelte dreidimensionale Position in einem Umfeldmodell abgespeichert wird, wobei ein vorgegebener Referenzpunkt, beispielsweise ein Fahrzeugreferenzpunkt, verwendet wird. Auf diese Weise kann eine ermittelte dreidimensionale Position als Umfeldinformation zurückgegeben werden.
  • Durch die Verwendung von mehreren Kameras und/oder Sensoreinrichtungen ist sichergestellt, dass das Umfeld aus verschiedenen Positionen aufgenommen wird bzw. sich unterscheidet.
  • Bevorzugt werden die Abbilder des Umfelds mit Hilfe eines Sets von kalibrierten Kameras und/oder Sensoreinrichtungen erzeugt. Das heißt, dass die Kameras und/oder Sensoreinrichtungen fest installiert sind und die relativen Positionen und Orientierungen der Kameras und/oder Sensoreinrichtungen zueinander bekannt sind. Mit Hilfe eines derartigen Sets von kalibrierten Kameras und/oder Sensoreinrichtungen kann in einfacher Weise durch Triangulation die räumliche Lage eines Punkts ermittelt werden, der durch mindestens zwei Kameras und/oder Sensoreinrichtungen erfasst worden ist.
  • Sofern alternativ oder ergänzend zu den Kameras Sensoreinrichtungen zur Erzeugung eines Abbilds des Umfelds eingesetzt werden, kann es sich hierbei insbesondere um Radar-, Lidar- und/oder Ultraschallsensoren handeln.
  • Bevorzugt wird zur Ermittlung der Freifläche mindestens ein Sensor, beispielsweise ein Radar- oder Lidarsensor, verwendet. Die mit Hilfe des mindestens einen Sensors ermittelte Freifläche kann dann anschließend in die Kamerabilder übertragen werden.
  • Vorteilhafterweise werden aus den mit Hilfe der Kameras erzeugten Abbildern des Umfelds und/oder Sensordaten Informationen über die lokale Umgebung eines Punkts abgeleitet und als zusätzliche Informationen abgespeichert. Auf diese Weise kann den Objekten oder Hindernissen, welche die Freifläche begrenzen, ein semantisches Label hinzugefügt werden, das beispielsweise ein Objekt oder Hindernis als Fahrzeug, Fußgänger, Bordstein usw. identifiziert. Die zusätzlichen Informationen können mit Hilfe klassischer Bildverarbeitungsalgorithmen berechnet werden. Die in einem eindimensionalen Array abgelegten Merkmalsvektoren können somit neben der Information über die jeweilige Bildposition eines Punkts weitere Informationen enthalten, die der Beschreibung der lokalen Umgebung des jeweiligen Punkts dienen.
  • Als weiterbildende Maßnahme wird vorgeschlagen, dass die Anzahl der Punkte entlang einer die Freifläche begrenzenden Kontur quantifiziert wird. Das heißt, dass nicht alle Punkte betrachtet werden, sondern nur eine bestimmte Anzahl an Punkten. Zur Quantifizierung können beispielsweise horizontale Sichtstrahlen verwendet werden, die vorzugsweise in gleichem Winkelabstand zueinander angeordnet sind. Jeder Schnittpunkt eines Sichtstrahls mit einer Kontur definiert einen zu betrachtenden Punkt. Auf diese Weise kann der Rechenaufwand weiter reduziert werden, da nicht für jeden Punkt entlang einer Freiflächenkontur ein Merkmalsvektor berechnet werden muss.
  • Darüber hinaus wird vorgeschlagen, dass beim Matchen der eindimensionalen Arrays die Epipolargeometrie, beispielsweise in Form der Epipolarlinie, verwendet wird. Die Epipolarlinie ist durch die relativen Positionen und Orientierungen der Kameras und/oder Sensoreinrichtungen zueinander vorgegeben und kann für jeden Punkt entlang einer Freiflächenkontur ermittelt werden, wobei die Epipolarlinie durch diesen Punkt verläuft. Bei der Korrespondenzsuche muss demnach nur der entsprechende Schnittpunkt der Epipolarlinie mit der Freiflächenkontur gefunden werden. Denn in Abhängigkeit vom Verlauf der Kontur kann die Epipolarlinie zwei, drei oder mehr Schnittpunkte mit der Kontur aufweisen. Im ungünstigsten Fall verläuft die Kontur entlang der Epipolarlinie. In diesem Fall und/oder zur Fehlerkorrektur kann eine Nachschätzung in einer lokalen Umgebung einer gefundenen Korrespondenz vorgenommen werden.
  • Gemäß einer bevorzugten Ausführungsform der Erfindung wird bei der Korrespondenzsuche eine vorab definierte Bodenebene als Startpunkt genutzt. Die Bodenebene kann beispielsweise in Zusammenhang mit der Einbaukalibrierung der Kameras und/oder Sensoreinrichtungen vorab definiert worden sein. Für alle Punkte einer Freiflächenkontur kann mit Hilfe der Bodenebene direkt eine räumliche Position abgeleitet werden. Auch wenn die abgeleitete Position nicht ganz genau ist, da die Bodenebene aus der Einbaukalibrierung nicht zwingend dem realen Verlauf des Bodens entsprechen muss, kann dieser Punkt von einer Kamera bzw. Sensoreinrichtung in eine andere Kamera oder Sensoreinrichtung transformiert werden. Die Korrespondenzsuche wird somit auf einen sehr kleinen Bereich des eindimensionalen Arrays beschränkt. Dies führt zu einer (noch) robusten Schätzung bei sehr geringer Laufzeit.
  • Zur Unterscheidung zwischen statischen und dynamischen Objekten des Umfelds wird vorgeschlagen, dass untersucht wird, ob die aus den Korrespondenzen abgeleitete dreidimensionale Position im Umgebungsmodell über die Zeit konstant bleibt. Das heißt, dass das Verfahren um eine zeitliche Betrachtung erweitert wird. Für ein dynamisches Objekt könnte zudem die Trajektorie bestimmt werden, um auf diese Weise eine Prädiktion der Objektbewegung zu ermöglichen.
  • Zur Lösung der eingangs genannten Aufgabe wird darüber hinaus eine Datenverarbeitungseinheit vorgeschlagen, die dazu eingerichtet ist, zumindest einzelne Verfahrensschritte eines erfindungsgemäßen Verfahrens auszuführen. Die Datenverarbeitungseinheit ist dabei mit mindestens einer Kamera und/oder Sensoreinrichtung in datenübertragender Weise verbunden oder zumindest verbindbar.
  • Die Erfindung wird nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Diese zeigen:
    • 1 eine schematische Darstellung eines Fahrzeugs mit einem Set von kalibrierten Kameras zur Umfelderfassung,
    • 2 a) ein erstes Abbild und b) ein zweites Abbild eines Fahrzeugumfelds, die mit unterschiedlichen Kameras erzeugt worden sind,
    • 3 eine schematische Darstellung eines Fahrzeugs in einem typischen Umfeld,
    • 4 eine schematische Darstellung des Erfassungsbereichs einer Kamera mit Sichtstrahlenunterteilung,
    • 5 eine schematische Darstellung zweier eindimensionaler Arrays von Merkmalsvektoren beim Matchen,
    • 6 eine schematische Darstellung zur Erläuterung des Verfahrensablaufs und
    • 7 eine weitere schematische Darstellung zur Erläuterung des Verfahrensablaufs.
  • Ausführliche Beschreibung der Zeichnungen
  • Der 1 ist ein Fahrzeug 1 zu entnehmen, das mit vier Kameras 2 ausgestattet ist, mit einer Frontkamera, einer Heckkamera und mit zwei Seitenkameras, wobei die Seitenkameras auf unterschiedlichen Seiten des Fahrzeugs 1 angeordnet sind. Somit haben jeweils zwei Kameras 2 einen sich überlappenden Erfassungsbereich, so dass ein im Erfassungsbereich vorhandenes Objekt 8 für beide Kameras 2 sichtbar ist, und zwar aus zwei unterschiedlichen Positionen (A, B).
  • Bei dem in der 1 dargestellten Kamera-Setup ist eine Entfernungsschätzung mittels eines Stereoansatzes, beispielsweise mittels „wide-baseline stereo“, schwierig. Mit Hilfe von Stereo-Algorithmen sollen lokale Bildbereiche aus einem ersten Bild einer ersten Kamera 2 in einem zweiten Bild einer zweiten Kamera 2 wiedergefunden werden. Durch die starken geometrischen Verzerrungen zwischen den verschiedenen Ansichten, die auf die großen Kameraabstände zurückzuführen sind, funktionieren Stereo-Algorithmen jedoch nur eingeschränkt.
  • In der 2 sind beispielhaft zwei verschiedene Ansichten bzw. Abbilder eines Umfelds eines Fahrzeugs 1 dargestellt, wobei das obere Abbild der 2a) mit einer Frontkamera und das untere Abbild der 2b) mit einer Seitenkamera erzeugt wurde. In jedem Abbild ist eine vorhandene Freifläche 3 durch eine Kontur 4 begrenzt. Bei der Freifläche 3 handelt es sich um die befahrbare Fläche zwischen Fahrzeug 1 (Ego-Fahrzeug) und mindestens einem Objekt 8, 8', 8" bzw. Hindernis. Ein Objekt 8, das im Erfassungsbereich beider Kameras 2 liegt, kann durch Punkte P1, P2, P3, P4 erfasst werden, die auf der jeweiligen Kontur 4 angeordnet sind. Somit finden sich die Punkte P1, P2, P3, P4 in beiden Abbildern wieder. Um die räumliche Position dieser Punkte P1, P2, P3, P4 zu bestimmen, muss ein Matching vorgenommen werden, das heißt es muss nach Korrespondenzen gesucht werden. Bei Anwendung des erfindungsgemäßen Verfahrens kann die Suche auf eine Linie, und zwar auf die Kontur 4 beschränkt werden. Das heißt, dass nicht das gesamte Abbild nach Korrespondenzen abgesucht werden muss, was den Rechenaufwand deutlich verringert. Wird zudem eine Epipolarlinie 7 bei der Korrespondenzsuche benutzt, kann die Suche auf die Schnittpunkte der Epipolarlinie 7 mit der Kontur 4 beschränkt werden.
  • Der 3 ist eine Verkehrssituation in der Draufsicht zu entnehmen, die in etwa den Ansichten bzw. Abbildern der 2 entspricht. Im Zentrum befindet sich das (Ego-) Fahrzeug 1. Die Fläche zwischen dem Fahrzeug 1 und umliegenden Objekten 8, 8', 8" bzw. Hindernissen entspricht der Freifläche 3. Dabei spielt es keine Rolle, ob die Fläche vor, hinter oder neben dem Fahrzeug 1 angeordnet ist. Um sämtliche Objekte 8, 8', 8" zu erfassen, muss das Fahrzeug 1 mit mehreren Kameras 2 ausgestattet werden.
  • Ein Objekt 8, das im Erfassungsbereich einer Kamera 2 liegt, wird durch eine Vielzahl von Punkten P1, P2, P3, ... Pn entlang der Kontur 4 bestimmt. Um die Anzahl der Punkte zu reduzieren, für die nach einer Korrespondenz in einem anderen Abbild gesucht werden muss, kann der Erfassungsbereich einer Kamera 2 durch Sichtstrahlen 6 unterteilt werden. Dies ist beispielhaft in der 4 dargestellt. Der Schnittpunkt eines Sichtstrahls 6 mit der Kontur 4 bestimmt dann jeweils einen Punkt, auf den die Korrespondenzsuche beschränkt wird.
  • Anhand der 6 und 7 wird nachfolgend der Ablauf eines erfindungsgemäßen Verfahrens beschrieben.
  • 6 zeigt ein System 200, in dem ein Eingabebild 210, beispielsweise ein erstes mit einer Kamera aufgenommenes Abbild des Umfelds, einem Sub-System 100 übergeben wird. Als Ausgabe des Sub-Systems 100 nimmt das System 200 ein eindimensionales Array von Merkmalsvektoren 220 entgegen. Das Sub-System 100, an welches das Eingabebild 210 übergeben wird, besteht aus einer Freiflächenbestimmung 110, anhand derer Merkmale 120 berechnet und Punkten zugeordnet werden, die entlang einer die Freifläche begrenzenden Kontur angeordnet sind.
  • 7 zeigt ein Gesamtsystem 400, das auf dem System 200 der 6 aufbaut und der Bestimmung von dreidimensionalen Umfeldinformationen 410 in Form eines kompakten eindimensionalen Arrays dient. Vorab wird das System 200 der 6 auf zwei Eingabebilder 210 angewendet, so dass für jedes Eingabebild 210 ein eindimensionales Array von Merkmalsvektoren 220 als Ausgabe vorliegt. Die Ausgaben wiederum dienen als Eingaben 200.1 und 200.2 des Gesamtsystems 400. Diese werden einem Sub-System 300 übergeben, in dem zunächst ein Matching 310 der Merkmalsvektoren aus den eindimensionalen Arrays vorgenommen wird. Durch Triangulation 320 wird anschließend für jede gefundene Korrespondenz die Position im Raum bestimmt und zu einem gegebenen Referenzpunkt in einem Umfeldmodell abgespeichert.
  • Wie man sich das Matching 310 vorstellen kann, ist beispielhaft in der 5 für zwei eindimensionale Arrays 5 von mehreren Merkmalsvektoren dargestellt. Die einzelnen Merkmalsvektoren sind durch einzelne Kästchen angedeutet, die einzeln oder in Gruppen unterschiedlichen Objekten 8 bzw. Hindernissen zugeordnet werden können. Für jeden Merkmalsvektor des oberen Arrays 5 wird eine Korrespondenz in dem darunterliegenden Array 5 gesucht. Pfeile 9 zeigen auf Korrespondenzen, die gefunden wurden. Beim Matching können folgende Fälle auftreten:
    • - Es gibt eine Eins-zu-Eins Zuordnung.
    • - Mehrere Merkmalsvektoren des oberen Arrays 5 werden einem Merkmalsvektor des darunterliegenden Arrays 5 zugeordnet.
    • - Es gibt für einen Merkmalsvektor in einem der beiden Arrays 5 keine Zuordnung.
  • Die Korrespondenzsuche stellt sich dabei als ein geordnetes Problem dar, da sich die Pfeile 9 bei der Zuordnung nicht kreuzen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102013205882 A1 [0005]

Claims (11)

  1. Verfahren zur Umfelderfassung, insbesondere zur Erfassung des Umfelds eines Fahrzeugs (1), bei dem - mit Hilfe mehrerer Kameras (2) und/oder Sensoreinrichtungen von mindestens zwei Positionen (A, B) aus Abbilder des Umfelds erzeugt werden und anhand der Abbilder eine Freifläche (3) sowie eine die Freifläche begrenzende Kontur (4) ermittelt werden, - getrennt für jedes Abbild und der anhand dieses Abbilds bestimmten Kontur (4) für eine Vielzahl von Punkten (P1, P2, P3, P4 ... Pn) entlang der Kontur (4) Merkmalsvektoren berechnet und in einem eindimensionalen Array (5) abgelegt werden, und - durch Matchen der eindimensionalen Arrays (5) nach Korrespondenzen gesucht wird, für die anschließend durch Triangulation die dreidimensionale Position ermittelt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die ermittelte dreidimensionale Position in einem Umfeldmodell abgespeichert wird, wobei ein vorgegebener Referenzpunkt, beispielsweise ein Fahrzeugreferenzpunkt, verwendet wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Abbilder des Umfelds mit Hilfe eines Sets von kalibrierten Kameras (2) und/oder Sensoreinrichtungen erzeugt werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Freifläche (3) mindestens ein Sensor, beispielsweise ein Radar- oder Lidarsensor, verwendet wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Abbildern des Umfelds und/oder Sensordaten Informationen über die lokale Umgebung eines Punkts abgeleitet und als zusätzliche Informationen abgespeichert werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzahl der Punkte entlang einer die Freifläche (3) begrenzenden Kontur (4) quantifiziert wird, beispielsweise durch horizontale, vorzugsweise in gleichem Winkelabstand (a) zueinander angeordnete Sichtstrahlen (6).
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass beim Matchen der eindimensionalen Arrays (5) die Epipolargeometrie, beispielsweise in Form der Epipolarlinie (7), verwendet wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Fehlerkorrektur eine Nachschätzung in einer lokalen Umgebung einer gefundenen Korrespondenz vorgenommen wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Korrespondenzsuche eine vorab definierte Bodenebene als Startpunkt genutzt wird.
  10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Unterscheidung zwischen statischen und dynamischen Objekten (8) des Umfelds untersucht wird, ob die aus den Korrespondenzen abgeleitete dreidimensionale Position im Umgebungsmodell über die Zeit konstant bleibt.
  11. Datenverarbeitungseinheit, die dazu eingerichtet ist, zumindest einzelne Verfahrensschritte eines Verfahrens nach einem der vorhergehenden Ansprüche auszuführen, wobei die Datenverarbeitungseinheit mit mindestens einer Kamera (2) und/oder Sensoreinrichtung in datenübertragender Weise verbunden oder verbindbar ist.
DE102019219247.5A 2019-12-10 2019-12-10 Verfahren zur Umfelderfassung, Datenverarbeitungseinheit Pending DE102019219247A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102019219247.5A DE102019219247A1 (de) 2019-12-10 2019-12-10 Verfahren zur Umfelderfassung, Datenverarbeitungseinheit
US17/110,886 US11532100B2 (en) 2019-12-10 2020-12-03 Method for environmental acquisition, data processing unit
CN202011451942.3A CN112949374A (zh) 2019-12-10 2020-12-10 用于周围环境检测的方法以及数据处理单元

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019219247.5A DE102019219247A1 (de) 2019-12-10 2019-12-10 Verfahren zur Umfelderfassung, Datenverarbeitungseinheit

Publications (1)

Publication Number Publication Date
DE102019219247A1 true DE102019219247A1 (de) 2021-06-10

Family

ID=75962462

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019219247.5A Pending DE102019219247A1 (de) 2019-12-10 2019-12-10 Verfahren zur Umfelderfassung, Datenverarbeitungseinheit

Country Status (3)

Country Link
US (1) US11532100B2 (de)
CN (1) CN112949374A (de)
DE (1) DE102019219247A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200670A1 (de) 2022-01-21 2023-07-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Codieren von Verkehrsinfrastrukturen in einer digitalen Karte

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013205882A1 (de) 2013-04-03 2014-10-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
US10565781B2 (en) * 2015-08-20 2020-02-18 Nvidia Corporation View-dependant shading normal adaptation
FR3056531B1 (fr) 2016-09-29 2019-07-12 Valeo Schalter Und Sensoren Gmbh Detection d'obstacles pour vehicule automobile
US10932859B2 (en) * 2019-06-28 2021-03-02 China Medical University Implant surface mapping and unwrapping method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022200670A1 (de) 2022-01-21 2023-07-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Codieren von Verkehrsinfrastrukturen in einer digitalen Karte

Also Published As

Publication number Publication date
US20210174542A1 (en) 2021-06-10
CN112949374A (zh) 2021-06-11
US11532100B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
WO2018069405A1 (de) Kraftfahrzeug und verfahren zur 360°-umfelderfassung
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE112018000107T5 (de) Fahrzeugkamerakalibrierungsvorrichtung und -Verfahren
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
DE102018123393A1 (de) Erkennung von Parkflächen
DE102015003666A1 (de) Verfahren zur Verarbeitung von erfassten Messdaten eines Sensors
DE102014114221A1 (de) Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102018124979A1 (de) Fahrerassistenzsystem zur Bestimmung einer Entfernung zwischen zwei Fahrzeugen mit einer Kamera
DE102016114284A1 (de) Parklückenerkennungsvorrichtung und verfahren zur steuerung derselben
DE102019132996A1 (de) Schätzen einer dreidimensionalen Position eines Objekts
DE102019219247A1 (de) Verfahren zur Umfelderfassung, Datenverarbeitungseinheit
DE102017115587A1 (de) Verfahren zum Bestimmen einer räumlichen Unsicherheit in Bildern eines Umgebungsbereiches eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102019218479A1 (de) Verfahren und Vorrichtung zur Klassifikation von Objekten auf einer Fahrbahn in einem Umfeld eines Fahrzeugs
DE102015205479A1 (de) Verfahren zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges
DE102014219428A1 (de) Selbstkalibrierung eines Stereokamerasystems im Auto
DE102020127315B4 (de) System und Verfahren zum Annotieren von Automobilradardaten
DE102018202753A1 (de) Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
DE102021133977A1 (de) Verfahren und System zur Klassifikation von Szenarien eines virtuellen Tests sowie Trainingsverfahren
DE102017121052A1 (de) Verarbeitung einer von einer Umgebungserfassungseinrichtung eines Kraftfahrzeugs erzeugten Punktwolke zu einem Poincaré-invarianten symmetrischen Eingabevektor für ein neurales Netzwerk
EP3465608B1 (de) Verfahren und vorrichtung zum bestimmen eines übergangs zwischen zwei anzeigebildern, und fahrzeug
DE102019126074A1 (de) Analyse einer Umgebung eines aktiven optischen Sensorsystems
DE102019216607A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Radardaten
DE102014017904A1 (de) Verfahren und Vorrichtung zur Detektion erhabener Objekte und Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102018221625A1 (de) Transfer von Zusatzinformation zwischen Kamerasystemen
DE102019220209B3 (de) Ermitteln einer Relativbewegung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000