DE102022002766A1

DE102022002766A1 - Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung

Info

Publication number: DE102022002766A1
Application number: DE102022002766.6A
Authority: DE
Inventors: Sinan Yargeldi; Max Wehle
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2022-07-29
Filing date: 2022-07-29
Publication date: 2022-09-15
Anticipated expiration: 2042-07-30
Also published as: DE102022002766B4; WO2024022774A1

Abstract

Die Erfindung betrifft ein Verfahren zur dreidimensionalen Rekonstruktion einer Umgebung eines Fahrzeugs (1). Erfindungsgemäß wird mittels mehrerer einzelner Leuchtelemente zumindest eines Rückscheinwerfers (3, 4) des Fahrzeugs ein Bereich (B1, B2) auf einem hinter dem Fahrzeug (1) befindlichen Fahruntergrund (U) mit Lichtmustern (M1 bis Mn) beleuchtet. Der beleuchtete Bereich (B1, B2) wird zumindest abschnittweise mittels zumindest einer Kamera (2) erfasst, wobei anhand mittels der Kamera (2) erfasster Kamerabilder die Umgebung dreidimensional rekonstruiert wird. Die einzelnen Leuchtelemente werden mittels einer Pulsweitenmodulation derart dynamisch gesteuert und/oder zusammengeschaltet, dass ein Kontrast zwischen einzelnen erzeugten Lichtmustern (M1 bis Mn) und den Lichtmustern (M1 bis Mn) und der Umgebung erhöht wird. Den erfassten Kamerabildern wird eine jeweilige Schaltsituation der Leuchtelemente zum Zeitpunkt der Erfassung zugeordnet und bei der dreidimensionalen Rekonstruktion berücksichtigt.

Description

Die Erfindung betrifft ein Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung.
Aus der DE 10 2015 008 774 B4 ist ein Verfahren zur automatisierten Erfassung eines Fahrtzielbereichs eines Fahrzeugs mit einer Kamera und mit einem hochauflösenden Pixelscheinwerfer bekannt, wobei mittels des Pixelscheinwerfers ein Muster im Fahrbetrieb des Fahrzeuges in den Fahrtzielbereich projiziert wird. Das Muster wird kurzzeitig ergänzend zu einer oder kurzzeitig anstelle einer Grundbeleuchtung projiziert, wobei eine Zeitspanne der kurzzeitigen Projektion so kurz gewählt wird, dass sie vom menschlichen Auge nicht wahrgenommen wird. Die Kamera erfasst den Fahrtzielbereich zumindest immer dann optisch, wenn das Muster in den Fahrtzielbereich projiziert wird.
Weiterhin ist aus der DE 10 2020 007 613 A1 ein Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung bekannt, wobei ein von einer Vielzahl an Merkmalspunkten ausgebildetes Lichtmuster mittels eines Projektors in die Umgebung geworfen wird. Mittels einer Kamera wird ein einen Ausschnitt des Lichtmusters zeigendes Kamerabild der Umgebung erzeugt. Das Kamerabild wird ausgewertet, woraufhin eine jeweilige Position der Merkmalspunkte auf ihren entsprechenden Epipolarlinien erkannt wird. Durch Ermitteln einer Verschiebung der Merkmalspunkte auf ihren Epipolarlinien gegenüber einer jeweiligen Referenzposition werden Tiefeninformationen zur Ausbildung der dreidimensionalen Tiefeninformationskarte gewonnen. Der Projektor projiziert ein Lichtmuster in Form eines Rechteckfelds in die Umgebung, wobei zwei in eine Breitenrichtung verlaufende Rechteckzeilen eine zueinander abweichende Höhe aufweisen und zwei in eine Höhenrichtung verlaufende Rechteckspalten eine zueinander abweichende Breite aufweisen. Als Merkmalspunkte werden Eckpunkte sich einander berührender Rechtecke verwendet.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur dreidimensionalen Rekonstruktion einer Umgebung eines Fahrzeugs wird erfindungsgemäß mittels mehrerer einzelner Leuchtelemente zumindest eines Rückscheinwerfers des Fahrzeugs ein Bereich auf einem hinter dem Fahrzeug befindlichen Fahruntergrund mit Lichtmustern beleuchtet. Der beleuchtete Bereich wird zumindest abschnittweise mittels zumindest einer Kamera erfasst, wobei anhand mittels der Kamera erfasster Kamerabilder die Umgebung dreidimensional rekonstruiert wird. Die einzelnen Leuchtelemente werden dabei mittels einer Pulsweitenmodulation derart dynamisch gesteuert und/oder zusammengeschaltet, dass ein Kontrast zwischen einzelnen erzeugten Lichtmustern und den Lichtmustern und der Umgebung erhöht wird. Den erfassten Kamerabildern wird eine jeweilige Schaltsituation der Leuchtelemente zum Zeitpunkt der Erfassung zugeordnet, welche bei der dreidimensionalen Rekonstruktion berücksichtigt wird.
Für verschiedene Anwendungen im Fahrzeug sind Informationen über dessen rückwärtige Umgebung, auch als Rückfeld oder Fahrzeugrückfeld bezeichnet, erforderlich. Diese Anwendungen umfassen beispielsweise Bereiche wie eine Einparkhilfe oder ein automatisches Einparken sowie Funktionen automatisierten Fahrens. Hierfür müssen eine Struktur des Rückfelds und in diesem befindliche Objekte erfasst und entweder automatisiert interpretiert oder an einen Fahrzeugführer zur Interpretation weitergeleitet werden. Gegenüber einer Erfassung des Rückfelds allein mittels Rückfahrkameras und Ultraschallsensoren, welche sich durch einen beschränkten Erfassungsbereich, eine beschränkte Auflösung und Genauigkeit sowie eine fehlende Entfernungsmessung und eine eingeschränkte Nachtfunktionalität (Rückfahrkamera) auszeichnen, ermöglicht das vorliegende Verfahren eine zuverlässige und hochauflösende Erfassung und Rekonstruktion des Fahrzeugrückfelds unabhängig von einer Geometrie und Beschaffenheit einer jeweiligen Szene. Dies kann mit einer großen Anzahl an Messpunkten durch eine vollständige Verwertung des beleuchteten Bereichs sowie einem Zusammenfügen der einzelnen Kamerabilder erfolgen. Weiterhin ermöglicht das Verfahren, dass eine Ausgabe von Ergebnissen direkt im dreidimensionalen Fahrzeugkoordinatensystem weiter verwertbar ist. Insbesondere im Vergleich zu einer Erfassung des Fahrzeugrückfelds mit Ultraschallsensoren kann mittels des vorliegenden Verfahrens ein vergrößerter Erfassungsbereich mit deutlich erhöhter Auflösung erzielt werden.
In besonders vorteilhafter Weise ist das Verfahren zumindest zum größten Teil mit bereits an einem Fahrzeug verbauten Komponenten realisierbar, so dass Zusatzkosten im Vergleich zu Alternativsystemen, beispielsweise Radar- oder Lidarsystemen, minimiert werden können.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:

1 schematisch eine Seitenansicht eines auf einem Fahruntergrund befindlichen Fahrzeugs,
2 schematisch eine Heckansicht des Fahrzeugs gemäß 1,.
3 schematisch eine Draufsicht des Fahrzeugs gemäß 1 und
4 schematisch mittels Rückscheinwerfern des Fahrzeugs gemäß 1 emittiertes strukturiertes Licht.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist eine Seitenansicht eines auf einem Fahruntergrund U befindlichen Fahrzeugs 1 dargestellt. 2 zeigt eine Heckansicht und 3 eine Draufsicht des Fahrzeugs 1 gemäß 1. In 4 ist mittels Rückscheinwerfern 3, 4 des Fahrzeugs gemäß 1 emittiertes strukturiertes Licht in Form von Lichtmustern M1 bis Mn dargestellt.
Das Fahrzeug 1 umfasst eine Kamera 2 zur Erfassung einer Fahrzeugumgebung in einem Erfassungsbereich E und zwei Rückscheinwerfer 3, 4, welche zu einer Projektion von in 4 näher dargestellten Lichtmustern M1 bis Mn ausgebildet sind.
Hierzu umfassen die Rückscheinwerfer 3, 4 jeweils mehrere nicht näher dargestellte einzelne Leuchtelemente, deren Kontrastgrenzen als Auswertepunkte zur Rekonstruktion einer hinter dem Fahrzeug 1 befindlichen Umgebung verwendet werden. Dabei können alle Lichtsysteme verwendet werden, welche eine ausreichende Auflösung bei fahrzeugtypischen Leuchtstärken erreichen. Dies können beispielsweise Systeme basierend auf einer so genannten Digital-Micromirror-Device-Technologie, einer so genannten µLED-Technologie, einer so genannten Mikrolinsen-Array-Technologie und/oder einer LCD-Technologie sein.
Eine dreidimensionale Erfassung der Lichtmuster erfolgt unter Verwendung einer aktiven Triangulation per strukturiertem Licht.
Die im Voraus an eine Fahrzeuggeometrie angepassten Lichtmuster M1 bis Mn werden dabei auf den Fahruntergrund U hinter das Fahrzeug 1, das heißt ein Fahrzeugrückfeld, projiziert.
Mittels der Kamera 2, welche beispielsweise eine Rückfahrkamera oder alternativ eine zusätzlich verbaute Kamera 2 ist, werden die projizierten Lichtmuster M1 bis Mn erfasst, um die Umgebung des Fahrzeugs 1 hinter diesem, einschließlich des erfassten Fahruntergrunds U, dreidimensional zu rekonstruieren. Mittels der Kamera 2 erfasste Kamerabilder werden an eine nicht näher dargestellte Verarbeitungseinheit, welche die dreidimensionale Rekonstruktion ausführt, übersendet.
Die Triangulation erfolgt in Überlappungsbereichen OB1, OB2 eines Erfassungsbereichs E der Kamera 2 und der von den Leuchtelementen der Rückscheinwerfer 3, 4 beleuchteten Bereiche B1, B2. Dabei setzt sich ein gesamtes Lichtbild der Rückscheinwerfer 3, 4 aus dem Licht der einzelnen Leuchtelemente, das heißt den einzelnen Lichtmustern M1 bis Mn, zusammen.
Damit sich das gesamte Lichtbild der Rückscheinwerfer 3, 4 zu der dreidimensionalen Rekonstruktion eignet, werden die einzelnen Leuchtelemente mittels einer Pulsweitenmodulation derart dynamisch gesteuert und/oder zusammengeschaltet, dass ein Kontrast zwischen einzelnen erzeugten Lichtmustern M1 bis Mn und den Lichtmustern M1 bis Mn und der Umgebung erhöht wird. Das heißt, es können zu jedem Zeitpunkt klare Kontrastpunkte realisiert werden. Den erfassten Kamerabildern bzw. Kameraframes wird eine jeweilige Schaltsituation der Leuchtelemente zum Zeitpunkt der Erfassung zugeordnet und gemeinsam mit diesen zur Rekonstruktion an die Verarbeitungseinheit übermittelt und so bei der dreidimensionalen Rekonstruktion berücksichtigt.
Die auf diese Weise projizierten Lichtmuster M1 bis Mn werden abhängig von einer Geometrie der Szene bzw. Topographie und Textur der in ihr befindlichen Objekte 5 verschoben und verzerrt. Das heißt, tritt auf dem Fahruntergrund U ein erhabenes oder abgesenktes Objekt O auf, weichen die Lichtmuster M1 bis Mn an der entsprechenden Position von einem hinterlegten Referenzverlauf ab.
Beispielsweise werden die Lichtmuster M1 bis Mn mittels rotem Licht, beispielsweise mittels eines Schlusslichts und/oder Bremslichts des Fahrzeugs 1, ausgegeben. Über einen roten Farbkanal kann bei der Auswertung der Kamerabilder Fremdlicht aus den Kamerabildern extrahiert werden, um nur gewünschte, durch die Rückscheinwerfer 3, 4 beleuchtete Komponenten zu behalten. Somit können die projizierten Lichtmuster M1 bis Mn in einfacher Weise aus den Kamerabildern extrahiert werden. Zusätzlich ist durch den geometrischen Aufbau des Fahrzeugs und der festen Platzierung von Kamera 2 und Rückscheinwerfern 3, 4 der mögliche Erfassungsbereich E im Kamerabild klar begrenzbar und somit ein Auswertebereich auch in der räumlichen Dimension einschränkbar, was eine robuste Erfassung ermöglicht. Alternativ oder zusätzlich zur beschriebenen Filterung des roten Lichts können auch andere geeignete Methoden zur Auswertung verwendet werden, wie beispielsweise eine Auswertung mittels eines trainierten künstlichen neuronalen Netzes, zum Beispiel mittels eines angepassten so genannten YOLOv4.
In von der Kamera 2 erfassten Kamerabildern der Lichtmuster M1 bis Mn werden beispielsweise Unterkanten, Oberkanten und/oder Seitenkanten in der Triangulation verwendet. Hierbei ist es ausreichend, einen horizontalen Hell-Dunkel-Gradienten zu erhalten, welcher mit einer beliebigen Lichttechnologie erzeugt werden kann.
Hierbei kann beispielsweise die Tatsache ausgenutzt werden, dass die Lichtmuster M1 bis Mn bei ihrer Ausbreitung im Fahrzeugrückfeld eine Ebene aufspannen.
Ist eine Kalibration der Kamera 2, das heißt eine intrinsische Matrix von Abbildungseigenschaften der Kamera 2 und eine extrinsische Matrix, welche eine Pose der Kamera 2 beschreibt, bekannt, kann mit der Ebenenbeschreibung und einer Position des jeweiligen Lichtmusters M1 bis Mn und/oder dessen Kanten im Kamerabild eindeutig eine Position eines Auftreffpunkts des Lichts im dreidimensionalen Raum bestimmt werden. Hierbei ist es unbedeutend, welcher Abschnitt des Lichtmusters M1 bis Mn und/oder dessen Kanten im Kamerabild erkannt wird. Jeder Bildpunkt, der als Abschnitt des Lichtmusters M1 bis Mn und/oder dessen Kanten detektiert wird, liefert einen dreidimensionalen Informationspunkt des Fahrzeugrückfeldes.
In den so erfassten Kamerabildern des entsprechenden Lichtmusters M1 bis Mn sind durch zweidimensionale Positionen der Bildpunkte, welche das Lichtmuster M1 bis Mn und/oder dessen Kanten zeigen, nun exakte dreidimensionale Position der Objekte 5 und Fahrbahnen im Fahrzeugrückfeld codiert, die durch die Informationen der Kamerakalibrierung und bereits bekannte Informationen über die Lichtmuster M1 bis Mn, beispielsweise die Ebenenbeschreibung, herausgerechnet werden können.
Diese Positionen der Bildpunkte können nun in dreidimensionale Punkte in das Fahrzeugkoordinatensystem überführt werden. Dies erfolgt beispielsweise anhand einer Berechnung mit einer Triangulation der zweidimensionalen Bildpunkte und der Kamerakalibrierung mit der Ebenenbeschreibung. Somit liegt eine Vielzahl an dreidimensionalen Informationen über das Fahrzeugrückfeld für jeden Kameraframe vor.
Die so aus einem Kameraframe gewonnen dreidimensionalen Informationen können mit vorherigen und nachfolgenden Kameraframes verknüpft werden, um eine komplette Aufnahme des Fahrzeugrückfelds während der Szene zu erhalten. Hierzu wird eine Fahrzeugbewegung zwischen den Kameraframes gemessen, um die entsprechenden dreidimensionalen Punkte korrekt zueinander zu orientieren. Dies erfolgt beispielsweise anhand von mittels Lenkwinkel-, Raddrehzahl-, Beschleunigungs- und/oder Drehratensensoren erfassten Daten.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015008774 B4 [0002]
DE 102020007613 A1 [0003]

Claims

Verfahren zur dreidimensionalen Rekonstruktion einer Umgebung eines Fahrzeugs (1), dadurch gekennzeichnet, dass - mittels mehrerer einzelner Leuchtelemente zumindest eines Rückscheinwerfers (3, 4) des Fahrzeugs ein Bereich (B1, B2) auf einem hinter dem Fahrzeug (1) befindlichen Fahruntergrund (U) mit Lichtmustern (M1 bis Mn) beleuchtet wird, - der beleuchtete Bereich (B1, B2) zumindest abschnittweise mittels zumindest einer Kamera (2) erfasst wird, - anhand mittels der Kamera (2) erfasster Kamerabilder die Umgebung dreidimensional rekonstruiert wird, - die einzelnen Leuchtelemente mittels einer Pulsweitenmodulation derart dynamisch gesteuert und/oder zusammengeschaltet werden, dass ein Kontrast zwischen einzelnen erzeugten Lichtmustern (M1 bis Mn) und den Lichtmustern (M1 bis Mn) und der Umgebung erhöht wird, und - den erfassten Kamerabildern eine jeweilige Schaltsituation der Leuchtelemente zum Zeitpunkt der Erfassung zugeordnet und bei der dreidimensionalen Rekonstruktion berücksichtigt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in einem Überlappungsbereich (OB1, OB2) eines Erfassungsbereichs (E) der Kamera (2) und des von den Leuchtelementen beleuchteten Bereichs (B1, B2) eine Triangulation durchgeführt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in der dreidimensionalen Rekonstruktion - Positionen und/oder Kanten der das jeweilige Lichtmuster (M1 bis Mn) darstellenden Bildpunkte in einem Kameraframe mittels eines Gradienten und/oder Intensitätsverläufe auswertenden Algorithmus ermittelt werden, - die Bildpunkte in Abhängigkeit einer intrinsischen und extrinsischen Kalibrierung der Kamera (2) sowie einer Beschreibung des Lichtmusters (M1 bis Mn) in ein dreidimensionales Fahrzeugkoordinatensystem überführt werden und - anhand von aus den Bildpunkten resultierenden dreidimensionalen Informationen die Umgebung des Fahrzeugs (1) zumindest in dem hinter dem Fahrzeug (1) befindlichen Bereich (B1, B2) bestimmt und dreidimensional rekonstruiert wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass - dreidimensionale Informationen mehrerer zeitlich nacheinander erfasster Kameraframes in Abhängigkeit von einer Fahrzeugbewegung miteinander verknüpft werden und - anhand der verknüpften dreidimensionalen Informationen die Fahrzeugumgebung zumindest in einem von dem Fahrzeug (1) überfahrenen Bereich bestimmt und dreidimensional rekonstruiert wird.