-
Die Erfindung betrifft ein Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung.
-
Aus der
DE 10 2015 008 774 B4 ist ein Verfahren zur automatisierten Erfassung eines Fahrtzielbereichs eines Fahrzeugs mit einer Kamera und mit einem hochauflösenden Pixelscheinwerfer bekannt, wobei mittels des Pixelscheinwerfers ein Muster im Fahrbetrieb des Fahrzeuges in den Fahrtzielbereich projiziert wird. Das Muster wird kurzzeitig ergänzend zu einer oder kurzzeitig anstelle einer Grundbeleuchtung projiziert, wobei eine Zeitspanne der kurzzeitigen Projektion so kurz gewählt wird, dass sie vom menschlichen Auge nicht wahrgenommen wird. Die Kamera erfasst den Fahrtzielbereich zumindest immer dann optisch, wenn das Muster in den Fahrtzielbereich projiziert wird.
-
Weiterhin ist aus der
DE 10 2020 007 613 A1 ein Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung bekannt, wobei ein von einer Vielzahl an Merkmalspunkten ausgebildetes Lichtmuster mittels eines Projektors in die Umgebung geworfen wird. Mittels einer Kamera wird ein einen Ausschnitt des Lichtmusters zeigendes Kamerabild der Umgebung erzeugt. Das Kamerabild wird ausgewertet, woraufhin eine jeweilige Position der Merkmalspunkte auf ihren entsprechenden Epipolarlinien erkannt wird. Durch Ermitteln einer Verschiebung der Merkmalspunkte auf ihren Epipolarlinien gegenüber einer jeweiligen Referenzposition werden Tiefeninformationen zur Ausbildung der dreidimensionalen Tiefeninformationskarte gewonnen. Der Projektor projiziert ein Lichtmuster in Form eines Rechteckfelds in die Umgebung, wobei zwei in eine Breitenrichtung verlaufende Rechteckzeilen eine zueinander abweichende Höhe aufweisen und zwei in eine Höhenrichtung verlaufende Rechteckspalten eine zueinander abweichende Breite aufweisen. Als Merkmalspunkte werden Eckpunkte sich einander berührender Rechtecke verwendet.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur dreidimensionalen Rekonstruktion einer Fahrzeugumgebung anzugeben.
-
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In dem Verfahren zur dreidimensionalen Rekonstruktion einer Umgebung eines Fahrzeugs wird erfindungsgemäß mittels zumindest eines an einer rechten und/oder linken Fahrzeuglängsaußenseite angeordneten Nahfeldprojektionsmoduls auf einen Bereich eines seitlich neben dem Fahrzeug befindlichen Fahruntergrunds zumindest ein Lichtmuster projiziert. Der Bereich mit dem projizierten Lichtmuster wird mittels zumindest einer Kamera erfasst, wobei anhand mittels der Kamera erfasster Kamerabilder die Umgebung dreidimensional rekonstruiert wird. In den Kamerabildern werden geometrische Formen des projizierten Lichtmusters segmentiert, wobei die segmentierten geometrischen Formen bei der dreidimensionalen Rekonstruktion berücksichtigt werden.
-
Unter der rechten und linken Fahrzeuglängsaußenseite werden dabei Fahrzeuglängsaußenseiten verstanden, welche sich in Fahrtrichtung bzw. Längsrichtung des Fahrzeugs rechts bzw. links an diesem befinden.
-
Für verschiedene Anwendungen im Fahrzeug sind Informationen über Objekte im seitlichen Bereich des Fahrzeugs erforderlich. Diese Anwendungen umfassen beispielsweise Funktionen wie eine Totwinkelwarnung sowie eine Unterstützung bei Park- und Rangiervorgängen, indem Objekte, beispielsweise andere Fahrzeuge, Bordsteinkanten, usw., in einer Fahrtrajektorie erkannt werden. Hierfür müssen eine Struktur seitlich neben dem Fahrzeug befindlicher Bereiche, auch als Seitenfelder bezeichnet, und in diesen befindliche Objekte erfasst und entweder automatisiert interpretiert oder an einen Fahrzeugführer zur Interpretation weitergeleitet werden.
-
Gegenüber einer Erfassung der Seitenfelder mittels Radarsensoren, welche beispielsweise zur Realisierung einer Totwinkelassistenz zum Einsatz kommen, jedoch besonders kostenintensiv sind und lediglich eine geringe Winkelauflösung aufweisen, ermöglicht das vorliegende Verfahren eine zuverlässige und hochauflösende Erfassung und Rekonstruktion der Fahrzeugseitenfelder unabhängig von einer Geometrie und Beschaffenheit einer jeweiligen Szene.
-
Dabei ist das Verfahren durch eine vollständige Integration in bereits vorhandene Fahrzeugsysteme mit einer Nahfeldprojektion und -erfassung mit besonders geringem Material- und Kostenaufwand realisierbar. Dabei können durch den gemeinsamen Einsatz von seitlich im oder am Fahrzeug verbauten Kameras und Projektionsmodulen mittels strukturiertem Licht seitliche Bereiche des Fahrzeugs hochauflösend und dreidimensional erfasst und rekonstruiert werden.
-
Weiterhin ermöglicht das Verfahren die Rekonstruktion der Fahrzeugseitenfelder mit einer großen Anzahl an Messpunkten durch eine vollständige Verwertung des beleuchteten Bereichs sowie einem Zusammenfügen der einzelnen Kamerabilder erfolgen. Weiterhin ermöglicht das Verfahren, dass eine Ausgabe von Ergebnissen direkt im dreidimensionalen Fahrzeugkoordinatensystem weiter verwertbar ist. Insbesondere im Vergleich zu einer Erfassung der Fahrzeugseitenfelder mit Radarsensoren kann ein vergrößerter Winkelerfassungsbereich mit einer deutlich erhöhten Auflösung realisiert werden.
-
Insbesondere ermöglicht das Verfahren weiterhin eine Erkennung von bodennahen Objekten.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch eine Seitenansicht eines auf einem Fahruntergrund befindlichen Fahrzeugs und
- 2 schematisch eine Draufsicht eines Lichtmusters.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist eine Seitenansicht eines auf einem Fahruntergrund U befindlichen Fahrzeugs 1 dargestellt.
-
Das Fahrzeug 1 umfasst zumindest eine Kamera 2 zur Erfassung einer Fahrzeugumgebung in einem Erfassungsbereich E seitlich neben dem Fahrzeug 1. Die Kamera 2 ist beispielsweise eine so genannte Spiegelkamera und an einem Außenspeigel des Fahrzeugs 1 angeordnet. Insbesondere umfasst das Fahrzeug 1 in nicht näher dargestellter Weise zumindest zwei Kameras 2, wobei eine Kamera 2 an einer rechten Fahrzeuglängsaußenseite und eine weitere Kamera 2 an einer linken Fahrzeuglängsaußenseite angeordnet ist.
-
Weiterhin ist an der rechten und/oder der linken Fahrzeuglängsaußenseite zumindest ein Nahfeldprojektionsmodul 3 angeordnet, welches auf einen Bereich B des seitlich neben dem Fahrzeug 1 befindlichen Fahruntergrunds U zumindest ein in 2 näher dargestelltes Lichtmuster M projiziert. Beispielsweise ist das Nahfeldprojektionsmodul 3 ebenfalls an dem Außenspeigel des Fahrzeugs 1 angeordnet. Alternativ kann das Nahfeldprojektionsmodul 3 auch an anderen Positionen am Fahrzeug 1, beispielsweise im Bereich eines Schwellers des Fahrzeugs 1, angeordnet sein. Insbesondere umfasst das Fahrzeug 1 in nicht näher dargestellter Weise zumindest zwei Nahfeldprojektionsmodule 3, wobei ein Nahfeldprojektionsmodul 3 an einer rechten Fahrzeuglängsaußenseite und ein weiteres Nahfeldprojektionsmodul 3 an einer linken Fahrzeuglängsaußenseite angeordnet ist.
-
Beispielsweise basiert das zumindest eine Nahfeldprojektionsmodul 3 auf der so genannten MLA-Technologie (MLA = Micro Lens Array). Diese bietet eine sehr hohe Tiefenschärfe bei verschiedenen Projektionsentfernungen, wodurch sie sehr gut für eine Tiefenrekonstruktion geeignet ist.
-
Der Bereich B mit dem projizierten Lichtmuster M wird mittels der Kamera 2 erfasst, wobei anhand mittels der Kamera 2 erfasster Kamerabilder die Umgebung dreidimensional rekonstruiert. Hierbei werden in den Kamerabildern geometrische Formen des projizierten Lichtmusters M segmentiert und die segmentierten geometrischen Formen berücksichtigt.
-
Mit anderen Worten: Mittels der Kamera 2 wird der Bereich B erfasst und die erfassten Kamerabilder werden an eine nicht näher dargestellte Verarbeitungseinheit zur Verarbeitung weitergeleitet.
-
Zur dreidimensionalen Rekonstruktion der Umgebung des Fahrzeugs 1 in dem Bereich B wird eine Triangulation von in den Kamerabildern enthaltenen zweidimensionalen Bildpunkten durchgeführt. Hierzu ist es erforderlich, dass eine Information über das emittierte Lichtmuster M abgespeichert ist und so im Kamerabild wiedererkannt werden kann. Somit können eine Entfernung und die relative Position der Bildpunkte unter Verwendung bekannter Eigenschaften der Kamera 2 berechnet werden.
-
Beispielsweise wird ein bereits im Fahrzeug 1 vorhandenes Nahfeldprojektionsmodul 3 verwendet, welches ein bereits vorgespeichertes Lichtmuster M emittiert. Somit ist eine Verwendung eines speziell für die Triangulation angepassten Lichtmusters M nicht möglich. Aus diesem Grund werden in einem speziellen Algorithmus Formen aus dem ausgestrahlten Lichtmuster M extrahiert, die als Merkmalspunkte für die dreidimensionale Erfassung unter Verwendung einer aktiven Triangulation per strukturiertem Licht geeignet sind.
-
Wie 2 näher zeigt, weist das projizierte Lichtmuster M beispielsweise die Form eines Symbols, beispielsweise eines Markenlogos, auf.
-
Das Lichtmuster M setzt sich aus Grundformen zusammen, welche mittels eines von der Verarbeitungseinheit ausgeführten Algorithmus erkannt werden. Diese Grundformen umfassen im dargestellten Ausführungsbeispiel des Lichtmusters M zwei Kreise K1, K2 und acht Linien L1 bis L8. Allgemein werden mittels des Algorithmus im verwendeten Lichtmuster M Linien L1 bis L8, Ellipsoide und Kreise K1, K2 gesucht, deren Ausbreitung im dreidimensionalen Raum sich mathematisch mit Hilfe von wenigen Koeffizienten beschreiben lässt, welche sich wiederrum im Rahmen einer Kalibrierung bestimmen lassen.
-
Im vorgestellten Muster lassen sich die Kreise K1, K2 durch einen Kegelmantel im Raum mit der Gleichung
beschreiben. Die Linien L1 bis L8, welche sich jeweils als Ebene im Raum ausbreiten, lassen sich jeweils durch die Gleichung D*x + E*y + F*z + G = 0 beschreiben.
-
Da die eine Abstrahlcharakteristik des zumindest einen Nahfeldprojektionsmoduls 3 immer fest definiert ist, lassen sich hieraus entsprechende Koeffizienten für den Kegelmantel und die Ebene berechnen.
-
Weiterhin kann, um Variationen in einer Abbildungsqualität des zumindest einen Nahfeldprojektionsmoduls 3 zu kompensieren und damit das Ergebnis der späteren dreidimensionalen Rekonstruktion zu verbessern, eine zusätzliche Kalibrierung des zumindest einen Nahfeldprojektionsmoduls 3, beispielsweise an einem Band bei der Fahrzeugherstellung, mittels Standard-Kalibrierobjekten erfolgen. Die Kalibrierobjekte werden beispielsweise auch für eine Kalibrierung der zumindest einen Kamera 3 verwendet. Die im Voraus berechneten Koeffizienten werden dabei als Startbedingungen verwendet, um eine numerische Approximation zu verbessern.
-
Das zumindest eine auf diese Weise projizierte Lichtmuster M wird abhängig von einer Geometrie der Szene bzw. Topographie und Textur in dieser befindlicher Objekte verschoben und verzerrt. Das heißt, tritt auf dem Fahruntergrund U im Bereich B ein erhabenes oder abgesenktes Objekt auf, weicht das entsprechende Lichtmuster M an der entsprechenden Position von einem hinterlegten Referenzverlauf ab.
-
Ist eine Kalibration der Kamera 2, das heißt eine intrinsische Matrix von Abbildungseigenschaften der Kamera 2 und eine extrinsische Matrix, welche eine Pose der Kamera 2 beschreibt, bekannt, kann mit einer Beschreibung und einer Position des jeweiligen Lichtmusters M und/oder dessen Kanten und/oder Linien L1 bis L8 im Kamerabild eindeutig eine Position eines Auftreffpunkts des Lichts im dreidimensionalen Raum bestimmt werden. Hierbei ist es unbedeutend, welcher Abschnitt des Lichtmusters M und/oder dessen Kanten und/oder dessen Linien L1 bis L8 im Kamerabild erkannt wird. Jeder Bildpunkt, der als Abschnitt des Lichtmusters M und/oder dessen Kanten und/oder dessen Linien L1 bis L8 detektiert wird, liefert einen dreidimensionalen Informationspunkt des Fahrzeugseitenfelds.
-
In den so erfassten Kamerabildern des entsprechenden Lichtmusters M sind durch zweidimensionale Positionen der Bildpunkte, welche das Lichtmuster M und/oder dessen Linien L1 bis L8 und/oder Kanten zeigen, nun exakte dreidimensionale Position der Objekte und Fahrbahnen im Fahrzeugseitenfeld codiert, die durch die Informationen der Kamerakalibrierung und bereits bekannte Informationen über das Lichtmuster M herausgerechnet werden können.
-
Diese Positionen der Bildpunkte können nun in dreidimensionale Punkte in das Fahrzeugkoordinatensystem überführt werden. Somit liegt eine Vielzahl an dreidimensionalen Informationen über das Fahrzeugseitenfeld für jeden Kameraframe vor.
-
Die so aus einem Kameraframe gewonnen dreidimensionalen Informationen können mit vorherigen und nachfolgenden Kameraframes verknüpft werden, um eine komplette Aufnahme des Fahrzeugseitenfelds während der Szene zu erhalten. Hierzu wird eine Fahrzeugbewegung zwischen den Kameraframes gemessen, um die entsprechenden dreidimensionalen Punkte korrekt zueinander zu orientieren. Dies erfolgt beispielsweise anhand von mittels Lenkwinkel-, Raddrehzahl-, Beschleunigungs- und/oder Drehratensensoren erfassten Daten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015008774 B4 [0002]
- DE 102020007613 A1 [0003]
