-
Die Erfindung betrifft ein Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Fahrzeug zur Durchführung des Verfahrens.
-
Heutzutage verfügen Fahrzeuge über eine Vielzahl unterschiedlicher Fahrerassistenzsysteme. So kann mit Hilfe eines sogenannten Abstandsregeltempomaten ein Fahrzeug beispielsweise bei einer Hinterherfahrt hinter einem weiteren Fahrzeug einen konstanten Abstand zum vorausfahrenden Fahrzeug einhalten, auch wenn das vorausfahrende Fahrzeug beschleunigt oder bremst. Mit Hilfe eines Notbremsassistenten wird es einem Fahrzeug ermöglicht, automatisiert auf in Fahrtrichtung vor dem Fahrzeug auftauchende Objekte zu reagieren, um zur Vermeidung einer Kollision mit einem Objekt frühzeitig zu bremsen. Dies ist sinnvoll, wenn eine fahrzeugführende Person das Umgebungsobjekt nicht sieht, beispielsweise weil das Objekt plötzlich vor dem Fahrzeug auftaucht. Solche Fahrerassistenzsysteme benötigen Abstandsinformationen als Eingangsgröße, wobei das Fahrzeug zur Gewinnung dieser Abstandsinformationen mit Hilfe von Sensoren eine Umfeldüberwachung durchführt. Somit lassen sich statische und dynamische Umgebungsobjekte erkennen und insbesondere ein Relativabstand der Umgebungsobjekte zum Fahrzeug ermitteln.
-
Zur Umgebungsüberwachung und Bereitstellung der Abstandsinformationen sind verschiedene Sensorsysteme bekannt. So lässt sich eine Fahrzeugumgebung mit Hilfe eines Laserscanners, auch als Lidar bekannt, abtasten, wobei die Umgebungsobjekte ein vom Lidar ausgesendeten Laserstrahl reflektieren, was von einem optischen Sensor des Lidars detektiert wird, wobei durch eine Laufzeitdifferenz zwischen ausgesendetem und empfangenem Laserlicht auf einen Abstand zum Umgebungsobjekt geschlossen werden kann. Bewährt haben sich auch Kamerasysteme unter Einsatz von Mono- oder Stereokameras. Dabei werden Kamerabilder von der Fahrzeugumgebung erzeugt, welche mit Hilfe von Auswertungsalgorithmen bzw. Bilderkennungsalgorithmen auf einer Recheneinheit ausgewertet werden. Insbesondere unter Nutzung einer Stereokamera ist es möglich, Abstandsinformationen unter Berücksichtigung einer Parallaxe zu bestimmen. So weisen die beiden Einzelkameras einer Stereokamera einen leichten Versatz zueinander auf, wodurch Umgebungsobjekte in den jeweiligen Kamerabildern leicht zueinander versetzt erscheinen. Durch eine Analyse dieses Versatzes unter Berücksichtigung eines bekannten Abstands der Kameras zueinander kann dann eine Entfernung von den Kameras zu den Objekten bestimmt werden. Hierzu ist jedoch eine ausreichende Beleuchtung der Umgebung notwendig. Bei Dunkelheit, beispielsweise nachts, können Kontrast- und/oder Farbunterschiede nur schlecht differenziert werden, was eine Objekterkennung erschwert.
-
Ein weiteres auf Triangulation basierendes Verfahren zur Abstandsbestimmung bzw. Entfernungsmessung ist als aktive Triangulation bekannt und ermöglicht eine zuverlässige Objekterkennung auch bei Dunkelheit. Dabei wirft ein Projektor ein festgelegtes Lichtmuster in die Umgebung, wobei von der Umgebung reflektierte Merkmalspunkte des Lichtmusters von einer Kamera erfasst werden. Eine Abstandsbestimmung bzw. Gewinnung von Tiefeninformationen ist dabei unter einer Berücksichtigung der sogenannten Epipolargeometrie möglich. Bei der Epipolargeometrie handelt es sich um ein mathematisches Modell aus der Geometrie, welches eine Beziehung zwischen zwei Ansichten eines Objekts von unterschiedlichen Betrachtungspunkten herstellt. Betrachtet man beispielsweise einen Zylinder seitlich, so erscheint dieser als Rechteck. Betrachtet man den Zylinder jedoch in Richtung seiner Mittelachse, erscheint der Zylinder als Kreis. Diese Theorie lässt sich auch nutzen, um Abstands- bzw. Tiefeninformationen zu gewinnen.
-
So breiten sich die Merkmalspunkte des Lichtmusters vom Projektor bis zum Auftreffen auf einer Oberfläche in der Umgebung entlang einer geraden Linie aus. Kann sich ein Merkmalspunkt ungehindert auf dieser Linie ausbreiten, legt der Merkmalspunkt eine festgelegte Wegstrecke bis zum Auftreffen auf einer in einer festgelegten Distanz vor dem Projektor liegenden Fläche zurück. Trifft der Merkmalspunkt vorher jedoch auf ein Objekt, so legt er auf seiner Ausbreitungslinie eine kürzere Distanz zurück. Durch Messen wie weit sich ein Merkmalspunkt auf seiner Ausbreitungslinie ausbreitet, bis er auf ein Objekt beziehungsweise eine Oberfläche in der Umgebung trifft und von dieser reflektiert wird, lässt sich dann ein Abstand des jeweiligen Objekts- beziehungsweise der Umgebungsfläche zum Projektor bestimmen. Um eine Ausbreitung eines Merkmalspunkts auf seiner Ausbreitungslinie erfassen zu können, ist es erforderlich das vom Projektor erzeugte Lichtmuster mit Hilfe einer zumindest einen leichten Versatz zum Projektor aufweisenden Kamera zu erfassen. Die Ausbreitungslinie wird daraufhin im Kamerabild als Epipolarlinie bezeichnet. Bevor Abstandsmessungen möglich sind, ist ein System aus Projektor und Kamera jedoch zu wenigstens einer festgelegten Distanz, in der das Lichtmuster auf eine Referenzoberfläche geworfen wird, zu kalibrieren.
-
Durch erzeugen eines einzelnen, das Lichtmuster zeigenden, Kamerabilds lassen sich Abstände zwischen Projektor und Umgebungsobjekten bestimmen. Indem mehrere Kamerabilder zeitlich hintereinander aufgenommen und ausgewertet werden, lässt sich auch eine Bewegung eines Umgebungsobjekts, beziehungsweise eine Relativbewegung des Projektors zur Umgebung nachvollziehen. Insbesondere zur Erzeugung von Abstandsinformationen bei Verwendung als Abstandserfassungssystem bei einem Fahrzeug ist es von Vorteil die Abstandsinformationen durch Auswerten eines einzelnen Kamerabilds zu gewinnen, da sich ein Fahrzeug während der Fahrt weiterbewegt und sich dadurch ein Abstand zu einem dem Fahrzeug vorausliegenden Umgebungsobjekt beim Erzeugen eines weiteren Kamerabilds bereits verkürzt hat.
-
Die
US 2008/0118143 A1 offenbart ein Verfahren und eine Vorrichtung zur Tiefeninformationsgewinnung unter Einsatz aktiver Triangulation. Die Druckschrift offenbart eine Anwendung der Vorrichtung und des Verfahrens zur Erzeugung einer Tiefeninformationskarte einer Umgebung, sowie eine Anwendung in der Medizintechnik, beispielsweise zum Vermessen von Knochenstrukturen, eines Bewegungsablaufs einer sich bewegenden Person oder von Zähnen in der Dentalmedizin. Dabei können ein Projektor und eine Kamera auch von einem Fahrzeug umfasst sein. Aus den gewonnen Tiefeninformationen wird eine Punktewolke erstellt, mit deren Hilfe optional auch ein Oberflächennetz der Umgebung bzw. der Umgebungsobjekte erzeugt werden kann.
-
Ein vom Projektor in die Umgebung geworfenes Lichtmuster umfasst eine Vielzahl unterschiedlicher Merkmale bzw. Merkmalspunkte, welche gemäß einer ersten Ausführung durch eine unterschiedliche geometrische Gestalt zueinander codiert sind. Zur Erzeugung des Lichtmusters werden von den Merkmalen ausgebildete Flächenbereiche unterschiedlich stark beleuchtet. Das Lichtmuster basiert auf einer zyklischen Wiederholung der jeweiligen Merkmalspunkte in zwei orthogonal aufeinander stehende Richtungen einer zweidimensionalen Fläche. Die Druckschrift offenbart dabei eine Anwendung der sogenannten Epipolarseparation. Hierdurch wird sichergestellt, dass ein bestimmter Merkmalspunkt-Typ auf einer Epipolarlinie nur einmal vorkommt. Hierdurch lassen sich Fehldetektionen reduzieren, wodurch eine Genauigkeit der Abstandsbestimmung erhöht werden kann. Zur Umsetzung der Epipolarseparation wird das Lichtmuster so ausgestrahlt, dass eine Richtung in der sich Merkmalspunkte im Lichtmuster zyklisch wiederholen nicht mit einer Richtung in der sich die Eipolarlinien ausbreiten übereinstimmt. Dies lässt sich beispielsweise sicherstellen, indem das Lichtmuster in einem Winkel um eine Lichtausbreitungsrichtung gedreht wird. Die Druckschrift offenbart auch die Verwendung einer zweiten Kamera, wobei die erste Kamera in eine erste Richtung zum Projektor versetzt ist und die zweite Kamera in eine hierzu entgegengesetzte Richtung zum Projektor versetzt ist. Hierdurch lässt sich eine Genauigkeit der Tiefeninformationsgewinnung noch weiter verbessern. Eine Codierung der Merkmalspunkte unterschiedlichen Typs kann gemäß weiterer, alternativer Ausführungen auf vielfältige Art und Weise erfolgen. So können die verschiedenen Merkmalspunkt-Typen eine unterschiedliche Farbe aufweisen. Beispielsweise kann ein erster Merkmalspunkt-Typ grün sein und ein zweiter Merkmalspunkt-Typ rot sein. Ebenfalls offenbart die Druckschrift eine Codierung der Merkmalspunkte durch einen Zeitversatz. So wird ein erster Merkmalspunkt-Typ zu einem ersten Zeitpunkt ausgestrahlt und ein zweiter Merkmalspunkt-Typ zu einem weiteren Zeitpunkt ausgestrahlt. Ebenfalls können verschiedene Merkmalspunkt-Typen auch von unterschiedlich polarisiertem Licht ausgebildet werden. Bei den alternativen Ausführungsformen weisen die Merkmalspunkte eine gemeinsame geometrische Gestalt auf, beispielsweise sind sie quadratisch oder Kreisförmig. Die Druckschrift offenbart auch eine Kombination der genannten Methoden zur Codierung der Merkmalspunkt-Typen. Dabei erfolgt eine Zuordnung eines Merkmalspunkt-Typs zu einer räumlichen Position eines Merkmalspunkts im Lichtmuster unter Anwendung einer sogenannten De Bruijn-Sequenz.
-
Mit Hilfe des in der Druckschrift offenbarten Verfahrens und der Vorrichtung kann eine vergleichsweise hohe Genauigkeit bei der Abstandsinformations- beziehungsweise Tiefeninformationsgewinnung gewährleistet werden. So beschreibt die Druckschrift lediglich eine Abweichung von ± 1 mm in der Abstandsbestimmung bei „nahen“ Objekten. Um diese Genauigkeit zu erreichen können auch mehrere Kamerabilder hintereinander aufgenommen werden, wobei eine Projektion des Lichtmusters zwischen den Kamerabildern variiert wird. Dies wird auch als Dual Projection bezeichnet. So wird zuerst das übliche Lichtmuster als Positiv in die Umgebung geworfen und danach das Lichtmuster als Negativ in die Umgebung geworfen, wobei eine Leuchtintensität beleuchteter und dunkler Flächenelemente umgekehrt wurde. Hierdurch lassen sich Beeinträchtigung, beispielsweise durch unterschiedliche Reflektionswerte von Oberflächen, ausgleichen. Anstelle einer Beleuchtung der Umgebung mit einem Negativ des Lichtmusters kann die Umgebung bei der Aufnahme des zweiten Kamerabilds auch nicht beleuchtet werden. So lässt sich das Kamerabild der unbeleuchteten Umgebung vom Kamerabild der beleuchteten Umgebung abziehen, um ein Überstrahlen einzelner Merkmalspunkte von hellem Umgebungslicht auszugleichen.
-
Nachteilig bei der in der Druckschrift offenbarten Vorrichtung und dem Verfahren sind jedoch, dass das Erzeugen des Lichtmusters durch Codieren mit Hilfe einer sogenannten De Bruijn-Sequenz vergleichsweise aufwändig ist.
-
Eine weitere Anwendung eines aktiven Triangulationsverfahrens und einer entsprechenden Vorrichtung ist aus der
DE 10 2015 008 774 A1 bekannt. Die Druckschrift offenbart eine Vorrichtung zur Erfassung und ein Verfahren zur Beleuchtung eines Fahrzeug-Umfelds. Hierbei wird als Projektor ein Pixelscheinwerfer des Fahrzeugs verwendet. Bei dem Pixelscheinwerfer kann es sich um einen Frontscheinwerfer des Fahrzeugs oder einen separaten Scheinwerfer handeln. Der Pixelscheinwerfer projiziert das Lichtmuster dabei zu einem so kurzen Zeitfenster in die Umgebung, dass das Lichtmuster von einem Menschen nicht wahrgenommen werden kann. Dabei sind eine die Umgebung erfassende Kamera und der Pixelscheinwerfer zueinander synchronisiert, damit genau dann ein Kamerabild der Umgebung aufgenommen wird, wenn der Pixelscheinwerfer das Lichtmuster in die Umgebung wirft. Da das Lichtmuster nur kurzzeitig in die Umgebung geworfen wird und eine fahrzeugführende Person das Lichtmuster nicht wahrnehmen kann, kann das in der Druckschrift offenbarte Verfahren besonders komfortabel eingesetzt werden. Insbesondere wird die fahrzeugführende Person hierdurch nicht abgelenkt. Dabei kann der Pixelscheinwerfer das Lichtmuster zusätzlich zu einer Grundbeleuchtung in die Umgebung werfen oder auch die Grundbeleuchtung während des Aussendens des Lichtmusters kurzzeitig deaktivieren oder wenigstens dimmen. Das Lichtmuster kann beispielsweise ein Linienmuster, Streifenmuster, Punktmuster, Gitternetzmuster, Schachbrettmuster und/oder ein pseudozufälliges Muster umfassen. Dabei erfolgt eine Hell/Dunkelregelung des Pixelscheinwerfers derart, dass beim Aussenden des Lichtmusters eine Grundhelligkeit der Grundbeleuchtung im zeitlichen Mittel konstant bleibt. Mit Hilfe der in der Druckschrift offenbarten Vorrichtung und dem Verfahren können Fahrbahnunebenheiten, Fahrbahnbegrenzungen, Umgebungsobjekte sowie Positionen der jeweiligen erkannten Fahrbahnunebenheiten, Fahrbahnbegrenzungen und/oder Umgebungsobjekten in Bezug zum Fahrzeug ermittelt werden. Die in der Druckschrift offenbarten Lichtmuster weisen jedoch den Nachteil auf, dass mehrere Merkmalspunkte auf einer Epipolarlinie liegen können, wodurch es zu Fehlidentifikationen kommen kann, was eine Genauigkeit der Tiefeninformationsgewinnung beeinträchtigt.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung unter Anwendung aktiver Triangulation anzugeben, welches auch bei Aussenden eines simplen Lichtmusters eine erhöhte Zuverlässigkeit und damit höhere Genauigkeit der Tiefeninformationsgewinnung erlaubt. Eine weitere Aufgabe der vorliegenden Erfindung ist es ein Fahrzeug anzugeben, welches das Verfahren anwendet.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung mit den Merkmalen des Anspruchs 1 sowie ein Fahrzeug mit den Merkmalen des Anspruchs 5 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich auch den hiervon abhängigen Ansprüchen.
-
Bei einem Verfahren zur Generierung einer dreidimensionalen Tiefeninformationskarte einer Umgebung der eingangs genannten Art projiziert erfindungsgemäß der Projektor ein Lichtmuster in Form eines Rechteckfelds in die Umgebung, wobei wenigstens zwei in eine Breitenrichtung verlaufende Rechteckzeilen eine zueinander abweichende Höhe aufweisen und wenigstens zwei in eine Höhenrichtung verlaufende Rechteckspalten eine zueinander abweichende Breite aufweisen und als Merkmalspunkte Eckpunkte sich einander berührender Rechtecke verwendet werden.
-
Das vom Projektor erzeugte Lichtmuster in Form des Rechteckfelds kann mit einem Schachbrettmuster verglichen werden, wobei einzelne in einer gemeinsamen Reihe bzw. Zeile angeordnete Rechtecke jeweils charakteristische Höhen und Breiten aufweisen. Hierdurch lässt sich eine Position eines bestimmten Merkmalspunkts auf einer Epipolarlinie zuverlässig von der Position eines hierzu abweichenden Merkmalspunkts auf der selben Epipolarlinie eindeutig unterscheiden. Somit lassen sich Fehlidentifikationen reduzieren bzw. vermeiden, wodurch eine eindeutige, schnelle und robuste Zuordnung von Merkmalspunkten in den Kamerabildern ermöglicht wird. Indem nicht die Rechtecke selbst, sondern die Eckpunkte zwischen sich berührenden Rechtecken als Merkmalspunkte verwendet werden, wird in den Kamerabildern nicht nach Pixeln mit endlicher Breite, sondern nach scharfen Grenzen gesucht. Dies ermöglicht ein noch zuverlässigeres und schnelleres Detektieren der Merkmalspunkte in den Kamerabildern, wodurch sich das Verfahren besonders zur Abstandsbestimmung zwischen Umgebungsobjekten und Fahrzeugen eignet. Zur weiteren Erhöhung einer Anzahl zur Tiefenrekonstruktion verwendeter Punkte lässt sich für eine durchgehende in einem Kamerabild erkannte Kante zwischen den Eckpunkten benachbarter Rechtecke ebenfalls eine äquivalente Tiefenrekonstruktion durchführen.
-
Zur Erzeugung des Rechteckfelds lassen sich verschiedene bereits im Stand der Technik beschriebene Methoden einsetzen. So können die einzelnen Rechtecke des Rechteckfelds erzeugt werden, indem eine erste Anzahl an Rechtecken mit einer vergleichsweise hohen Lichtintensität ausgestrahlt werden und die restlichen Rechtecke des Rechteckfelds mit einer hierzu schwächeren Lichtintensität ausgestrahlt werden, bevorzugt indem die entsprechenden Rechteckbereiche ausgespart werden, das hießt dunkel bleiben. Es ist auch möglich, dass eine erste Anzahl an Rechtecken mit einer ersten Polarisationsart ausgestrahlt wird und eine zweite Anzahl an Rechtecken mit einer hierzu abweichenden Polarisationsart ausgestrahlt wird. Ebenfalls können die unterschiedlichen Rechtecktypen auch von unterschiedlich farblichem Licht erzeugt werden. So kann eine erste Anzahl an Rechtecken beispielsweise grün und eine zweite Anzahl an Rechtecken beispielsweise rot sein. Ebenfalls ist es denkbar, mehrere Kamerabilder zeitlich hintereinander zu erzeugen, wobei zu den Zeitpunkten, zu denen die Kamerabilder erzeugt werden, jeweils unterschiedliche Bereiche des Rechteckfelds bzw. eine entsprechende Anzahl von Rechtecken ausgestrahlt werden. Durch die Verwendung monochromatischen Lichts und Ausstrahlen des Lichtmusters zu einem einzigen Zeitpunkt lässt sich das erfindungsgemäße Verfahren jedoch besonders einfach und mit einem geringen Aufwand umsetzen.
-
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass eine festgelegte Anzahl an Rechtecken jeweils von einem eingeblendeten Symbol überlagert wird. Hierdurch lassen sich Situationen vermeiden, in denen eine Beschaffenheit einer erfassten Szene fehlerhaft klassifiziert wird, da eine zugrundliegende Epipolargeometrie des Lichtmusters nicht exakt bekannt ist, beispielsweise durch eine fehlerhafte Kalibration. Hierzu werden Positionen der Eckpunkte der jeweiligen Rechtecke des Rechteckfelds eindeutig der Epipolargeometrie des ausgestrahlten Lichtfelds zugeordnet. Hierzu wird eine festgelegte Anzahl an Rechtecken jeweils von einem eingeblendeten Symbol überlagert. Die Rechtecke, welche mit dem Symbol überlagert werden, werden gezielt bestimmt, sodass Symmetrien im Rechteckfeld vermieden werden, um die einzelnen Rechtecke des Rechteckfelds bzw. die entsprechenden Eckpunkte berührender Rechtecke positionsunabhängig eindeutig bestimmen zu können. Bei dem Symbol kann es sich um ein beliebiges Symbol handeln. Bei der Verwendung monochromatischen Lichts bedeutet dies, dass bei einem Rechteck in Form eines beleuchteten Rechtecks ein dem Symbol entsprechender Bereich des beleuchteten Rechtecks mit Licht ausgespart wird und bei einem nicht beleuchteten Rechteck ein entsprechender Bereich beleuchtet wird.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des Verfahrens wird eine Anzahl und Verteilung der mit dem Symbol überlagerten Rechtecke unter Anwendung einer Perfect-Maps-Theorie bestimmt. Hierdurch lässt sich eine globale Eindeutigkeit gewährleisten, welche Rechtecke mit dem Symbol überlagert werden. So lässt sich besonders zuverlässig auswählen, welche Rechtecke mit entsprechenden Symbolen zu überlagern sind, um die Positionen der Eckpunkte lokal eindeutig der Epipolargeometrie des Lichtmusters zuzuordnen. Hierdurch kann ein Rechenaufwand zur eindeutigen Zuordnung der Eckpunkte zu ihren charakteristischen Positionen im Lichtmuster reduziert werden.
-
Bevorzugt wird als Symbol ein Kreis verwendet, insbesondere ein in einem Mittelpunkt eines Rechtecks projizierter Kreis. Bei einem Kreis handelt es sich um eine besonders simple geometrische Form. Diese lässt sich besonders einfach in Kamerabildern erkennen. Dabei kann ein Kreis in einem Rechteck beliebig positioniert werden, besonders vorteilhaft ist jedoch das Positionieren in einem Flächenmittelpunkt eines Rechtecks, da hier das Symbol einen gleichmäßigen Abstand zu allen Eckpunkten eines Rechtecks aufweist.
-
Bei einem Fahrzeug mit einem Projektor, wenigstens einer Kamera und einer Recheneinheit ist erfindungsgemäß die Recheneinheit dazu eingerichtet, ein im vorigen beschriebenes Verfahren auszuführen. Bei dem Fahrzeug kann es sich um ein beliebiges Fahrzeug wie einen Pkw, Lkw, Transporter, Bus, Motorrad oder dergleichen handeln. Als Projektor lässt sich beispielsweise ein Matrixscheinwerfer des Fahrzeugs verwenden. Dabei kann es sich um einen Frontscheinwerfer des Fahrzeugs handeln oder um einen separaten Matrixscheinwerfer, welcher alleinig zur Erzeugung des Lichtmusters vorgesehen ist. Generell ist es auch denkbar, dass als Projektor beispielsweise ein Beamer oder Diaprojektor verwendet wird. Als Kamera lässt beispielsweise eine Multipurpose-Kamera des Fahrzeugs verwenden, welche bereits im Fahrzeug integriert ist, um beispielsweise eine Umgebung zu überwachen, um Schilder zu erkennen oder beispielsweise einen Fahrspurverlauf zu analysieren.
-
Bevorzugt umfasst das Fahrzeug wenigstens ein Fahrerassistenzsystem, welches dazu eingerichtet ist, die dreidimensionale Tiefeninformationskarte als Eingangsgröße zu berücksichtigen. Mit Hilfe der durch das erfindungsgemäße Verfahren ermittelten dreidimensionalen Tiefeninformationskarte können somit Fahrerassistenzsysteme gesteuert werden. So kann insbesondere eine Hinderniserkennung bei Dunkelheit verbessert werden, um auch nachts zuverlässig einen Notbremsassistenten und/oder einen Abstandsregeltempomat einsetzen zu können. So verfügt ein jeweiliges Fahrerassistenzsystem dank Einlesen der dreidimensionalen Tiefeninformationskarte über Abstandsinformationen bezüglich eines Relativabstands des Fahrzeugs zu entsprechenden in der Fahrzeugumgebung befindlichen Umgebungsobjekten.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens und des Fahrzeugs ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine Prinzipdarstellung einer Kalibration eines auf aktiver Triangulation beruhenden Systems zur Erzeugung von Tiefeninformationen;
- 2 eine Prinzipdarstellung des Systems zur Erzeugung von Tiefeninformationen aus 1 im Einsatz;
- 3 eine Prinzipdarstellung eines Verlaufs einer kalibrierten Epipolarlinie in einem Lichtmuster in Form eines Schachbretts;
- 4 eine Prinzipdarstellung eines Verlaufs einer kalibrierten Epipolarlinie in einem Lichtmuster in Form eines Rechteckfelds; und
- 5 eine Prinzipdarstellung eines durch Kreissymbole angereicherten Lichtmusters in Form eines Rechteckfelds.
-
1 zeigt ein Fahrzeug 10, welches mit Hilfe eines Projektors 3, hier in Form eines Matrixscheinwerfers, ein Lichtmuster 2 auf eine Fahrbahn 12 wirft. Das Lichtmuster 2 umfasst eine Vielzahl an Merkmalspunkten 1, von denen jedoch nur ein einziger gezeigt ist. Dabei breitet sich der Merkmalspunkt 1 auf einer Ausbreitungslinie vom Projektor 3 bis zur Fahrbahn 12, auf die das Lichtmuster 2 geworfen wird, aus. Die Ausbreitungslinie kann hier mit einer Epipolarlinie 5 gleichgesetzt werden, da die Epipolarlinie 5 in einem Kamerabild der Ausbreitungslinie entspricht. In dem Beispiel in 1 ist ein Frontbereich vor dem Fahrzeug 10 frei von jeglichen Hindernissen, sodass das Lichtmuster 2 ohne Beeinträchtigung auf die Fahrbahn 12 geworfen wird. So fällt ein Merkmalspunkt 1 in einer festgelegten Referenzdistanz Dref an einer Referenzposition Pref auf die Fahrbahn 12 und legt dabei eine Referenzwegstrecke Xref zwischen Projektor 3 und Fahrbahnoberfläche der Fahrbahn 12 zurück. Dabei lässt sich im Schritt der Kalibrierung die Referenzwegstrecke Xref in Abhängigkeit der bekannten Referenzdistanz und eines bekannten Winkels a, mit dem das Lichtmuster 2 vom Projektor 3 in Richtung der Fahrbahn 12 ausgestrahlt wird, bestimmen. Ein hierdurch kalibriertes System zur Gewinnung von Tiefeninformationen aus einer Kamera 4, einer Recheneinheit 11 und dem Projektor 3 ist dazu in der Lage, wie in 2 gezeigt, durch eine Bestimmung einer Istposition Xist, zu der ein Merkmalspunkt 1 auf seiner Epipolarlinie 5 auf eine Oberfläche trifft, eine Distanz Dgesucht zwischen Umgebungsobjekt 13 und Projektor 3 zu bestimmen. Dies setzt bekannte Lagebeziehungen zwischen Kamera 4 und Projektor 3 voraus. Dabei weist die Kamera 4 einen horizontalen und/oder vertikalen Versatz zum Projektor 3 auf, was durch die beiden gestrichelten Doppelpfeile angedeutet ist. Dadurch, dass die Kamera 4 einen Versatz zum Projektor 3 aufweist, ist sie dazu in der Lage, eine Position Pist zu erfassen, zu dem der Merkmalspunkt 1 auf der Epipolarlinie 5 auf eine Oberfläche trifft. In 1 fällt die Istposition Pist mit der Referenzposition Pref, zusammen da das Lichtmuster 2 ungehindert auf die Fahrbahn 12 fällt. Dabei werden von der Kamera 4 erzeugte Kamerabilder auf der Recheneinheit 11 ausgewertet. Als Lichtmuster 2 können verschiedene geometrische Muster, beispielsweise Linien, Gitter oder Schachbrettmuster, verwendet werden.
-
In 2 befindet sich ein Umgebungsobjekt 13 in einem Ausbreitungsbereich des Lichtmusters 2, wodurch der Merkmalspunkt 1 zu einer von der Referenzposition Pref abweichenden Position Pist reflektiert wird. Dabei legt der Merkmalspunkt 1 anstelle der Referenzwegstrecke Xref eine Istwegstrecke Xist zurück. Die Istwegstrecke Xist kann dabei durch Differenzbildung der Referenzwegstrecke Xref und einer Verschiebung ΔX des Merkmalpunkts 1 auf der Epipolarlinie 5 ermittelt werden. Somit ist die Verschiebung ΔX ein Maß dafür, wieweit das Umgebungsobjekt 13 bzw. eine Oberfläche des Umgebungsobjekts 13, auf die das Lichtmuster 2 fällt, vom Projektor 3 bzw. dem Fahrzeug 10 entfernt ist. Diese Information lässt sich zur Ausbildung der dreidimensionalen Tiefeninformationskarte nutzen und wird für sämtliche Merkmalspunkte 1 des Lichtmusters 2 bestimmt und ausgewertet. Hierdurch lässt sich eine dreidimensionale Tiefeninformationskarte der Umgebung erstellen. Desto mehr Merkmalspunkte 1 vom Lichtmuster 2 umfasst sind, desto genauer lassen sich Tiefeninformationen bestimmen. Dabei kann es jedoch vorkommen, dass mehrere Merkmalspunkte 1 gleichen Typs, das heißt ein Merkmalspunkt 1 mit einem gleichen Muster bzw. Form auf ein und derselben Epipolarlinie 5 liegen. In diesem Falle lässt sich eine eindeutige Zuordnung bzw. Differenzbildung zwischen der Referenzwegstrecke Xref und der Verschiebung ΔX zur Bestimmung der Istwegstrecke Xist nicht mehr durchführen, wodurch eine Genauigkeit zur Tiefeninformationsgewinnung sinkt. Dies ist noch einmal in 3 veranschaulicht.
-
So zeigt 3 ein bekanntes Lichtmuster 2 in Form eines Schachbretts. Dabei weisen einzelne Schachbrettfelder des Schachbretts dieselbe Höhe h und Breite b in eine Breitenrichtung Y und eine orthogonal zur Breitenrichtung Y verlaufende Höhenrichtung Z auf. Einzelne Rechtecke aus denen sich das Schachbrett zusammensetzt sind somit von ihrer Form her identisch. 3 zeigt eine einer Systemkalibration entsprechende Epipolarlinie 5 eines Merkmalspunkts 1. Dabei existieren mehrere Möglichkeiten, an denen sich der Merkmalspunkt 1 (Eckpunkte einander berührender Schachbrettfelder bzw. Rechtecke 8), angedeutet durch Kreise, auf der Epipolarlinie 5 befinden kann, da sich diese Punkte aufgrund der symmetrischen Gestalt des Schachbretts nicht unterscheiden. Mit anderen Worten besteht die Wahrscheinlichkeit, dass für einen bestimmten Merkmalspunkt 1 eine falsche Position Pist auf der Epipolarlinie 5 vorhergesagt wird, und damit eine falsche Verschiebung ΔX und somit auch eine falsche Tiefeninformation bzw. gesuchte Distanz Dgesucht berechnet wird. Dies ist noch einmal in 3 durch ein in der rechten Hälfte der Figur dargestelltes Diagramm verdeutlicht. Hierbei ist für die einzelnen Kreise auf der Epipolarlinie 5 (Abszisse des Diagramms) ein jeweiliger Abstand in Pixeln zur Epipolarlinie 5 dargestellt (Ordinate des Diagramms).
-
4 zeigt das Beispiel in 3 unter Verwendung eines erfindungsgemäßen Lichtmusters in Form eines Rechteckfelds. Dabei weisen einzelne Rechteckzeilen 6 und Rechteckspalten 7 des Rechteckfelds zueinander unterschiedliche Breiten b und Höhen h auf. Dies ermöglicht eine eindeutige Zuordnung einer Position Pist eines Merkmals 1 auf der jeweiligen Epipolarlinie 5. Dabei werden als Merkmalspunkte 1 Eckpunkte der jeweiligen Rechtecke 8 des Rechteckfelds genutzt. Dies verbessert eine Auswertung der von der Kamera 4 erzeugten Kamerabilder, da nicht nach Pixeln endlicher Breite gesucht wird, sondern nach scharfen Grenzen zwischen den Pixeln. Wie das Diagramm in 4 andeutet, existiert ein Minimum für den Kreis mit der Nummer 10, wodurch dieser Kreis bzw. die dem Kreis entsprechende Position Pist dem Merkmalspunkt 1 auf der Epipolarlinie 5 zuverlässig zugeordnet werden kann. Hierdurch lässt sich eine Genauigkeit, mit der Tiefeninformationen gewonnen werden, verbessern.
-
Es ist auch möglich, wie in 5 gezeigt wird, ein entsprechendes Rechteckfeld mit Symbolen 9 anzureichern. In dem Beispiel in 5 wird als Symbol 9 ein Kreis verwendet. Dieser wird insbesondere in einem Mittelpunkt eines jeweiligen Rechtecks 8 eingeblendet. Die einzelnen Kreise 9 werden dabei gemäß der Perfect-Maps-Theorie auf die einzelnen Rechtecke 8 verteilt. Hierdurch wird eine globale Eindeutigkeit gewährleistet, wodurch eine eindeutige Zuordnung der Merkmalspunkte 1 in Form von Eckpunkten aneinander angrenzender Rechtecke 8 mit vergleichsweise geringem Rechenaufwand ermöglicht wird. Hierdurch kann eine Zuverlässigkeit, mit der eine korrekte Verschiebung ΔX, und damit die gesuchte Distanz Dgesucht, bestimmt wird, verbessert werden.
-
In den Beispielen in den 3, 4 und 5 sind die Rechtecke 8 als helle und dunkle Rechtecke 8 dargestellt. Zur Erzeugung sich deutlich unterscheidender Rechtecke 8 können sich diese beispielsweise durch ihre Farbe, Helligkeit und/oder Polarität des ausgesendeten Lichts zur Erzeugung des Lichtmusters 2 unterscheiden. So weisen die in den 3, 4 und 5 weiß dargestellten Rechtecke 8 beispielsweise eine besonders helle Lichtintensität auf und die schwarzen Rechtecke 8 eine besonders niedrige Lichtintensität bzw. vollständige Dunkelheit auf. Dies trifft analog für die Symbole 9 zu.
-
Dank der zusätzlichen eindeutigen Codierung mit Hilfe der Symbole 9 ist auch bei in der Umgebung vorhandenen Störeinflüssen eine robuste Eckpunktdetektion möglich, wodurch zuverlässig Tiefeninformationen gewonnen werden können. Dabei entspricht die Wahl der Eckpunkte zwischen einzelnen Rechtecken 8 zur Ausbildung der Merkmalspunkte 1 einer Verwendung von Sattelpunkten in einer Helligkeitsverteilung bei Verwenden von unterschiedlichen Lichtintensitäten zur Ausbildung des Lichtmusters 2. Dies erlaubt eine sub-pixel genaue Identifizierung der Merkmalspunkte 1 in einem Kamerabild. Dies ist besonders vorteilhaft bei einer Verwendung von Projektoren 3 mit einer vergleichsweise geringen Auflösung zur Erzeugung des Lichtmusters 2. Somit lassen sich bei einer gleichbleibenden Tiefeninformationsgewinnungsgenauigkeit Projektoren 3 mit einer geringeren Auflösung einsetzen, wodurch Kosten gespart werden können. Bei Verwendung hochauflösender Projektoren 3 ist hingegen eine Genauigkeitsverbesserung bei der Tiefeninformationsgewinnung möglich.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2008/0118143 A1 [0007]
- DE 102015008774 A1 [0011]
