-
Die Erfindung betrifft Verfahren zur Erzeugung eines Tiefenbildes einer Umgebung eines Fahrzeugs, wobei das Tiefenbild aus einer Punktewolke gebildet wird und mittels jeweils eines Punktes der Punktewolke ein Tiefenwert für jeweils einen Bildpunkt eines zugehörigen Umgebungsbildes dargestellt wird.
-
Aus dem Stand der Technik ist allgemein bekannt, dass zur dreidimensionalen Darstellung einer Umgebung anhand von stereoskopisch erfassten Umgebungsbildern Tiefenbilder aus Punktewolken erzeugt werden, wobei mittels jeweils eines Punktes der Punktewolke eine Tiefeninformation für jeweils einen Bildpunkt eines zugehörigen Umgebungsbildes dargestellt wird.
-
Aus der
DE 10 2011 115 739 A1 ist ein Verfahren zur Darstellung virtueller Objekte in Fahrzeuganzeigen unter Verwendung eines von mindestens einer Kamera aufgezeichneten digitalen Bildes eines definierten realen dreidimensionalen Objektraumes bekannt, wobei in einem ersten Schritt durch Gewinnen von Perspektiveninformation aus dem digitalen Bild des definierten realen dreidimensionalen Objektraumes ein virtueller Straßenverlauf erzeugt wird und in einem zweiten Schritt ein vorbestimmtes virtuelles dreidimensionales Objekt generiert wird. In einem dritten Schritt wird das virtuelle dreidimensionale Objekt an der von dem virtuellen Straßenverlauf des definierten realen dreidimensionalen Objektraumes perspektivisch und ortgenau angepasst und in einem vierten Schritt wird das angepasste virtuelle dreidimensionale Objekt in den virtuellen Straßenverlauf des definierten realen dreidimensionalen Objektraumes integriert.
-
Weiterhin ist aus der
DE 10 2007 061 446 A1 ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten, auch als Pixel bezeichnet, in mindestens zwei stereoskopisch aufgenommenen Bildern bekannt, bei dem für eine Umgebung eines betrachteten Bildpunkts ein mittelwertbefreiter Intensitätsvergleich durchgeführt wird und danach eine semi-globale oder globale Optimierung durchgeführt wird.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Erzeugung eines Tiefenbildes einer Umgebung eines Fahrzeugs anzugeben.
-
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Erzeugung eines Tiefenbildes einer Umgebung eines Fahrzeugs wird das Tiefenbild aus einer Punktewolke gebildet und mittels jeweils eines Punktes der Punktewolke wird ein Tiefenwert für jeweils einen Bildpunkt eines zugehörigen Umgebungsbildes dargestellt.
-
Erfindungsgemäß werden für mehrere zeitlich nacheinander erfasste Umgebungsbilder Punktewolken ermittelt und in Abhängigkeit einer Eigenbewegung des Fahrzeugs werden die Punktewolken derart zu einer fusionierten Punktewolke transformiert und/oder fusioniert, dass für einen Bildpunkt eine Mehrzahl von Tiefenwerten vorliegt, wobei zur Bildung des Tiefenbildes aus der Mehrzahl der vorliegenden Tiefenwerte für jeden Bildpunkt mittels zumindest eines statistischen Verfahrens für vordefinierte Verdeckungsgeometrien ein Tiefenwert bestimmt wird.
-
Das Verfahren ermöglicht die Erzeugung sehr genauer und hochwertiger Tiefenbilder, mittels welchen beispielsweise bei einer Verwendung derselben zur Erzeugung einer augmentierten Realität, d. h. einer Überdeckung eines realen Bildes mit virtuellen Informationen, eine sehr genaue Anordnung der virtuellen Informationen möglichen ist und eine Verdeckung der virtuellen Informationen durch reale Objekte ermittelt werden kann.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch ein erstes Umgebungsbild, ein zugehöriges Tiefenbild und ein aus dem ersten Umgebungsbild und dem Tiefenbild gebildetes erstes Kombinationsbild,
-
2 schematisch ein zweites Umgebungsbild, ein zugehöriges Tiefenbild und ein aus dem zweiten Umgebungsbild und dem Tiefenbild gebildetes zweites Kombinationsbild, und
-
3 schematisch einen Ablauf eines Verfahrens zur Erzeugung eines Tiefenbildes.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 sind ein als Grauwertbild ausgebildetes erstes Umgebungsbild UB1, ein zugehöriges Tiefenbild TB1 und ein aus dem ersten Umgebungsbild UB1 und dem Tiefenbild TB1 gebildetes erstes Kombinationsbild KB1 dargestellt.
-
Zur dreidimensionalen Darstellung und Vermessung einer Umgebung eines Fahrzeugs werden mittels einer nicht näher dargestellten Stereokamera oder beispielsweise eines Lidarsystems Umgebungsbilder UB1 aus verschiedenen Perspektiven erfasst. In einer stereoskopischen Verarbeitung der Umgebungsbilder UB1 werden Tiefenbilder TB1 erzeugt, welche jeweils aus einer Punktewolke PW1 gebildet werden. Dabei stellt jeweils ein Punkt der Punktewolke eine Tiefeninformation oder einen Tiefenwert für jeweils einen Bildpunkt, auch als Pixel bezeichnet, des zugehörigen Umgebungsbildes UB1 dar. Hierbei wird zur Erzeugung des Tiefenbildes TB1 aus jeder zweidimensionalen Koordinate eines Bildpunkts im Umgebungsbild UB1 und einer Entfernung des Bildpunkts von der Stereokamera bzw. vom Fahrzeug ein Punkt in einer dreidimensionalen Realität errechnet. Aus allen Bildpunkten des Umgebungsbildes UB1 wird somit die Punktewolke PW1 ermittelt, welche ein grobes dreidimensionales Abbild der Fahrzeugumgebung darstellt.
-
Diese Tiefeninformationen werden beispielsweise dazu verwendet, um bei einer überlagerten Darstellung von realen Objekten O1 bis On des Umgebungsbildes UB1 mit virtuellen Informationen in einer erweiterten Realität oder so genannten Augmented Reality eine Positionierung und Zuordnung der virtuellen Informationen zu den Objekten O1 bis On im überlagerten Umgebungsbild UB1 zu ermöglichen. Die Anzeige erfolgt hierbei auf einem Bildschirm, wobei ein Kamerabild mit virtuellen Informationen überlagert wird, oder auf einem so genannten Head-up-Display, bei welchem die virtuellen Informationen derart auf einen transparenten Projektionsschirm im Sichtfeld eines Fahrers des Fahrzeugs projiziert werden, dass sich die virtuellen Information vermeintlich in Fahrtrichtung vor dem Fahrzeug befinden.
-
Dabei kann es vorkommen, dass eingeblendete virtuelle Informationen oder virtuelle Objekte, die in der Ferne dargestellt werden sollen, über Objekten O1 bis On liegen, durch welche die Sicht auf die virtuellen Informationen verdeckt werden müsste. Aufgrund der aus den Tiefenbildern TB1 bekannten Tiefeninformationen ist es möglich, eine solche Verdeckung zu ermitteln und bei der überlagerten Darstellung zu berücksichtigen.
-
Für eine exakte Ermittlung der Verdeckung ist ein hinsichtlich der Genauigkeit optimiertes Tiefenbild TB1 vorteilhaft, welches allein mit der Ermittlung des Tiefenbildes TB1 aus den stereoskopisch erfassten Umgebungsbildern UB1 nicht realisierbar ist. Bei mittels Stereokameras ermittelten Tiefenbildern TB1 entstehen Bereiche B1 ohne Tiefeninformation, verursacht durch einen so genannten Stereoschatten. Hierdurch kann es zu einem so genannten Flimmern oder einem Durchscheinen der überlagerten Informationen durch die Objekte O1 bis On oder unsaubere Kanten kommen. Unter einem Stereoschatten wird dabei ein systematischer Fehler verstanden, der durch die unterschiedlichen Blickwinkel der beiden Kameras der Stereokamera zu Stande kommt. Bildpunkte, die im Erfassungsbereich einer Referenzkamera liegen, jedoch nicht im Erfassungsbereich der verbleibenden Kamera, bleiben undefiniert.
-
Weiterhin wird bei mittels Stereokameras und anderen geeigneten Bilderfassungseinheiten ermittelten Punktewolken PW ausschließlich eine momentane Tiefeninformation der Objekte O1 bis On einer auf einem Umgebungsbild UB1 dargestellten realen Szene ermittelt. Die beschriebenen Anwendungen mit einer überlagerten Darstellung erfordern jedoch die Kenntnis darüber, ob die Objekte O1 bis On in einer Szene statisch ortsfest oder bewegt sind, um bei der überlagerten Darstellung von virtuellen Informationen, beispielsweise Navigationspfeilen bei einem Navigationssystem, entscheiden zu können, ob die virtuellen Informationen bei einer der überlagerten Darstellung an einer bestimmten Position dauerhaft oder kurzfristig zumindest teilweise von den Objekten O1 bis On verdeckt werden.
-
2 zeigt ein als Grauwertbild ausgebildetes zweites Umgebungsbild UB2, ein zugehöriges Tiefenbild TB2 und ein aus dem zweiten Umgebungsbild UB2 und dem Tiefenbild TB2 gebildetes zweites Kombinationsbild KB2.
-
Die Erfassung und Erzeugung des zweiten Umgebungsbildes UB2, des zugehörigen Tiefenbildes TB2 des zweiten Kombinationsbildes KB2 erfolgt dabei analog zur Beschreibung in 1.
-
Im Unterschied zu dem in 1 dargestellten ersten Tiefenbild TB1 weist das zweite Tiefenbild TB2 bzw. eine Punktewolke PW2 mehrere kleine Bereiche B1 bis Bm ohne Tiefeninformationen auf, welche aufgrund von Reflexionen an Scheiben der als Fahrzeuge ausgebildeten Objekte O1, O2 entstehen. Auch aufgrund dieser Reflexionen und der daraus resultierenden Bereiche B1 bis Bm kann es zu einem Flimmern oder einem Durchscheinen der überlagerten Informationen durch die Objekte O1 bis O2 oder unsaubere Kanten kommen.
-
Reflektierende Oberflächen sehen aus nur leicht unterschiedlichen Blickwinkeln stark verschieden aus, da meist weit entfernte Objekte O1 bis On reflektiert werden. In der stereoskopischen Bildverarbeitung ist es nicht möglich, aus den Umgebungsbildern UB2 Tiefenwerte für derartige Oberflächen zu bestimmen. Oberflächen, wie beispielsweise Fahrzeugscheiben, sind zudem transparent ausgebildet. Die Kameras der Stereokamera erfassen somit eine Mischung aus Reflexionen und den Objekten O1 bis On, die sich hinter der Fahrzeugscheibe befinden. Da die Fahrzeugscheiben selbst oftmals keine Merkmale aufweisen, anhand welcher eine Entfernung der Fahrzeugscheibe zur Stereokamera ermittelbar ist, kann im Bereich der Fahrzeugscheiben keine zuverlässige Ermittlung von Tiefenwerten erfolgen. Auch bei dem aus dem Stand der Technik bekannten robusten so genannten Semi-Global-Matching-Algorithmus kann ein Rauschen in den Tiefenbildern TB2 erhalten bleiben.
-
In 3 ist ein Ablauf eines möglichen Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Erzeugung eines Tiefenbildes TB1, TB2 dargestellt.
-
Zur Überwindung der in der Beschreibung zu den 1 und 2 genannten Nachteile sieht das Verfahren vor, dass für mehrere zeitlich nacheinander erfasste Umgebungsbilder UB1, UB2 Punktewolken PW1 bis PWx ermittelt werden und unter Berücksichtigung einer Eigenbewegung E des Fahrzeugs die Punktewolken PW1 bis PWx zu einem Tiefenbild TB1', TB2', TB3' vereinigt werden.
-
Während einer Fahrt des Fahrzeugs werden die Punktewolken PW1 bis PWx beispielsweise mit einer Bildwiederholrate der Stereokamera erzeugt, so dass beispielsweise pro Sekunde 20 oder 30 Punktewolken PW1 bis PWx erzeugt werden. Aufgrund der Bewegung des Fahrzeugs wird jede dieser Punktewolken PW1 bis PWx aus einer anderen Perspektive gewonnen. Da die Eigenbewegung E des Fahrzeugs aufgrund geeigneter Erfassungsmethoden exakt bekannt ist, können alle Punktewolken PW1 bis PWx der Vergangenheit durch eine geeignete geometrische Transformation auf die aktuelle Position des Fahrzeugs umgerechnet bzw. transformiert werden.
-
Dabei werden die Punktewolken PW1 bis PWx entsprechend der Bewegung des Fahrzeugs zu einer fusionierten Punktewolke PW' transformiert, um die unterschiedlichen Betrachtungswinkel und Positionen zu kompensieren. Die Bewegung des Fahrzeugs in Bezug auf die Umgebung wird aus Daten über die Eigenbewegung E ermittelt, wobei die Daten beispielsweis mittels visueller Odometrie, einer Fahrzeugsensorik und/oder mittels globaler und/oder lokaler Positionierungssysteme ermittelt werden.
-
Aufgrund der derart fusionierten bzw. transformierten Punktewolken PW1 bis PWx liegen nach einer Vorverarbeitung VV für jeden Tiefenbildpunkt mehrere möglicherweise gültige Tiefenwerte vor. Aus diesem Grund wird zur Bildung des Tiefenbildes TB1', TB2', TB3' aus der Mehrzahl der vorliegenden Tiefenwerte für jeden Tiefenbildpunkt mittels statistischer Verfahren SV1 bis SV3 für vordefinierte Verdeckungsgeometrien ein Tiefenwert bestimmt.
-
In der Vorverarbeitung VV geschätzte Tiefenwerte werden bei der Fusion bzw. Transformation der Punktewolken PW1 bis PWx ignoriert, wenn aus anderen Tiefenbildern TB1, TB2 gemessene Werte für den jeweiligen Tiefenbildpunkt vorliegen.
-
Die Bestimmung des Tiefenwertes für den entsprechenden Tiefenbildpunkt erfolgt dabei je nach vorgesehenem Einsatzzweck des zu erzeugenden Tiefenbildes TB1', TB2', TB3' durch verschiedene statistische Verfahren SV1 bis SV3.
-
In einem ersten statistischen Verfahren SV1 wird in längerfristig durch Objekte O1 bis On verdeckten Bereichen der fusionierten Punktewolke PW' zur Bildung des Tiefenbildes TB1' der Tiefenwert aus der Mehrzahl der vorliegenden Tiefenwerte gewählt, welcher die kleinste Tiefe aufweist.
-
Das heißt, es wird die Pixel- bzw. Bildpunktdefinition mit geringster Tiefe, d. h. dem geringsten Abstand zur Stereokamera verwendet, um eine Verdeckungsgeometrie zu berechnen. Bewegliche Objekte O1 bis On erscheinen dabei in nicht näher dargestellter Weise mit ihrer über die Zeit verdeckten Hüllgeometrie als großes, lang gezogenes Objekt in dem ermittelten Tiefenbild TB1'. Außerdem werden Effekte wie Rauschen und einzelne Ausreißer verstärkt anstatt gedämpft, da diese häufig die Definition mit der geringsten Tiefe sind. Die somit ermittelte Verdeckungsgeometrie kann deshalb dazu verwendet werden, Bildbereiche zu ermitteln, die über eine längere Zeit nicht verdeckt sind, um in diesem Bildbereichen virtuelle Informationen darzustellen, die für eine längere Zeitdauer sichtbar sein sollen.
-
In einem zweiten statistischen Verfahren SV2 werden in Bereichen der fusionierten Punktewolke PW' ohne bewegte Objekte O1 bis On zur Bildung des Tiefenbildes TB2' Tiefenwerte aus der Mehrzahl der vorliegenden Tiefenwerte verworfen, welche stark von anderen Tiefenwerten abweichen.
-
Das heißt, zur Ermittlung der Umgebungsgeometrie ohne bewegte Objekte O1 bis On werden nach der Fusion der Punktewolken PW1 bis PWx Tiefenwerte, die stark von anderen Messungen abweichen, d. h. so genannte Ausreißer, entfernt.
-
Eine Anzahl der fusionierten Tiefenbilder bzw. Punktewolken PW1 bis PWx, d. h. ein zeitlicher Betrachtungsrahmen, wird dabei geeignet zur Bewegungsgeschwindigkeit und zeitlichen Auflösung der Tiefenbilder gewählt.
-
In einem dritten statistischen Verfahren SV3 werden in Bereichen der fusionierten Punktewolke PW' ohne bewegte Objekte O1 bis On in momentan verdeckten Bereichen der fusionierten Punktewolke PW' zur Bildung des Tiefenbildes TB3' Tiefenwerte dann durch Tiefenwerte zumindest eines aktuelleren Tiefenbildes ersetzt, wenn die aktuellen Tiefenwerte eine kleinere Tiefe als die zu ersetzenden Tiefenwerte aufweisen.
-
Das heißt, zur Ermittlung einer optimierten Verdeckungsgeometrie für die aktuell durch Objekte O1 bis On verdeckten Bereiche wird die mittels des zweiten statistischen Verfahrens SV2 ermittelte Verdeckungsgeometrie ohne bewegte Objekte O1 bis On zusätzlich mit einem oder mehreren aktuellen Tiefenbildern kombiniert. Dabei werden Tiefenwerte aus dem Tiefenbild TB2' durch Tiefenwerte aus einem oder mehreren aktuellen Tiefenbildern ersetzt, wenn diese eine kürzere Distanz zum Beobachter beinhalten. Dadurch wird eine besonders hohe Qualität der Verdeckungsgeometrie in Bildbereichen ohne Bewegung mit einer korrekten Verdeckungsgeometrie für kurzfristig verdeckte Bereiche kombiniert.
-
Die Durchführung der dargestellten statistischen Verfahren SV1 bis SV3 kann dabei einzeln oder in beliebiger Kombination miteinander erfolgen.
-
In einer möglichen Ausgestaltung des Verfahrens werden das zweite und dritte statistische Verfahren SV2, SV3 zur Reduktion eines Rechenaufwandes kombiniert. Für Tiefenkartenbildpunkte mit hoher Standardabweichung wird der Tiefenwert aus dem aktuellsten Tiefenbild ins Ergebnis übernommen, für Tiefenkartenbildpunkte mit einer geringen Standardabweichung wird der Ergebniswert nach anderen statistischen Verfahren ermittelt.
-
Zusätzlich zu den durchgeführten statistischen Verfahren SV1 bis SV3 wird sowohl vor der Durchführung der statistischen Verfahren SV1 bis SV3 als auch anschließend zumindest in undefinierten Bereichen B1 bis Bm ohne Tiefeninformation eine zweidimensionale Optimierung mittels eines Optimierungsverfahrens OV durchgeführt.
-
Die zweidimensionale Optimierung behandelt dabei drei unterschiedliche Klassen von undefinierten Bereichen B1 bis Bm in den Punktewolken PW1 bis PWx bzw. den Tiefenbildern TB1', TB2', TB3' und bearbeitet und optimiert für eine jeweilige Erfassungseinheit, beispielsweise eine Stereokamera, spezifische Eigenschaften der erzeugten Punktewolken PW1 bis PWx und Tiefenbilder TB1', TB2', TB3'.
-
Hierbei werden in der zweidimensionalen Optimierung Stereoschatten entfernt. Zu diesem Zweck werden in dem in 1 gezeigten undefinierten Bereich B1 die Tiefeninformation zeilenweise mit dem Tiefenwert eines linken Randes aufgefüllt. In einer möglichen Ausgestaltung wird dabei auch der Gradient der Tiefeninformationen nahe des Randes berücksichtigt und die Tiefenwerte werden zusätzlich geschätzt. Diese Markierung wird benutzt, um gemessene Tiefenwerte gegenüber geschätzten Tiefenwerten bei der Fusion der Punktewolken PW1 bis PWx bevorzugt berücksichtigen zu können.
-
Weiterhin werden in der zweidimensionalen Optimierung Tiefenwerte für im Umgebungsbild UB1, UB2 dargestellte reflektierende Oberflächen und/oder transparente Oberflächen optimiert, um die in 2 dargestellten undefinierten Bereiche B1 bis Bm, welche das so genannte Rauschen darstellen, zu optimieren. Die dabei aufgrund von Rauschen oder Reflexionen in den undefinierten Bereichen B1 bis Bm der Punktewolken PW1 bis PWx und Tiefenbildern TB1', TB2', TB3' entstehenden Lücken sind meist klein und zeichnen sich dadurch aus, dass ihre Ränder Teil desselben Objekts O1 bis On sind. Um den Verlauf des entsprechenden Objekts O1 bis On anzunähern, wird zeilenweise linear zwischen dem linken und rechten Rand interpoliert. Auch in dieser Optimierung werden geschätzte Tiefenwerte wieder markiert, um gemessene Tiefenwerte gegenüber geschätzten Tiefenwerten bei der Fusion der Punktewolken PW1 bis PWx bevorzugt berücksichtigen zu können.
-
Weiterhin werden in der zweidimensionalen Optimierung Tiefenwerte für im Umgebungsbild UB1, UB2 dargestellte Bereiche des Himmels optimiert, um Bereiche bzw. ”Flecken” mit geringerer Tiefe im Bereich des Himmels zu entfernen.
-
Die beschriebenen Optimierungsschritte können dabei einzeln oder in beliebiger Kombination, beispielsweise in einem gemeinsamen Verarbeitungsblock, durchgeführt werden.
-
Bezugszeichenliste
-
-
- B1 bis Bm
- Bereich
- E
- Eigenbewegung
- KB1, KB2
- Kombinationsbild
- O1 bis On
- Objekt
- OV
- Optimierungsverfahren
- PW1 bis PWx
- Punktewolke
- PW'
- Punktewolke
- SV1 bis SV3
- statistisches Verfahren
- TB1, TB2
- Tiefenbild
- TB1', TB2', TB3'
- Tiefenbild
- UB1, UB2
- Umgebungsbild
- VV
- Vorverarbeitung
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011115739 A1 [0003]
- DE 102007061446 A1 [0004]
