DE102014018419A1 - Verfahren zur Erzeugung eines Tiefenbildes - Google Patents

Verfahren zur Erzeugung eines Tiefenbildes Download PDF

Info

Publication number
DE102014018419A1
DE102014018419A1 DE102014018419.6A DE102014018419A DE102014018419A1 DE 102014018419 A1 DE102014018419 A1 DE 102014018419A1 DE 102014018419 A DE102014018419 A DE 102014018419A DE 102014018419 A1 DE102014018419 A1 DE 102014018419A1
Authority
DE
Germany
Prior art keywords
depth
image
depth values
point cloud
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014018419.6A
Other languages
English (en)
Inventor
Christian Grünler
Marc Necker
Qing Rao
Robert Tagscherer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102014018419.6A priority Critical patent/DE102014018419A1/de
Publication of DE102014018419A1 publication Critical patent/DE102014018419A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erzeugung eines Tiefenbildes (TB1', TB2', TB3') einer Umgebung eines Fahrzeugs, wobei das Tiefenbild (TB1', TB2', TB3') aus einer Punktewolke (PW') gebildet wird und mittels jeweils eines Punktes der Punktewolke (PW') ein Tiefenwert für jeweils einen Bildpunkt eines zugehörigen Umgebungsbildes (UB1, UB2) dargestellt wird. Erfindungsgemäß werden für mehrere zeitlich nacheinander erfasste Umgebungsbilder (UB1, UB2) Punktewolken (PW1 bis PWx) ermittelt und in Abhängigkeit einer Eigenbewegung (E) des Fahrzeugs werden die Punktewolken (PW1 bis PWx) derart zu einer fusionierten Punktewolke (PW') transformiert und/oder fusioniert, dass für einen Bildpunkt eine Mehrzahl von Tiefenwerten vorliegt, wobei zur Bildung des Tiefenbildes (TB1', TB2, TB3') aus der Mehrzahl der vorliegenden Tiefenwerte für jeden Bildpunkt mittels zumindest eines statistischen Verfahrens (SV1 bis SV3) für vordefinierte Verdeckungsgeometrien ein Tiefenwert bestimmt wird.

Description

  • Die Erfindung betrifft Verfahren zur Erzeugung eines Tiefenbildes einer Umgebung eines Fahrzeugs, wobei das Tiefenbild aus einer Punktewolke gebildet wird und mittels jeweils eines Punktes der Punktewolke ein Tiefenwert für jeweils einen Bildpunkt eines zugehörigen Umgebungsbildes dargestellt wird.
  • Aus dem Stand der Technik ist allgemein bekannt, dass zur dreidimensionalen Darstellung einer Umgebung anhand von stereoskopisch erfassten Umgebungsbildern Tiefenbilder aus Punktewolken erzeugt werden, wobei mittels jeweils eines Punktes der Punktewolke eine Tiefeninformation für jeweils einen Bildpunkt eines zugehörigen Umgebungsbildes dargestellt wird.
  • Aus der DE 10 2011 115 739 A1 ist ein Verfahren zur Darstellung virtueller Objekte in Fahrzeuganzeigen unter Verwendung eines von mindestens einer Kamera aufgezeichneten digitalen Bildes eines definierten realen dreidimensionalen Objektraumes bekannt, wobei in einem ersten Schritt durch Gewinnen von Perspektiveninformation aus dem digitalen Bild des definierten realen dreidimensionalen Objektraumes ein virtueller Straßenverlauf erzeugt wird und in einem zweiten Schritt ein vorbestimmtes virtuelles dreidimensionales Objekt generiert wird. In einem dritten Schritt wird das virtuelle dreidimensionale Objekt an der von dem virtuellen Straßenverlauf des definierten realen dreidimensionalen Objektraumes perspektivisch und ortgenau angepasst und in einem vierten Schritt wird das angepasste virtuelle dreidimensionale Objekt in den virtuellen Straßenverlauf des definierten realen dreidimensionalen Objektraumes integriert.
  • Weiterhin ist aus der DE 10 2007 061 446 A1 ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten, auch als Pixel bezeichnet, in mindestens zwei stereoskopisch aufgenommenen Bildern bekannt, bei dem für eine Umgebung eines betrachteten Bildpunkts ein mittelwertbefreiter Intensitätsvergleich durchgeführt wird und danach eine semi-globale oder globale Optimierung durchgeführt wird.
  • Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Erzeugung eines Tiefenbildes einer Umgebung eines Fahrzeugs anzugeben.
  • Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
  • Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
  • In einem Verfahren zur Erzeugung eines Tiefenbildes einer Umgebung eines Fahrzeugs wird das Tiefenbild aus einer Punktewolke gebildet und mittels jeweils eines Punktes der Punktewolke wird ein Tiefenwert für jeweils einen Bildpunkt eines zugehörigen Umgebungsbildes dargestellt.
  • Erfindungsgemäß werden für mehrere zeitlich nacheinander erfasste Umgebungsbilder Punktewolken ermittelt und in Abhängigkeit einer Eigenbewegung des Fahrzeugs werden die Punktewolken derart zu einer fusionierten Punktewolke transformiert und/oder fusioniert, dass für einen Bildpunkt eine Mehrzahl von Tiefenwerten vorliegt, wobei zur Bildung des Tiefenbildes aus der Mehrzahl der vorliegenden Tiefenwerte für jeden Bildpunkt mittels zumindest eines statistischen Verfahrens für vordefinierte Verdeckungsgeometrien ein Tiefenwert bestimmt wird.
  • Das Verfahren ermöglicht die Erzeugung sehr genauer und hochwertiger Tiefenbilder, mittels welchen beispielsweise bei einer Verwendung derselben zur Erzeugung einer augmentierten Realität, d. h. einer Überdeckung eines realen Bildes mit virtuellen Informationen, eine sehr genaue Anordnung der virtuellen Informationen möglichen ist und eine Verdeckung der virtuellen Informationen durch reale Objekte ermittelt werden kann.
  • Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1 schematisch ein erstes Umgebungsbild, ein zugehöriges Tiefenbild und ein aus dem ersten Umgebungsbild und dem Tiefenbild gebildetes erstes Kombinationsbild,
  • 2 schematisch ein zweites Umgebungsbild, ein zugehöriges Tiefenbild und ein aus dem zweiten Umgebungsbild und dem Tiefenbild gebildetes zweites Kombinationsbild, und
  • 3 schematisch einen Ablauf eines Verfahrens zur Erzeugung eines Tiefenbildes.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • In 1 sind ein als Grauwertbild ausgebildetes erstes Umgebungsbild UB1, ein zugehöriges Tiefenbild TB1 und ein aus dem ersten Umgebungsbild UB1 und dem Tiefenbild TB1 gebildetes erstes Kombinationsbild KB1 dargestellt.
  • Zur dreidimensionalen Darstellung und Vermessung einer Umgebung eines Fahrzeugs werden mittels einer nicht näher dargestellten Stereokamera oder beispielsweise eines Lidarsystems Umgebungsbilder UB1 aus verschiedenen Perspektiven erfasst. In einer stereoskopischen Verarbeitung der Umgebungsbilder UB1 werden Tiefenbilder TB1 erzeugt, welche jeweils aus einer Punktewolke PW1 gebildet werden. Dabei stellt jeweils ein Punkt der Punktewolke eine Tiefeninformation oder einen Tiefenwert für jeweils einen Bildpunkt, auch als Pixel bezeichnet, des zugehörigen Umgebungsbildes UB1 dar. Hierbei wird zur Erzeugung des Tiefenbildes TB1 aus jeder zweidimensionalen Koordinate eines Bildpunkts im Umgebungsbild UB1 und einer Entfernung des Bildpunkts von der Stereokamera bzw. vom Fahrzeug ein Punkt in einer dreidimensionalen Realität errechnet. Aus allen Bildpunkten des Umgebungsbildes UB1 wird somit die Punktewolke PW1 ermittelt, welche ein grobes dreidimensionales Abbild der Fahrzeugumgebung darstellt.
  • Diese Tiefeninformationen werden beispielsweise dazu verwendet, um bei einer überlagerten Darstellung von realen Objekten O1 bis On des Umgebungsbildes UB1 mit virtuellen Informationen in einer erweiterten Realität oder so genannten Augmented Reality eine Positionierung und Zuordnung der virtuellen Informationen zu den Objekten O1 bis On im überlagerten Umgebungsbild UB1 zu ermöglichen. Die Anzeige erfolgt hierbei auf einem Bildschirm, wobei ein Kamerabild mit virtuellen Informationen überlagert wird, oder auf einem so genannten Head-up-Display, bei welchem die virtuellen Informationen derart auf einen transparenten Projektionsschirm im Sichtfeld eines Fahrers des Fahrzeugs projiziert werden, dass sich die virtuellen Information vermeintlich in Fahrtrichtung vor dem Fahrzeug befinden.
  • Dabei kann es vorkommen, dass eingeblendete virtuelle Informationen oder virtuelle Objekte, die in der Ferne dargestellt werden sollen, über Objekten O1 bis On liegen, durch welche die Sicht auf die virtuellen Informationen verdeckt werden müsste. Aufgrund der aus den Tiefenbildern TB1 bekannten Tiefeninformationen ist es möglich, eine solche Verdeckung zu ermitteln und bei der überlagerten Darstellung zu berücksichtigen.
  • Für eine exakte Ermittlung der Verdeckung ist ein hinsichtlich der Genauigkeit optimiertes Tiefenbild TB1 vorteilhaft, welches allein mit der Ermittlung des Tiefenbildes TB1 aus den stereoskopisch erfassten Umgebungsbildern UB1 nicht realisierbar ist. Bei mittels Stereokameras ermittelten Tiefenbildern TB1 entstehen Bereiche B1 ohne Tiefeninformation, verursacht durch einen so genannten Stereoschatten. Hierdurch kann es zu einem so genannten Flimmern oder einem Durchscheinen der überlagerten Informationen durch die Objekte O1 bis On oder unsaubere Kanten kommen. Unter einem Stereoschatten wird dabei ein systematischer Fehler verstanden, der durch die unterschiedlichen Blickwinkel der beiden Kameras der Stereokamera zu Stande kommt. Bildpunkte, die im Erfassungsbereich einer Referenzkamera liegen, jedoch nicht im Erfassungsbereich der verbleibenden Kamera, bleiben undefiniert.
  • Weiterhin wird bei mittels Stereokameras und anderen geeigneten Bilderfassungseinheiten ermittelten Punktewolken PW ausschließlich eine momentane Tiefeninformation der Objekte O1 bis On einer auf einem Umgebungsbild UB1 dargestellten realen Szene ermittelt. Die beschriebenen Anwendungen mit einer überlagerten Darstellung erfordern jedoch die Kenntnis darüber, ob die Objekte O1 bis On in einer Szene statisch ortsfest oder bewegt sind, um bei der überlagerten Darstellung von virtuellen Informationen, beispielsweise Navigationspfeilen bei einem Navigationssystem, entscheiden zu können, ob die virtuellen Informationen bei einer der überlagerten Darstellung an einer bestimmten Position dauerhaft oder kurzfristig zumindest teilweise von den Objekten O1 bis On verdeckt werden.
  • 2 zeigt ein als Grauwertbild ausgebildetes zweites Umgebungsbild UB2, ein zugehöriges Tiefenbild TB2 und ein aus dem zweiten Umgebungsbild UB2 und dem Tiefenbild TB2 gebildetes zweites Kombinationsbild KB2.
  • Die Erfassung und Erzeugung des zweiten Umgebungsbildes UB2, des zugehörigen Tiefenbildes TB2 des zweiten Kombinationsbildes KB2 erfolgt dabei analog zur Beschreibung in 1.
  • Im Unterschied zu dem in 1 dargestellten ersten Tiefenbild TB1 weist das zweite Tiefenbild TB2 bzw. eine Punktewolke PW2 mehrere kleine Bereiche B1 bis Bm ohne Tiefeninformationen auf, welche aufgrund von Reflexionen an Scheiben der als Fahrzeuge ausgebildeten Objekte O1, O2 entstehen. Auch aufgrund dieser Reflexionen und der daraus resultierenden Bereiche B1 bis Bm kann es zu einem Flimmern oder einem Durchscheinen der überlagerten Informationen durch die Objekte O1 bis O2 oder unsaubere Kanten kommen.
  • Reflektierende Oberflächen sehen aus nur leicht unterschiedlichen Blickwinkeln stark verschieden aus, da meist weit entfernte Objekte O1 bis On reflektiert werden. In der stereoskopischen Bildverarbeitung ist es nicht möglich, aus den Umgebungsbildern UB2 Tiefenwerte für derartige Oberflächen zu bestimmen. Oberflächen, wie beispielsweise Fahrzeugscheiben, sind zudem transparent ausgebildet. Die Kameras der Stereokamera erfassen somit eine Mischung aus Reflexionen und den Objekten O1 bis On, die sich hinter der Fahrzeugscheibe befinden. Da die Fahrzeugscheiben selbst oftmals keine Merkmale aufweisen, anhand welcher eine Entfernung der Fahrzeugscheibe zur Stereokamera ermittelbar ist, kann im Bereich der Fahrzeugscheiben keine zuverlässige Ermittlung von Tiefenwerten erfolgen. Auch bei dem aus dem Stand der Technik bekannten robusten so genannten Semi-Global-Matching-Algorithmus kann ein Rauschen in den Tiefenbildern TB2 erhalten bleiben.
  • In 3 ist ein Ablauf eines möglichen Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Erzeugung eines Tiefenbildes TB1, TB2 dargestellt.
  • Zur Überwindung der in der Beschreibung zu den 1 und 2 genannten Nachteile sieht das Verfahren vor, dass für mehrere zeitlich nacheinander erfasste Umgebungsbilder UB1, UB2 Punktewolken PW1 bis PWx ermittelt werden und unter Berücksichtigung einer Eigenbewegung E des Fahrzeugs die Punktewolken PW1 bis PWx zu einem Tiefenbild TB1', TB2', TB3' vereinigt werden.
  • Während einer Fahrt des Fahrzeugs werden die Punktewolken PW1 bis PWx beispielsweise mit einer Bildwiederholrate der Stereokamera erzeugt, so dass beispielsweise pro Sekunde 20 oder 30 Punktewolken PW1 bis PWx erzeugt werden. Aufgrund der Bewegung des Fahrzeugs wird jede dieser Punktewolken PW1 bis PWx aus einer anderen Perspektive gewonnen. Da die Eigenbewegung E des Fahrzeugs aufgrund geeigneter Erfassungsmethoden exakt bekannt ist, können alle Punktewolken PW1 bis PWx der Vergangenheit durch eine geeignete geometrische Transformation auf die aktuelle Position des Fahrzeugs umgerechnet bzw. transformiert werden.
  • Dabei werden die Punktewolken PW1 bis PWx entsprechend der Bewegung des Fahrzeugs zu einer fusionierten Punktewolke PW' transformiert, um die unterschiedlichen Betrachtungswinkel und Positionen zu kompensieren. Die Bewegung des Fahrzeugs in Bezug auf die Umgebung wird aus Daten über die Eigenbewegung E ermittelt, wobei die Daten beispielsweis mittels visueller Odometrie, einer Fahrzeugsensorik und/oder mittels globaler und/oder lokaler Positionierungssysteme ermittelt werden.
  • Aufgrund der derart fusionierten bzw. transformierten Punktewolken PW1 bis PWx liegen nach einer Vorverarbeitung VV für jeden Tiefenbildpunkt mehrere möglicherweise gültige Tiefenwerte vor. Aus diesem Grund wird zur Bildung des Tiefenbildes TB1', TB2', TB3' aus der Mehrzahl der vorliegenden Tiefenwerte für jeden Tiefenbildpunkt mittels statistischer Verfahren SV1 bis SV3 für vordefinierte Verdeckungsgeometrien ein Tiefenwert bestimmt.
  • In der Vorverarbeitung VV geschätzte Tiefenwerte werden bei der Fusion bzw. Transformation der Punktewolken PW1 bis PWx ignoriert, wenn aus anderen Tiefenbildern TB1, TB2 gemessene Werte für den jeweiligen Tiefenbildpunkt vorliegen.
  • Die Bestimmung des Tiefenwertes für den entsprechenden Tiefenbildpunkt erfolgt dabei je nach vorgesehenem Einsatzzweck des zu erzeugenden Tiefenbildes TB1', TB2', TB3' durch verschiedene statistische Verfahren SV1 bis SV3.
  • In einem ersten statistischen Verfahren SV1 wird in längerfristig durch Objekte O1 bis On verdeckten Bereichen der fusionierten Punktewolke PW' zur Bildung des Tiefenbildes TB1' der Tiefenwert aus der Mehrzahl der vorliegenden Tiefenwerte gewählt, welcher die kleinste Tiefe aufweist.
  • Das heißt, es wird die Pixel- bzw. Bildpunktdefinition mit geringster Tiefe, d. h. dem geringsten Abstand zur Stereokamera verwendet, um eine Verdeckungsgeometrie zu berechnen. Bewegliche Objekte O1 bis On erscheinen dabei in nicht näher dargestellter Weise mit ihrer über die Zeit verdeckten Hüllgeometrie als großes, lang gezogenes Objekt in dem ermittelten Tiefenbild TB1'. Außerdem werden Effekte wie Rauschen und einzelne Ausreißer verstärkt anstatt gedämpft, da diese häufig die Definition mit der geringsten Tiefe sind. Die somit ermittelte Verdeckungsgeometrie kann deshalb dazu verwendet werden, Bildbereiche zu ermitteln, die über eine längere Zeit nicht verdeckt sind, um in diesem Bildbereichen virtuelle Informationen darzustellen, die für eine längere Zeitdauer sichtbar sein sollen.
  • In einem zweiten statistischen Verfahren SV2 werden in Bereichen der fusionierten Punktewolke PW' ohne bewegte Objekte O1 bis On zur Bildung des Tiefenbildes TB2' Tiefenwerte aus der Mehrzahl der vorliegenden Tiefenwerte verworfen, welche stark von anderen Tiefenwerten abweichen.
  • Das heißt, zur Ermittlung der Umgebungsgeometrie ohne bewegte Objekte O1 bis On werden nach der Fusion der Punktewolken PW1 bis PWx Tiefenwerte, die stark von anderen Messungen abweichen, d. h. so genannte Ausreißer, entfernt.
  • Eine Anzahl der fusionierten Tiefenbilder bzw. Punktewolken PW1 bis PWx, d. h. ein zeitlicher Betrachtungsrahmen, wird dabei geeignet zur Bewegungsgeschwindigkeit und zeitlichen Auflösung der Tiefenbilder gewählt.
  • In einem dritten statistischen Verfahren SV3 werden in Bereichen der fusionierten Punktewolke PW' ohne bewegte Objekte O1 bis On in momentan verdeckten Bereichen der fusionierten Punktewolke PW' zur Bildung des Tiefenbildes TB3' Tiefenwerte dann durch Tiefenwerte zumindest eines aktuelleren Tiefenbildes ersetzt, wenn die aktuellen Tiefenwerte eine kleinere Tiefe als die zu ersetzenden Tiefenwerte aufweisen.
  • Das heißt, zur Ermittlung einer optimierten Verdeckungsgeometrie für die aktuell durch Objekte O1 bis On verdeckten Bereiche wird die mittels des zweiten statistischen Verfahrens SV2 ermittelte Verdeckungsgeometrie ohne bewegte Objekte O1 bis On zusätzlich mit einem oder mehreren aktuellen Tiefenbildern kombiniert. Dabei werden Tiefenwerte aus dem Tiefenbild TB2' durch Tiefenwerte aus einem oder mehreren aktuellen Tiefenbildern ersetzt, wenn diese eine kürzere Distanz zum Beobachter beinhalten. Dadurch wird eine besonders hohe Qualität der Verdeckungsgeometrie in Bildbereichen ohne Bewegung mit einer korrekten Verdeckungsgeometrie für kurzfristig verdeckte Bereiche kombiniert.
  • Die Durchführung der dargestellten statistischen Verfahren SV1 bis SV3 kann dabei einzeln oder in beliebiger Kombination miteinander erfolgen.
  • In einer möglichen Ausgestaltung des Verfahrens werden das zweite und dritte statistische Verfahren SV2, SV3 zur Reduktion eines Rechenaufwandes kombiniert. Für Tiefenkartenbildpunkte mit hoher Standardabweichung wird der Tiefenwert aus dem aktuellsten Tiefenbild ins Ergebnis übernommen, für Tiefenkartenbildpunkte mit einer geringen Standardabweichung wird der Ergebniswert nach anderen statistischen Verfahren ermittelt.
  • Zusätzlich zu den durchgeführten statistischen Verfahren SV1 bis SV3 wird sowohl vor der Durchführung der statistischen Verfahren SV1 bis SV3 als auch anschließend zumindest in undefinierten Bereichen B1 bis Bm ohne Tiefeninformation eine zweidimensionale Optimierung mittels eines Optimierungsverfahrens OV durchgeführt.
  • Die zweidimensionale Optimierung behandelt dabei drei unterschiedliche Klassen von undefinierten Bereichen B1 bis Bm in den Punktewolken PW1 bis PWx bzw. den Tiefenbildern TB1', TB2', TB3' und bearbeitet und optimiert für eine jeweilige Erfassungseinheit, beispielsweise eine Stereokamera, spezifische Eigenschaften der erzeugten Punktewolken PW1 bis PWx und Tiefenbilder TB1', TB2', TB3'.
  • Hierbei werden in der zweidimensionalen Optimierung Stereoschatten entfernt. Zu diesem Zweck werden in dem in 1 gezeigten undefinierten Bereich B1 die Tiefeninformation zeilenweise mit dem Tiefenwert eines linken Randes aufgefüllt. In einer möglichen Ausgestaltung wird dabei auch der Gradient der Tiefeninformationen nahe des Randes berücksichtigt und die Tiefenwerte werden zusätzlich geschätzt. Diese Markierung wird benutzt, um gemessene Tiefenwerte gegenüber geschätzten Tiefenwerten bei der Fusion der Punktewolken PW1 bis PWx bevorzugt berücksichtigen zu können.
  • Weiterhin werden in der zweidimensionalen Optimierung Tiefenwerte für im Umgebungsbild UB1, UB2 dargestellte reflektierende Oberflächen und/oder transparente Oberflächen optimiert, um die in 2 dargestellten undefinierten Bereiche B1 bis Bm, welche das so genannte Rauschen darstellen, zu optimieren. Die dabei aufgrund von Rauschen oder Reflexionen in den undefinierten Bereichen B1 bis Bm der Punktewolken PW1 bis PWx und Tiefenbildern TB1', TB2', TB3' entstehenden Lücken sind meist klein und zeichnen sich dadurch aus, dass ihre Ränder Teil desselben Objekts O1 bis On sind. Um den Verlauf des entsprechenden Objekts O1 bis On anzunähern, wird zeilenweise linear zwischen dem linken und rechten Rand interpoliert. Auch in dieser Optimierung werden geschätzte Tiefenwerte wieder markiert, um gemessene Tiefenwerte gegenüber geschätzten Tiefenwerten bei der Fusion der Punktewolken PW1 bis PWx bevorzugt berücksichtigen zu können.
  • Weiterhin werden in der zweidimensionalen Optimierung Tiefenwerte für im Umgebungsbild UB1, UB2 dargestellte Bereiche des Himmels optimiert, um Bereiche bzw. ”Flecken” mit geringerer Tiefe im Bereich des Himmels zu entfernen.
  • Die beschriebenen Optimierungsschritte können dabei einzeln oder in beliebiger Kombination, beispielsweise in einem gemeinsamen Verarbeitungsblock, durchgeführt werden.
  • Bezugszeichenliste
    • B1 bis Bm
      Bereich
      E
      Eigenbewegung
      KB1, KB2
      Kombinationsbild
      O1 bis On
      Objekt
      OV
      Optimierungsverfahren
      PW1 bis PWx
      Punktewolke
      PW'
      Punktewolke
      SV1 bis SV3
      statistisches Verfahren
      TB1, TB2
      Tiefenbild
      TB1', TB2', TB3'
      Tiefenbild
      UB1, UB2
      Umgebungsbild
      VV
      Vorverarbeitung
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102011115739 A1 [0003]
    • DE 102007061446 A1 [0004]

Claims (9)

  1. Verfahren zur Erzeugung eines Tiefenbildes (TB1', TB2', TB3) einer Umgebung eines Fahrzeugs, wobei – das Tiefenbild (TB1', TB2', TB3') aus einer Punktewolke (PW') gebildet wird und wobei – mittels jeweils eines Punktes der Punktewolke (PW') ein Tiefenwert für jeweils einen Bildpunkt eines zugehörigen Umgebungsbildes (UB1, UB2) dargestellt wird, dadurch gekennzeichnet, dass – für mehrere zeitlich nacheinander erfasste Umgebungsbilder (UB1, UB2) Punktewolken (PW1 bis PWx) ermittelt werden und – in Abhängigkeit einer Eigenbewegung (E) des Fahrzeugs die Punktewolken (PW1 bis PWx) derart zu einer fusionierten Punktewolke (PW') transformiert und/oder fusioniert werden, dass für einen Bildpunkt eine Mehrzahl von Tiefenwerten vorliegt, – wobei zur Bildung des Tiefenbildes (TB1', TB2', TB3') aus der Mehrzahl der vorliegenden Tiefenwerte für jeden Bildpunkt mittels zumindest eines statistischen Verfahrens (SV1 bis SV3) für vordefinierte Verdeckungsgeometrien ein Tiefenwert bestimmt wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in längerfristig verdeckten Bereichen der fusionierten Punktewolke (PW') zur Bildung des Tiefenbildes (TB1', TB2', TB3') der Tiefenwert aus der Mehrzahl der vorliegenden Tiefenwerte gewählt wird, welcher die kleinste Tiefe aufweist.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in Bereichen der fusionierten Punktewolke (PW') ohne bewegte Objekte (O1 bis On) zur Bildung des Tiefenbildes (TB1', TB2', TB3') Tiefenwerte aus der Mehrzahl der vorliegenden Tiefenwerte verworfen werden, welche stark von anderen Tiefenwerten abweichen.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in momentan verdeckten Bereichen der fusionierten Punktewolke (PW') zur Bildung des Tiefenbildes (TB1', TB2', TB3') Tiefenwerte dann durch Tiefenwerte zumindest eines aktuelleren Tiefenbildes (TB1', TB2', TB3') ersetzt werden, wenn die aktuellen Tiefenwerte eine kleinere Tiefe als die zu ersetzenden Tiefenwerte aufweisen.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Punktewolken (PW1 bis PWx) anhand von mittels einer Stereokamera erfassten Bilddaten erzeugt werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest in undefinierten Bereichen (B1 bis Bm) des erzeugten Tiefenbildes (TB1', TB2', TB3') und/oder in den Punktewolken (PW1 bis PWx) eine zweidimensionale Optimierung durchgeführt wird.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass in der zweidimensionalen Optimierung Stereoschatten entfernt werden.
  8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass in der zweidimensionalen Optimierung Tiefenwerte für im Umgebungsbild (UB1, UB2) dargestellte reflektierende Oberflächen und/oder transparente Oberflächen optimiert werden.
  9. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass in der zweidimensionalen Optimierung Tiefenwerte für im Umgebungsbild (UB1, UB2) dargestellte Bereiche (B1 bis Bm)? eines Himmels optimiert werden.
DE102014018419.6A 2014-12-11 2014-12-11 Verfahren zur Erzeugung eines Tiefenbildes Withdrawn DE102014018419A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102014018419.6A DE102014018419A1 (de) 2014-12-11 2014-12-11 Verfahren zur Erzeugung eines Tiefenbildes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014018419.6A DE102014018419A1 (de) 2014-12-11 2014-12-11 Verfahren zur Erzeugung eines Tiefenbildes

Publications (1)

Publication Number Publication Date
DE102014018419A1 true DE102014018419A1 (de) 2016-06-16

Family

ID=56082012

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014018419.6A Withdrawn DE102014018419A1 (de) 2014-12-11 2014-12-11 Verfahren zur Erzeugung eines Tiefenbildes

Country Status (1)

Country Link
DE (1) DE102014018419A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017011835A1 (de) 2017-12-21 2018-05-30 Daimler Ag Verfahren zur Generierung von Punktewolken
DE102018008791A1 (de) 2018-11-08 2019-05-02 Daimler Ag Verfahren zu einer dreidimensionalen Rekonstruktion einer Szene
CN111696144A (zh) * 2019-03-11 2020-09-22 北京地平线机器人技术研发有限公司 深度信息确定方法、深度信息确定装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007061446A1 (de) 2007-12-20 2009-06-25 Daimler Ag Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten
DE102011115739A1 (de) 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007061446A1 (de) 2007-12-20 2009-06-25 Daimler Ag Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten
DE102011115739A1 (de) 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017011835A1 (de) 2017-12-21 2018-05-30 Daimler Ag Verfahren zur Generierung von Punktewolken
DE102018008791A1 (de) 2018-11-08 2019-05-02 Daimler Ag Verfahren zu einer dreidimensionalen Rekonstruktion einer Szene
CN111696144A (zh) * 2019-03-11 2020-09-22 北京地平线机器人技术研发有限公司 深度信息确定方法、深度信息确定装置及电子设备

Similar Documents

Publication Publication Date Title
DE102011115739A1 (de) Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
DE102012200731A1 (de) Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
WO2012152475A1 (de) Verfahren und vorrichtung zur kalibrierung einer projektionseinrichtung eines fahrzeugs
DE102015206477A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102012009577A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung
DE102013206435A1 (de) Visualisierungssystem und Vorrichtung zur Generierung und Anzeige eines virtuellen Abbilds einer Fahrzeugumgebung
DE102016203377A1 (de) Laserprojektionssystem mit Videoüberlagerung
DE102009019399A1 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
DE102015204745A1 (de) Vorrichtung und Verfahren zur Wiedergabe von Daten in einer erweiterten Realität
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102014012250B4 (de) Verfahren zur Bilderverarbeitung und -darstellung
DE102014018419A1 (de) Verfahren zur Erzeugung eines Tiefenbildes
DE102018204325A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
DE112014006493T5 (de) Bestimmen eines Massstabs dreidimensonaler Informationen
DE102019212601A1 (de) Generieren einer Anzeige eines Augmented-Reality-Head-up-Displays für ein Kraftfahrzeug
DE102014013408A1 (de) Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs
DE102011013776A1 (de) Verfahren zur Erfassung und/oder Verfolgung von Objekten
WO2014146864A1 (de) Verfahren und vorrichtung zum erstellen einer aufnahme eines gepulst aufleuchtenden objekts
DE102016009506A1 (de) Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges
DE102011005368A1 (de) Fahrerassistenzsystem für ein Fahrzeug mit einem angereicherten Videobild in einem Anzeigemittel
DE102013000261A1 (de) Verfahren und Kamerasystem zum Abbilden einer Umgebung eines Kraftwagens
DE102013016032A1 (de) Verfahren zur Objektdetektion in stereoskopisch erfassten Bildern
DE102020121408A1 (de) Computerimplementiertes Verfahren und System zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung
DE112017003775T5 (de) Fahrzeugumgebungsüberwachungseinrichtung und Fahrzeugumgebungsüberwachungsverfahren

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee