DE102017215811A1 - Verfahren zum Erstellen von Straßenbildern - Google Patents

Verfahren zum Erstellen von Straßenbildern Download PDF

Info

Publication number
DE102017215811A1
DE102017215811A1 DE102017215811.5A DE102017215811A DE102017215811A1 DE 102017215811 A1 DE102017215811 A1 DE 102017215811A1 DE 102017215811 A DE102017215811 A DE 102017215811A DE 102017215811 A1 DE102017215811 A1 DE 102017215811A1
Authority
DE
Germany
Prior art keywords
vehicle
image information
road
depth information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102017215811.5A
Other languages
English (en)
Inventor
Sebastian Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102017215811.5A priority Critical patent/DE102017215811A1/de
Publication of DE102017215811A1 publication Critical patent/DE102017215811A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems

Abstract

Die Erfindung betrifft ein Verfahren zum Erstellen von Straßenbildern einer unbegrenzten Umgebung, die eine fotografische Darstellung zumindest eines Teils einer Straße zeigen, umfassend die Schritte Bereitstellen einer Vielzahl von Fahrzeugen (1) mit jeweils zumindest einer Kamera (2), wobei anhand von Daten der Kamera (2) Fahrerassistenzsysteme und/oder Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs (1) betreibbar sind, Aufnehmen von Bildinformationen zumindest eines Teils der Straße mittels der Kamera (2) zumindest eines Fahrzeugs (1), und Zusammensetzen von Bildinformationen von zumindest teilweise unterschiedlichen Teilen der Straße zu Straßenbildern.

Description

  • Aus dem Stand der Technik sind diverse Online-Dienstleister bekannt, die 360°-Ansichten aus einer Straßenperspektive ermöglichen. Somit kann ein Benutzer anhand der 360°-Ansichten virtuell eine Straße abfahren. Bei den Rohdaten zum Erstellen dieser Ansichten handelt es sich um digitalisierte 360°-Panoramabilder, die mit speziell ausgerüsteten Pkw und Fahrrädern aufgenommen werden. Diese Spezialfahrzeuge besitzen auf dem Fahrzeugdach in etwa 3 m Höhe ein Rundumkamerasystem. Zur Aktualisierung dieser Daten wird eine entsprechend ausgerüstete Fahrzeugflotte betrieben. Da nur eine geringe Anzahl von Fahrzeugen zur Verfügung steht, ist somit eine Aktualisierung der 360°-Ansichten aus der Straßenperspektive nur relativ langsam möglich, beispielsweise zweimal jährlich. Gleichzeitig weisen die Rohdaten oft qualitative Mängel wie Verzerrungen auf, da die Aufnahmesysteme starre Objekte nicht von bewegten Objekten unterscheiden können. Ebenfalls möglich ist das Erzeugen dreidimensionaler Straßenkarten. Hierfür werden Fahrzeuge mit zusätzlichen Systemen wie beispielsweise Lidar ausgerüstet. Ein Beispiel hierfür stellt die Veröffentlichung US 2013/0103303 A1 dar.
  • Aus der DE 10 2014 015 073 A1 ist außerdem bekannt, wie eine begrenzte Umgebung eines Parkplatzes anhand von Umgebungssensoren mehrerer Fahrzeuge kartographiert werden kann.
  • Es ist Aufgabe der vorliegenden Erfindung, Straßenbilder wie aus dem Stand der Technik bekannt aktueller und in verbesserter Qualität bereitzustellen.
  • Gelöst wird die Aufgabe durch die Merkmale der unabhängigen Ansprüche. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum Inhalt.
  • Somit wird die Aufgabe gelöst durch ein Verfahren zum Erstellen von Straßenbildern einer unbegrenzten Umgebung. Dies bedeutet, dass von jeglicher beliebiger Straße Straßenbilder erstellt werden können. Die Straßenbilder können Benutzern bereitgestellt werden, so dass diese die Straße virtuell abfahren können und die Umgebung der Straße betrachten können. Dabei ist vorgesehen, dass der Benutzer einen Blickwinkel auf die Straßenbilder beliebig variieren kann. Das Verfahren umfasst die folgenden Schritte: Zunächst erfolgt ein Bereitstellen einer Vielzahl von Fahrzeugen mit jeweils zumindest einer Kamera. Anhand der Daten der Kamera lassen sich Fahrerassistenzsysteme und/oder Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs betreiben. Somit ist zumindest eine Kamera bevorzugt serienmäßig in dem Fahrzeug vorhanden. Die zumindest eine Kamera ist vorteilhafterweise in weitere Systeme des Fahrzeugs eingebunden. Somit dient die Kamera nicht ausschließlich zum Aufnehmen von Straßenbildern sondern ist vielmehr Teil des Fahrzeugs selbst um einen Fahrer des Fahrzeugs Komfortfunktionen zu ermöglichen. Als weitere Schritte des Verfahrens erfolgt ein Aufnehmen von Bildinformationen zumindest eines Teils der Straße mittels der Kamera zumindest eines Fahrzeugs. Anschließend erfolgt ein Zusammensetzen von Bildinformationen von zumindest teilweise unterschiedlichen Teilen der Straße zu besagten Straßenbildern. Wird das Fahrzeug entlang der Straße bewegt, so werden durch die Kamera Bildinformationen von unterschiedlichen Teilen der Straße bereitgestellt. Diese Bildinformationen lassen sich zu einem Gesamtkomplex zusammensetzen, wodurch die Straßenbilder entstehen. Ein Benutzer kann daher nachträglich besagte Straßenbilder betrachten. Dabei kann das Aufnehmen von Bildinformationen entweder kontinuierlich oder sequenziell erfolgen. Sollten verschiedene Teile der Straße durch mehrere Bildinformationen abgedeckt werden, so ist bevorzugt vorgesehen, die qualitativ höchstwertigsten Bildinformationen zu verwenden, um die Straßenbilder zu generieren.
  • Vorteilhafterweise weist die Vielzahl von Fahrzeugen auch ein Abstandmessgerät auf. Das Abstandmessgerät ist ebenso wie die zumindest eine Kamera, zum Betreiben von Fahrerassistenzsystemen und/oder von Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs verwendbar. Ein solches Abstandsmessgerät kann bspw. ein Radarsensor, ein Lidarsensor oder ein Ultraschallsensor sein. Somit ist auch für das Abstandmessgerät vorgesehen, dass dieses bevorzugte Teil der Serienausstattung des Fahrzeugs ist. Insbesondere ist das Abstandmessgerät nicht ausschließlich zum Erstellen der Straßenbilder bereitgestellt. Vielmehr wird auf ein bereits in dem Fahrzeug verbautes Abstandmessgerät zurückgegriffen, wobei das Abstandmessgerät in weitere Strukturen des Fahrzeugs eingebunden ist. Vorteilhafterweise ist mit Daten des Abstandmessgeräts ein Fahrerassistenzsystem und/oder ein Steuergerät zum autonomen oder teilautonomen Führen des Fahrzeugs betreibbar. Bevorzugt umfasst das Verfahren die zusätzlichen Schritte: Zunächst erfolgt ein Aufnehmen von Tiefeninformationen zumindest eines Teils der Straße mittels des Abstandmessgeräts zumindest eines Fahrzeugs. Anschließend erfolgt ein Zusammensetzen von Tiefeninformationen von zumindest teilweise unterschiedlichen Teilen der Straße und von Bildinformationen zu besagten Straßenbildern. Durch die Tiefeninformationen ist ermöglicht, ein räumliches Umfeldmodell des jeweiligen Fahrzeugs zu erstellen. Auf dieses Umfeldmodell lassen sich die aufgenommenen Bildinformationen virtuell projizieren, wodurch eine realistische Darstellung der Straße ohne Verzerrungen ermöglicht ist. Somit lassen sich hochwertige Straßenbilder generieren, wobei lediglich auf bereits in Fahrzeugen vorhandene Sensoren zurückgegriffen wird. Es ist nicht notwendig, das Fahrzeug mit zusätzlichen Kameras und/oder Sensoren auszustatten, um die Straßenbilder zu erfassen. Vielmehr können Straßenbilder von Serienfahrzeugen erfasst werden, wobei dies auch im Hintergrund ohne dass der Fahrer des Fahrzeugs dies bemerkt geschehen kann.
  • Besonders vorteilhaft werden anhand verschiedener Tiefeninformationen, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, bewegte Objekte auf den Straßen erkannt. Solche bewegte Objekte prägen das Straßenbild zumeist nur temporär und sind daher auf Straßenbildern unerwünscht, da die Straßenbilder lediglich die statischen Objekte, die permanent vorhanden sind, zeigen sollen. Daher ist vorgesehen, dass die bewegten Objekte erkannt und aus den Straßenbildern entfernt werden. Dies führt außerdem zu einer Verbesserung der Qualität der Straßenbilder, da bewegte Objekte bei statischen Aufnahmen zumeist verschwommen und/oder verzerrt dargestellt werden. Dies wird mit dem Entfernen der bewegten Objekte aus den Straßenbildern verhindert.
  • Bevorzugt erfolgt ein Aufnehmen der Bildinformationen und/oder der Tiefeninformationen zusammen mit einem Ermitteln eines Aufnahmeorts. Der Aufnahmeort stellt denjenigen Ort dar, an dem sich die Kamera und/oder das Abstandmessgerät befunden hat, um die Bildinformationen und/oder Tiefeninformationen aufzunehmen. Das Zusammensetzen von Bildinformationen und/oder Tiefeninformationen erfolgt bevorzugt anhand besagter Aufnahmeorte. Dies bedeutet, dass anhand der Aufnahmeorte ermittelt werden kann, welche Teile der Straße aufgenommen wurden. Somit lassen sich die einzelnen Bildinformationen zu den Straßenbildern zusammensetzen, indem Bildinformationen kombiniert werden, die von solchen Aufnahmeorten aufgenommen wurden, die sämtliche Teile der Straße zeigen.
  • Besonders vorteilhaft wird der Aufnahmeort anhand eines Navigationssatellitensystems und/oder anhand einer Georeferenzierung der Bildinformationen und/oder Tiefeninformationen basierend auf Landmarken ermittelt. Durch das Navigationssatellitensystem ist eine absolute Positionsbestimmung ermöglicht. Somit lässt sich identifizieren, von welchem Ort aus die Bildinformationen und/oder Tiefeninformationen aufgenommen wurden. Anand von Landmarken hingegen lassen sich Bildinformationen und/oder Tiefeninformationen relativ zueinander lokalisieren. So werden bestimmte, einfach erkennbare Objekte der Umgebung als Landmarken in zwei unterschiedlichen Bildinformationen ermittelt. Da diese Landmarken dasselbe Objekt in der Umgebung darstellen, ist somit ein Ermitteln eines räumlichen Zusammenhangs zwischen den Bildinformationen und/oder den Tiefeninformationen ermöglicht. Besonders vorteilhaft erfolgt ein Kombinieren des Bestimmens des Aufnahmeorts sowohl anhand des Navigationssatellitensystemsensors als auch anhand der Georeferenzierung. Somit lassen sich die Bildinformationen hochgenau nahtlos zu den Straßenbildern zusammensetzen.
  • Vorteilhafterweise ist vorgesehen, dass das Erstellen von Straßenbildern ein Einfügen von aufgenommenen Bildinformationen und/oder Tiefeninformationen in bereits vorhandene Straßenbilder umfasst. Auf diese Weise lassen sich Straßenbilder aktualisieren. Selbst wenn von einem Teil der Straße bereits ein Straßenbild vorhanden ist, so kann durch das neuerliche Einfügen von neu aufgenommenen Bildinformationen und/oder Tiefeninformationen sichergestellt sein, dass die Straßenbilder stets eine hohe Aktualität aufweisen. Dies ermöglicht ein Verwenden der Straßenbilder beispielsweis auch für Anwendungsfälle, bei denen aktuelle Bilder benötigt werden. Bei solchen Anwendungsfällen kann es sich beispielsweise um eine Parkplatzsuche handeln.
  • Besonders vorteilhaft ist vorgesehen, dass ein mehrmaliges Einfügen von Bildinformationen und/oder Tiefeninformationen von demselben Aufnahmeort innerhalb eines vordefinierten Zeitraums verhindert wird. Auf diese Weise ist ein Rechensystem, das zum Zusammensetzen der Bildinformationen zu den Straßenbildern dient, entlastbar. Da beispielsweise auf einer viel befahrenen Straße eine Vielzahl von Fahrzeugen dieselben Bildinformationen und/oder Tiefeninformationen liefern, kann auf ein Einfügen aller dieser Bildinformationen und/oder Tiefeninformationen in bereits vorhandene Straßenbilder verzichtet werden, da keinerlei nennenswerte Aktualitätsgewinne zu erwarten sind. Vielmehr ist zu erwarten, dass stets Bildinformationen und/oder Tiefeninformationen mit demselben oder nahezu demselben Inhalt in die Straßenbilder eingefügt werden. Dies wird somit verhindert und dadurch eine Rechenvorrichtung, die zum Zusammensetzen von Bildinformationen und/oder Tiefeninformationen zu Straßenbildern entlastet. Unter demselben Aufnahmeort ist zu verstehen, dass sich die Aufnahmeorte von zwei unterschiedlichen Bildinformationen und/oder Tiefeninformationen nicht oder nahezu nicht unterscheiden. Zwei Aufnahmeorte unterscheiden sich dann nahezu nicht, wenn diese einen vordefinierten Mindestabstand unterschreiten.
  • Die Erfindung betrifft außerdem ein Fahrzeug. Das Fahrzeug umfasst zumindest eine Kamera und ein Steuergerät. Anhand von Daten der Kamera sind bevorzugt Fahrerassistenzsysteme und/oder Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs betreibbar. Somit ist vorgesehen, dass die Kamera serienmäßig in dem Fahrzeug vorhanden ist. Die Kamera ist insbesondere in Steuerstrukturen des Fahrzeugs eingebunden. So dient die Kamera insbesondere zum Betreiben des Fahrzeugs und ist kein externes Gerät, das lediglich zum Ermitteln von Straßenbildern verwendet wird. Das Steuergerät dient zum Aufnehmen von Bildinformationen zumindest eines Teils der Straße mittels der Kamera. Außerdem dient das Steuergerät zum Zusammensetzen von Bildinformationen von zumindest teilweise unterschiedlichen Teilen der Straße zu besagten Straßenbildern. Somit ist mit dem Fahrzeug das zuvor beschriebene Verfahren vorteilhafterweise ausführbar. Dabei erfolgt ein Zusammensetzen von Bildinformationen entweder durch das Steuergerät selbst oder alternativ auch durch einen zentralen Server.
  • Bevorzugt ist vorgesehen, dass das Fahrzeug ein Abstandmessgerät aufweist. Dabei erfolgt anhand des Abstandmessgeräts ein Betreiben von Fahrerassistenzsystemen und/oder Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs. Somit ist auch das Abstandmessgerät insbesondere serienmäßig in dem Fahrzeug vorhanden und in Steuerstrukturen des Fahrzeugs eingebunden. Das Abstandmessgerät ist insbesondere nicht lediglich ein externes Gerät, das ausschließlich zum Ermitteln von Straßenbildern verwendet werden kann. Das Steuergerät dient zum Aufnehmen von Tiefeninformationen zumindest eines Teils der Straße mittels des Abstandmessgeräts und zum Zusammensetzen von Tiefeninformationen von zumindest teilweise unterschiedlichen Teilen der Straße und von Bildinformationen zu besagten Straßenbildern. Somit lassen sich zusätzlich zu den reinen Bildinformationen auch Tiefeninformationen verwenden, um die Straßenbilder zu generieren. Auf diese Weise ist eine Qualität der Straßenbilder optimiert. Insbesondere lassen sich anhand der Tiefeninformationen bewegte Objekte erkennen und aus den Straßenbildern entfernen. Außerdem helfen die Tiefeninformationen, dass Verzerrungen in den Straßenbildern vermieden sind. Solche Verzerrungen lassen sich beispielsweise dadurch vermeiden, dass anhand der Tiefeninformationen ein Umfeldmodell um das Fahrzeug generiert wird. Die Bildinformationen werden anschließend auf das Umfeldmodell, das eine dreidimensionale Repräsentation der Umgebung des Fahrzeugs wiedergibt, projiziert. Aus dieser virtuellen Projektion lassen sich die Straßenbilder berechnen.
  • Besonders vorteilhaft ist außerdem vorgesehen, dass das Steuergerät zum Übertragen der Bildinformationen und/oder der Tiefeninformationen und/oder der Straßenbilder an ein zentrales Steuerungssystem außerhalb des Fahrzeugs eingerichtet ist. Ebenso ist das Steuergerät bevorzugt eingerichtet, Straßenbildern von dem zentralen Steuerungssystem abzurufen. Somit kann wahlweise entweder ein Zusammensetzen der Bildinformationen zu den Straßenbildern auf dem Steuergerät selbst erfolgen, alternativ können auch die Bildinformationen und/oder Tiefeninformationen von dem Steuergerät an das zentrale Steuerungssystem übertragen werden. In diesem Fall wird das Zusammensetzen der Bildinformationen und/oder Tiefeninformationen zu den Straßenbildern von dem zentralen Steuerungssystem ausgeführt. Benötigt das Fahrzeug, beispielsweise für eine Anzeige an einen Fahrer des Fahrzeugs, Straßenbilder, die diesem nicht zur Verfügung stehen, so können besagte Straßenbilder von dem zentralen Steuerungssystem abgerufen werden.
  • Besonders vorteilhaft findet für das Aufnehmen der Bildinformationen eine Kombination von mehreren Kameradaten statt. Dabei ist vorgesehen, dass eine Vielzahl von Kameras derart angeordnet ist, dass diese rund um den Aufnahmeort eine 360°-Ansicht erstellen können. Diese 360°-Ansicht wird, wie aus dem Stand der Technik bekannt, aus den einzelnen Kamerabildern erstellt. Zusätzlich können, wie bereits beschrieben, Tiefeninformationen verwendet werden, um die Qualität der 360°-Ansichten zu erhöhen. Die so erstellten Bildinformationen lassen sich auf einfache und aufwandsarme Art zu den Straßenbildern kombinieren, so dass ein Benutzer der Straßenbilder die Straße virtuell abfahren kann, wobei ein Blickwinkel beim Betrachten der Straßenbilder durch den Benutzer frei wählbar ist.
  • Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und den Figuren. Es zeigen:
    • 1 eine schematische Ansicht eines Fahrzeugs gemäß einem Ausführungsbeispiel der Erfindung, und
    • 2 eine schematische Ansicht einer Vielzahl von Fahrzeugen, die zum Generieren von Straßenbildern mittels eines Verfahrens gemäß einem Ausführungsbeispiel der Erfindung dienen.
  • 1 zeigt schematisch ein Fahrzeug 1 gemäß einem Ausführungsbeispiel der Erfindung. Das Fahrzeug 1 umfasst eine Vielzahl von Kameras 2. Die Kameras 2 sind mit einem Steuergerät 5 zur Signalübertragung verbunden. Des Weiteren umfasst das Fahrzeug 1 ein Abstandmessgerät 3, insbesondere einen Radarsensor, einen Lidar-Sensor oder einen Ultraschallsensor. Auch das Abstandmessgerät 3 ist mit dem Steuergerät 5 zur Signalübertragung verbunden. Schließlich weist das Fahrzeug 1 bevorzugt einen Navigationssatellitensystemsensor 4 auf, über den eine Position des Fahrzeugs 1 bestimmbar ist.
  • Die Kameras 2 und das Abstandmessgerät 3 dienen zum Betreiben von Fahrerassistenzsystemen des Fahrzeugs 1. Alternativ kann das Fahrzeug 1 auch autonom geführt werden, wobei das autonome Führen des Fahrzeugs 1 basierend auf Daten der Kameras 2 und des Abstandmessgeräts 3 erfolgt. Somit sind die Kameras 2 und das Abstandmessgerät 3 in die Strukturen und insbesondere in die Steuerung des Fahrzeugs 1 eingebunden. Besonders vorteilhaft handelt es sich bei den Kameras 2 und dem Abstandmessgerät 3 um serienmäßige Ausstattungsmerkmale des Fahrzeugs 1. Insbesondre handelt es sich bei den Kameras 2 und dem Abstandmessgerät 3 somit nicht um externe Geräte, die nur zum Zwecke einer Straßenbilderfassung an dem Fahrzeug 1 angebracht sind.
  • Die Kameras sind bevorzugt derart angeordnet, dass eine 360°-Rundumsicht um das Fahrzeug 1 erfassbar ist. Gleichzeitig können auch mehrere Abstandmessgeräte 3 vorhanden sein, um ein räumliches Umgebungsmodell um das Fahrzeug 1 zu ermitteln. Somit kann das Fahrzeug 1 Ansichten einer aktuellen Umgebung generieren, wobei besagte Ansicht eine 360°-Rundumsicht um das Fahrzeug 1 ist, und wobei die Ansicht Tiefeninformationen umfasst. Die hierzu notwendigen Daten werden anhand von der im Fahrzeug 1 verbauten Sensorik 2, 3 erzeugt. Abstandmessgeräte 3, beispielsweise Lidar-Systeme oder Radarsysteme, sowie die Kameras 2 liefern unter anderem Listen von bewegten Objekten in der Umgebung des Fahrzeugs 1 sowie punktwolkenartige Darstellungen für die jeweiligen Erfassungsbereiche unterschiedlicher Abstandmessgeräte 3. Daraus lässt sich ein Umfeldmodell des Fahrzeugs 1 berechnen, indem eine Sensorfusion durchgeführt wird. Solche Sensorfusionsverfahren sind beispielsweise als Kalman-Filter, Occupancy Grids, SLAM und als (Deep) Neural Networks bekannt. Als Ergebnis werden lokale Karten über Belegungswahrscheinlichkeiten, Klassifikation in Objekte oder Hindernisse oder fahrbarer Bereich oder andere, sowie Abstandsinformationen zu Objekten und Bebauungen abseits von Fahrspuren der Straße, auf denen sich das Fahrzeug 1 befindet, erhalten. Die so gewonnenen Umgebungsdaten werden mit Bildinformationen, die mittels der Kameras 2 erhalten wurden, überlagert werden, um dreidimensionale Umgebungsabbildungen zu erhalten. Dazu werden einzelne Kamerabilder der Kameras 2 invers auf die berechnete Umgebung projiziert. Dadurch lässt sich die Szene im Nachgang aus unterschiedlichen Blickwinkeln betrachten.
  • Bewegte Objekte lassen sich durch zeitliches Verfolgen der Objekte, insbesondere anhand von Tiefeninformationen der Abstandmessgeräte 3, identifizieren und können somit aus der Darstellung entfernt werden, wodurch die rein statischen Elemente der Aufnahme verbleiben.
  • Das Fahrzeug 1 ist somit in der Lage, lokale Ansichten seiner Umgebung zu erstellen, die sich für ein Anzeigen der Umgebung aus unterschiedlichen Perspektiven eignen.
  • Für ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung ist vorgesehen, dass eine Vielzahl solcher Fahrzeuge 1 bereitgestellt sind, wie in 2 gezeigt. Alle diese Fahrzeuge 1 erfassen Bildinformationen und/oder Tiefeninformationen mit Kameras 2 und/oder Abstandmessgeräten 3. Die Daten der Fahrzeuge 1 lassen sich durch ein zentrales Steuerungssystem 6 außerhalb der einzelnen Fahrzeuge 1 sammeln. Somit können Straßenbilder einfach und aufwandsarm erstellt werden, wobei jedes der Fahrzeuge 1 einen Teil der dazu erforderlichen Daten liefert.
  • Wie zuvor bereits beschrieben ist jedes der Fahrzeuge 1 in der Lage, Bildinformationen mittels der Kameras 2 und Tiefeninformationen mittels der Abstandmessgeräte 3 zu erfassen. Besonders vorteilhaft ist das Steuergerät 5 der Fahrzeuge 1 ausgebildet, mit dem zentralen Steuerungssystem 6 zu kommunizieren. Dabei bestehen verschiedene Möglichkeiten zur weiteren Verarbeitung der erfassten Bildinformationen und/oder Tiefeninformationen.
  • Die Bildinformationen und/oder Tiefeninformationen werden insbesondere mehrfach pro Sekunde erfasst, so dass während der Fahrt des Fahrzeugs 1 die Umgebung des Fahrzeugs 1 aus mehreren Blickrichtungen abgetastet wird. Somit kann durch den Ansatz der simultanen Lokalisierung und Kartenerstellung (simultaneous localizing and mapping, SLAM) eine Straßenansicht erstellt werden. In dieser Straßenansicht kann somit ein Benutzer die Strecke, die das Fahrzeug 1 zurückgelegt hat, virtuell abfahren und dabei einen Betrachtungswinkel auf die Umgebung beliebig verändern. Die so erstellten Straßenbilder lassen sich an das zentrale Steuerungssystem 6 senden.
  • Alternativ können die Bildinformationen und/oder Tiefeninformationen auch direkt an das zentrale Steuerungssystem 6 übersandt werden. In diesem Fall findet das Erstellen der Straßenbilder offline in dem zentralen Steuerungssystem 6 statt. Dies bedeutet, dass Bildinformationen und/oder Tiefeninformationen einer Vielzahl von Fahrzeugen 1 zu den Straßenbildern zusammengesetzt werden können. Dies führt zu einem höheren Detaillierungsgrad der Straßenbilder, da eine größere Menge an Bildinformationen und/oder Tiefeninformationen verwendet wird, um die Straßenbilder zu erstellen. Allerdings sind in diesem Fall größere Datenmengen zu speichern und zu übertragen.
  • Um die einzelnen Bildinformationen und/oder Tiefeninformationen zu den Straßenbildern zusammenzusetzen, erfolgt insbesondere das Ermitteln eines Aufnahmeorts. Der Aufnahmeort kann zum einen anhand des Satellitennavigationssystemsensors 4 bestimmt werden, ebenso ist eine Georeferenzierung möglich. Bevorzugt wird sowohl anhand des Satellitennavigationssystemsensors 4 als auch anhand von Georeferenzierung sichergestellt, dass sich die Bildinformationen und/oder Tiefeninformationen nahtlos zu den Straßenbildern zusammensetzen können.
  • Aufgrund des zuvor beschriebenen Vorteils, dass das Fahrzeug 1 ein Serienfahrzeug sein kann, das die Kameras 2 aufweist, kann somit auf eine große Anzahl von Fahrzeugen 1 zurückgegriffen werden, wenn die Straßenbilder erstellt werden sollen. Somit ist rein statistisch innerhalb einer geringen Zeitspanne erreichbar, dass ein Großteil von gewissen Straßentypen abgefahren wird. So fahren bestimmte Autotypen innerhalb einer Zeitspanne von beispielsweise 24 Stunden einen gewissen Prozentsatz der weltweiten Autobahnen ab. Liegt dieser Prozentsatz beispielsweise jenseits der 90 %-Marke, so ist davon auszugehen, dass besagte Straßentypen, das heißt beispielsweise die Autobahnen, stets aktuell erfasst werden, wodurch stets aktuelle Straßenbilder besagter Straßen zur Verfügung stehen. Auf diese Weise ist erreicht, dass eine hohe Aktualität der Straßenbilder vorhanden ist. Insbesondere sind die Straßenbilder nahezu tagesaktuell.
  • Werden gewisse Bereiche von einer Vielzahl von Fahrzeugen 1 durchfahren, so besteht die Gefahr, dass stets dieselben Bildinformationen und/oder Tiefeninformationen oder zumindest sehr ähnliche Bildinformationen und/oder Tiefeninformationen gesammelt werden und von dem zentralen Steuerungssystem 6 zu den Straßenbildern zusammengesetzt werden müssen. Da ein mehrfaches Verwenden derselben Bildinformationen und/oder Tiefeninformationen keinerlei Mehrwert für die Straßenbildern liefert, jedoch eine Belastung für das zentrale Steuerungssystem 6 darstellt, ist bevorzugt vorgesehen, dass solche Bildinformationen und/oder Tiefeninformationen ignoriert werden, wenn diese innerhalb eines vordefinierten Zeitraums schon einmal erfasst wurden.
  • Durch den hohen Aktualitätsgrad der Straßenbilder ist für den Fahrer des Fahrzeugs 1 insbesondere ermöglicht, dass das Steuergerät 5 von dem zentralen Steuerungssystem 6 aktuelle Straßenbilder abruft, so dass sich der Fahrer des Fahrzeugs beispielsweise mit der Umgebung eines gewünschten Zielorts vertraut machen kann. So lassen sich beispielsweise Parkplatzsuche und/oder die Suche nach einem passenden Ausstiegspunkt vereinfachen.
  • Besonders vorteilhaft ist das Abstandmessgerät 3 ein Radarsensor. Bei einer Abstandmessung durch Radar tritt bei bewegten Objekten ein Dopplereffekt auf. Anhand dieses Dopplereffekts können bewegte Objekte erkannt werden, wodurch das zuvor beschriebene Entfernen der bewegten Objekte aus den Straßenbildern vereinfacht ist.
  • Bezugszeichenliste
  • 1
    Fahrzeug
    2
    Kamera
    3
    Abstandmessgerät
    4
    Satellitennavigationssystemsensor
    5
    Steuergerät
    6
    zentrale Steuerungseinheit
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2013/0103303 A1 [0001]
    • DE 102014015073 A1 [0002]

Claims (10)

  1. Verfahren zum Erstellen von Straßenbildern einer unbegrenzten Umgebung, die eine fotografische Darstellung zumindest eines Teils einer Straße zeigen, umfassend die Schritte • Bereitstellen einer Vielzahl von Fahrzeugen (1) mit jeweils zumindest einer Kamera (2), wobei anhand von Daten der Kamera (2) Fahrerassistenzsysteme und/oder Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs (1) betreibbar sind, • Aufnehmen von Bildinformationen zumindest eines Teils der Straße mittels der Kamera (2) zumindest eines Fahrzeugs (1), und • Zusammensetzen von Bildinformationen von zumindest teilweise unterschiedlichen Teilen der Straße zu Straßenbildern.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Vielzahl von Fahrzeugen (1) jeweils ein Abstandmessgerät (3) aufweist, wobei anhand von Daten des Abstandmessgeräts (3) Fahrerassistenzsysteme und/oder Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs (1) betreibbar sind, und umfassend die Schritte • Aufnehmen von Tiefeninformationen zumindest eines Teils der Straße mittels des Abstandmessgeräts (3) zumindest eines Fahrzeugs (1), und • Zusammensetzen von Tiefeninformationen von zumindest teilweise unterschiedlichen Teilen der Straße und von Bildinformationen zu Straßenbildern.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass anhand von verschiedenen Tiefeninformationen, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, bewegte Objekte erkannt und aus den Straßenbildern entfernt werden.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusammen mit dem Aufnehmen der Bildinformationen und/oder Tiefeninformationen ein Ermitteln eines Aufnahmeorts erfolgt, wobei das Zusammensetzen der Bildinformationen und/oder Tiefeninformationen zu den Straßenbildern anhand der jeweiligen Aufnahmeorte erfolgt.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Aufnahmeort anhand eines Navigationssatellitensystemsensors (4) und/oder anhand einer Georeferenzierung der Bildinformationen und/oder Tiefeninformationen basierend auf Landmarken ermittelt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erstellen von Straßenbildern ein Einfügen von aufgenommenen Bildinformationen und/oder Tiefeninformationen in bereits vorhandene Straßenbilder umfasst.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass ein mehrmaliges Einfügen von Bildinformationen und/oder Tiefeninformationen von demselben Aufnahmeort innerhalb eines vordefinierten Zeitraums verhindert wird.
  8. Fahrzeug (1) umfassend zumindest eine Kamera (2) und ein Steuergerät (5), • wobei anhand von Daten der Kamera (2) Fahrerassistenzsysteme und/oder Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs (1) betreibbar sind, und • wobei das Steuergerät (5) zum Aufnehmen von Bildinformationen zumindest eines Teils der Straße mittels der Kamera (2) und zum Zusammensetzen von Bildinformationen von zumindest teilweise unterschiedlichen Teilen der Straße zu Straßenbildern ausgebildet ist.
  9. Fahrzeug (1) nach Anspruch 8, gekennzeichnet durch ein Abstandmessgerät (3), • wobei anhand von Daten des Abstandmessgeräts (3) Fahrerassistenzsysteme und/oder Steuereinheiten zum autonomen oder teilautonomen Führen des Fahrzeugs betreibbar sind, und • wobei das Steuergerät (5) zum Aufnehmen von Tiefeninformationen zumindest eines Teils der Straße mittels des Abstandmessgeräts (3) und zum Zusammensetzen von Tiefeninformationen von zumindest teilweise unterschiedlichen Teilen der Straße und von Bildinformationen zu Straßenbildern ausgebildet ist.
  10. Fahrzeug (1) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das Steuergerät (5) zum Übertragen der Bildinformationen und/oder Tiefeninformationen und/oder der Straßenbilder an ein zentrales Steuerungssystem (6) außerhalb des Fahrzeugs (1) und/oder zum Abrufen von Straßenbildern von dem zentralen Steuerungssystem (6) ausgebildet ist.
DE102017215811.5A 2017-09-07 2017-09-07 Verfahren zum Erstellen von Straßenbildern Pending DE102017215811A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017215811.5A DE102017215811A1 (de) 2017-09-07 2017-09-07 Verfahren zum Erstellen von Straßenbildern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017215811.5A DE102017215811A1 (de) 2017-09-07 2017-09-07 Verfahren zum Erstellen von Straßenbildern

Publications (1)

Publication Number Publication Date
DE102017215811A1 true DE102017215811A1 (de) 2019-03-07

Family

ID=65364061

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017215811.5A Pending DE102017215811A1 (de) 2017-09-07 2017-09-07 Verfahren zum Erstellen von Straßenbildern

Country Status (1)

Country Link
DE (1) DE102017215811A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100235080A1 (en) * 2007-06-29 2010-09-16 Jens Faenger Camera-based navigation system and method for its operation
US8108142B2 (en) * 2005-01-26 2012-01-31 Volkswagen Ag 3D navigation system for motor vehicles
US20130103303A1 (en) 2011-10-21 2013-04-25 James D. Lynch Three Dimensional Routing
US20150302633A1 (en) * 2014-04-22 2015-10-22 Google Inc. Selecting time-distributed panoramic images for display
DE102014015073A1 (de) 2014-10-11 2016-04-14 Audi Ag Verfahren zur Aktualisierung und/oder Erweiterung eines Kartendatensatzes einer begrenzten Umgebung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108142B2 (en) * 2005-01-26 2012-01-31 Volkswagen Ag 3D navigation system for motor vehicles
US20100235080A1 (en) * 2007-06-29 2010-09-16 Jens Faenger Camera-based navigation system and method for its operation
US20130103303A1 (en) 2011-10-21 2013-04-25 James D. Lynch Three Dimensional Routing
US20150302633A1 (en) * 2014-04-22 2015-10-22 Google Inc. Selecting time-distributed panoramic images for display
DE102014015073A1 (de) 2014-10-11 2016-04-14 Audi Ag Verfahren zur Aktualisierung und/oder Erweiterung eines Kartendatensatzes einer begrenzten Umgebung

Similar Documents

Publication Publication Date Title
EP2769373B1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
DE102010042063B4 (de) Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE112008003424B4 (de) Navigationsgerät, das Videobilder einer Kamera verwendet
EP3164858A1 (de) Verfahren zur parkplatzvermittlung und freier-parkplatz-assistenzsystem
DE112020000110T5 (de) Nutzung von in fahrzeugen erfassten fahrgastaufmerksamkeitsdaten fürlokalisierungs- und standortbezogene dienste
DE102014220681A1 (de) Verkehrssignalvorhersage
DE102013211696A1 (de) Verfahren zum Vervollständigen und/oder Aktualisieren einer digitalen Straßenkarte, Vorrichtung für ein Kraftfahrzeug und Kraftfahrzeug
DE112019004633T5 (de) Systeme und verfahren zum verbessern des fahrzeugbetriebs unter verwendung beweglicher sensoren
DE102018119882A1 (de) Übertragen von Bilddaten, die von einer Fahrzeugkamera aufgenommen werden
DE102010007091A1 (de) Verfahren zur Positionsermittlung für ein Kraftfahrzeug
DE102021204765A1 (de) Rendern von Augmented-Reality mit Verdeckung
DE102016119729A1 (de) Steuern eines Personenbeförderungsfahrzeugs mit Rundumsichtkamerasystem
EP2813999B1 (de) Augmented-Reality-System und Verfahren zum Erzeugen und Anzeigen von Augmented-Reality-Objektdarstellungen für ein Fahrzeug
EP3008636B1 (de) Verfahren und system zum auffinden einer oder mehrerer personen durch ein fahrzeug
DE102011084596A1 (de) Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung
DE102022202548B3 (de) Verfahren zum Trainieren eines Computerprogrammprodukts
DE102017209370B4 (de) Verfahren zur Ermittlung einer Überholinformation
DE102018106039A1 (de) Bildreproduktionsvorrichtung, bildreproduktionssystem und bildreproduktionsverfahren
DE102017215811A1 (de) Verfahren zum Erstellen von Straßenbildern
DE102021100583A1 (de) System und verfahren zur fahrzeugnavigation mit geländetexterkennung
DE102007022588A1 (de) Verfahren zur Anzeige von Videobildern und Videosystemen
DE102018121274B4 (de) Verfahren zum Visualisieren einer Fahrabsicht, Computerprogrammprodukt und Visualisierungssystem
DE102010042314A1 (de) Verfahren zur Ortsbestimmung mit einem Navigationssystem und Navigationssystem hierzu
DE102019129612A1 (de) Fahrzeugverwaltungsystem, fahrzeug, verwaltungsvorrichtung, steuerverfahren und computerprogramm

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed