DE102012208288A1 - Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem - Google Patents

Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem Download PDF

Info

Publication number
DE102012208288A1
DE102012208288A1 DE201210208288 DE102012208288A DE102012208288A1 DE 102012208288 A1 DE102012208288 A1 DE 102012208288A1 DE 201210208288 DE201210208288 DE 201210208288 DE 102012208288 A DE102012208288 A DE 102012208288A DE 102012208288 A1 DE102012208288 A1 DE 102012208288A1
Authority
DE
Germany
Prior art keywords
environment
environmental information
camera
display
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201210208288
Other languages
English (en)
Inventor
Holger Mielenz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE201210208288 priority Critical patent/DE102012208288A1/de
Publication of DE102012208288A1 publication Critical patent/DE102012208288A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige (30), wobei zumindest eine Kamera (1, 21) eine Umgebung eines Fahrzeugs (20) erfasst, wobei aus den Bildern der zumindest einen Kamera (1, 21) Umgebungsinformationen ermittelt werden und die ermittelten Umgebungsinformationen gespeichert werden, wobei eine aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen und gespeicherte Umgebungsinformationen auf einer Anzeige (30) ausgegeben werden. Die Erfindung betrifft weiterhin ein Computerprogramm und ein Fahrassistenzsystem, welche zur Ausführung des Verfahrens geeignet sind.

Description

  • Stand der Technik
  • Die Erfindung geht aus von einem Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige, wobei eine Kamera eine Umgebung eines Fahrzeugs erfasst, aus den Bildern der Kamera Umgebungsinformationen ermittelt werden und die Umgebungsinformationen auf einer Anzeige ausgegeben werden.
  • Gegenstand der vorliegenden Erfindung sind auch ein Computerprogramm und ein Fahrassistenzsystem, welche insbesondere zur Ausführung des Verfahrens geeignet sind.
  • Aus der DE 10 2009 051 526 A1 ist ein System und ein Verfahren zum Abbilden einer Fahrzeugumgebung mit einer einstellbaren und verstellbaren Perspektive bekannt, bei dem mit mindestens einer Sensoreinrichtung eine Umgebung eines Kraftfahrzeugs aufgenommen wird und aus den Daten eine dreidimensionale Umgebungskarte erstellt wird. Dabei ist vorgesehen, bestimmte Gegenstände in der Karte hervorgehoben darzustellen.
  • DE 10 2009 051 055 A1 offenbart ein Parkassistenzsystem und ein Verfahren zum Betreiben eines Parkassistenzsystems, bei dem mit mehreren Bilderfassungseinheiten eine Umgebung eines Kraftfahrzeugs erfasst wird und die Umgebung in einer Anzeigevorrichtung dargestellt wird. Dabei ist vorgesehen, dass Erfassungsbereiche einzelner Sensoren in der Anzeige hervorgehoben werden.
  • Aus der DE 10 2009 028 760 A1 ist bekannt, die Umgebung eines Kraftfahrzeugs zu erfassen und zu speichern und bei einem Neustart des Fahrzeugs die gespeicherten Daten zu nutzen. Die gespeicherten Daten werden auf Plausibilität geprüft, indem sie mit neu vermessenen Daten abgeglichen werden.
  • Offenbarung der Erfindung
  • Vorteile der Erfindung
  • Bei dem erfindungsgemäßen Verfahren mit den Merkmalen des unabhängigen Anspruchs ist vorgesehen, dass zumindest eine Kamera eine Umgebung eines Fahrzeugs erfasst, aus den Bildern der zumindest einen Kamera Umgebungsinformationen ermittelt werden und die ermittelten Umgebungsinformationen gespeichert werden, wobei eine aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen und gespeicherte Umgebungsinformationen auf einer Anzeige ausgegeben werden.
  • Das erfindungsgemäße Verfahren hat den Vorteil, dass historische Informationen dem Fahrer visualisiert und zur Planung seiner Fahrhandlungen, insbesondere auch bei vorwärts gerichteten Fahrhandlungen, angeboten werden. Ein weiterer Vorteil ist, dass ein Wirkungsgrad eines Fahrassistenzsystems erhöht wird, welches einen Umgebungssensor mit eingeschränktem Sichtbereich verwendet, im Folgenden auch als „Field of View“ (FOV) bezeichnet. Für die Information des Fahrers und/oder für die Auslösung eines Systemeingriffs werden nicht nur diejenigen Umgebungsinformationen verwendet, die aktuell vermessen bzw. in einem kurzfristigen Zeitrahmen zuvor abgeleitet wurden, sondern sämtliche zur Verfügung stehenden Informationen über die aktuellen Umgebungsbedingungen in der näheren Umgebung des Fahrzeugs. Hierzu wird eine Darstellung der Informationen erzeugt, die die aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen sowie gespeicherte Umgebungsinformationen umfasst. Besonders vorteilhaft ist, dass der Fahrer auch außerhalb des aktuellen Sichtbereichs der Kamera über den Zustand der Umgebung informiert ist.
  • Eine aktuell erfasste Umgebung bilden in diesem Zusammenhang jene Informationen der Kamera, welche zur gewöhnlichen Systemupdaterate zur Verfügung stehen. Dies kann sich sowohl auf die Rohdaten der Kamera, als auch auf verarbeitete Daten der Kamera beziehen.
  • Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Verfahrens möglich.
  • Besonders vorteilhaft ist, die aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen und gespeicherte Umgebungsinformationen in eine Umgebungskarte zu integrieren, welche für weitere Zwecke, beispielsweise weitere Fahrassistenzsysteme zur Verfügung stehen kann. Die Umgebungskarte kann insbesondere ein zweidimensionales oder dreidimensionales Modell der erfassbaren Umgebung umfassen.
  • In die Umgebungskarte können auch Daten weiterer Umgebungssensoren einfließen, beispielsweise eines Ultraschallsystems, eines Radarsystems, eines Infrarotsystems und/oder eines Lidarsystems, aber auch mehrerer Bildsensoren, insbesondere Frontkameras, Heckkameras, BSD-Kameras („Blind Spot Detection“-Kameras), SVA-Kameras („Side View Assistant“-Kameras), und/oder SVS-Kameras („Surround View System“-Kameras), welche beispielsweise von weiteren Fahrassistenzsystemen für andere Zwecke eingesetzt werden können. Die Kameras können monokulare Kameras oder Kameras eines Stereokamerasystems sein.
  • Die mit historischen Sensordaten angereicherte integrierte Umgebungskarte kann beispielsweise Spurassistenzsystemen für Berechnungen bereitgestellt werden, ob ein Verlassen der Spur droht, wobei beispielsweise ein akustisches Signal an den Fahrer ausgegeben werden kann oder ein automatischer Lenkeingriff vorgenommen werden kann. Die Umgebungskarte kann bei Kollisionsvermeidungssystemen für Berechnungen verwendet werden, ob eine Kollision mit einem Fahrzeug droht, wobei beispielsweise ein Warnsignal an den Fahrer ausgegeben werden kann oder Pre-Crash-Systeme aktiviert werden können. Die Umgebungskarte kann auch zur so genannten „Backover Avoidance“, d. h. zur Vermeidung von einem Überfahren von Hindernissen im Rückwärtsgang, und/oder zur Erkennung eines toten Winkels und/oder zur Hilfe bei einer Einfahrt auf schlecht einsehbare Straßen und/oder für Parkassistenzsysteme verwendet werden. Die Umgebungskarte kann auch in eine bereits bestehende, insbesondere digitale Navigationskarte integriert werden.
  • Vorteilhaft ist vorgesehen, die mit historischen Sensordaten angereicherte integrierte Umgebungskarte an den Fahrer auf einer Anzeige auszugeben, insbesondere auf einem Headup-Display oder einem Headdown-Display. Die Anzeige kann eine perspektivische Ansicht, insbesondere eine Topview-Anzeige, d. h. eine Draufsicht auf die Umgebung, umfassen. Die Darstellung kann beispielsweise rein virtuell ausgebildet sein oder mit einem Realbild kombiniert werden.
  • Nach einer besonders bevorzugten Ausführungsform werden in der Anzeige die aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen und/oder ein Sichtbereich der Kamera hervorgehoben dargestellt. Hierdurch wird verdeutlicht, welche der dargestellten Informationen aktuell durch das betriebene Messsystem erfasst werden und daher aktuell sind und welche der dargestellten Informationen aus der bereits getätigten Fahrhandlung gewonnen wurden und sich nicht mehr im Sichtbereich des Sensorsystems befinden. Insbesondere wird hierdurch dem Fahrer transparent, welche Umgebungsinformationen fehlerhaft sein können, wenn sich z. B. ein zuvor geparktes Auto plötzlich bewegt.
  • Nach einer weiteren bevorzugten Ausführungsform der Erfindung werden zusätzlich hierzu oder alternativ hierzu nicht erfasste Bereiche der Umgebung hervorgehoben dargestellt. Somit wird dem Fahrer verdeutlicht, welche Bereiche in der Umgebung des Fahrzeugs dem System noch nicht bekannt sind und keine Aussagen über die Befahrbarkeit gemacht werden können.
  • Das Verfahren wird bevorzugt bei einem langsam durchgeführten Fahrmanöver angewendet. Insbesondere in Manöversituationen im Niedergeschwindigkeitsbereich beispielsweise unterhalb einer Geschwindigkeit von 20 km/h, bevorzugt unterhalb von 12 km/h, besonders bevorzugt unterhalb von 6 km/h hat ein Fahrer Aufgaben mit hohen Lenkwinkeln durchzuführen, für die sich durch einen Sensor mit eingeschränktem Sichtbereich, beispielsweise einen Stereovideosensor mit 40° Öffnungswinkel, nur eine geringe Überdeckung des aktuellen Sichtbereichs mit den vom Fahrzeug überfahrenen Bereichen ergibt. Das erfindungsgemäße Verfahren bildet für derartige Manöver eine robuste Funktionalität, da der Wirkungsgrad des im Öffnungswinkel beschränkten Sensors für die Park- und/oder Manövrieraufgaben erhöht wird. Dem Fahrer werden die für das Rangieren und/oder Vorwärtsfahren durch Engstellen wichtigen Bereiche dargestellt. Befinden sich in den wichtigen Bereichen statische Objekte, so kann der Fahrer seine Fahrhandlungen auf Basis der historischen Informationen sicherer planen und umsetzen. Auch ist dem Fahrer besser transparent, wann und wo das System ihn nicht unterstützen kann.
  • Erfindungsgemäß wird weiterhin ein Computerprogramm vorgeschlagen, gemäß dem eines der hierin beschriebenen Verfahren durchgeführt wird, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei dem Computerprogramm kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrassistenzsystems oder eines Subsystems hiervon in einem Fahrzeug handeln oder um eine Applikation für Fahrassistenzfunktionen, welche auf einem Smartphone ausführbar ist. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung wie etwa auf einem Server zum Herunterladen bereitgestellt werden, z.B. über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung.
  • Erfindungsgemäß ist außerdem ein Fahrassistenzsystem mit den Merkmalen des weiteren unabhängigen Anspruchs vorgesehen, welches sich insbesondere zur Ausführung eines der oben beschriebenen Verfahren eignet.
  • Kurze Beschreibung der Zeichnungen
  • Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
  • Es zeigen
  • 1 eine schematische Darstellung funktionaler Komponenten eines Fahrassistenzsystems,
  • 2 eine Draufsicht auf eine Parkplatzszene,
  • 3 eine erfindungsgemäße Darstellung der Parkplatzszene auf einer Anzeige,
  • 4 eine Darstellung einer weiteren Parkplatzszene und
  • 5 eine Darstellung einer Fahrsituation.
  • Ausführungsformen der Erfindung
  • 1 zeigt eine schematische Darstellung funktionaler Komponenten eines Fahrassistenzsystems gemäß der vorliegenden Erfindung. Das Fahrassistenzsystem ist dazu ausgebildet, aus den Bildern einer Kamera Umgebungsinformationen zu ermitteln, die ermittelten Umgebungsinformationen zu speichern und eine aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen und gespeicherte Umgebungsinformationen auf einer Anzeige auszugeben.
  • Das Fahrassistenzsystem umfasst hierzu zumindest eine Kamera 1, welche eine Monokularkamera oder eine Kamera eines Stereovideokamerasystems sein kann. Das Fahrassistenzsystem umfasst außerdem weitere Umgebungserfassungssensoren 2, beispielsweise Ultraschallsensoren, Radarsensoren, Infrarotsensoren und/oder Lidarsensoren. Eine Fahrzeugdatensensorik 3 kann weitere Daten über die Fahrzeuggeschwindigkeit und/oder Odometriedaten bereitstellen. Die Signale der Kamera 1, der weiteren Umgebungserfassungssysteme 2 und der Fahrzeugdatensensorik 3 werden in einer Eingangsschaltung 4 empfangen. Die Eingangsschaltung ist mit einem Bussystem 5 zum Datenaustausch mit einer Datenverarbeitungseinrichtung 6 verbunden. Die Datenverarbeitungseinrichtung 6 ist mit einem weiteren 7 oder demselben 5 Bussystem mit einer Ausgangsschaltung 8 verbunden.
  • Die Datenverarbeitungseinrichtung 6 umfasst ein Modul 10 zur Verarbeitung der Kameradaten. Die Datenverarbeitungseinrichtung 6 umfasst außerdem ein Modul 11 zur Ermittlung von Umgebungsinformationen der erfassten Fahrzeugumgebung. Das Modul 11 zur Ermittlung von Umgebungsinformationen verarbeitet insbesondere Daten des Moduls 10 zur Verarbeitung der Kameradaten, und kann darüber hinaus auch die Umgebungsinformationen der weiteren Umgebungssensoren 2 sowie der Fahrzeugdatensensorik 3 verarbeiten.
  • Die Datenverarbeitungseinrichtung 6 umfasst weiterhin ein Modul 12 zur Speicherung der ermittelten Umgebungsinformationen. Das Modul 12 zur Speicherung der ermittelten Umgebungsinformationen verarbeitet insbesondere Daten des Moduls 11 zur Ermittlung der Umgebungsinformationen und hat Zugriff auf einen Speicherplatz, welcher sich auf einem maschinenlesbaren Speichermedium befindet, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium, in Zuordnung zu einer Computereinrichtung, auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick oder etwa auf einem Server, der z.B. über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung erreicht werden kann. Die Speicherung erfolgt beispielsweise derart, dass ein bestimmter Bereich der Umgebung, beispielsweise wenige hundert Meter und/oder ein definierter Zeitraum abrufbar ist. Dabei kann eine ständige Überschreibung der nicht mehr relevanten Daten des Speichers erfolgen, so dass nur die im Rahmen der Erfindung relevanten Daten abrufbar sind. Das Modul 12 zur Speicherung der ermittelten Umgebungsinformationen oder ein weiteres nicht dargestelltes Modul stellt die gespeicherten Umgebungsinformationen auf Anfrage wieder zur Verfügung.
  • Die Datenverarbeitungseinrichtung 6 umfasst weiterhin ein Modul 13 zur Integration der Daten. Das Modul 13 zur Integration der Daten ist dazu ausgebildet, die Daten des Moduls 12 zur Speicherung der Umgebungsinformationen und/oder die Daten des Moduls 11 zur Ermittlung der Umgebungsinformationen und/oder die Daten des Moduls 10 zur Verarbeitung der Kamerainformationen zu verarbeiten.
  • Das Modul 13 zur Integration der Daten erzeugt eine Darstellung der integrierten Daten, die die aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen sowie gespeicherte Umgebungsinformationen umfasst. Das Modul 13 zur Integration der Daten verfügt darüber hinaus bevorzugt auch über Mittel zur Hervorhebung der aktuellen Sichtbereiche der Kamera und/oder zur Hervorhebung der bisher nicht eingesehenen Bereiche. Es kann in bekannter Weise perspektivische Ansichten, insbesondere Topview-Ansichten erstellen, wobei auch vorgesehen sein kann, dass diese Anzeigen ineinander umschaltbar und/oder umschwenkbar sind. Die Darstellung kann rein virtuell ausgebildet sein oder mit einem Realbild kombiniert werden, beispielsweise in Form einer „augmented reality“, insbesondere unter beispielsweise farbiger Hervorhebung bestimmter Objekte oder Bereiche.
  • Das Modul 13 zur Integration der Daten integriert gemäß bevorzugten Ausführungsformen der Erfindung Umgebungsinformationen, welche erkannte Objekte und Abstände von Objekten zum Fahrzeug umfassen. Die Erkennung von Objekten auf den Bildern der Kamera 1 kann Methoden zur Berechnung des optischen Flusses auf erfassten Digitalbildern umfassen, dessen Vektorfeld die Bewegung von Objekten zwischen zwei Zeitpunkten beschreibt. Die Erkennung von Objekten auf den Bildern der Kamera 1 kann auch texturbasierte Verfahren umfassen, bei welchen mittels Klassifikatoren, insbesondere trainierter Klassifikatoren Objekte erkannt werden können, wobei bestimmte Merkmale des Bildes an bestimmten Positionen, so genannten Regions of Interest (ROI) mit abgespeicherten und/oder gelernten Merkmalen verglichen werden und deren Ähnlichkeit zueinander bestimmt wird. Die Ermittlung der ROIs kann wiederum mittels verschiedener Verfahren erfolgen, beispielsweise im Fall von Stereokameras über die Position einer 3D-Häufung. Die Erkennung von Objekten auf den Bildern der Kamera 1 kann auch über von Stereokameras gewonnenen 3D-Informationen erfolgen. Besonders vorteilhaft sind Kombinationen der genannten Methoden, welche sehr robust arbeiten. Die Erfindung ist nicht auf die genannten Objekterkennungsmethoden beschränkt, sondern es werden lediglich nur die geläufigsten Methoden angedeutet. Besonders vorteilhaft ist die Klassifikation von Objekten, wie beispielsweise Fahrzeugen, so dass teilweise verdeckte Objekte virtuell vervollständigt und angezeigt werden können.
  • Die Bestimmung von Abständen von erfassten und gegebenenfalls erkannten Objekten zum Fahrzeug kann auf Basis der Kamerabilder erfolgen, bevorzugt werden aber Daten der weiteren Umgebungserfassungssensoren 2 verwendet. Insbesondere können die Daten der verschiedenen Umgebungserfassungssysteme miteinander fusioniert werden. Zusätzlich oder alternativ hierzu können zur Transformation von aktuell erfassten, fahrzeugpositionsbezogenen Umgebungsobjekten in ein Weltkoordinatensystem und/oder zur Transformation der historischen Informationen in das aktuelle Fahrzeugkoordinatensystem Berechnungen aus der Odometrie verwendet werden, insbesondere nach Auswertung eines Raddrehzahlsensors, welcher der Fahrzeugdatensensorik 3 zuordenbar ist.
  • Das Modul 13 zur Integration der Daten stellt die integrierten Daten einer Anzeige 18 zur Anzeige sowie gegebenenfalls weiteren Fahrassistenzsystemen 19 zur Darstellung bzw. Weiterverarbeitung bereit.
  • 2 zeigt in Draufsicht eine Situation auf einem Parkplatz mit einem Fahrzeug 20, welches mit einer Kamera 21 und mit einem erfindungsgemäßen Fahrassistenzsystem ausgestattet ist, welches in Bezug auf 1 beschrieben wurde. Die Kamera 21 ist hier beispielsweise als eine Frontkamera ausgebildet und weist einen in Vorwärtsrichtung gerichteten Sichtbereich 22 (Field of View, FOV) auf. Ein großer Bereich der Fahrzeugumgebung, hier die seitliche Umgebung, bildet einen nicht einsehbaren Bereich 23 außerhalb des Sichtbereichs 22 der Kamera 21.
  • Auf dem Parkplatz sind Hindernisse angeordnet, wobei hier beispielhaft Säulen 24, eine seitlich angeordnete Mauer 25 sowie drei parkende Fahrzeuge 26a, 26b, 26c dargestellt sind. Die dargestellte Umgebung bildet für Fahrzeugführer eine potentiell gefährliche Gegend, da auf dem Parkplatz bewegliche Objekte die Regel sind, beispielsweise ist mit aussteigenden Passagieren, spielenden Kindern und Personen zu rechnen, welche zwischen den Fahrzeugen plötzlich auf die Fahrbahn treten.
  • 3 zeigt eine Darstellung einer erfindungsgemäßen Anzeige 30 zur Information des Fahrers über Umgebungsobjekte im Niedergeschwindigkeitsbereich beim Parken und Manövrieren. In 3 ist die Parkplatzszene aus 2 dargestellt, wie sie beispielsweise dem Fahrer auf einem Headup-Display im Fahrzeug angezeigt wird. Dargestellt wird im Falle einer Vorwärtsfahrt das Fahrzeug 20 und die Umgebung in Vorwärtsrichtung. Im Falle einer Rückwärtsfahrt kann die Darstellung entsprechend abgewandelt sein und den rückwärtigen Bereich des Fahrzeugs 20 zeigen. Ein Sichtbereich 22 der Kamera 21 ist hervorgehoben dargestellt, hier beispielhaft heller als der nicht einsehbare Bereich 23 der Umgebung. Der nicht einsehbare Bereich 23 außerhalb des Sichtfeldes 22 der Kamera 21 ist aufgeteilt in bereits erfasste Bereiche 31 in der Umgebung des Fahrzeugs 20, welche zu früheren Zeiten von der mitgeführten Kamera 21 erfasst wurden und in nicht erfasste Bereiche 32 der Umgebung, welche zu keiner Zeit von der Kamera 21 erfasst wurden und welche hier schwarz hervorgehoben dargestellt sind. Es versteht sich, dass durch die Integration von Daten weiterer Umgebungserfassungssensoren die schwarz hervorgehobenen Bereiche weiter reduziert sein können.
  • Hier beispielhaft ist das dritte der parkenden Fahrzeuge 26c nicht schwarz dargestellt, obwohl es bei der Vorwärtsfahrt des Fahrzeugs 20 nie vollständig durch die Kamera 21 erfassbar war. Das Modul zur Ermittlung von Umgebungsinformationen hat das geparkte Fahrzeug 26c identifiziert und dessen Lage und Bemessungen berechnet, so dass eine Darstellung des geparkten Fahrzeugs 26c vollständig möglich ist.
  • 4 zeigt eine Anzeige 30 zur Information des Fahrers mit Elementen einer Weiterbildung der Erfindung. Dargestellt ist eine Situation auf einem Parkplatz mit einer Reihe geparkter Fahrzeuge 42. Durch eine geeignete Objekterkennungssoftware ist quasi kein relevanter Bereich nicht erfasst. Vor dem Fahrzeug 20 ist ein Hindernis 27 gelegen, welches sich im Sichtbereich 22 der Kamera 21 des Fahrzeugs 20 befindet. Der Sichtbereich 22 der Kamera 21 ist mit einem Rahmen 40 hervorgehoben dargestellt. Die von der Kamera nicht einsehbaren Bereiche sind in dieser Ausführungsform nicht hervorgehoben dargestellt. In dieser Ausführungsform wird ein Fahrschlauch 41 des Fahrzeugs 20 mit zur Anzeige 30 gebracht, jener Bereich, welcher unter dem vom Fahrer aktuell eingestellten Lenkwinkel zukünftig vom Fahrzeug 20 überstrichen oder befahren wird. Die Darstellung des Fahrschlauchs 41 kann beispielsweise dauerhaft auf der Anzeige 30 erfolgen oder lediglich in dem Fall, dass eine Kollision mit dem Hindernis 27 droht.
  • 5 zeigt eine weitere Anzeige 30 zur Information des Fahrers mit Elementen einer Weiterbildung der Erfindung. Die in 5 dargestellte Situation betrifft die Anwendung des Verfahrens als Engstellenassistenz. Der Sichtbereich 22 der Kamera 21 ist mit einem Rahmen 40 hervorgehoben dargestellt. Die von der Kamera nicht einsehbaren Bereiche sind in dieser Ausführungsform nicht hervorgehoben dargestellt. Das Fahrzeug passiert im Sichtbereich 22 der Kamera 21, welcher wiederum mit einem Rahmen 40 umgeben dargestellt ist, eine Engstelle zweier nicht notweniger Weise parkender Fahrzeuge 26, 28. Da eine Kollision mit einem linksseitig geparkten Fahrzeug 28 droht, wird der Fahrschlauch 41 angezeigt.
  • Die in 3 bis 5 dargestellten Anzeigen 30 können Umgebungskarten oder Teile von Umgebungskarten sein, in welche Daten weiterer Systeme, beispielsweise Navigationssystemdaten integriert sein können, und die auch weiteren Fahrassistenzsystemen bereitgestellt werden können.
  • Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102009051526 A1 [0003]
    • DE 102009051055 A1 [0004]
    • DE 102009028760 A1 [0005]

Claims (9)

  1. Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige (30), wobei zumindest eine Kamera (1, 21) eine Umgebung eines Fahrzeugs (20) erfasst, wobei aus den Bildern der zumindest einen Kamera (1, 21) Umgebungsinformationen ermittelt werden und die ermittelten Umgebungsinformationen gespeichert werden, wobei eine aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen und gespeicherte Umgebungsinformationen auf einer Anzeige (30) ausgegeben werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die aktuell erfasste Umgebung und/oder aktuell ermittelte Umgebungsinformationen und gespeicherte Umgebungsinformationen in eine Umgebungskarte integriert werden.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabe auf der Anzeige (30) eine perspektivische Ansicht der Umgebung, insbesondere eine Draufsicht auf die Umgebung umfasst.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungsinformationen auf den Bildern erkannte Objekte (26c, 42) und/oder Abstände zu Objekten (24, 25, 26, 42) umfassen.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf der Anzeige (30) die aktuell erfasste Umgebung und/oder die aktuell ermittelten Umgebungsinformationen und/oder ein Sichtbereich (22) der Kamera (1, 21) hervorgehoben dargestellt werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Anzeige (30) nicht erfasste Bereiche (32) der Umgebung hervorgehoben dargestellt werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren bei einem Fahrmanöver unterhalb einer Geschwindigkeit von 20 km/h, bevorzugt unterhalb von 12 km/h, besonders bevorzugt unterhalb von 6 km/h angewendet wird.
  8. Computerprogramm zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird.
  9. Fahrassistenzsystem, insbesondere zur Ausführung eines der Verfahren nach einem der Ansprüche 1 bis 7, aufweisend – eine Kamera (1) zur Erfassung einer Fahrzeugumgebung, – ein Modul (11) zur Ermittlung von Umgebungsinformationen aus der erfassten Fahrzeugumgebung, – ein Modul (12) zur Speicherung der ermittelten Umgebungsinformationen und – ein Modul (13) zur Integration einer aktuell erfassten Umgebung oder von aktuell ermittelten Umgebungsinformationen und gespeicherten Umgebungsinformationen.
DE201210208288 2012-05-16 2012-05-16 Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem Pending DE102012208288A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210208288 DE102012208288A1 (de) 2012-05-16 2012-05-16 Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210208288 DE102012208288A1 (de) 2012-05-16 2012-05-16 Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem

Publications (1)

Publication Number Publication Date
DE102012208288A1 true DE102012208288A1 (de) 2013-11-21

Family

ID=49510985

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210208288 Pending DE102012208288A1 (de) 2012-05-16 2012-05-16 Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem

Country Status (1)

Country Link
DE (1) DE102012208288A1 (de)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002405A1 (ja) * 2014-07-04 2016-01-07 クラリオン株式会社 駐車枠認識装置
DE102015201642A1 (de) 2015-01-30 2016-08-04 Robert Bosch Gmbh Vorrichtung und Verfahren zur Darstellung einer Umgebung eines Fahrzeuges
DE102015104934A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Freirauminformationen in einem Umgebungsbereich eines Kraftfahrzeugs als Sensor-Rohdaten an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
DE102015104939A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verarbeiten von Informationen in einer Sensoreinrichtung eines Kraftfahrzeugs in einer Tendenzanalyse, Verfahren zum Erzeugen einer Umgebungsbereichskarte, Computerprogrammprodukt, Verarbeitungseinrichtung und Kraftfahrzeug
DE102015104940A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Höheninformationen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
CN110087974A (zh) * 2016-12-15 2019-08-02 康蒂-特米克微电子有限公司 用于车辆的控制设备、制动控制系统及用于控制车辆的方法
CN111559371A (zh) * 2020-05-15 2020-08-21 广州小鹏车联网科技有限公司 三维泊车的显示方法、车辆和存储介质
DE102019113892A1 (de) * 2019-05-24 2020-11-26 Valeo Schalter Und Sensoren Gmbh Verfahrenzur Überwachung eines Seitenbereichs eines Fahrzeugs
DE102022121311A1 (de) 2022-08-23 2024-02-29 Bayerische Motoren Werke Aktiengesellschaft Engstellen-Assistenzsystem für ein Fahrzeug, Verfahren zum Betreiben eines Engstellen-Assistenzsystems
US11934188B2 (en) 2018-09-06 2024-03-19 Volkswagen Aktiengesellschaft Monitoring and planning a movement of a transportation device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10257722A1 (de) * 2002-12-11 2004-07-01 Robert Bosch Gmbh Einparkhilfe
DE102008036009A1 (de) * 2008-03-28 2009-10-01 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
DE102009051526A1 (de) 2008-11-10 2010-05-12 Volkswagen Ag System und Verfahren zum Abbilden der Fahrzeugumgebung mit ein- und verstellbarer Perspektive
DE102009051055A1 (de) * 2008-10-28 2010-07-15 Volkswagen Ag Parkassistenzsystem und Verfahren zum Betreiben eines Parkassistenzsystems für ein Kraftfahrzeug
DE102009024062A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung
DE102009028760A1 (de) 2009-08-20 2011-02-24 Robert Bosch Gmbh Verfahren zur Prüfung der Umgebung eines Kraftfahrzeugs
DE102011103157A1 (de) * 2011-06-01 2012-12-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige von Informationen über eine Umgebung eines Fahrzeugs

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10257722A1 (de) * 2002-12-11 2004-07-01 Robert Bosch Gmbh Einparkhilfe
DE102008036009A1 (de) * 2008-03-28 2009-10-01 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
DE102009051055A1 (de) * 2008-10-28 2010-07-15 Volkswagen Ag Parkassistenzsystem und Verfahren zum Betreiben eines Parkassistenzsystems für ein Kraftfahrzeug
DE102009051526A1 (de) 2008-11-10 2010-05-12 Volkswagen Ag System und Verfahren zum Abbilden der Fahrzeugumgebung mit ein- und verstellbarer Perspektive
DE102009024062A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Vorrichtung und Verfahren zur Anzeige von Objekten in einer Fahrzeugumgebung
DE102009028760A1 (de) 2009-08-20 2011-02-24 Robert Bosch Gmbh Verfahren zur Prüfung der Umgebung eines Kraftfahrzeugs
DE102011103157A1 (de) * 2011-06-01 2012-12-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige von Informationen über eine Umgebung eines Fahrzeugs

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002405A1 (ja) * 2014-07-04 2016-01-07 クラリオン株式会社 駐車枠認識装置
DE102015201642B4 (de) 2015-01-30 2024-03-28 Robert Bosch Gmbh Vorrichtung und Verfahren zur Darstellung einer Umgebung eines Fahrzeuges
DE102015201642A1 (de) 2015-01-30 2016-08-04 Robert Bosch Gmbh Vorrichtung und Verfahren zur Darstellung einer Umgebung eines Fahrzeuges
DE102015104934A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Freirauminformationen in einem Umgebungsbereich eines Kraftfahrzeugs als Sensor-Rohdaten an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
DE102015104939A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verarbeiten von Informationen in einer Sensoreinrichtung eines Kraftfahrzeugs in einer Tendenzanalyse, Verfahren zum Erzeugen einer Umgebungsbereichskarte, Computerprogrammprodukt, Verarbeitungseinrichtung und Kraftfahrzeug
DE102015104940A1 (de) * 2015-03-31 2016-10-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen von Höheninformationen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs an einer Kommunikationsschnittstelle, Sensoreinrichtung, Verarbeitungseinrichtung und Kraftfahrzeug
US10354524B2 (en) 2015-03-31 2019-07-16 Valeo Schalter Und Sensoren Gmbh Method for providing height information for an object in a surrounding area of a motor vehicle on a communication interface sensor device, processing device and motor vehicle
CN110087974A (zh) * 2016-12-15 2019-08-02 康蒂-特米克微电子有限公司 用于车辆的控制设备、制动控制系统及用于控制车辆的方法
US11934188B2 (en) 2018-09-06 2024-03-19 Volkswagen Aktiengesellschaft Monitoring and planning a movement of a transportation device
DE102019113892A1 (de) * 2019-05-24 2020-11-26 Valeo Schalter Und Sensoren Gmbh Verfahrenzur Überwachung eines Seitenbereichs eines Fahrzeugs
CN111559371B (zh) * 2020-05-15 2021-12-07 广州智鹏车联网科技有限公司 三维泊车的显示方法、车辆和存储介质
CN111559371A (zh) * 2020-05-15 2020-08-21 广州小鹏车联网科技有限公司 三维泊车的显示方法、车辆和存储介质
DE102022121311A1 (de) 2022-08-23 2024-02-29 Bayerische Motoren Werke Aktiengesellschaft Engstellen-Assistenzsystem für ein Fahrzeug, Verfahren zum Betreiben eines Engstellen-Assistenzsystems

Similar Documents

Publication Publication Date Title
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP2478510B1 (de) Verfahren und vorrichtung zur darstellung von hindernissen in einem einparkhilfesystem von kraftfahrzeugen
EP3454013A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE102010051206A1 (de) Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102010042063A1 (de) Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
DE102017221191A1 (de) Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102012216753B4 (de) Verfahren zur Unterstützung eines Fahrmanövers eines Fahrzeugs und Fahrassistenzsystem
DE102010030463A1 (de) Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102012213344A1 (de) Verkehrszeichenerkennung
DE102014116037A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102008042565A1 (de) Verfahren zum Betreiben einer Fahrerassistenzeinrichtung
DE102011087901A1 (de) Verfahren zur Darstellung eines Fahrzeugumfeldes
WO2017005400A1 (de) Kraftfahrzeug mit einem automatischen fahrsystem
DE112018001437T5 (de) Verfahren und systeme zum ausrichten eines fahrzeugs auf einen anhänger
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102013221201A1 (de) Verfahren zum Unterstützen eines Fahrers beim Einparken
EP3685123A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung für ein kraftfahrzeug
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102012201891A1 (de) Parkassistenzverfahren und Parkassistenzsystem zur Ermittlung einer Parklücke
DE102011085012A1 (de) Spuraufgelöste Warnstrategie
DE102012200762A1 (de) Verfahren und Fahrerassistenzsystem zur Signalisierung einer Verkehrssituation in einem Umfeld eines Fahrzeuges
DE102011080720A1 (de) Visualisierung einer Rampenabfahrt
DE102017122543A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Überholen eines Objektes sowie Fahrerassistenzsystem

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication