DE102011084596A1 - Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung - Google Patents

Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung Download PDF

Info

Publication number
DE102011084596A1
DE102011084596A1 DE201110084596 DE102011084596A DE102011084596A1 DE 102011084596 A1 DE102011084596 A1 DE 102011084596A1 DE 201110084596 DE201110084596 DE 201110084596 DE 102011084596 A DE102011084596 A DE 102011084596A DE 102011084596 A1 DE102011084596 A1 DE 102011084596A1
Authority
DE
Germany
Prior art keywords
representation
environment
vehicle
driver
assisting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201110084596
Other languages
English (en)
Inventor
Henning Von Zitzewitz
Karsten Muehlmann
Jan Egelhaaf
Raphael Cano
Leo Vepa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE201110084596 priority Critical patent/DE102011084596A1/de
Priority to PCT/EP2012/068963 priority patent/WO2013056954A1/de
Publication of DE102011084596A1 publication Critical patent/DE102011084596A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams

Abstract

Die Erfindung betrifft Fahrassistenzsysteme (108), die zur Ausgabe von Darstellungen einer Fahrzeugumgebung an einen Fahrer ausgebildet sind. Die Erfindung betrifft ferner ein Verfahren in einem derartigen Fahrassistenzsystem, das die folgenden Schritte umfasst: Erfassen von mindestens einer Umgebungsdarstellung, die zumindest einen Ausschnitt der realen Umgebung des Fahrzeuges (100) wiedergeben; Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung (130) der realen Umgebung aus einer virtuellen Perspektive; Ermitteln von objektbezogenen Daten im Bezug auf mindestens ein entferntes Objekt (106); Anzeigen der Darstellung (130) der realen Umgebung, wobei eine synthetische Darstellung (132) des mindestens einen entfernten Objekts (106) unter Berücksichtigung der objektbezogenen Daten eingeblendet wird.

Description

  • Stand der Technik
  • Die Erfindung betrifft ein Verfahren zum Assistieren eines Fahrers beim Fahren in einer fremden Umgebung. Zudem betrifft die Erfindung ein Computerprogrammprodukt sowie ein Fahrassistenzsystem zur Durchführung des Verfahrens.
  • Fahrassistenzsysteme sind Zusatzeinrichtungen in einem Fahrzeug, die den Fahrer beim Führen des Fahrzeuges unterstützen. Derartige Fahrassistenzsysteme umfassen typischerweise unterschiedliche Subsysteme, wie Fahrerinformationssysteme oder prädiktive Sicherheitssysteme. Zu den Fahrerinformationssystemen gehören insbesondere Navigationssysteme, die den Fahrer mit relevanten Informationen versorgen, um eine Zielführung durch visuelle Darstellung und/oder Sprachausgaben zu ermöglichen. Dabei können die Zielführungsinformationen beispielsweise auf dem Display einer Mensch-Maschine-Schnittstelle (HMI) im Blickfeld des Fahrers angezeigt werden. DE 103 44 120 A1 beschreibt ein derartiges Verfahren zur Darstellung von Navigationshinweisen auf einer Projektionsfläche in einem Fahrzeug, das ein Navigationssystem umfasst. Dabei werden mithilfe des Navigationssystems Navigationshinweise ermittelt und in einem Bild der Fahrzeugumgebung dargestellt.
  • Zusätzlich zur Routenführung sind Verfahren bekannt, bei denen Bilder der realen Umgebung mit virtuellen Informationen überlagert sind. Aus DE 10 2009 037 835 A1 ist ein Verfahren zur ergonomischen Darstellung von virtuellen Informationen in einer realen Umgebung bekannt. Im Rahmen dieses Verfahrens werden virtuelle Informationen in einer realen Umgebungsansicht, insbesondere im Kamerabild, eingeblendet. Diese virtuellen Informationen werden auf einem Display in wenigstens einem Teil der Ansicht der realen Umgebung unter Berücksichtigung der Position und Orientierung zur realen Welt eingeblendet. Virtuelle Informationen umfassen dabei Bilder von Orten mit GPS-Informationen oder aus dem Internet extrahierte Informationen.
  • DE 10 2007 022 588 A1 beschreibt ein Verfahren zur Anzeige von Videobildern in einem Verkehrsmittel. Dabei werden Bilddaten mit einer Videokamera erfasst und die aktuellen Positionsdaten des Verkehrsmittels bestimmt. Weiterhin werden Objektdaten aus einer Datenbank ermittelt und mit den erfassten Bilddaten verknüpft, indem die zusätzlichen Informationen aus der Datenbank in der Videobildanzeige angezeigt werden. Zu den Daten aus der Datenbank gehören beispielsweise geografische oder fotografische Punkte in der realen Welt sowie Adressen, Namen oder Objekte, die sich in Fahrzeugumfeld befinden.
  • Weitere Fahrerinformationssysteme umfassen beispielsweise Überwachungssysteme, die die Umgebung des Fahrzeuges erfassen und auf einem Display im Blickfeld des Fahrers darstellen. Ein derartiges Überwachungssystem ist aus DE 10 2010 010 912 A1 bekannt. Danach werden Objekte aus der Umgebung des Fahrzeuges erfasst und in einer schematischen Draufsicht dargestellt. Zur Positionierung der Objekte in Bezug auf die Draufsicht werden die Bodenkoordinaten erfasst und ein Symbol, das das Objekt symbolisiert, im entsprechenden Bildpunkt eingeblendet.
  • Bekannte Verfahren, die virtuelle Informationen in einer realen Umgebung darstellen, vermitteln dem Fahrer eine Orientierungshilfe in der unmittelbaren Umgebung des Fahrzeuges. Daher wird die Anzeige der virtuellen Informationen während der Fahrt ständig aktualisiert und der Fahrer ist oftmals damit beschäftigt, die neusten Informationen wahrzunehmen und entsprechend darauf zu reagieren.
  • Offenbarung der Erfindung
  • Erfindungsgemäß wird Verfahren zum Assistieren eines Fahrers eines Fahrzeuges in einer fremden Umgebung mit folgenden Schritten vorgeschlagen:
    • – Erfassen von mindestens einer Umgebungsdarstellung, die zumindest einen Ausschnitt der realen Umgebung des Fahrzeuges wiedergibt;
    • – Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung der realen Umgebung aus einer virtuellen Perspektive;
    • – Ermitteln von objektbezogenen Daten im Bezug auf mindestens ein entferntes Objekt;
    • – Anzeigen der Darstellung der realen Umgebung, wobei eine synthetische Darstellung des mindestens einen entfernten Objekts unter Berücksichtigung der objektbezogenen Daten eingeblendet wird.
  • Im Rahmen der Erfindung wird die mindestens eine Umgebungsdarstellung von Umfeldsensorik erfasst, die beispielsweise ein Kamerasystem mit ein oder mehreren Kameras aufweist und zusätzlich oder alternativ auch ein Ultraschallsystem, ein Radarsystem und dergleichen enthalten kann. Die mindestens eine Umgebungsdarstellung kann etwa auf dem Kamerasystem basierende Videoansichten umfassen, die zumindest einen Ausschnitt der realen Umgebung des Fahrzeuges wiedergeben. Andere Umgebungsdarstellungen können auch Visualisierungen von Ultraschalldaten, Radardaten oder dergleichen sein. Die einzelnen Sensoren der Umfeldsensorik, etwa Kameras oder Ultraschallsensoren, können dabei an unterschiedlichen Orten am Fahrzeug verbaut sein und somit unterschiedliche Ausschnitte der realen Umgebung des Fahrzeuges wiedergeben.
  • Eine virtuelle Perspektive entspricht der Ansicht auf die Umgebung, die eine reale Kamera in der Position einer virtuellen Kamera liefern würde. So kann die virtuelle Perspektive in der Darstellung der realen Umgebung beispielsweise eine Vogelperspektive, die Perspektive eines Verfolgers des Fahrzeuges oder die Perspektive eines Dritten innerhalb oder außerhalb des Fahrzeuges einnehmen. Die virtuelle Kamera kann dazu in unterschiedlichen Positionen, insbesondere über dem Fahrzeug, platziert werden, um in der Darstellung der realen Umgebung einen möglichst vollständigen Überblick auf das Fahrzeugumfeld gewähren zu können. Dazu kann die virtuelle perspektive beispielsweise vom Fahrer ausgewählt werden.
  • Die mindestens eine Umgebungsdarstellung kann derart in beispielsweise die vogelperspektivische Darstellung transformiert werden, dass das Fahrzeug und dessen Umgebung von einem Punkt über dem Fahrzeug aus gesehen dargestellt wird. Dabei bestimmt sich der Ausschnitt, den die vogelperspektivische Darstellung von der realen Umgebung zeigt, beispielsweise nach der erfassten Umgebungsdarstellung und insbesondere der Reichweite der jeweiligen Sensoren der Umfeldsensorik.
  • In einer Implementierung des erfindungsgemäßen Verfahrens wird die mindestens eine Umgebungsdarstellung für die Darstellung der realen Umgebung auf eine Freiformfläche projiziert. Die Freiformfläche kann eine beliebige Form annehmen, wobei die Form vorzugsweise auf die darzustellende Umgebung abgestimmt ist. Beispielsweise kann eine einfache Straßenumgebung auf eine flache Fläche projiziert werden. Umgebungen, die Straßenzüge und erhabene Objekte enthalten, werden bevorzugt auf eine schüsselförmige Fläche projiziert. Dabei kann die flache Fahrzeugumgebung, wie die Straße, mit dem Fahrzeug im Zentrum auf den flachen Teil und erhabene Objekte auf die Flanken der schüsselförmigen Fläche projiziert werden. Mehrere erfasste Umgebungsdarstellungen, etwa Videoansichten eines Kamerasystems, können für die Darstellung der realen Umgebung zu einem Gesamtbild zusammengesetzt werden. Das Gesamtbild kann dabei zumindest einem Teilbereich, vorzugsweise einen Rundumblick der realen Umgebung des Fahrzeuges wiedergeben.
  • Unter entfernten Objekten sind im vorliegenden Zusammenhang solche Objekte zu verstehen, die außerhalb der Umgebung und/oder des Umgebungsausschnitt liegen, der in einer oder mehreren Umgebungsdarstellungen wiedergegeben ist. Entfernte Objekte können Punkte oder Objekte in der realen Welt und insbesondere Points of Interest (POI) darstellen, die spezifische Punkte in der realen Welt kennzeichnen. Beispielsweise können Orte wie touristische Attraktionen, Freizeitangebote, Museen oder andere Sehenswürdigkeiten POIs sein.
  • Die objektbezogenen Daten des mindestens einen entfernten Objekts können eine Position, eine Orientierung und/oder eine Bildbeschreibung des mindestens einen entfernten Objekts umfassen. Die objektbezogenen Daten können in mindestens einer Datenbank beispielsweise auf einem maschinenlesbaren Speichermedium gespeichert sein, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ können die objektbezogenen Daten in einer Datenbank auf einer Computereinrichtung wie einem Server zum Herunterladen bereitgestellt werden, zum Beispiel über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine Drahtlosverbindung.
  • Unter Berücksichtigung der Fahrzeugposition kann aus den objektbezogenen Daten insbesondere eine Position und eine Orientierung von entfernten Objekten relativ zu dem Fahrzeug in der realen Welt berechnet werden. Der Fahrzeugstandort kann etwa als geographische Positionsangabe, wie die von einem GPS-Sensor, zur Verfügung gestellt werden. Daraus kann eine relative Position zwischen dem entfernten Objekt und dem Fahrzeugstandort ermittelt werden und beispielsweise eine Einordnung des Fahrzeugstandortes in elektronisches Kartenmaterial erfolgen. Auf diese Weise kann aus der Position die Entfernung und die Himmelsrichtung von entfernten Objekten in der realen Welt relativ zu dem Fahrzeugstandort ermittelt werden.
  • Die synthetische Darstellung des mindestens einen entfernten Objekts kann aus einer entsprechenden Bildbeschreibung des mindestens entfernten Objekts generiert werden. Dabei kann etwa eine dreidimensionale Bildbeschreibung und/oder eine zweidimensionale Bildbeschreibung des entfernten Objekts in einer Datenbank hinterlegt sein. Im Falle von zweidimensionalen Bildbeschreibungen, können mehrere Bildbeschreibungen mit unterschiedlichen Blickwinkeln auf das entfernte Objekt hinterlegt sein, aus denen eine dreidimensionale Darstellung erzeugt werden kann (auch genannt „rendern“).
  • Die Bildbeschreibungen von entfernten Objekten können verknüpft mit geografischen Daten in einer Datenbank enthalten sein und somit gleichzeitig der Ermittlung von Positionen des entfernten Objekts dienen. So kann die Datenbank beispielsweise Geodaten kombiniert mit Satellitenbildern, Karten, symbolhafte Darstellungen, Piktogramme, Logos, Geländeinformationen, 3D-Gebäuden und sonstigen komplexen geografische Gegebenheiten umfassen. Beispiele für solche Datenbanken sind Google EarthTM oder 3D-Navigationsmodelle. Insbesondere kann aus der Bildbeschreibung eines entfernten Objekts, beispielsweise aus Satellitenbildern, durch rendern ein virtuelles räumliches Modell des entfernten Objekts generiert werden. Das räumliche Modell kann dabei unter anderem Materialeigenschaften, Lichtquellen, sowie Position und Blickrichtung eines Betrachters definieren.
  • Bei bestimmten Ausführungsformen des erfindungsgemäßen Verfahrens erfolgt die Generierung der synthetischen Darstellung unter Berücksichtigung der Orientierung des mindestens einen entfernten Objekts relativ zu dem Fahrzeug in der realen Welt. Alternativ kann die synthetische Darstellung des mindestens einen entfernten Objekts unter Berücksichtigung eines Blickwinkels des Betrachters auf die Darstellung der realen Umgebung generiert werden. Auch können für unterschiedliche entfernte Objekte unterschiedliche Bezugspunkte wie zum Beispiel die Orientierung relativ zu dem Fahrzeug oder der Blickwinkel des Betrachters auf die Darstellung der realen Umgebung als Bezugspunkt dienen.
  • Die synthetische Darstellung des entfernten Objekts kann weiterhin mit einer Größe eingeblendet werden, die konstant ist und/oder mit einer aus der Position bestimmbaren Entfernung des entfernten Objekts zu dem Fahrzeug skaliert. So kann die synthetische Darstellung beispielsweise überdimensioniert in die vogelperspektivische Darstellung eingeblendet werden.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann die synthetische Darstellung von mindestens einem entfernten Objekt entsprechend der aus den objektbezogenen Daten bestimmbaren Himmelsrichtung relativ zu dem Fahrzeug am Bildrand der Darstellung eingeblendet werden.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann die synthetische Darstellung von mindestens einem entfernten Objekt über der Bebauung oder Vegetation in als Himmel erkannten Bildbereichen eingeblendet werden.
  • Erfindungsgemäß wird weiterhin ein Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren vorgeschlagen, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei der Computereinrichtung kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrassistenzsystems oder eines Subsystems hiervon in einem Fahrzeug handeln. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung, oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung wie einem Server zum Herunterladen bereitgestellt werden, zum Beispiel über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine Drahtlosverbindung.
  • Erfindungsgemäß wird weiterhin ein Fahrassistenzsystem vorgeschlagen, welches, wie vorstehend beschreiben, zur Ausgabe von Darstellungen einer Fahrzeugumgebung an einen Fahrer ausgebildet ist. Eine Umfeldsensorik des Fahrzeuges dient dabei zum Erfassen von mindestens einer Umgebungsdarstellung. Das Fahrassistenzsystem umfasst weiterhin die folgenden Komponenten: eine Komponente zum Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung der realen Umgebung aus einer virtuellen Perspektive, eine Komponente zum Ermitteln von objektbezogenen Daten mindestens eines entfernten Objekts und eine Komponente zum Anzeigen der Darstellung der realen Umgebung, wobei eine synthetische Darstellung des mindestens einen entfernten Objekts unter Berücksichtigung der objektbezogenen Daten eingeblendet ist.
  • Die Umfeldsensorik kann Folgendes umfassen: Ein Kamerasystem mit einer oder mehreren Kameras beispielsweise eine Rückfahr-, Front-, Seitenkameras, und/oder Kameras an weiteren Einbauorten, wobei das Kamerasystem Mono-, Stereo-, Weitwinkelkameras oder eine Kombination hiervon umfasst; ein Ultraschallsystem mit einem oder mehreren Sensoren zum Beispiel im Heck- und/oder Frontbereich; ein Radarsystem, ein Lidarsystem, ein Infarotsystem oder dergleichen. Weitere Sensoren, die dem Fahrassistenzsystem zugeordnet sein können umfassen etwa einen Positionssensor wie einen GPS-Sensor, gegebenenfalls mit zugeordnetem elektronischem Kartenmaterial.
  • Das Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung der realen Umgebung aus einer virtuellen Perspektive und das Ermitteln von objektbezogenen Daten mindestens eines entfernten Objekts kann auf einem entsprechend ausgebildeten Steuergerät des Fahrassistenzsystems ausgeführt werden. Die Anzeige der Darstellung kann dann auf einem Display erfolgen, das vorzugsweise dem HMI des Fahrassistenzsystems zugeordnet ist.
  • Vorteile der Erfindung
  • Die Erfindung ermöglicht es, durch das Einblenden einer synthetischen Darstellung von realen Objekten in eine vogelperspektivische Darstellung der unmittelbaren realen Umgebung dem Fahrer situationsabhängig einen optimalen Überblick über die Fahrzeugumgebung im Nahbereich und Fernbereich bereitzustellen. Bei der Einblendung der synthetischen Darstellung des realen Objekts werden dessen Positionsdaten relativ zu dem Fahrzeug berücksichtigt und entsprechend eingeblendet. Dies ermöglicht es dem Fahrer, sich in einer urbanen Umgebung schnell zu orientieren und seine aktuelle Position anhand von entfernten Objekten insbesondere POIs einschätzen zu können. Eine möglichst realitätsgetreue oder bewusst auf Wiedererkennung unter beschränkter Bildschirmauflösung optimierte synthetische Darstellung von entfernten Objekten gibt dem Fahrer ein Sensorium, um seine Position in der realen Welt einzuschätzen.
  • Für die Erfindung sind in der Regel keine zusätzlichen Komponenten notwendig, es werden also keine zusätzlichen Einbauten erforderlich. Somit kann der Gewinn an intuitiv und leicht erfassbarer Unterstützung in komplexen Fahrsituationen auf kostengünstige Weise erreicht werden, beispielsweise lediglich durch ein entsprechendes Update der Software eines Steuergeräts.
  • Kurze Beschreibung der Zeichnungen
  • Weitere Aspekte und Vorteile der Erfindung werden nunmehr anhand der beigefügten Zeichnungen eingehender beschrieben. Es zeigt:
  • 1 ein mit einem erfindungsgemäßen Fahrassistenzsystem ausgerüstetes Fahrzeug in einer beispielhaften Fahrsituation;
  • 2 eine schematische Ansicht auf eine Ausgabe des erfindungsgemäßen Fahrassistenzsystems gemäß 1;
  • 3 in Form eines Flussdiagramms eine Arbeitsweise des Fahrassistenzsystems der 1.
  • Ausführungsformen der Erfindung
  • In 1 ist schematisch ein Fahrzeug 100 in einer Fahrsituation dargestellt, in der sich das Fahrzeug 100 in einer urbanen Umgebung mit Objekten, wie Häusern 104 und anderen Verkehrsteilnehmern 104, befindet. Innerhalb der Häuserschlucht ist die Sicht des Fahrers in ihrer Reichweite auf die Straße 102 und ihre unmittelbare Umgebung begrenzt. Dies erschwert die Orientierung innerhalb des urbanen Bereiches. Insbesondere kann der Fahrer entfernte Objekte 106, die der Orientierung innerhalb des urbanen Bereiches dienen können, aus seiner aktuellen Sicht nicht wahrnehmen.
  • Das Fahrzeug verfügt über ein Fahrassistenzsystem 108, welches gemäß 1 unter anderem die folgenden Komponenten umfasst: Auf einem Steuergerät 110 ist eine Software installiert, mittels derer ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens implementiert ist. Statt eines zentralen Steuergeräts 110, wie in 1 dargestellt, könnte ein anderes Fahrassistenzsystem 108 auch mehrere verteilte Steuerkomponenten umfassen. Das Steuergerät 110 ist zur Entgegennahme von Sensordaten eines Kamerasystems mit einer Rückfahrkamera 114, einer Frontkamera 112 sowie in den Seitenspiegeln integrierte Seitenkameras 116, 118 ausgestaltet. Zusätzlich ist im Blickfeld des Fahrers eine Mensch-Maschine-Schnittstelle 122, etwa ein Display, zur Ausgabe von Umgebungsdarstellungen vorgesehen. Das Fahrassistenzsystem 108 kann weitere Sensorsysteme umfassen, die in 1 nicht gezeigt sind.
  • Das Steuergerät 110 ist zur Ausgabe von mit den Kameras 112 bis 118 gewonnenen Darstellungen der entsprechenden Umgebung des Fahrzeuges 100 ausgebildet, wobei die Ausgabe auf eine Anzeigeeinheit der Mensch-Maschine-Schnittstelle 122 erfolgt.
  • Jede der Kameras 112 bis 118 kann jeweils eine Monokamera oder eine Stereokamera umfassen, die mit oder ohne Weiwinkellinsen fest oder schwenkbar am Fahrzeug verbaut sein können. Jede der Kameras 112 bis 118 kann somit einen festen oder einstellbaren Sichtbereich haben, wobei insbesondere ein optisches und/oder elektronisches Zoom zum Einsatz kommen kann. Die Kameras 112 bis 118 erfassen Videoansichten, die jeweils einen anderen Ausschnitt der realen Umgebung des Fahrzeuges 100 wiedergeben. Dabei können sich die Ausschnitte zumindest teilweise überlappen.
  • Die mit den Kameras 112 bis 118 erfassten Videoansichten werden dem Steuergerät 110 bereitgestellt, wo eine vogelperspektivische Darstellung der Fahrzeugumgebung berechnet wird. Zusätzlich werden dem Steuergerät 110 objektbezogene Daten von entfernten Objekten 106 zur Verfügung gestellt. Diese objektbezogenen Daten können etwa in einer Datenbank auf einem Server oder auf einem maschinenlesbaren Speichermedium hinterlegt sein. Auf diese Weise kann das Steuergerät 110 objektbezogene Daten beispielsweise von einem Server über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung herunterladen. Die objektbezogene Daten umfassen dabei unter anderem Bildbeschreibungen der entfernten Objekte 106 sowie deren Position in der realen Welt.
  • Zur verbesserten Orientierung des Fahrers in der urbanen Fahrsituation wird die Darstellung der unmittelbaren Fahrzeugumgebung mit einer synthetischen Darstellung 106‘ von entfernten Objekten kombiniert. Eine beispielhafte Ansicht auf eine vogelperspektivische Darstellung, in der synthetische Darstellungen von entfernten Objekten 106‘ eingeblendet sind, ist in 2 gezeigt. In der vogelperspektivischen Darstellung 130 ist das Fahrzeug 100‘ und die unmittelbare Umgebung des Fahrzeuges 100 aus einem Blickwinkel oder einer virtuellen Perspektive über dem Fahrzeug 100‘ dargestellt. Dies gibt dem Fahrer einen Überblick über die unmittelbare Fahrzeugumgebung und dessen relative Position zu angrenzenden Objekten 104‘.
  • Um dem Fahrer einen umfassenden Überblick in einer derartigen urbanen Fahrsituation zu vermitteln, ist die vogelperspektivische Darstellung 130 mit einem synthetischen Bildbereich 132 kombiniert. Der synthetische Bildbereich 132 umfasst die synthetische Darstellung von realen Objekten 106‘. Diese synthetische Darstellung von Objekten 106‘ resultiert aus einer Bildsynthese mit Bildbeschreibungen aus der Datenbank, zu der das Steuergerät 110 Zugriff hat. Die synthetische Darstellung 132 kann dabei unter Berücksichtigung der Orientierung und der Himmelsrichtung der entfernten Objekt 106 relativ zu dem Fahrzeug 100 eingeblendet werden. Auch bei der Generierung der synthetischen Darstellung 106‘ kann die Orientierung der entfernten Objekte 106 relativ zu dem Fahrzeug 100 berücksichtigt werden. Alternativ kann der Blickwinkel auf die perspektivische Darstellung 130 der realen Umgebung als Bezugspunkt für die Generierung der synthetischen Darstellung der entfernten Objekte 106‘ dienen.
  • Da entfernte Objekt 106 außerhalb der perspektivischen Darstellung 130 der realen Umgebung liegen, kann durch Variationen in der Größe und der Position ein umfassender Überblick für den Fahrer geschaffen werden. So können beispielsweise Objekte 106, die in weiterer Entfernung liegen kleiner dargestellt sein, als Objekte, die sich in der näheren Umgebung befinden. Dies resultiert in einer Art Tiefendarstellung, welche dem Fahrer ein Gefühl für Entfernung vermittelt. Zusätzlich werden die synthetischen Darstellungen 106‘ entsprechend der jeweiligen Himmelsrichtung am Bildrand der vogelperspektivischen Darstellung 130 eingeblendet. Auf diese Weise kann der Fahrer vorausschauend seine derzeitige und zukünftige Position einschätzen und diese Informationen bei der Fahrt durch eine urbane Umgebung nutzen, um eine grobe Orientierung zu erhalten.
  • Eine erfindungsgemäße Funktionsweise des Fahrassistenzsystems 108 wird nunmehr anhand des Flussdiagramms 300 in 3 genauer beschrieben. Im Grundsatz dient das Zusammenwirken der in 1 dargestellten Komponenten dazu, in einer bestimmten Fahrsituation eine optimale Unterstützung des Fahrers durch geeignete Umgebungsdarstellung mit Orientierungshilfe anzubieten.
  • In Schritt 302 erfasst das Kamerasystem 112 Umgebungsdarstellungen, die sich aus einzelnen Videoansichten der Kameras 112, 114, 116, 118 zusammensetzen. Diese einzelnen Videoansichten geben zumindest einen Ausschnitt der realen Umgebung des Fahrzeugs 100 wieder. Die erfassten Umgebungsdarstellungen werden weiterhin einem Steuergerät 108 bereitgestellt, wo die Auswertung der Daten stattfindet und die Komponenten des Fahrassistenzsystems 108 gesteuert werden.
  • In Schritt 304, werden die erfassten Umgebungsdarstellungen in eine vogelperspektivische Darstellung der realen Umgebung transformiert. Dazu werden die erfassten Videoansichten auf eine Freiformfläche beispielsweise eine flache oder eine schüsselförmige Ebene oder Fläche projiziert. Diese Projektion ermöglicht es, einen realeren Eindruck zu schaffen, in dem erhabene Objekte nicht so stark verzerrt werden, wie bei der Projektion auf eine flache Bodenebene.
  • In Schritt 306 werden objektbezogenen Daten etwa Position, Orientierung und Bildbeschreibung von entfernten Objekten 106 relativ zu dem Fahrzeug 100 ermittelt. So können beispielsweise GPS-Sensoren den Fahrzeugstandort genutzt werden, um die relative Position der entfernten Objekte 106 zu dem Fahrzeug 100 zu berechnen. Daraus können die Entfernung und die Himmelsrichtung von entfernten Objekten 106 relativ zum Fahrzeug 100 bestimmt werden. Mit Hilfe der Orientierung der entfernten Objekte 106 relativ zu dem Fahrzeug 100 kann eine Bildbeschreibung aus einer Datenbank in eine synthetische Darstellung 106‘ umgewandelt werden.
  • In Schritt 310 erfolgt die Anzeige der vogelperspektivischen Darstellung 130 der realen Umgebung, wobei synthetische Darstellungen von entfernten Objekten 106‘ in der Umgebung unter Berücksichtigung der Position und Orientierung der Objekte 106 in einem synthetischen Bildbereich 132 angezeigt werden.
  • Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängenden Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10344120 A1 [0002]
    • DE 102009037835 A1 [0003]
    • DE 102007022588 A1 [0004]
    • DE 102010010912 A1 [0005]

Claims (11)

  1. Verfahren zum Assistieren eines Fahrers eines Fahrzeuges (100) in einer fremden Umgebung, mit folgenden Schritten: – Erfassen von mindestens einer Umgebungsdarstellung, die zumindest einen Ausschnitt einer realen Umgebung des Fahrzeuges (100) wiedergibt; – Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung (130) der realen Umgebung aus einer virtuellen Perspektive; – Ermitteln von objektbezogenen Daten im Bezug auf mindestens ein entferntes Objekt (106); – Anzeigen der Darstellung (130) der realen Umgebung, wobei eine synthetische Darstellung (132) des mindestens einen entfernten Objekts (106‘) unter Berücksichtigung der objektbezogenen Daten eingeblendet wird.
  2. Verfahren zum Assistieren eines Fahrers gemäß Anspruch 1, dadurch gekennzeichnet, dass die mindestens eine Umgebungsdarstellung für die Darstellung (130) der realen Umgebung aus einer virtuellen Perspektive auf eine Freiformfläche projiziert wird.
  3. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass mehrere Umgebungsdarstellungen für die Darstellung (130) der realen Umgebung zu einem Gesamtbild zusammengesetzt werden.
  4. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die objektbezogenen Daten eine Position, eine Orientierung und/oder eine Bildbeschreibung des mindestens einen entfernten Objekts (106) umfassen.
  5. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des mindestens einen entfernten Objekts (106‘) aus einer entsprechenden Bildbeschreibung des entfernten Objekts (106) generiert wird.
  6. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des entfernten Objekts (106‘) unter Berücksichtigung der Orientierung des entfernten Objekts (106) relativ zu dem Fahrzeug (100) in der realen Welt generiert wird.
  7. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des entfernten Objekts (106‘) unter Berücksichtigung eines Blickwinkels auf die Darstellung (130) der realen Umgebung generiert wird.
  8. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des entfernten Objekts (106‘) mit einer Größe eingeblendet wird, die konstant ist und/oder mit einer aus den objektbezogenen Daten bestimmbaren Entfernung des entfernten Objekts (106) zu einem Fahrzeug (100) skaliert.
  9. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des entfernten Objekts (106‘) entsprechend einer aus den objektbezogenen Daten bestimmbaren Himmelsrichtung relativ zu dem Fahrzeug (100) am Bildrand der Darstellung (130) der realen Umgebung eingeblendet wird.
  10. Computerprogramm zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird.
  11. Fahrassistenzsystem (108) zum Assistieren eines Fahrers eines Fahrzeuges (100) in einer fremden Umgebung, mit folgenden Komponenten: – Umfeldsensorik (112) zum Erfassen von mindestens einer Umgebungsdarstellung, die zumindest einen Ausschnitt einer realen Umgebung des Fahrzeuges (100) wiedergeben; – eine Komponente (108) zum Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung (130) der realen Umgebung aus einer virtuellen Perspektive; – eine Komponente (124) zum Ermitteln von objektbezogenen Daten im Bezug auf mindestens ein entferntes Objekt (106); – eine Komponente (122) zum Anzeigen der Darstellung (130) der realen Umgebung, wobei eine synthetische Darstellung des mindestens einen entfernten Objekts (106) unter Berücksichtigung der objektbezogenen Daten eingeblendet ist.
DE201110084596 2011-10-17 2011-10-17 Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung Withdrawn DE102011084596A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE201110084596 DE102011084596A1 (de) 2011-10-17 2011-10-17 Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung
PCT/EP2012/068963 WO2013056954A1 (de) 2011-10-17 2012-09-26 Verfahren zum assistieren eines fahrers in einer fremden umgebung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201110084596 DE102011084596A1 (de) 2011-10-17 2011-10-17 Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung

Publications (1)

Publication Number Publication Date
DE102011084596A1 true DE102011084596A1 (de) 2013-04-18

Family

ID=47074674

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201110084596 Withdrawn DE102011084596A1 (de) 2011-10-17 2011-10-17 Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung

Country Status (2)

Country Link
DE (1) DE102011084596A1 (de)
WO (1) WO2013056954A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226178A1 (de) 2015-12-21 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Mobilgerät zur Anzeige einer geografischen Bereichsdarstellung
EP3507125A4 (de) * 2016-09-02 2020-04-22 LG Electronics Inc. -1- Fahrzeugbenutzerschnittstellenvorrichtung und fahrzeug

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3663941B1 (de) * 2018-12-07 2022-07-13 Volvo Car Corporation Beurteilung einer simulierten fahrzeugbezogenen funktion
KR20210000593A (ko) * 2019-06-25 2021-01-05 두산인프라코어 주식회사 건설기계 주변의 환경 데이터를 생성하기 위한 장치 및 이를 포함하는 건설기계

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10344120A1 (de) 2003-09-24 2005-04-21 Daimler Chrysler Ag Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen
DE102007022588A1 (de) 2007-05-14 2008-11-27 Robert Bosch Gmbh Verfahren zur Anzeige von Videobildern und Videosystemen
DE102010010912A1 (de) 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte
DE102009037835A1 (de) 2009-08-18 2011-02-24 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI388803B (zh) * 2008-10-02 2013-03-11 Mstar Semiconductor Inc 具有簡化顯示模式之導航系統及其顯示方法
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10344120A1 (de) 2003-09-24 2005-04-21 Daimler Chrysler Ag Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen
DE102007022588A1 (de) 2007-05-14 2008-11-27 Robert Bosch Gmbh Verfahren zur Anzeige von Videobildern und Videosystemen
DE102009037835A1 (de) 2009-08-18 2011-02-24 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
DE102010010912A1 (de) 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226178A1 (de) 2015-12-21 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Mobilgerät zur Anzeige einer geografischen Bereichsdarstellung
EP3507125A4 (de) * 2016-09-02 2020-04-22 LG Electronics Inc. -1- Fahrzeugbenutzerschnittstellenvorrichtung und fahrzeug

Also Published As

Publication number Publication date
WO2013056954A1 (de) 2013-04-25

Similar Documents

Publication Publication Date Title
EP2769373B1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
EP2491530B1 (de) Bestimmung der pose einer kamera
DE112018004521T5 (de) Anzeigevorrichtung eines überlagerten Bildes und Computerprogramm
DE102010042063A1 (de) Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
DE102015201053A1 (de) System und verfahren für verbesserte zeitraffervideoerzeugung unter nutzung von panoramabildmaterial
DE10138719A1 (de) Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
DE112018004583T5 (de) Anzeigevorrichtung und Computerprogramm
DE102009051526A1 (de) System und Verfahren zum Abbilden der Fahrzeugumgebung mit ein- und verstellbarer Perspektive
EP2805183A1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
US8600098B2 (en) Method for processing a satellite image and/or an aerial image
DE112018004519T5 (de) Anzeigevorrichtung eines überlagerten Bildes und Computerprogramm
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
WO2021110412A1 (de) Anzeigeverfahren zur darstellung eines umgebungsmodells eines fahrzeugs, computerprogramm, steuergerät und fahrzeug
EP3955046A1 (de) Verfahren zum betrieb einer anzeigeeinrichtung in einem kraftfahrzeug
DE102011084596A1 (de) Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung
DE102012213768A1 (de) Bildanzeigesteuersystem, bildanzeigesteuerverfahren und bildanzeigesteuerprogramm
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3721371A1 (de) Verfahren zur positionsbestimmung für ein fahrzeug, steuergerät und fahrzeug
DE10137582A1 (de) Bildverarbeitungsvorrichtung für ein Fahrzeug
DE102010062464A1 (de) Verfahren und Vorrichtung zur Darstellung eines Abschnitts einer Umgebung
DE102018106039B4 (de) Bildreproduktionsvorrichtung, bildreproduktionssystem und bildreproduktionsverfahren
EP2145157A1 (de) Verfahren zur anzeige von videobildern und videosystem
DE102017007705A1 (de) Ausgeben einer Manöveranweisung mittels einer Navigationseinrichtung
DE102014107317B4 (de) Elektronisches Periskop für ein Kraftfahrzeug
DE102012213336A1 (de) Verfahren und Vorrichtung zur Ergänzung einer digitalen Karte um Höhenangaben an vorbestimmten geografischen Positionen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140501