DE102020203297A1 - Verfahren und Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung und Server - Google Patents

Verfahren und Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung und Server Download PDF

Info

Publication number
DE102020203297A1
DE102020203297A1 DE102020203297.1A DE102020203297A DE102020203297A1 DE 102020203297 A1 DE102020203297 A1 DE 102020203297A1 DE 102020203297 A DE102020203297 A DE 102020203297A DE 102020203297 A1 DE102020203297 A1 DE 102020203297A1
Authority
DE
Germany
Prior art keywords
motor vehicle
server
data
augmented reality
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102020203297.1A
Other languages
English (en)
Inventor
Adrian Haar
Daniel Morales Fernández
Bilal Azzam
Kassandra Bauerfeind
Jonas Konrad
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102020203297.1A priority Critical patent/DE102020203297A1/de
Publication of DE102020203297A1 publication Critical patent/DE102020203297A1/de
Granted legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B60K2360/5899—Internet
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/785—Instrument locations other than the dashboard on or in relation to the windshield or windows
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung (1) zur Darstellung von Informationen in einer erweiterten Realitätsanwendung, wobei die Vorrichtung (1) mindestens eine Kamera (2), mindestens eine Anzeigeeinheit (4) und mindestens eine Auswerte- und Steuereinheit (3) aufweist, wobei die Vorrichtung (1) derart ausgebildet ist, dass mittels der mindestens einen Kamera (2) Bilddaten eines Kraftfahrzeugs (6) erfasst werden und mittels der Auswerte- und Steuereinheit (3) mindestens ausgewählte Bilddaten an einen zentralen Server (10) übermittelt werden, wobei die Vorrichtung (1) weiter derart ausgebildet ist, 3D-Daten eines dem Kraftfahrzeug (6) zugeordneten Modells zu empfangen, wobei die Vorrichtung (1) bei der Darstellung der erweiterten Realität die 3D-Daten, eine Entfernung und eine Perspektive des Kraftfahrzeugs (6) berücksichtigt, sowie einen Server (10).

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung sowie einen Server.
  • Aus dem Stand der Technik sind sogenannte erweiterte Realitätsanwendungen (auch bekannt als Augmented Reality AR) bekannt, die eine computergestützte Erweiterung der Realitätswahrnehmung erlauben. Ein Teilaspekt davon ist die visuelle Darstellung von Informationen als Ergänzung von Bildern mittels computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung und Überlagerung.
  • Aus der DE 10 2014 005 983 A1 ist ein Verfahren zur Anzeige von Kraftfahrzeuginformationen bekannt, wobei ein Bild eines Kraftfahrzeuges aufgenommen wird und mittels Bildauswertungsalgorithmen analysiert und der Typ des aufgenommenen Kraftfahrzeuges identifiziert wird, wobei aus einer Datenbank Informationen über das Kraftfahrzeug abgerufen und zusammen mit dem aufgenommenen Realbild des bestehenden Kraftfahrzeuges angezeigt werden. Dabei können die Informationen mit dem Realbild überlagert werden.
  • Ein ähnliches Verfahren ist aus der US 2019/0278994 A1 bekannt.
  • Der Erfindung liegt das technische Problem zugrunde, ein Verfahren zur Darstellung von Informationen in einer erweiterten Realitätsanwendung zu schaffen, wobei mindestens ein reales Objekt ein Kraftfahrzeug ist, das verbesserte Darstellungsmöglichkeiten erlaubt. Ein weiteres technisches Problem ist die Schaffung einer geeigneten Vorrichtung und eines geeigneten Servers.
  • Die Lösung des technischen Problems ergibt sich durch ein Verfahren mit den Merkmalen des Anspruchs 1, eine Vorrichtung mit den Merkmalen des Anspruchs 7 und einen Server mit den Merkmalen des Anspruchs 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
  • Bei dem Verfahren zur Darstellung von Informationen in einer erweiterten Realitätsanwendung, wobei mindestens ein reales Objekt ein Kraftfahrzeug ist, werden mittels mindestens einer Kamera Bilddaten des Kraftfahrzeugs erfasst. Weiter werden mindestens ausgewählte Bilddaten des Kraftfahrzeugs an einen zentralen Server übermittelt, wobei in dem Server mindestens ein Modell des Kraftfahrzeugs ermittelt wird. Der Server übermittelt dann mindestens 3D-Daten des Modells an eine Vorrichtung zur Darstellung der Informationen. Die Vorrichtung berücksichtigt dann bei der Darstellung der erweiterten Realität die 3D-Daten, eine Entfernung und eine Perspektive des Kraftfahrzeugs. Da die genaue Geometrie bekannt ist, kann diese in die Perspektive und die Distanz ortskorrekt abgebildet werden. Dies vereinfacht beispielsweise die sogenannte Occlusion, bei der die virtuellen Objekte derart dargestellt werden, als ob diese durch reale Objekte verdeckt werden. Durch die Kenntnis der 3D-Daten kann dies nunmehr mit erheblich weniger Rechenleistung durchgeführt werden.
  • Neben den äußeren 3D-Daten können zusätzlich auch Innenraumkoordinaten des Modells übermittelt werden, sodass das Kraftfahrzeug beispielsweise als „gläsernes Kraftfahrzeug“ dargestellt werden kann.
  • Der Server weist hierzu vorzugsweise ein neuronales Netz auf, um aus den Bilddaten auf das Modell zu schließen. Dabei kann aus den Bilddaten mittels des neuronalen Netzes auch auf die Entfernung und die Perspektive geschlossen werden, die dann ebenfalls an die Vorrichtung übermittelt werden. Allerdings ist dieser Vorgang rechenintensiv.
  • Vorzugsweise werden daher Entfernung und Perspektive durch die mindestens eine Kamera ermittelt, die hierzu als Tiefenkamera ausgebildet ist. Hierzu ist die Kamera beispielsweise als TOF-Kamera (Time of Flight) oder als Stereokamera ausgebildet. Dabei kann die Kamera als IR-Kamera ausgebildet sein, mittels derer Tiefeninformationen ermittelbar sind. Dem Server können dann Informationen wie Entfernung, Perspektive und ausgewählte Kanten übermittelt werden, aus denen dann sehr schnell das Modell ermittelbar ist.
  • In einer weiteren Ausführungsform wird an den Server mindestens eine Zusatzinformation übertragen, wobei anhand der mindestens einen Zusatzinformation das Kraftfahrzeug individualisiert werden kann, wobei der Server dann individualisierte 3D-Daten an die Vorrichtung übermittelt. Dies ist insbesondere bei Anwendungen wie dem „gläsernen Kraftfahrzeug“ von Vorteil, da somit beispielsweise die fahrzeugindividuelle Ausstattung dargestellt werden kann. Ein weiteres Beispiel ist beispielsweise die Darstellung einer Sitzplatzzuordnung in einem Sammeltaxi oder ähnlichen Car-Sharing-Modellen.
  • In einer weiteren Ausführungsform ist die Zusatzinformation eine Ortsinformation und/oder eine Kennung des Kraftfahrzeugs. Beispielsweise kennt der Server die Position der Kraftfahrzeuge einer Car-Sharing-Flotte und weiß so, welches konkrete Kraftfahrzeug gerade aufgenommen wurde. Alternativ oder ergänzend kann dies mittels einer Kennung erfolgen, die beispielsweise ein Nummernschild oder eine separate Codierung wie ein Barcode sein kann.
  • In einer weiteren Ausführungsform werden als virtuelle Objekte Navigationshinweise dargestellt, die mindestens teilweise durch das Kraftfahrzeug verdeckt dargestellt sind.
  • Die Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung weist mindestens eine Kamera, mindestens eine Anzeigeeinheit und mindestens eine Auswerte- und Steuereinheit auf. Je nach Anwendung kann die Anzeigeeinheit ein Smart-Phone, Laptop, AR-Brille oder Head-up-Display sein. Die Vorrichtung ist derart ausgebildet, dass mittels der mindestens einen Kamera Bilddaten eines Kraftfahrzeugs erfasst werden und mittels der Auswerte- und Steuereinheit mindestens ausgewählte Bilddaten an einen zentralen Server übermittelt werden. Die Vorrichtung ist weiter derart ausgebildet, 3D-Daten eines dem Kraftfahrzeug zugeordneten Modells zu empfangen, wobei die Vorrichtung bei der Darrstellung der erweiterten Realität die 3D-Daten, eine Entfernung und eine Perspektive des Kraftfahrzeugs berücksichtigt.
  • Vorzugsweise ist die Kamera als Tiefenkamera ausgebildet, mittels derer die Entfernung des Kraftfahrzeugs und die Perspektive ermittelt wird.
  • Weiter kann die Vorrichtung derart ausgebildet sein, mindestens eine Zusatzinformation zur Individualisierung des Kraftfahrzeugs zu erfassen. Dies kann beispielsweise mittels der Kamera erfolgen oder aber beispielsweise mittels eines GPS-Empfängers, um eine Ortsposition des Kraftfahrzeuges zu bestimmen.
  • Der Server ist derart ausgebildet, aus Bilddaten eines Kraftfahrzeugs ein Modell zu ermitteln und zugeordnete 3D-Daten dieses Modells zu übertragen.
  • Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Figuren zeigen:
    • 1 ein schematisches Blockschaltbild einer Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung,
    • 2 eine schematische Darstellung einer erweiterten Realitätsanwendung zur Darstellung von Navigationshinweisen nach dem Stand der Technik und
    • 3 eine schematische Darstellung einer erweiterten Realitätsanwendung zur Darstellung von Navigationshinweisen gemäß der Erfindung.
  • In der 1 ist schematisch eine Vorrichtung 1 zur Darstellung von Informationen in einer erweiterten Realitätsanwendung (Augmented Reality) dargestellt. Die Vorrichtung 1 weist eine Kamera 2, eine Auswerte- und Steuereinheit 3 und eine Anzeigeeinrichtung 4 auf. Die Kamera 2 ist derart ausgebildet, mindestens ein Bild von einem realen, nicht dargestellten Kraftfahrzeug zu machen und dabei die Entfernung und Perspektive zu bestimmen. Die Bilddaten werden der Auswerte- und Steuereinheit 3 übermittelt, die charakteristische Punkte und Kanten in der Bildaufnahme ermittelt und diese an einen zentralen Server 10 übermittelt. Optional können auch die Entfernung und Perspektive an den Server 10 zusätzlich übermittelt werden. Der Server 10 ermittelt dann mittels eines neuronalen Netzes aus den übermittelten Daten, um welches Modell es sich handelt (z.B. GOLF VI). Der Server 10 übermittelt dann die 3D-Daten des Modells sowie gegebenenfalls je nach Anwendung auch die Innenraumkoordinaten zurück an die Auswerte- und Steuereinheit 3. Die Auswerte- und Steuereinheit 3 kann dann die 3D-Daten aufgrund der bekannten Entfernung und Perspektive ortsgenau zuordnen. Somit kann nun das reale Kraftfahrzeug sehr einfach als Schattenobjekt bzw. „occlusion object“ verwendet. Dies soll nun anhand der 2 und 3 erläutert werden. Die erweiterte Realitätsanwendung dient beispielsweise dazu, einen Kraftfahrzeugführer Navigationshinweise in einem Head-up-Display zur Verfügung zu stellen. Dabei ist in 2 eine Darstellung gemäß dem Stand der Technik dargestellt, wobei der Navigationshinweis 5 in Form eines Abbiegepfeils ein reales Kraftfahrzeug 6 teilweise überdeckt. Diese Überdeckung der realen Objekte durch die virtuellen Objekte ist insbesondere bei Kraftfahrzeuganwendungen unerwünscht.
  • Erfindungsgemäß kennt nun die Auswerte- und Steuereinheit 3 die genauen Koordinaten des Kraftfahrzeugs 6 und kann nun das Kraftfahrzeug 6 als Schattenobjekt benutzen, d.h. der Navigationshinweis 5 wird nun derart dargestellt, als wenn dieser teilweise unter dem Kraftfahrzeug 6 verläuft. Das reale Objekt, nämlich das Kraftfahrzeug 6, wird nicht verdeckt und bleibt weiter sehr gut erkennbar.
  • Bezugszeichenliste
    • 1
    Vorrichtung
    2
    Kamera
    3
    Auswerte- und Steuereinheit
    4
    Anzeigeeinrichtung
    5
    Navigationshinweis
    6
    Kraftfahrzeug
    10
    Server
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014005983 A1 [0003]
    • US 2019/0278994 A1 [0004]

Claims (10)

  1. Verfahren zur Darstellung von Informationen in einer erweiterten Realitätsanwendung, wobei mindestens ein reales Objekt ein Kraftfahrzeug (6) ist, wobei mittels mindestens einer Kamera (2) Bilddaten des Kraftfahrzeugs (6) erfasst werden, mindestens ausgewählte Bilddaten des Kraftfahrzeugs (6) an einen zentralen Server (10) übermittelt werden, wobei in dem Server (10) mindestens ein Modell des Kraftfahrzeugs (6) ermittelt wird, wobei der Server (10) mindestens 3D-Daten des Modells an eine Vorrichtung (1) zur Darstellung der Informationen übermittelt, wobei die Vorrichtung (1) bei der Darstellung der erweiterten Realität die 3D-Daten, eine Entfernung und eine Perspektive des Kraftfahrzeugs (6) berücksichtigt.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die übermittelten 3D-Daten zusätzlich Innenraumkoordinaten des Kraftfahrzeugs (6) umfassen.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Entfernung und die Perspektive durch die mindestens eine Kamera (2) ermittelt werden.
  4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass an den Server (10) mindestens eine Zusatzinformation übertragen wird, wobei anhand der mindestens einen Zusatzinformation das Kraftfahrzeug (6) individualisiert werden kann, wobei der Server (10) individualisierte 3D-Daten an die Vorrichtung (1) übermittelt.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Zusatzinformation eine Ortsposition und/oder eine Kennung des Kraftfahrzeugs (6) ist.
  6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass als virtuelle Objekte Navigationshinweise (5) dargestellt werden, die mindestens teilweise durch das Kraftfahrzeug (6) verdeckt dargestellt sind.
  7. Vorrichtung (1) zur Darstellung von Informationen in einer erweiterten Realitätsanwendung, wobei die Vorrichtung (1) mindestens eine Kamera (2), mindestens eine Anzeigeeinheit (4) und mindestens eine Auswerte- und Steuereinheit (3) aufweist, wobei die Vorrichtung (1) derart ausgebildet ist, dass mittels der mindestens einen Kamera (2) Bilddaten eines Kraftfahrzeugs (6) erfasst werden und mittels der Auswerte- und Steuereinheit (3) mindestens ausgewählte Bilddaten an einen zentralen Server (10) übermittelt werden, wobei die Vorrichtung (1) weiter derart ausgebildet ist, 3D-Daten eines dem Kraftfahrzeug (6) zugeordneten Modells zu empfangen, wobei die Vorrichtung (1) bei der Darstellung der erweiterten Realität die 3D-Daten, eine Entfernung und eine Perspektive des Kraftfahrzeugs (6) berücksichtigt.
  8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass die Kamera (2) derart ausgebildet ist, eine Entfernung und eine Perspektive zu einem Kraftfahrzeug (6) zu ermitteln.
  9. Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Vorrichtung (1) derart ausgebildet ist, mindestens eine Zusatzinformation zur Individualisierung eines Kraftfahrzeugs (6) zu erfassen.
  10. Server (10) zur Unterstützung von erweiterten Realitätsanwendungen, wobei der Server (10) derart ausgebildet ist, aus Bilddaten eines Kraftfahrzeugs (6) ein Modell zu ermitteln, wobei der Server (10) Zugriff auf 3D-Daten der Modelle hat.
DE102020203297.1A 2020-03-13 2020-03-13 Verfahren und Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung und Server Granted DE102020203297A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020203297.1A DE102020203297A1 (de) 2020-03-13 2020-03-13 Verfahren und Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung und Server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020203297.1A DE102020203297A1 (de) 2020-03-13 2020-03-13 Verfahren und Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung und Server

Publications (1)

Publication Number Publication Date
DE102020203297A1 true DE102020203297A1 (de) 2021-09-16

Family

ID=77457061

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020203297.1A Granted DE102020203297A1 (de) 2020-03-13 2020-03-13 Verfahren und Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung und Server

Country Status (1)

Country Link
DE (1) DE102020203297A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014005983A1 (de) 2014-04-24 2014-09-25 Daimler Ag Verfahren zur Anzeige von Kraftfahrzeuginformationen
US20190278994A1 (en) 2018-03-08 2019-09-12 Capital One Services, Llc Photograph driven vehicle identification engine

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014005983A1 (de) 2014-04-24 2014-09-25 Daimler Ag Verfahren zur Anzeige von Kraftfahrzeuginformationen
US20190278994A1 (en) 2018-03-08 2019-09-12 Capital One Services, Llc Photograph driven vehicle identification engine

Similar Documents

Publication Publication Date Title
DE102007030226A1 (de) Kameragestütztes Navigationssystem und Verfahren zu seinem Betrieb
DE102011115739A1 (de) Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
DE102017107396A1 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
DE102014214514A1 (de) Vorrichtung und Verfahren zum Austausch von Daten zwischen Fahrzeugen zum Einrichten einer Kolonnenfahrt
DE102017116702A1 (de) Verfahren zum Bereitstellen einer Anzeige in einem Kraftfahrzeug, sowie Kraftfahrzeug
DE102014015871B4 (de) Anzeigesystem für einen Kraftwagen, Kraftwagen mit einem Anzeigesystem und Verfahren zum Betreiben eines Anzeigesystems
DE102021124168A1 (de) Integriertes augmented-reality-system zum teilen von augmented-reality-inhalt zwischen fahrzeuginsassen
DE102013210729A1 (de) Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
DE102017217923A1 (de) Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
EP2813999B1 (de) Augmented-Reality-System und Verfahren zum Erzeugen und Anzeigen von Augmented-Reality-Objektdarstellungen für ein Fahrzeug
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102017208806B3 (de) Externe Darstellung von Bildaufnahmen eines Fahrzeuginnenraums in einer VR-Brille
DE102018204325A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
DE102019220040A1 (de) Verfahren und Vorrichtung zum Vorbeugen von Kinetose beim Betrachten eines auf einem Bildschirm angezeigten Bildinhalts in einem fahrenden Fahrzeug, insbesondere einem hochautomatisiert fahrenden Fahrzeug
DE102019116713A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende Darstellung einer virtuellen Flüssigkeit in einer Datenbrille im Fortbewegungsmittel
WO2019174862A1 (de) Verfahren und vorrichtung zum bereitstellen von informationen durch ein augmented-reality-gerät, verfahren und vorrichtung zum bereitstellen von informationen zur steuerung einer anzeige eines augmented-reality-gerätes, verfahren und vorrichtung zur steuerung einer anzeige eines augmented-reality-gerätes, computerlesbares speichermedium mit instruktionen zur durchführung der verfahren
DE102018216409A1 (de) Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende Darstellung einer Flüssigkeit in einem Display in einem Fortbewegungsmittel
DE102020203297A1 (de) Verfahren und Vorrichtung zur Darstellung von Informationen in einer erweiterten Realitätsanwendung und Server
DE102016218006A1 (de) Verfahren zur Darstellung eines Bildobjekts in einem Fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen Anzeige
DE102012213132A1 (de) Fusion von Kameraaufnahmen von zumindest zwei Fahrzeugen
EP3959647B1 (de) Lagerichtige einblendung einer zusatzinformation auf einer anzeigeeinheit eines fahrzeugs
DE102011082606A1 (de) Verfahren und Vorrichtung zur Anzeige eines Richtungsweisers für einen Fahrer eines Fahrzeugs
WO2021122141A1 (de) Verfahren zum anzeigen eines objekts durch ein head-up-display-anzeigesystem und ein head-up-display-anzeigesystem
DE102016215704A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102013000261A1 (de) Verfahren und Kamerasystem zum Abbilden einer Umgebung eines Kraftwagens

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division