DE102022119063A1

DE102022119063A1 - Verfahren und System zur Darstellung des Fahrzeugumfelds auf einer Datenbrille

Info

Publication number: DE102022119063A1
Application number: DE102022119063.3A
Authority: DE
Inventors: Wolfgang Haberl; Manfred Pauli; Tobias Bauernfeind; Alan Keim
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2022-07-29
Filing date: 2022-07-29
Publication date: 2024-02-01

Abstract

Offenbart wird ein Verfahren zur Darstellung des Fahrzeugumfelds auf einer Datenbrille, wobei die Datenbrille dazu eingerichtet ist, dreidimensionale Darstellungen kontaktanalog anzuzeigen, wobei das Fahrzeug Sensoren zur dreidimensionalen Tiefenerfassung des Umfeldes umfasst, wobei das Verfahren umfasst: Dreidimensionales Erfassen von zumindest Teilen des Umfeldes mithilfe der Tiefensensoren des Fahrzeugs; Kontaktanaloges und dreidimensionales Darstellen der erfassten Teile des Umfeldes auf der Datenbrille.

Description

Die Erfindung betrifft ein Verfahren zur Darstellung des Fahrzeugumfelds auf einer Datenbrille, sowie ein entsprechendes System umfassend ein Fahrzeug und eine Datenbrille.
Heutzutage sind Datenbrillen (manchmal auch Head-mounted Displays, HMD genannt) in der Entwicklung, die eine stereoskopische, d.h. dreidimensionale, Darstellung von Inhalten auf einem transparenten Display realisieren. Dadurch können Elemente der realen Welt mit virtuellen Informationen angereichert werden, wobei die Anzeige der virtuellen Informationen sich an einem Ort des Umfeldes orientieren kann, was häufig als Kontaktanalog bezeichnet wird. Der Nutzer nimmt die Kombination als Augmented Reality wahr.
Es ist ferner bekannt, dass hochauflösende dreidimensionale-Sensoren wie z.B. Lidar oder time-of-flight Sensoren, hierin Tiefensensoren genannt, in Fahrzeuge integriert werden können. Diese Tiefensensoren können in hoher Geschwindigkeit und Genauigkeit das Umfeld eines Fahrzeugs, insbesondere Objekte des Umfeldes, als 3D-Modell digitalisieren. Dabei bilden diese Sensoren sozusagen eine Hüllkurve über die dem Fahrzeug zugewandten Oberflächen.
Beim Parken und Rangieren können Karosserieteile dem Fahrer die Sicht auf Hindernisse im Umfeld verdecken. Um dieses Problem zu verringern, umfassen heutige Fahrzeuge Ultraschall- und Kamerasysteme, mit denen eine Unterstützung beim Parken angeboten wird. Die Ausgaben dieser Systeme werden mittels Tonsignalen oder zweidimensionalen Grafiken bzw. Kamerabildern auf Fahrzeugdisplay dargestellt.
Dem Fachmann stellt sich die Aufgabe dem Fahrer eine bessere Unterstützung beim Parken bereit zu stellen als bisherige Systeme.
Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Darstellung des Fahrzeugumfelds auf einer Datenbrille, wobei die Datenbrille dazu eingerichtet ist, dreidimensionale Darstellungen kontaktanalog anzuzeigen, wobei das Fahrzeug Sensoren zur dreidimensionalen Tiefenerfassung des Umfeldes umfasst, wobei das Verfahren umfasst: Dreidimensionales Erfassen von zumindest Teilen des Umfeldes mithilfe der Tiefensensoren des Fahrzeugs; Kontaktanaloges und dreidimensionales Darstellen der erfassten Teile des Umfeldes auf der Datenbrille. Die Datenbrille umfasst typischerweise für jedes Auge eine transparente Anzeige.
Hierin wird also vorgeschlagen, für den Fahrer (und Träger der Datenbrille) eine visuelle, dreidimensionale Tiefenwahrnehmung der Umgebung bzw. Umfeld des Fahrzeugs zu erzeugen (Tiefeninformation). Durch die Verwendung einer binokularen Datenbrille kann für jedes Auge des Trägers ein spezifisches Bild erzeugt werden. Dadurch ist es möglich für den Fahrer einen dreidimensionalen Effekt zu erzeugen (mithilfe von Vergenz / Parallaxen). Außerdem kann mittels einer Datenbrille an einer beliebigen Position im Blickbereich des Trägers ein Bild angezeigt werden. Somit ist es möglich, das Fahrzeugumfeld dem Fahrer dreidimensional darzustellen. Die Positionierung entspricht dabei der Positionierung in der realen Welt. Dem Träger der Datenbrille wird also ein „Röntgenblick“ durch die Fahrzeugkarosserie auf das Umfeld des Fahrzeugs ermöglicht. Voraussetzung hierfür ist die Verwendung von Tiefensensoren durch das Fahrzeug, die das Umfeld des Fahrzeugs aufnehmen bzw. abtasten.
Die dreidimensionale Darstellung kann eine Liniengrafik oder eine Netzdarstellung umfassen. Eine Möglichkeit ist also das Bild als abstraktes „Netz-“ bzw. Liniengrafik darzustellen und je nach Abstand einzufärben. Alternativ oder darauf aufbauend kann vorgesehen sein, dass Kameraaufnahmen des Umfeldes durch das Fahrzeug gemacht werden und in der dreidimensionalen Darstellung die Tiefenerfassung mit den Kameraaufnahmen verbunden werden, um eine fotorealistische Darstellung zu erreichen. In dieser Variante wird das dreidimensionale Bild, also die Tiefeninformation, mit Kamerabildern (beispielsweise im RGB-Format) des Fahrzeugumfelds kombiniert. Die Kamerabilder dienen als Textur für das dreidimensionale Modell des Umfelds (3D Reconstruction). Somit hat der Nutzer das Gefühl einen „realen“ dreidimensionalen Blick durch die Karosserie werfen zu können.
Die erfassten Teile des Umfeldes werden typischerweise auf einer Recheneinheit im Fahrzeug zu einem dreidimensionalen Modell des Umfeldes des Fahrzeugs verarbeitet und dann ggf. per drahtloser Datenverbindung an die Datenbrille gesendet. Das Fahrzeug erfasst dabei die Daten von mehreren Tiefensensoren und kombiniert diese zu einem Gesamtmodell des Umfeldes.
In einer Weiterbildung kann vorgesehen sein, auf kontaktanaloge Art Warnsymbole darzustellen, für Bereiche, in denen ein erhöhtes Kollisionsrisiko des Fahrzeugs mit Objekten des Umfeldes besteht, insbesondere bei kleinen Abständen des Fahrzeugs zu Objekten im Umfeld. Dies bietet eine Aufmerksamkeitssteuerung des Fahrers und Warnung bezüglich kritischer Stellen beim Rangieren mit dem Fahrzeug.
Ein weiterer Aspekt der Erfindung betrifft ein System aus Fahrzeug und Datenbrille, wobei die Datenbrille dazu eingerichtet ist, dreidimensionale Darstellungen kontaktanalog anzuzeigen, wobei das Fahrzeug Sensoren zur dreidimensionalen Tiefenerfassung des Umfeldes umfasst, und wobei das System dazu eingerichtet ist, eines der vorstehenden Verfahren auszuführen.
KURZE BESCHREIBUNG DER ZEICHNUNG

1 zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel der Erfindung.

DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
1 zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel der Erfindung. In einem ersten Schritt S1 wird mithilfe der Tiefensensoren des Fahrzeugs das Umfeld abgetastet. Diese Tiefendaten werden verwendet, um ein dreidimensionales Modell des Umfeldes zu erzeugen, was durch Rechenmittel des Fahrzeugs bewerkstelligt wird. Das dreidimensionale Modell wird dann drahtlos an eine Datenbrille übertragen und im Schritt S2 angezeigt. Die Anzeige wird für den Fahrer und Träger der Datenbrille auf dreidimensionale und kontaktanaloge Art vorgenommen. Auf diese Weise kann der Fahrer Hindernisse beim Rangieren mit dem Fahrzeug im Umfeld auch dann erkennen, wenn Karosserieteile den direkten Blick auf die Hindernisse versperren.

Claims

Verfahren zur Darstellung des Fahrzeugumfelds auf einer Datenbrille, wobei die Datenbrille dazu eingerichtet ist, dreidimensionale Darstellungen kontaktanalog anzuzeigen, wobei das Fahrzeug Sensoren zur dreidimensionalen Tiefenerfassung des Umfeldes umfasst, wobei das Verfahren umfasst: Dreidimensionales Erfassen von zumindest Teilen des Umfeldes mithilfe der Tiefensensoren des Fahrzeugs; Kontaktanaloges und dreidimensionales Darstellen der erfassten Teile des Umfeldes auf der Datenbrille.
Verfahren nach Anspruch 1, wobei die dreidimensionale Darstellung eine Liniengrafik oder eine Netzdarstellung umfasst.
Verfahren nach Anspruch 1, wobei im Verfahren ferner Kameraaufnahmen des Umfeldes durch das Fahrzeug gemacht werden, und wobei in der dreidimensionalen Darstellung die Tiefenerfassung mit den Kameraaufnahmen verbunden werden, um eine fotorealistische Darstellung zu erreichen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren ferner umfasst: Verarbeiten der erfassten Teile des Umfeldes auf einer Recheneinheit im Fahrzeug zu einem dreidimensionalen Modell des Umfeldes des Fahrzeugs.
Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend: Kontaktanaloges Darstellen von Warnsymbolen, für Bereiche, in denen ein erhöhtes Kollisionsrisiko des Fahrzeugs mit Objekten des Umfeldes besteht.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Datenbrille für jedes Auge eine transparente Anzeige umfasst.
System aus Fahrzeug und Datenbrille, wobei die Datenbrille dazu eingerichtet ist, dreidimensionale Darstellungen kontaktanalog anzuzeigen, wobei das Fahrzeug Sensoren zur dreidimensionalen Tiefenerfassung des Umfeldes umfasst, und wobei das System dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.