-
Technisches Gebiet
-
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Anzeigen von Anzeigeobjekten unter Berücksichtigung von Überdeckungen von Umgebungsobjekten.
-
Technischer Hintergrund
-
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen entsprechen Reflexionsflächen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
-
Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
-
Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
-
Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
-
Technologiebedingt sind Anzeigen von Anzeigeobjekten auf der Anzeigefläche der Datenbrille den Umgebungsobjekten nur vorgelagert, so dass diese sämtliche Umgebungsobjekte überdecken können. Dadurch können Umgebungsobjekte gegebenenfalls so durch ein Anzeigeobjekt überlagert werden, dass diese nicht mehr gut wahrgenommen werden können und somit vom Benutzer ggfs. übersehen werden können. Dies kann beispielsweise bei der Nutzung der Datenbrille in Kraftfahrzeugen dazu führen, dass andere Verkehrsteilnehmer oder Hindernisse übersehen werden, was zu Gefährdungssituationen führen kann.
-
Zudem wirkt eine Darstellung auf der Anzeigefläche der Datenbrille nur dann als Teil der realen Welt (Augmentierung), wenn die Anzeigeobjekte in ihrer wahrgenommenen Entfernung zu den Entfernungen der Umgebungsobjekte passen. Das ist dann der Fall, wenn Umgebungsobjekte virtuelle Anzeigeobjekte verdecken können. So erscheint es einem Nutzer fremd, wenn ein in der Datenbrille anzuzeigender Navigationspfeil sich zunächst auf die vorausliegende Fahrbahn erstreckt, aber dann ein vorausfahrendes Fahrzeug überdeckt. Auch kann eine Markierung von anderen Verkehrsteilnehmern überlagernd zu Fahrzeugteilen, wie beispielsweise der A-Säule, angezeigt werden, wenn die A-Säule den anderen Verkehrsteilnehmer teilweise oder vollständig verdeckt. Somit würde im Bereich der A-Säule eine Markierung angezeigt werden, ohne dass das dazugehörende Umgebungsobjekt bzw. der andere Verkehrsteilnehmer gesehen werden kann.
-
Um eine realistischere Darstellung der Anzeigeobjekte vorzunehmen, müssten diese bezüglich ihrer Form so angepasst werden, dass sie durch die Bereiche enden, wo sie in der augmentierten Welt hinter einem realen Umgebungsobjekt verschwinden sollen bzw. in der Wahrnehmung durch dieses verdeckt sein sollen. Derartige Berechnungen müssten in der Datenbrille für jedes der darzustellenden Anzeigeobjekte vorgenommen werden und sind sehr aufwendig, da die genauen Umrisse und Positionen der Realobjekte in der Regel schwer zu erfassen sind. Daher werden Okklusionen, d. h. die Verdeckung von Anzeigeobjekten durch Umgebungsobjekte und umgekehrt, häufig nicht oder nur ungenau behandelt.
-
Es ist Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zur Behandlung von Okklusionen bei augmentierten Darstellungen von Anzeigeobjekten zur Verfügung zu stellen, das einfach und mit geringer Rechenleistung ausführbar ist.
-
Diese Aufgabe wird durch das Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug gemäß Anspruch 1 sowie durch das Anzeigesystem und die Datenbrille gemäß den nebengeordneten Ansprüchen gelöst.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
- - Ermitteln einer Pose der Datenbrille;
- - Bereitstellen von mindestens einem in der Datenbrille kontaktanalog anzuzeigenden Objekt;
- - Ermitteln von mindestens einem Anzeigeobjekt abhängig von dem mindestens einen anzuzeigenden Objekt und der Pose der Datenbrille;
- - Bereitstellen einer Angabe über ein oder mehrere Umgebungsobjekte in der Umgebung der Datenbrille;
- - Ermitteln von mindestens einem Maskierungsbereich abhängig von dem einen oder den mehreren Umgebungsobjekten in der Umgebung der Datenbrille abhängig von der Pose der Datenbrille, wobei der Maskierungsbereich das Umgebungsobjekt in der Anzeige der Datenbrille abdeckt und nur für dasjenige oder diejenigen Umgebungsobjekte oder nur für denjenigen oder diejenigen Teile des Umgebungsobjekts ermittelt wird, der sich vor einer vorgegebenen Anzeigeebene befindet;
- - Ermitteln eines kombinierten Anzeigebilds aus dem mindestens einen Anzeigeobjekt und dem mindestens einen Maskierungsbereich;
- - Darstellen des kombinierten Anzeigebilds in der Datenbrille.
-
Insbesondere kann das Ermitteln eines kombinierten Anzeigebilds durchgeführt werden, indem die Maskierungsbereiche als transparente Anzeige vorgesehen werden und in den übrigen Bereichen des Anzeigebilds die Anzeigeobjekte angezeigt werden. So kann das kombinierte Anzeigebild auf einer LCD-Anzeigeeinheit angezeigt werden, wobei die Maskierungsbereiche durch Bildpunkte der Bildfarbe „schwarz“ definiert sind.
-
Eine Idee des obigen Verfahrens zur Darstellung von Anzeigeobjekten in einem Anzeigebild besteht darin, Umgebungsobjekte, die vor einer virtuellen Anzeigeebene von Anzeigeobjekten in der Datenbrille wahrgenommen werden sollen oder sich befinden, zu maskieren und durch die Darstellung der Anzeigeobjekte unverdeckt zu lassen. Die Umgebungsobjekte, die sich vor der virtuellen Anzeigeebene des jeweiligen Anzeigeobjekts befinden, werden dazu mit einem Maskierungsobjekt überlagert. Das Maskierungsobjekt weist die Kontur des betreffenden Umgebungsobjekts auf.
-
Das Maskierungsobjekt wird in einer Farbe (Farbe der Bildpunkte) dargestellt, die zu einer transparenten Anzeige der Anzeigeebene der Datenbrille führt. Dies betrifft bei Verwendung einer LCD-Anzeigeeinheit insbesondere die Darstellung des Maskierungsobjekts mit der Anzeigefarbe „schwarz“, die in der Regel zu einer transparenten Darstellung in der Anzeigefläche der Datenbrille führt. Hintergrund ist, dass eine LCD-Anzeigeeinheit Objekte nur durch Aussenden von Licht darstellen können. Da kein „schwarzes Licht“ existiert, können Datenbrillen keine entsprechenden Anzeigeobjekte anzeigen. Soll auf einer Anzeigefläche der Datenbrille ein Anzeigeobjekt in schwarz dargestellt werden, so erscheint an der entsprechenden Stelle auf der Anzeigefläche nichts, so dass dieser Bereich von einem Nutzer der Datenbrille als transparent erfasst wird, so dass Umgebungsobjekte ohne Überlagerung eines Anzeigeobjekts wahrnehmbar sind.
-
Das durch die Maskierungsobjekte gebildete Maskierungsbild kann das aus den Anzeigeobjekten gebildete Anzeigebild überlagern, so dass die Bereiche der Maskierungsobjekte transparent dargestellt werden und die übrigen Bereiche die Anzeigeobjekte des Anzeigebilds enthalten.
-
Weiterhin kann die Angabe über das eine oder die mehreren Umgebungsobjekte eine Form und Entfernung oder eine Position des betreffenden Umgebungsobjekt umfassen.
-
So kann brillenintern oder -extern eine Objekterkennung ausgeführt werden, die Umgebungsobjekte identifiziert, deren Entfernung vom Fahrzeug bzw. örtlichen Bezug zum Fahrzeug schätzt und über einen Schwellwertvergleich der Entfernung zum Fahrzeug jeweils bestimmt, ob sich das betreffende Umgebungsobjekt vor oder hinter der Anzeigeebene der Datenbrille befindet.
-
Insbesondere kann das mindestens eine Umgebungsobjekt von einer Umfelderfassungseinheit erfasst und dessen Entfernung zu der Datenbrille geschätzt werden, um festzustellen, ob sich das mindestens eine Umgebungsobjekt vor der Anzeigeebene befindet.
-
Zur Darstellung von Okklusionen können in einfacher Weise die Umgebungsobjekte erfasst und diese abhängig von deren Entfernung zur Datenbrille entsprechend klassifiziert werden, ob diese vor oder hinter der Anzeigeebene der virtuellen Anzeigeobjekte dargestellt werden sollen. Die (virtuelle) Anzeigeebene entspricht einer sphärischen Fläche um die Position der Datenbrille mit einer vorbestimmten Entfernung (Radius), in der die Anzeigeobjekte wahrgenommen werden sollen. Umgebungsobjekte, die sich vor der virtuellen Anzeigeebene (geringere Entfernung von der Datenbrille als die virtuelle Anzeigeebene) befinden, sollen dann nicht durch Anzeigeobjekte überlagert werden. Dazu werden Maskierungsbereiche erstellt, die die Umgebungsobjekte, die sich vor der virtuellen Anzeigeebene befinden, und zu einem Maskierungsbild zusammengefasst. Dieses Maskierungsbild wird nun mit einem Anzeigebild mit den anzuzeigenden Anzeigeobjekten kombiniert, wobei die Ebene des Maskierungsbilds über der Ebene des Anzeigebildes liegt. Somit werden beim Rendering die Anzeigeobjekte in den Maskierungsbereichen überlagert, so dass bei der Anzeige des Anzeigebilds auf der Datenbrille die Umgebungsobjekte, die durch den transparenten Maskierungsbereich überlagert sind, unbeeinträchtigt wahrnehmbar sind, da kein Anzeigeobjekt in diesen Bereichen angezeigt wird.
-
Das Rendering des kombinierten Anzeigebilds berücksichtigt stets die aktuelle Pose der Datenbrille, die mithilfe eines an sich bekannten Posenerkennungsverfahrens ermittelt wird, und den Positionsinformationen über die Fahrzeuginnenobjekte erstellt werden kann.
-
Es kann vorgesehen sein, dass das mindestens eine Umgebungsobjekt durch eine Navigationskarte oder aus CAD-Daten des Fahrzeuginnenraums bereitgestellt wird. Sowohl Navigationskarte als auch CAD-Daten ermöglichen es, Umgebungsobjekte der Datenbrille mit Bezug auf ein Fahrzeugkoordinatensystem zu lokalisieren, so dass in einfacher Weise erkannt werden kann, ob sich diese Umgebungsobjekte vor oder hinter der Anzeigeebene bezüglich der Datenbrille befinden.
-
Die Umgebungsobjekte, die sich vor der Anzeigeebene befinden, müssen entsprechend identifiziert werden. Insbesondere sind Umgebungsobjekte im Inneren des Fahrzeugs bekannt, die in der Regel vor den Anzeigeobjekten dargestellt werden sollen, da die Anzeigeobjekte in einer virtuellen Anzeigeebene dargestellt werden, die in der Regel zwischen 10 und 30 m vor dem Fahrzeug liegt. So können anhand von CAD-Daten Objekte im Fahrzeuginnenraum, wie beispielsweise Lenkrad, A-Säule, Dachhimmel und dergleichen, bekannt sein und daraus ein Maskierungsbild mit entsprechenden Maskierungsbereichen erstellt werden.
-
Die jeweilige Entfernung der einzelnen Umgebungsobjekte kann zudem über Navigationskarten erfasst werden, die feststehende Umgebungsobjekte, wie Gebäude und dergleichen, beinhaltet. Insbesondere Navigationskarten, die dreidimensionale Objekte wie Gebäude umfassen, können vorsehen, dass die Maskierungsbereiche des Maskierungsbildes durch Projektion von dreidimensionalen Gebäudeobjekten in der Navigationskarte in das Maskierungsbild erreicht werden. Durch den Abgleich der Fahrzeugposition mit den Objektinformationen aus den Navigationskarten können deren Entfernungen zum Kraftfahrzeug bestimmt und somit erkannt werden, ob sich diese vor oder hinter der Anzeigeebene der virtuellen Anzeigeobjekte befinden. Dies ermöglicht es, zu entscheiden, welche mithilfe der der Navigationskarte ermittelten Umgebungsobjekte durch einen Maskierungsbereich maskiert werden, um Umgebungsobjekte, die sich vor der Anzeigeebene befinden, nicht durch ein anzuzeigendes Anzeigeobjekt zu überlagern.
-
Gemäß einem weiteren Aspekt ist eine Datenbrille für ein Anzeigesystem eines Kraftfahrzeugs vorgesehen, umfassend:
- - eine oder mehrere Anzeigeflächen zur Anzeige eines kombinierten Anzeigebilds;
- - eine Steuereinheit, die ausgebildet ist zum:
- - Ermitteln einer Pose der Datenbrille;
- - Bereitstellen von mindestens einem in der Datenbrille kontaktanalog anzuzeigenden Objekt;
- - Ermitteln von mindestens einem Anzeigeobjekt abhängig von dem mindestens einen anzuzeigenden Objekt und der Pose der Datenbrille;
- - Bereitstellen einer Angabe über ein oder mehrere Umgebungsobjekte in der Umgebung der Datenbrille;
- - Ermitteln von mindestens einem Maskierungsbereich abhängig von dem einen oder den mehreren Umgebungsobjekten in der Umgebung der Datenbrille abhängig von der Pose der Datenbrille, wobei der Maskierungsbereich das Umgebungsobjekt in der Anzeige der Datenbrille abdeckt und nur für dasjenige oder diejenigen Umgebungsobjekte oder nur für denjenigen oder diejenigen Teile des Umgebungsobjekts ermittelt wird, der sich vor einer vorgegebenen Anzeigeebene befindet;
- - Ermitteln eines kombinierten Anzeigebilds aus dem mindestens einen Anzeigeobjekt und dem mindestens einen Maskierungsbereich;
- - Darstellen des kombinierten Anzeigebilds in der Datenbrille.
-
Figurenliste
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille zum Einsatz in einem Kraftfahrzeug;
- 2 eine Draufsicht auf einen Innenraum eines Kraftfahrzeugs nebst beispielhaften Umgebungsobjekten;
- 3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems; und
- 4a bis 4c beispielhafte Darstellungen des kombinierten resultierenden Anzeigebildes, des Maskierungsbildes und des Anzeigebildes.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Fahrzeugassistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Fahrzeugassistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung.
-
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
-
Die Sichtscheiben 32 (Brillengläser) sind weiterhin jeweils mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Objekten ins Auge des Trägers der Datenbrille projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann als LCD-Anzeigeeinheit ausgebildet sein, um das elektronisch generierte Anzeigebild auf der Anzeigefläche 35 abzubilden/darzustellen.
-
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Anzeigebild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 als Anzeigeobjekte dargestellt werden.
-
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder z.B. basierend auf einem Kalibrierprozess davon abgeleitet werden kann.
-
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann das Fahrzeugassistenzsystem 2 mit der Datenbrille 3 in Verbindung stehen, um Objektinformationen betreffend kontaktanalog oder nicht-kontaktanalog anzuzeigenden virtuellen Objekten an die Datenbrille 3 zu übermitteln. Die Objektinformationen definieren die Position und Darstellung der virtuellen Anzeigeobjekte in Bezug auf das Kraftfahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
-
Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung im Raum. Die Pose der Datenbrille 3 repräsentiert durch die feste Positionierung am Kopf des Benutzers die Blickrichtung des Benutzers und dessen Blickbereich.
-
Die Steuereinheit 37 kann zur Posenerkennung mit einer geeigneten Datenbrillenkamera 38 verbunden sein, die etwa in Blickrichtung des Trägers der Datenbrille 3 bzw. senkrecht zu den Hauptflächen der Sichtscheiben 32 gerichtet ist. Die Datenbrillenkamera 38 erfasst regelmäßig Kamerabilder und übermittelt diese an die Steuereinheit 37. Die Steuereinheit 37 wertet die Kamerabilder aus und versucht z.B. mithilfe von Mustererkennungsverfahren markante Strukturen des Fahrzeuginnenraums in dem Kamerabild aufzufinden, deren Positionen bekannt sind, und daraus in an sich bekannter Weise die Pose der Datenbrille 3 zu ermitteln. Dies kann beispielsweise durch Auswerten der Lage und Abstand mehrerer solcher Strukturen im Kamerabild erfolgen.
-
In der Steuereinheit 37 können abhängig von der Pose der Datenbrille 3 die kontaktanalog anzuzeigenden virtuellen Anzeigeobjekte entsprechend der Objektinformation, die die Form des darzustellenden Objekts und dessen Position in einem fahrzeugfesten Koordinatensystem angibt und die z.B. von dem Fahrzeugassistenzsystem geliefert wird, in ein Bezugskoordinatensystem der Datenbrille 3 übersetzt werden. Ein virtuelles Anzeigeobjekt wird dann entsprechend der Pose der Datenbrille 3 so angezeigt, dass das Anzeigeobjekt dem Träger der Datenbrille 3 virtuell an der Position der Anzeigefläche angezeigt wird, an der sich das darzustellende Objekt bezüglich des fahrzeugfesten Koordinatensystems befindet. Die Position des virtuellen Objekts kann dabei nahe der Position eines zugeordneten Umgebungsobjekts gewählt werden.
-
Das Fahrerassistenzsystem 2 kann mit einer Fahrzeuginnenraumkamera 21 versehen sein, die auf den Fahrer des Kraftfahrzeugs bzw. allgemein auf den Träger der Datenbrille 3 gerichtet ist. Dadurch kann mithilfe der Fahrzeuginnenraumkamera 21 eine Posenerkennung unabhängig von der mithilfe der Datenbrillenkamera 38 durchgeführten Posenerkennung vorgenommen werden.
-
In 2 ist eine Draufsicht auf einen Innenraum des Kraftfahrzeugs dargestellt. Man erkennt den Innenraum 11 des Kraftfahrzeugs 10 mit Fahrzeugsitzen 12, wobei fahrerseitig ein Träger 20 der Datenbrille 3 sitzt.
-
Es ist eine Umfelderfassungseinrichtung 22 vorgesehen, die mit dem Fahrzeugassistenzsystem 2 gekoppelt ist. Die Umgebungserfassungseinrichtung 22 ermöglicht es, durch geeignete Sensorik, wie beispielsweise durch Kameras, Lidar-Sensoren, Radarsensoren, sich in der Umgebung des Kraftfahrzeugs 10 befindliche Umgebungsobjekte zu detektieren. Die Umgebungserfassungseinrichtung 22 ist grundsätzlich ausgebildet, um Positionen, Entfernungen und Größen von Umgebungsobjekten 25 bezüglich eines fahrzeugfesten Koordinatensystems zu erfassen.
-
Die Darstellung von Anzeigeobjekten in der Datenbrille 3 erfolgt auf einer virtuellen Anzeigeebene E, d.h. einer virtuellen Bildebene, auf der für den Nutzer der Datenbrille der Eindruck besteht, dass sich die auf der Anzeigefläche angezeigten Anzeigeobjekte befinden.
-
3 zeigt ein Flussdiagramm, das das Verfahren zur Darstellung von Anzeigeobjekten in der Datenbrille 3 schrittweise beschreibt.
-
Das Verfahren wird in der Datenbrille 3 oder in Kombination der Datenbrille mit dem Fahrzeugassistenzsystem 2 ausgeführt. Das Verfahren wird zyklisch ausgeführt.
-
In Schritt S1 wird eine Pose der Datenbrille bestimmt, mithilfe eines an sich bekannten Posenerkennungsverfahrens, das auf einem Inside-out- oder Outside-in-Tracking basieren kann.
-
In Schritt S2 werden anschließend die anzuzeigenden Objekte für die Zusammenstellung des virtuellen Anzeigebilds in der Datenbrille 3 bereitgestellt. Die anzuzeigenden Objekte sind hinsichtlich ihrer Form/Inhalt und Position im Fahrzeugkoordinatensystem definiert. Diese können in geeigneter Weise von dem Fahrzeugassistenzsystem 2 empfangen oder bereits in der Datenbrille 3 generiert werden.
-
In der Datenbrille 3 wird nun in Schritt S3 aus den anzuzeigenden Objekten und der Pose der Datenbrille 3 ein Anzeigebild generiert, das die den anzuzeigenden Objekten entsprechenden Anzeigeobjekte auf der Anzeige in dem Anzeigebild positioniert entsprechend der Pose der Datenbrille. Die Anzeigeobjekte stellen die tatsächlich an einer Position der Anzeigefläche der Datenbrille 3 anzuzeigenden Darstellungen der anzuzeigenden Objekte dar.
-
Die Darstellung der Anzeigeobjekte bezieht sich auf eine Anzeigeebene. Es soll nun vorgesehen sein, dass jedes der Anzeigeobjekte oder die Teile jedes der Anzeigeobjekte, die Umgebungsobjekte, die weiter von der Datenbrille entfernt sind als die Anzeigeebene, überlagern, so dargestellt werden, dass sie die Umgebungsobjekte überlagern. Jedes der Anzeigeobjekte oder die Teile jedes der Anzeigeobjekte, die Umgebungsobjekte, die weniger weit von der Datenbrille entfernt sind als die Entfernung der Anzeigeebene, überlagern, werden so dargestellt, dass sie die Umgebungsobjekte nicht überlagern.
-
Dazu werden in einem nachfolgenden Schritt S4 Umgebungsobjekte bereitgestellt, die sich näher an der Datenbrille befinden als durch die Entfernung zur Anzeigeebene bestimmt ist. Diese Umgebungsobjekte können durch das Fahrzeugassistenzsystem 2 vorgegeben sein. Dazu kann das Fahrzeugassistenzsystem 2 mithilfe von Kameras die Umgebung des Fahrzeugs erfassen, Umgebungsobjekte in an sich bekannter Weise identifizieren und deren Entfernung zum Fahrzeug bestimmen oder schätzen.
-
Alternativ können Umgebungsobjekte auch durch Navigationskarten bestimmt werden, wenn diese neben Fahrstreckenverläufen auch Gebäude und sonstige feststehende Objekte beinhalten bzw. definieren, so dass abhängig von der Position des Fahrzeugs die Entfernung derartiger Umgebungsobjekte zum Fahrzeug bestimmt werden kann. Durch einen einfachen Schwellwertvergleich können diejenigen Umgebungsobjekte bzw. Teile der Umgebungsobjekte bestimmt werden, die sich näher an der Datenquelle befinden als durch die Entfernung der virtuellen Anzeigeebene angegeben ist.
-
Alternativ oder zusätzlich kann in der Datenbrille die durch die Fahrzeuginnengeometrie vorgegebenen Umgebungsobjekte bestimmt sein, die sich nahe an der Datenbrille 3 befinden und somit ebenfalls in der Regel innerhalb des Bereichs der virtuellen Anzeigeebene (vor der virtuellen Anzeigeebene) liegen. Diese Umgebungsobjekte können beispielsweise fest im Fahrzeug verbaute Objekte, wie beispielsweise die A-Säule, die Instrumententafel, die Dachhimmel, den Rückspiegel und dergleichen umfassen.
-
Die so identifizierten Umgebungsobjekte werden abhängig von der Pose der Datenbrille 3 verarbeitet, um zu bestimmen, ob der Träger der Datenbrille in die entsprechende Richtung des betreffenden Umgebungsobjekts blickt und dadurch das Umgebungsobjekt im Sichtbereich des Trägers der Datenbrille 3 liegt. In Schritt S5 wird ein Maskierungsbild generiert, dass Maskierungsbereiche definiert, in denen keine Überlagerung der Realumgebung mit einem Anzeigebild erfolgen soll. Ein Maskierungsbereich im Sinne dieser Erfindung ist ein Bereich, in dem die Pixel der Anzeigeeinrichtung so angesteuert werden, dass diese transparent erscheinen. Das Maskierungsbild kann z.B. die Maskierungsbereiche als Bereiche in „schwarz“ definieren, da in schwarz dargestellte Bereiche transparent auf der Anzeigefläche der Datenbrille 3 erscheinen. Die Maskierungsbereiche werden abhängig von der Pose der Datenbrille 3 und abhängig von den Positionen der betreffenden Umgebungsobjekte bzw. den Positionen der Teile der betreffenden Umgebungsobjekte bestimmt.
-
In Schritt S6 wird das Anzeigebild und das Maskierungsbild zu einem kombinierten Anzeigebild kombiniert. Das kombinierte Anzeigebild definiert diejenigen Bereiche, in denen die Umgebungsobjekte, die vor der Anzeigeebene liegen, durch die Maskierungsbereiche. Ansonsten bleibt das Anzeigebild unverändert. Üblicherweise ist eine Ansteuerung mit der Farbe Schwarz zu transparenten Pixeln. Bei der Kombination des Anzeigebilds und des Maskierungsbilds ist das Maskierungsbild dominant, so dass die Maskierungsbereiche zu schwarz dargestellten Bereichen auf dem kombinierten Anzeigebild führen, während die Bereiche außerhalb der Maskierungsbereiche den Bildinhalt des Anzeigebildes umfassen.
-
Anschließend wird in Schritt S7 das kombinierte Anzeigebild in der Datenbrille 3 dargestellt.
-
Im Ergebnis sieht der Benutzer die Anzeigeobjekte vor Umgebungsobjekten, die weiter als die Anzeigeebenenentfernung entfernt sind, unverändert, während Anzeigeobjekte über Umgebungsobjekten, die sich zumindest teilweise vor der Anzeigeebene befinden, nicht oder nicht vollständig, da dort der Maskierungsbereich zu einem transparenten Bereich auf der Anzeigefläche der Datenbrille 3 führt.
-
Insgesamt kann auf diese Weise eine realistische Darstellung erreicht werden, bei der Anzeigeobjekte keine sich nahe dem Träger der Datenbrille 3 befindlichen Umgebungsobjekte überlagern und somit zu einer störenden Wahrnehmung für den Nutzer der Datenbrille 3 führen.
-
In den 4a -4c ist eine beispielhafte Anzeige in der Datenbrille 3 dargestellt. 4a zeigt ein kombiniertes Anzeigebild mit überlagerter Realumgebung. 4b zeigt die Maskierungsbereiche B in dem Maskierungsbild für das Beispiel der 4b und 4c zeigt die Anzeigeobjekte des Anzeigebilds ohne Maskierung.
-
Bezugszeichenliste
-
- 1
- Anzeigesystem
- 2
- Fahrerassistenzsystem
- 3
- Datenbrille
- 31
- Rahmen
- 32
- Sichtscheiben
- 33
- Brillenbügel
- 35
- transparente Anzeigefläche
- 36
- Anzeigeeinrichtung
- 37
- Steuereinheit
- 38
- Datenbrillenkamera
- 4
- Datenübertragungskanal
- 11
- Innenraum
- 10
- Kraftfahrzeugs
- 12
- Fahrzeugsitze
- 17
- Windschutzscheibe
- 20
- Träger der Datenbrille
- 22
- Umfelderfassungseinrichtung
- 25
- Umgebungsobjekt
