DE102016225262A1 - Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille - Google Patents

Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille Download PDF

Info

Publication number
DE102016225262A1
DE102016225262A1 DE102016225262.3A DE102016225262A DE102016225262A1 DE 102016225262 A1 DE102016225262 A1 DE 102016225262A1 DE 102016225262 A DE102016225262 A DE 102016225262A DE 102016225262 A1 DE102016225262 A1 DE 102016225262A1
Authority
DE
Germany
Prior art keywords
display
data glasses
virtual objects
area
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016225262.3A
Other languages
English (en)
Inventor
Wolfgang Haberl
Matthias Roland Kaufmann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102016225262.3A priority Critical patent/DE102016225262A1/de
Publication of DE102016225262A1 publication Critical patent/DE102016225262A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Datenbrille, mit folgenden Schritten:- Bereitstellen von virtuellen Objekten zur Anzeige auf einer oder mehreren Anzeigeflächen in der Datenbrille;- Erfassen einer Position und/oder Bewegung eines oder mehrerer bedienender Körperteile;- Bei Feststellen, dass ein Träger der Datenbrille mit einem bestimmten Handhabungsobjekt interagieren will, Bestimmen eines Ausblendbereichs abhängig von einer jeweiligen Position des einen oder den mehreren bedienenden Körperteile;- Unterbinden der Anzeige eines oder mehrerer der virtuellen Objekte in dem Ausblendbereich.

Description

  • Technisches Gebiet
  • Die Erfindung betrifft Anzeigesysteme für Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug.
  • Technischer Hintergrund
  • Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen entsprechen Reflexionsflächen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen und können halbtransparent ausgebildet sein, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann. Darüber hinaus sind auch Datenbrillen bekannt, die eine nicht-transparente Anzeige umfassen.
  • Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass die Information einem bestimmten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Information in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin ist es wünschenswert, die Information so darzustellen, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Information ergänzt wurde.
  • Um die Information entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Pose der Datenbrille, d.h. die 3D-Position als auch die 3D-Ausrichtung der Datenbrille, in Bezug zum Objekt zu kennen.
  • Zur Bestimmung der Pose der Datenbrille kann in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
  • So ist aus der Druckschrift DE 10 2014 206 623 A1 eine Vorrichtung zum Bestimmen der Pose einer Datenbrille bekannt, die eine Anzeige und eine Kamera umfasst. Die Vorrichtung ist ausgebildet, um Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera zu erstellen, die Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera zu erkennen, ein Merkmal in der erkannten Abbildung des Bereiches zu erkennen und die Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen zu bestimmen.
  • Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes die Pose der Datenbrille erfasst.
  • Dadurch, dass Einblendungen in Datenbrillen die reale Umgebung überlagern, können diese bei der Interaktion des Trägers der Datenbrille mit Objekten in der realen Umgebung störend sein. Beispielsweise kann dies die Bedienung von Bedienelementen oder das Hantieren mit Gegenständen betreffen, da die Sicht auf die betreffenden Bedienelemente oder Gegenstände, mit denen interagiert werden soll, entsprechend überlagert sein kann. Dies kann für den Träger der Datenbrille als sehr unangenehm empfunden werden, da bei der manuellen Interaktion mit Objekten der Träger der Datenbrille aufgrund der Auge-Hand-Koordination in der Regel den Blick auf den bedienenden Körperteil bzw. das Objekt, mit dem interagiert werden soll, richtet.
  • Beim Tragen einer Datenbrille in einem Innenraum eines Kraftfahrzeugs können aufgrund eines höheren Helligkeitsunterschieds zwischen der äußeren Umgebung und dem Fahrzeuginnenraum die Einblendungen in der Datenbrille sehr hell sein und dadurch Objekte, mit denen interagiert werden soll, wie z.B. ein Bedienelement in der Konsole, vollständig überdecken. Dadurch benötigt der Träger der Datenbrille länger, das betreffende Bedienelement zu finden und zu bedienen. Führt der Träger der Datenbrille ein Kraftfahrzeug, so führt das zu einer längeren Suche nach dem betreffenden Bedienelement und somit zu einer längeren Zeitdauer, während der der Blick des Fahrers nicht auf das Verkehrsgeschehen gerichtet ist. Auch wirken sich Überdeckungen von Objekten der Realumgebung durch Einblendungen in der Datenbrille negativ auf die Akzeptanz von Datenbrillen in Kraftfahrzeugen aus.
  • Es ist Aufgabe der vorliegenden Erfindung, ein Anzeigesystem und eine Datenbrille zur Verfügung zu stellen, durch die das manuelle Interagieren mit Objekten erleichtert wird.
  • Offenbarung der Erfindung
  • Diese Aufgabe wird durch das Verfahren zum Betreiben einer Datenbrille gemäß Anspruch 1 sowie durch die Datenbrille gemäß dem nebengeordneten Anspruch gelöst.
  • Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
  • Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben einer Datenbrille vorgesehen, mit folgenden Schritten:
    • - Bereitstellen von virtuellen Objekten zur Anzeige auf einer oder mehreren Anzeigeflächen in der Datenbrille;
    • - Bestimmen eines Ausblendbereichs auf der einen oder den mehreren Anzeigeflächen abhängig von einer Pose der Datenbrille und einer jeweiligen Position eines oder mehrerer bedienender Körperteile und/oder eines Handhabungsobjekts, mit dem der Träger der Datenbrille interagieren will;
    • - Modifizieren oder Unterbinden der Anzeige derjenigen einen oder mehreren der virtuellen Objekte, die ganz oder teilweise in dem Ausblendbereich anzuzeigen sind.
  • Weiterhin kann das Verfahren die weiteren Schritte vorsehen:
    • - Erfassen einer Position und/oder Bewegung eines oder mehrerer bedienender Körperteile;
    • - Ermitteln des Handhabungsobjekts abhängig von der Position und/oder der Bewegung des einen oder der mehreren bedienenden Körperteile.
  • Der Ausblendbereich kann entweder durch die Pose der Datenbrille und die räumliche Position des Handhabungsobjekts oder durch die Pose der Datenbrille und die räumliche Position des einen oder mehreren bedienenden Körperteile bestimmt werden.
  • Eine Idee des obigen Verfahrens besteht darin, virtuelle Objekte, die auf den Anzeigeflächen der Datenbrille angezeigt werden, bei Feststellen einer manuellen Interaktion mit einem Handhabungsobjekt, d.h. ein Objekt, mit dem manuell interagiert werden soll, in einem bestimmten Ausblendbereich der Anzeige auszublenden, zu modifizieren oder aus dem bestimmten Ausblendbereich in einen weiteren Bereich der Anzeigefläche zu verschieben. Die manuelle Interaktion umfasst jegliche Interaktion mit einem Körperteil, dass zum Bedienen eines Bedienelements oder zur Handhabung eines Handhabungsobjekts in der Regel verwendet wird, wie z.B. eine Hand, ein Finger einer Hand, ein Unterarm oder dergleichen.
  • Der Ausblendbereich kann sich einerseits durch die Interaktion mit dem Handhabungsobjekt durch einen bedienenden Körperteil oder andererseits statisch, d.h. dauerhaft, durch die Position des Handhabungsobjekts, mit dem der Träger der Datenbrille regelmäßig interagiert, wie z.B. Schalthebel oder dergleichen, ergeben. Da die Interaktion mit dem Handhabungsobjekt in der Regel mit dem Richten des Blickes des Trägers der Datenbrille auf das betreffende Handhabungsobjekt einhergeht, kann eine Datenbrillenkamera die Position des bedienenden Körperteils erfassen und durch Auswertung der Position und Bewegung des bedienenden Körperteils erkennen, wenn eine Bedienung eines Bedienelements oder Handhabung eines Objektes beabsichtigt ist. Der Ausblendbereich auf der Anzeigefläche der Datenbrille ist dann durch die Position des bedienenden Körperteils mit Bezug auf die Pose des Trägers der Datenbrille oder durch die Position des Handhabungsobjekts mit Bezug auf die Pose des Trägers der Datenbrille definiert. Der Ausblendbereich ist so gewählt, dass der Träger der Datenbrille freies Blickfeld für die durchzuführende Aktion erhält.
  • Dadurch können störende Verdeckungen durch virtuelle Objekte in der Datenbrille bei Tätigkeiten, insbesondere während des Führens eines Kraftfahrzeuges, vermieden werden. Eine Gefährdung des Fahrzeugs und der Fahrzeuginsassen sowie anderer Verkehrsteilnehmer kann dadurch reduziert werden, dass sich die Zeitdauer, während der der Blick des Trägers der Datenbrille die Straße verlässt und auf das Handhabungsobjekt gerichtet ist, sich verringern lässt.
  • Weiterhin kann die Position und/oder die Bewegung des einen oder den mehrerer bedienender Körperteile durch ein Mustererkennungsverfahren erkannt werden.
  • Insbesondere können die zu erfassenden bedienenden Körperteile einer Hand und/oder einem Finger und/oder einem Unterarm entsprechen.
  • Es kann vorgesehen sein, dass zumindest ein Teil der virtuellen Objekte kontaktanalog dargestellt werden.
  • Weiterhin kann festgestellt werden, dass ein Träger der Datenbrille mit dem bestimmten Handhabungsobjekt interagieren will, indem eine Bewegung des bedienenden Körperteils in Richtung eines Handhabungsobjekts oder eine Position des bedienenden Körperteils in einer Entfernung vom Handhabungsobjekt, die geringer ist als eine vorgegebene Mindestentfernung, erkannt wird.
  • Insbesondere kann das Handhabungsobjekt ein Bedienelement zur Bedienung durch einen Träger der Datenbrille oder ein bewegliches Objekt im Umfeld des Trägers der Datenbrille umfassen.
  • Das Unterbinden der Anzeige eines oder mehrerer der virtuellen Objekte in dem Ausblendbereich kann ein Unterdrücken der Darstellung des einen oder der mehrerer virtuellen Objekte im Ausblendbereich umfassen.
  • Alternativ oder zusätzlich kann das Unterbinden der Anzeige eines oder mehrerer der virtuellen Objekte in dem Ausblendbereich ein Verschieben der Darstellung des einen oder der mehrerer virtuellen Objekte in einen zum Ausblendbereich benachbarten Bereich der Anzeigefläche umfassen.
  • Alternativ oder zusätzlich kann das Unterbinden der Anzeige eines oder mehrerer der virtuellen Objekte in dem Ausblendbereich ein Unterdrücken der Darstellung des einen oder der mehrerer virtuellen Objekte abhängig von ihrer Priorisierung umfasst.
  • Weiterhin kann das Erfassen der Position und/oder der Bewegung des einen oder der mehreren bedienender Körperteile mithilfe einer Datenbrillenkamera oder mithilfe einer Fahrzeuginnenraumkamera durchgeführt werden.
  • Gemäß einem weiteren Aspekt ist eine Datenbrille für ein Anzeigesystem eines Kraftfahrzeugs vorgesehen, umfassend:
    • - eine oder mehrere Anzeigeflächen zur Anzeige von virtuellen Objekten;
    • - eine Steuereinheit, die ausgebildet ist, um:
      • ○ um eine Pose der Datenbrille zu bestimmen;
      • ○ einen Ausblendbereich für ein Ausblenden einer Anzeige auf der einen oder den mehreren Anzeigeflächen abhängig von einer und einer jeweiligen Position eines oder mehrerer bedienender Körperteile und/oder eines Handhabungsobjekts, mit dem der Träger der Datenbrille interagieren will, bereitzustellen oder zu bestimmen;
      • o die Anzeige derjenigen einen oder mehreren der virtuellen Objekte, die ganz oder teilweise in dem Ausblendbereich anzuzeigen sind, zu unterbinden, zu verschieben oder zu modifizieren.
  • Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit einer Datenbrille und einem Fahrerassistenzsystem vorgesehen, die ausgebildet sind, um eine Angabe über einen Ausblendbereich an die Datenbrille zu übermitteln.
  • Figurenliste
  • Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
    • 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille zum Einsatz in einem Kraftfahrzeug; und
    • 2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems.
  • Beschreibung von Ausführungsformen
  • 1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Fahrerassistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal 4 ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Fahrerassistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung.
  • Die Datenbrille 3 ist mit zwei transparenten Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
  • Die Sichtscheiben 32 sind weiterhin jeweils mit einer transparenten Anzeigefläche 35 versehen, in die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Objekten angezeigt werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generiertes Anzeigebild in die Anzeigefläche 35 einzublenden.
  • Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
  • Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder davon abgeleitet werden kann.
  • Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein und Datenbrillenfunktionen und Funktionen des Anzeigesystems 2 ausführen. Dazu kann das Fahrerassistenzsystem 2 mit der Datenbrille 3 in Verbindung stehen, um Anzeigeinformationen betreffend kontaktanalog oder nicht-kontaktanalog anzuzeigenden virtuellen Objekten an die Datenbrille 3 zu übermitteln. Die Anzeigeinformationen definieren die Position und Darstellung der virtuellen Objekte in Bezug auf das Fahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
  • Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung. Die Steuereinheit 37 kann dazu mit einer geeigneten Datenbrillenkamera 38 verbunden sein, die etwa in Blickrichtung des Trägers der Datenbrille 3 gerichtet ist. Die Datenbrillenkamera 38 erfasst regelmäßig Kamerabilder und übermittelt diese an die Steuereinheit 37. Die Steuereinheit 37 wertet die Kamerabilder aus und versucht mithilfe von Mustererkennungsverfahren markante Strukturen des Fahrzeuginnenraums in dem Kamerabild aufzufinden, deren Positionen bekannt sind, und daraus die Pose der Datenbrille 3 zu ermitteln.
  • In der Steuereinheit 37 können abhängig von der Pose der Datenbrille 3 die kontaktanalog anzuzeigenden virtuellen Objekte der Anzeigeinformationen vom Fahrzeugkoordinatensystem in ein Bezugsystem der Brille, insbesondere deren Anzeige, übersetzt werden.
  • Das Fahrerassistenzsystem 2 kann mit einer Fahrzeuginnenraumkamera 21 versehen sein, die auf den Fahrer des Kraftfahrzeugs bzw. allgemein auf den Träger einer Datenbrille gerichtet ist. Dadurch kann mithilfe der Fahrzeuginnenraumkamera 21 eine Posenerkennung unabhängig von der mithilfe der Datenbrillenkamera 38 durchgeführten Posenerkennung vorgenommen werden. Das Fahrerassistenzsystem kann
  • Ein Verfahren zum Betreiben der Datenbrille 3 wird anhand des Flussdiagramms der 2 näher erläutert.
  • In Schritt S1 wird mithilfe der Datenbrillenkamera 38 ein Abbild der Umgebung in Blickrichtung des Trägers der Datenbrille 3 aufgezeichnet.
  • In Schritt S2 werden mithilfe von Mustererkennungsverfahren, wie sie aus dem Stand der Technik bekannt sind, eine Raumposition und/oder eine Bewegung eines oder mehrerer Körperteile des Trägers der Datenbrille 3 bestimmt, die sich zur Interaktion mit Handhabungsobjekten eignen, wie z.B. einer Hand, eines Fingers einer Hand, oder eines Unterarmes. D.h. es werden die Raumpositionen und/oder die Bewegungen aller bedienenden Körperteile erfasst, die sich im Erfassungsbereich der Datenbrillenkamera 38 befinden. Vorzugsweise werden die Raumpositionen und/oder die Bewegungen beider Hände des Trägers der Datenbrille 3 bestimmt, wenn sich diese im Erfassungsfeld der Datenbrillenkamera 38 befinden.
  • Es ergibt sich aus Schritt S2 daher eine kontinuierliche Aufzeichnung und Bestimmung der Position und Bewegung eines oder mehrerer bedienender Körperteile. Beispielsweise können beide Hände des Trägers der Datenbrille gleichzeitig im Blickfeld des Trägers der Datenbrille sein und durch die Datenbrillenkamera 38 erfasst werden. Da mit beiden Händen auch gleichzeitig Bedienelemente bedient oder Objekte gehandhabt werden können, ist die gleichzeitige Erfassung von mehreren interagierenden Körperteilen zweckmäßig, sobald sich diese im Erfassungsbereich der Datenbrillenkamera 38 befinden.
  • In Schritt S3 wird überprüft, ob mit dem einen oder den mehreren bedienenden Körperteilen eine Interaktion mit einem Handhabungsobjekt, insbesondere einer Bedienung eines Bedienelements oder eine Handhabung eines Objektes, ausgeführt werden soll. Dies kann beispielsweise dadurch erkannt werden, dass sich ein Körperteil bewegt oder sich außerhalb eines zum primären Führen des Kraftfahrzeugs bevorzugten Position des betreffenden Körperteils befindet.
  • Wird in Schritt S3 festgestellt, dass eines der Körperteile eine Bewegung ausführt, die nicht primär dem Führen des Kraftfahrzeugs zuzuordnen ist (Alternative: Ja), so kann in Schritt S4 ein Ausblendbereich definiert werden, der auf der Anzeigefläche 35 der Datenbrille 3 bestimmt ist. Andernfalls (Alternative: Nein) wird zu Schritt S1 zurückgesprungen.
  • Die primären Aufgaben, die mit den bedienenden Körperteilen ausgeführt werden, können Lenken und Schalten umfassen, so dass das Bewegen des bedienenden Körperteils, wie beispielsweise des Arms und der Hand, zum Lenken oder Schalten nicht zu einer Ausblendung im Ausblendbereich führen muss.
  • Der Ausblendbereich wird so gewählt, dass der Fahrer eine freie Sicht auf den betreffenden Körperteil hat und so eine Bedienung eines Bedienelements oder eine Handhabung eines Objektes in ungestörter Weise vornehmen kann. Der Ausblendbereich kann in seiner Größe so definiert sein, dass ein Umgebungsbereich um die bedienenden Körperteile oder um das Handhabungsobjekt bestimmt wird, in dem keine virtuellen Objekte auf der Anzeigefläche 35 dargestellt werden sollen. Im Ausblendbereich kann vorgesehen sein, keine virtuellen Objekte anzuzeigen, die Anzeige der virtuellen Objekte zu modifizieren oder darin anzuzeigende virtuelle Objekte aus dem Ausblendbereich in einen zu dem Ausblendbereich benachbarten Bereich auf der Anzeigefläche 35 zu verschieben, sofern dies die kontaktanaloge Darstellung von virtuellen Objekten zulässt.
  • Das Modifizieren der Anzeige der virtuellen Objekte kann beispielsweise eine Teildarstellung des virtuellen Objekts oder eine Abschwächung der Anzeigehelligkeit des virtuellen Objekts im Ausblendbereich umfassen.
  • In Schritt S5 wird die Anzeige der virtuellen Objekte so angepasst, dass mindestens eines der im Ausblendbereich anzuzeigenden virtuellen Objekte nicht angezeigt wird, oder in ihrer Anzeige modifiziert wird oder aus dem Ausblendbereich heraus verschoben wird.
  • Weiterhin kann vorgesehen sein, dass die darzustellenden virtuellen Objekte priorisiert sind und dass im Ausblendbereich nur niederpriorisierte Objekte ausgeblendet werden, während höher priorisierte virtuelle Objekte auch im Ausblendbereich kontaktanalog dargestellt werden.
  • Alternativ oder zusätzlich zu obigem Verfahren kann der Ausblendbereich auch statisch abhängig von der Position von vorbestimmten Handhabungsobjekten sein, wie z.B. Schalthebel, Bedienungsfeld eines Entertainmentsystems oder Navigationssystem oder dergleichen.
  • Weiterhin wird überprüft, ob sich das betreffende Körperteil wieder an eine Position zurückbewegt, in der von einer Wahrnehmung einer primären Funktion zum Führen des Kraftfahrzeugs ausgegangen wird, wie beispielsweise wenn die Hand des Fahrers wieder zurück an das Lenkrad geführt wird, um daraufhin den Ausblendbereich aufzugeben.
  • Bezugszeichenliste
  • 1
    Anzeigesystem
    2
    Fahrerassistenzsystem
    3
    Datenbrille
    31
    Rahmen
    32
    Sichtscheiben
    33
    Brillenbügel
    35
    transparente Anzeigefläche
    36
    Anzeigeeinrichtung
    37
    Steuereinheit
    38
    Datenbrillenkamera
    4
    Datenübertragungskanal
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102014206623 A1 [0006]

Claims (14)

  1. Verfahren zum Betreiben einer Datenbrille (3), mit folgenden Schritten: - Bereitstellen von virtuellen Objekten zur Anzeige auf einer oder mehreren Anzeigeflächen (35) in der Datenbrille (3); - Bestimmen eines Ausblendbereichs (S4) auf der einen oder den mehreren Anzeigeflächen (35) abhängig von einer Pose der Datenbrille (3) und einer jeweiligen Position eines oder mehrerer bedienender Körperteile und/oder eines Handhabungsobjekts, mit dem der Träger der Datenbrille (3) interagieren will; - Modifizieren oder Unterbinden (S5) der Anzeige derjenigen einen oder mehreren der virtuellen Objekte, die ganz oder teilweise in dem Ausblendbereich anzuzeigen sind.
  2. Verfahren nach Anspruch 1, mit den weiteren Schritten: - Erfassen (S2) einer Position und/oder Bewegung eines oder mehrerer bedienender Körperteile; - Ermitteln des Handhabungsobjekts abhängig von der Position und/oder der Bewegung des einen oder der mehreren bedienenden Körperteile.
  3. Verfahren nach Anspruch 1 oder 2, wobei der Ausblendbereich eines von: - durch die Pose der Datenbrille (3) und die räumliche Position des Handhabungsobjekts bestimmt wird, und - durch die Pose der Datenbrille (3) und die räumliche Position des einen oder mehreren bedienenden Körperteile bestimmt wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei die Position und/oder die Bewegung des einen oder den mehrerer bedienender Körperteile durch ein Mustererkennungsverfahren erkannt wird.
  5. Verfahren nach Anspruch 4, wobei die zu erfassenden bedienenden Körperteile einer Hand und/oder einem Finger und/oder einem Unterarm entsprechen.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei zumindest ein Teil der virtuellen Objekte kontaktanalog dargestellt werden.
  7. Verfahren nach einem der Ansprüche 1 bis 4, wobei festgestellt wird, dass ein Träger der Datenbrille (3) mit dem bestimmten Handhabungsobjekt interagieren will, indem eine Bewegung des bedienenden Körperteils in Richtung eines Handhabungsobjekts oder eine Position des bedienenden Körperteils in einer Entfernung vom Handhabungsobjekt, die geringer ist als eine vorgegebene Mindestentfernung, erkannt wird.
  8. Verfahren nach Anspruch 7, wobei das Handhabungsobjekt ein Bedienelement zur Bedienung durch einen Träger der Datenbrille (3) oder ein bewegliches Objekt im Umfeld des Trägers der Datenbrille (3) umfasst.
  9. Verfahren nach einem der Ansprüche 1 bis 8, wobei das Unterbinden der Anzeige eines oder mehrerer der virtuellen Objekte in dem Ausblendbereich ein Unterdrücken der Darstellung des einen oder der mehrerer virtuellen Objekte im Ausblendbereich umfasst.
  10. Verfahren nach einem der Ansprüche 1 bis 9, wobei das Unterbinden der Anzeige eines oder mehrerer der virtuellen Objekte in dem Ausblendbereich ein Verschieben der Darstellung des einen oder der mehrerer virtuellen Objekte in einen zum Ausblendbereich benachbarten Bereich der Anzeigefläche (35) umfasst.
  11. Verfahren nach einem der Ansprüche 1 bis 10, wobei das Unterbinden der Anzeige eines oder mehrerer der virtuellen Objekte in dem Ausblendbereich ein Unterdrücken der Darstellung des einen oder der mehrerer virtuellen Objekte abhängig von ihrer Priorisierung umfasst.
  12. Verfahren nach einem der Ansprüche 1 bis 11, wobei das Erfassen der Position und/oder der Bewegung des einen oder der mehreren bedienender Körperteile mithilfe einer Datenbrillenkamera (38) oder mithilfe einer Fahrzeuginnenraumkamera durchgeführt wird.
  13. Datenbrille (3) für ein Anzeigesystem eines Kraftfahrzeugs, umfassend: - eine oder mehrere Anzeigeflächen (35) zur Anzeige von virtuellen Objekten; - eine Steuereinheit, die ausgebildet ist, um: ○ um eine Pose der Datenbrille (3) zu bestimmen; ○ einen Ausblendbereich für ein Ausblenden einer Anzeige auf der einen oder den mehreren Anzeigeflächen (35) abhängig von einer und einer jeweiligen Position eines oder mehrerer bedienender Körperteile und/oder eines Handhabungsobjekts, mit dem der Träger der Datenbrille (3) interagieren will, bereitzustellen oder zu bestimmen; ○ die Anzeige derjenigen einen oder mehreren der virtuellen Objekte, die ganz oder teilweise in dem Ausblendbereich anzuzeigen sind, zu unterbinden, zu verschieben oder zu modifizieren.
  14. Anzeigesystem (1) mit einer Datenbrille (3) und einem Fahrerassistenzsystem (2), die ausgebildet sind, um eine Angabe über einen Ausblendbereich an die Datenbrille (3) zu übermitteln.
DE102016225262.3A 2016-12-16 2016-12-16 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille Pending DE102016225262A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016225262.3A DE102016225262A1 (de) 2016-12-16 2016-12-16 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016225262.3A DE102016225262A1 (de) 2016-12-16 2016-12-16 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Publications (1)

Publication Number Publication Date
DE102016225262A1 true DE102016225262A1 (de) 2018-06-21

Family

ID=62250998

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016225262.3A Pending DE102016225262A1 (de) 2016-12-16 2016-12-16 Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Country Status (1)

Country Link
DE (1) DE102016225262A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11356244B2 (en) * 2020-06-05 2022-06-07 Bank Of America Corporation Graphical user interface using continuous authentication and encryption for selective display of data
DE102021124098A1 (de) 2021-09-17 2023-03-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
WO2024132690A1 (fr) 2022-12-23 2024-06-27 Valeo Comfort And Driving Assistance Système de réalité immersive embarqué sur un véhicule

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056992A1 (en) * 2010-09-08 2012-03-08 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
WO2013155217A1 (en) * 2012-04-10 2013-10-17 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
US20150177518A1 (en) * 2011-10-05 2015-06-25 Google Inc. Methods and Devices for Rendering Interactions Between Virtual and Physical Objects on a Substantially Transparent Display
DE102014206623A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056992A1 (en) * 2010-09-08 2012-03-08 Namco Bandai Games Inc. Image generation system, image generation method, and information storage medium
US20150177518A1 (en) * 2011-10-05 2015-06-25 Google Inc. Methods and Devices for Rendering Interactions Between Virtual and Physical Objects on a Substantially Transparent Display
WO2013155217A1 (en) * 2012-04-10 2013-10-17 Geisner Kevin A Realistic occlusion for a head mounted augmented reality display
DE102014206623A1 (de) 2014-04-07 2015-10-08 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11356244B2 (en) * 2020-06-05 2022-06-07 Bank Of America Corporation Graphical user interface using continuous authentication and encryption for selective display of data
DE102021124098A1 (de) 2021-09-17 2023-03-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
WO2024132690A1 (fr) 2022-12-23 2024-06-27 Valeo Comfort And Driving Assistance Système de réalité immersive embarqué sur un véhicule
FR3144322A1 (fr) 2022-12-23 2024-06-28 Valeo Comfort And Driving Assistance Système de réalité immersive embarqué sur un véhicule

Similar Documents

Publication Publication Date Title
EP3084564B1 (de) Vorrichtung und verfahren zum navigieren innerhalb eines menüs zur fahrzeugsteuerung sowie auswählen eines menüeintrags aus dem menü
DE102015006612B4 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
EP3765324B1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-display-vorrichtung für ein kraftfahrzeug
DE102012218837A1 (de) Anzeigen von Darstellungen auf einem Head-Up Display und einem Head-mounted Display
DE102014213285B4 (de) Kopfrichtungsabhängige Anzeige von Inhalten auf einer Datenbrille
DE102018201768B4 (de) Verfahren zum Anzeigen von Informationen in einem Head-Up-Display eines Fahrzeugs, Anzeigesystem für ein Fahrzeug und Fahrzeug mit einem Anzeigesystem
EP3559725A1 (de) Head-up-display-vorrichtung für ein kraftfahrzeug, verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer head-up-display-vorrichtung
DE102016225262A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225261A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017221317A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
DE102015006610B4 (de) Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
DE102019105216A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016218006A1 (de) Verfahren zur Darstellung eines Bildobjekts in einem Fahrzeug auf einer fahrzeugintern und einer fahrzeugextern wahrgenommenen Anzeige
EP3978295B1 (de) Fahrspurbezogene visuelle assistenzfunktion einer head-up-displayeinrichtung für ein kraftfahrzeug
DE102013210587A1 (de) Anzeigensystem mit Datenbrille
EP3271774B1 (de) Vorrichtung und verfahren zur wiedergabe von daten in einer erweiterten realität
DE102016225082A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102013210354A1 (de) Blickgesteuerte Interaktion für Datenbrillen
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102016225265A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019112189A1 (de) Verfahren und Vorrichtung zur Anzeige eines Informationsobjektes in einer Augmented-Reality-Datenbrille
DE102017209798A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems in einem Kraftfahrzeug
DE102016225269A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017216240A1 (de) Verfahren zum Betreiben einer Datenbrille in einem Fahrzeug
DE102017200325A1 (de) Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed