DE102015221181A1 - data glasses - Google Patents

data glasses Download PDF

Info

Publication number
DE102015221181A1
DE102015221181A1 DE102015221181.9A DE102015221181A DE102015221181A1 DE 102015221181 A1 DE102015221181 A1 DE 102015221181A1 DE 102015221181 A DE102015221181 A DE 102015221181A DE 102015221181 A1 DE102015221181 A1 DE 102015221181A1
Authority
DE
Germany
Prior art keywords
transparent display
data glasses
virtual image
virt
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102015221181.9A
Other languages
German (de)
Other versions
DE102015221181B4 (en
Inventor
Johannes Tümler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Priority to DE102015221181.9A priority Critical patent/DE102015221181B4/en
Publication of DE102015221181A1 publication Critical patent/DE102015221181A1/en
Application granted granted Critical
Publication of DE102015221181B4 publication Critical patent/DE102015221181B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

Die Erfindung betrifft eine Datenbrille (20) mit einem transparenten Display (21), insbesondere zur überlagernden Darstellung eines virtuellen Bildbestandteils (VIRT) mit einem durch das transparente Display (21) sichtbaren realen Objekt, wobei das transparente Display (21) eine Mehrzahl individuell ansteuerbarer Pixel aufweist, wobei die Datenbrille (20) eine Recheneinrichtung (40) zur Erzeugung, Auswahl und/oder Positionierung des virtuellen Bildbestandteils (VIRT) und zur individuellen Ansteuerung der Pixel des transparenten Displays (21) umfasst, und wobei das transparente Display (21) fotosensitives Material zur Erzeugung elektrischer Energie aus Licht für die Versorgung der Recheneinrichtung (40) umfasst.The invention relates to data glasses (20) having a transparent display (21), in particular for overlaying a virtual image component (VIRT) with a real object visible through the transparent display (21), wherein the transparent display (21) is a plurality of individually controllable Pixel, wherein the data glasses (20) comprises a computing device (40) for generating, selecting and / or positioning the virtual image component (VIRT) and for individually controlling the pixels of the transparent display (21), and wherein the transparent display (21) photosensitive material for generating electrical energy from light for the supply of the computing device (40).

Description

Die Erfindung betrifft eine Datenbrille (z. B. für Augmented-Reality-Anwendungen) mit einem transparenten Display, insbesondere zur überlagernden Darstellung eines virtuellen Bildbestandteils mit einem durch das transparente Display sichtbaren realen Objekt. The invention relates to data glasses (eg for augmented reality applications) with a transparent display, in particular for superimposing a virtual image component with a real object visible through the transparent display.

Gemäß der WO 01/96829 A1 ist der Begriff Augmented-Reality als Überlagerung einer realen Umgebung mit einer rechnergenerierten Umgebung, d. h. einer virtuellen Welt, definiert. Augmented-Reality ist somit eine Art Mensch-Technik-Interaktion, die dem Anwender Informationen in sein Sichtfeld einblendet und so seine Wahrnehmung erweitert. According to the WO 01/96829 A1 the term augmented reality is defined as a superposition of a real environment with a computer-generated environment, ie a virtual world. Augmented reality is thus a kind of human-technology interaction that fills in the user's information in his field of vision and thus expands his perception.

Den Einsatz von Datenbrillen in Verbindung mit Fahrerassistenzsystemen offenbart zum Beispiel die Internetseite www.ingenieur.de/Themen/IT-Hardware/BMW-Tochter-Mini-zeigt-Datenbrille-fuer-Autofahrer . The use of data glasses in conjunction with driver assistance systems, for example, the website reveals www.ingenieur.de/Themen/IT-Hardware/BMW-Tochter-Mini-zeigt-Datenbrille-fuer-Autofahrer ,

Für den mobilen Einsatz von Datenbrillen können Batteriesysteme, die aus mehreren Batteriezellen und einer Ladeelektronik bestehen, eingesetzt werden, um die Datenbrillen mit elektrischer Energie zu versorgen. Dazu können zum Beispiel Lithium-Ionen-Zellen verwendet werden. Die Batteriezellen haben typischerweise die Bauform von Rundzellen des Typs 18650. Durch diese Art der Stromversorgung erhöht sich u. a. das Gewicht der Brille. Zudem ist die Einsatzdauer derartiger Datenbrillen begrenzt. For the mobile use of data glasses, battery systems consisting of several battery cells and a charging electronics can be used to supply the data glasses with electrical energy. For this purpose, for example, lithium-ion cells can be used. The battery cells typically have the design of round cells of the type 18650. This type of power supply increases u. a. the weight of the glasses. In addition, the duration of use of such data glasses is limited.

Es ist Aufgabe der Erfindung, vorgenannte Nachteile zu vermeiden. It is an object of the invention to avoid the aforementioned disadvantages.

Vorgenannte Aufgabe wird durch eine Datenbrille mit mit einem transparenten Display, insbesondere zur überlagernden Darstellung eines virtuellen Bildbestandteils (VIRT) mit einem durch das transparente Display sichtbaren realen Objekt, wobei das transparente Display eine Mehrzahl individuell ansteuerbarer Pixel aufweist, wobei die Datenbrille eine Recheneinrichtung zur Erzeugung, Auswahl und/oder Positionierung des virtuellen Bildbestandteils und zur individuellen Ansteuerung der Pixel des transparenten Displays umfasst, und wobei das transparente Display fotosensitives Material zur Erzeugung elektrischer Energie aus Licht für die Versorgung der Recheneinrichtung und/oder der Pixel des transparenten Displays (mit elektrischer Energie) umfasst. Ein transparentes Display im Sinne der Erfindung kann zum Beispiel einen Monitor sowie einen semitransparenten Spiegel umfassen, wobei ein von dem Monitor erzeugtes Bild mittels des semitransparenten Spiegels auf das Auge eines Benutzers gelenkt wird. Es kann jedoch auch vorgesehen sein, dass die Pixel des Displays in einen transparenten Träger eingebettet oder auf einen transparenten Träger aufgebracht sind. The aforementioned object is achieved by a data glasses with a transparent display, in particular for superimposing a virtual image component (VIRT) with a visible through the transparent display real object, wherein the transparent display has a plurality of individually controllable pixels, the data glasses a computing device for generating , Selecting and / or positioning the virtual image component and for individually controlling the pixels of the transparent display, and wherein the transparent display photosensitive material for generating electrical energy from light for the supply of the computing device and / or the pixels of the transparent display (with electrical energy ). A transparent display according to the invention may, for example, comprise a monitor as well as a semitransparent mirror, wherein an image generated by the monitor is directed to the eye of a user by means of the semitransparent mirror. However, it can also be provided that the pixels of the display are embedded in a transparent carrier or applied to a transparent carrier.

In vorteilhafter Ausgestaltung der Erfindung ist fotosensitive Material zwischen den Pixeln des transparenten Displays angeordnet. In weiterhin vorteilhafter Ausgestaltung der Erfindung ist das fotosensitive Material in Form fotosensitiver Pixel, insbesondere zwischen den Pixeln des transparenten Displays, angeordnet. In an advantageous embodiment of the invention, photosensitive material is arranged between the pixels of the transparent display. In a further advantageous embodiment of the invention, the photosensitive material is arranged in the form of photosensitive pixels, in particular between the pixels of the transparent display.

In weiterhin vorteilhafter Ausgestaltung der Erfindung sind die fotosensitiven Pixel (zumindest zum Teil) Teil einer Kamera. Dabei ist vorgesehen, dass die fotosensitiven Pixel sowohl zur Bildgebung (Bildgewinnung, Bilderzeugung) als auch zur Energieversorgung eingesetzt werden. Es ist insbesondere vorgesehen, dass fotosensitive Pixel zur Gewinnung elektrischer Energie eingesetzt werden, wenn elektrische Energie benötigt wird, und nur dann zur Bildgebung, wenn keine elektrische Energie benötigt wird (zum Beispiel weil ein Energie-Zwischenspeicher bzw. Energie-Puffer ausreichend voll ist). In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Datenbrille einen Puffer zur Zwischenspeicherung von elektrischer Energie. Ein solcher Puffer kann zum Beispiel ein Kondensator sein. In a further advantageous embodiment of the invention, the photosensitive pixels are (at least in part) part of a camera. It is envisaged that the photosensitive pixels are used both for imaging (image acquisition, image generation) and for energy supply. In particular, it is contemplated that photosensitive pixels will be used to generate electrical energy when electrical energy is needed, and only for imaging when no electrical energy is needed (for example, because an energy buffer is sufficiently full). , In a further advantageous embodiment of the invention, the data glasses comprises a buffer for temporary storage of electrical energy. Such a buffer may be, for example, a capacitor.

In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Datenbrille bzw. die Recheneinrichtung ein Trackingmodul zur Auswertung individueller Ausgangssignale der fotosensitiven Pixel bzw. ein Modul zur Auswertung individueller Ausgangssignale der fotosensitiven Pixel. In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Datenbrille bzw. die Recheneinrichtung ein Trackingmodul zur Erzeugung eines realen Bildes durch Auswertung individueller Ausgangssignale der fotosensitiven Pixel bzw. ein Modul zur Erzeugung eines realen Bildes durch Auswertung individueller Ausgangssignale der fotosensitiven Pixel. Das Tracking erfolgt insbesondere markerlos. Geeignete markerlose Trackingverfahren können zum Beispiel der DE 10 2012 014 995 A1 entnommen werden (Verwendbare Algorithmen sind zum Beispiel SLAM und PTAM (vgl. z. B. den Artikel Georg Klein, David Murrayt: “Parallel Tracking and Mapping for Small AR Workspaces”, ISMAR 2007) .). In weiterhin vorteilhafter Ausgestaltung der Erfindung erfolgt das Tracking in Abhängigkeit eines aus dem realen Bild generierten Kantenbildes. In a further advantageous embodiment of the invention, the data glasses or the computing device comprises a tracking module for evaluating individual output signals of the photosensitive pixels or a module for evaluating individual output signals of the photosensitive pixels. In a further advantageous embodiment of the invention, the data glasses or the computing device comprises a tracking module for generating a real image by evaluating individual output signals of the photosensitive pixels or a module for generating a real image by evaluating individual output signals of the photosensitive pixels. The tracking is especially markerless. Suitable markerless tracking methods may be, for example, the DE 10 2012 014 995 A1 (Usable algorithms are, for example, SLAM and PTAM (see, for example, den Georg Klein, David Murrayt: "Parallel Tracking and Mapping for Small AR Workspaces", ISMAR 2007) .). In a further advantageous embodiment of the invention, the tracking takes place as a function of an edge image generated from the real image.

In weiterhin vorteilhafter Ausgestaltung der Erfindung umfasst die Datenbrille bzw. die Recheneinrichtung eine Schnittstelle zur drahtlosen Kommunikation mit einem Kraftfahrzeug. In a further advantageous embodiment of the invention, the data glasses or the computing device comprises an interface for wireless communication with a motor vehicle.

Es ist eine weitere Aufgabe der Erfindung, den Einsatz von Augmented-Reality in mobilen Systemen zu verbessern. It is another object of the invention to improve the use of augmented reality in mobile systems.

Vorgenannte Aufgabe wird zudem durch ein Verfahren zur Darstellung eines virtuellen Bildbestandteils auf einem transparenten Display einer Datenbrille mit einem oder mehreren der vorgenannten Merkmale gelöst, wobei (mittels der Recheneinrichtung bzw. des Trackingmoduls) die Position des virtuellen Bildbestandteils in Abhängigkeit der Position eines mittels des virtuellen Bildbestandteils zu überlagernden realen Objektes in Bezug auf das transparente Display bestimmt und der virtuelle Bildbestandteil mittels des transparenten Displays entsprechend positioniert dargestellt wird. The aforementioned object is also achieved by a method for displaying a virtual image component on a transparent display of data glasses with one or more of the aforementioned features, wherein (by means of the computing device or the tracking module) the position of the virtual image component as a function of the position of a virtual Image components to superimposed real object in relation to the transparent display determines and the virtual image component is displayed by the transparent display accordingly positioned.

Es ist eine weitere Aufgabe der Erfindung, Wartung, Instandhaltung, Reparaturen und/oder Herstellung von Kraftfahrzeugen effektiver vorzunehmen. It is a further object of the invention to more effectively carry out maintenance, servicing, repairs and / or manufacture of motor vehicles.

Vorgenannte Aufgabe wird zudem durch ein Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs, gelöst, wobei auf einem transparenten Display ein virtueller Bildbestandteil gemäß dem vorgenannten Verfahren dargestellt wird, und wobei eine Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils erfolgt. The aforementioned object is also achieved by a method for the maintenance, servicing, repair or production of a motor vehicle, wherein a virtual image component according to the aforementioned method is displayed on a transparent display, and wherein a measure for the maintenance, repair, or manufacture of a motor vehicle accordingly the default of the virtual image component is done.

Vorgenannte Aufgabe wird zudem durch ein Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs, gelöst, wobei auf dem transparenten Display einer Datenbrille mit einem oder mehreren der vorgenannten Merkmale ein virtueller Bildbestandteil dargestellt wird, und wobei eine Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils erfolgt. The aforementioned object is also achieved by a method for servicing, maintenance, repair or production of a motor vehicle, wherein a virtual image component is displayed on the transparent display of a data goggle with one or more of the aforementioned features, and wherein a measure for maintenance, repair, maintenance or manufacture of a motor vehicle according to the specification of the virtual image component.

Kraftfahrzeug im Sinne der Erfindung ist insbesondere ein individuell im Straßenverkehr benutzbares Landfahrzeug. Kraftfahrzeuge im Sinne der Erfindung sind insbesondere nicht auf Landfahrzeuge mit Verbrennungsmotor beschränkt. Motor vehicle in the sense of the invention is in particular a land vehicle which can be used individually in road traffic. Motor vehicles according to the invention are not limited in particular to land vehicles with internal combustion engine.

Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen: Further advantages and details emerge from the following description of exemplary embodiments. Showing:

1 ein Ausführungsbeispiel für eine erfindungsgemäße Datenbrille, 1 An embodiment of an inventive data glasses,

2 die Datenbrille gemäß 1 in einer Prinzipdarstellung, 2 the data glasses according to 1 in a schematic diagram,

3 eine Verkehrssituation zur Erläuterung der Verwendung virtueller Bildbestandteile, 3 a traffic situation to explain the use of virtual image components,

4 die Verkehrssituation gemäß 3, ergänzt um einen virtuellen Bildbestandteil, 4 the traffic situation according to 3 , supplemented by a virtual image component,

5 ein Ausführungsbeispiel für die Anordnung von fotosensitiven Pixeln und individuell ansteuerbaren Pixeln, 5 an embodiment for the arrangement of photosensitive pixels and individually controllable pixels,

6 ein Ausführungsbeispiel für die Anordnung von individuell ansteuerbaren Pixeln in Verbindung mit fotosensitivem Material, 6 an embodiment for the arrangement of individually controllable pixels in connection with photosensitive material,

7 ein weiteres Ausführungsbeispiel für die Verwendung der Datenbrille gemäß 1, 7 a further embodiment of the use of the data glasses according to 1 .

8 ein Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, 8th an embodiment of a method for producing, maintaining, repairing or repairing a motor vehicle or a motor vehicle component,

9 ein weiteres Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente und 9 a further embodiment of a method for manufacturing, servicing, repair or repair of a motor vehicle or a motor vehicle component and

10 ein weiteres Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente. 10 a further embodiment of a method for manufacturing, maintenance, repair or repair of a motor vehicle or a motor vehicle component.

1 zeigt einen Benutzer 1 mit einer beispielhaft ausgestalteten Datenbrille 20. Die Datenbrille 20 weist ein semitransparentes Display 21 auf, das einen Monitor 210 und einen semitransparenten Spiegel 211 umfasst, wobei eine mittels des Monitors erzeugte virtuelle Information VIRT' mittels des semitransparenten Spiegels 211 in das Auge des Betrachters 1 gestrahlt wird. Aus der Sicht des Betrachters 1 scheint die virtuelle Information VIRT' in einer virtuellen Bildebene und überlagert ggf. ein Objekt 2. 2 zeigt die Datenbrille 20 in einer Prinzipdarstellung. Dabei umfasst das semitransparente Display 21 eine Mehrzahl individuell ansteuerbarer Pixel 22 zur Darstellung der virtuellen Information bzw. zur Darstellung virtueller Bildbestandteile VIRT'. 1 shows a user 1 with an exemplary designed data glasses 20 , The data glasses 20 has a semitransparent display 21 on, that's a monitor 210 and a semitransparent mirror 211 wherein a virtual information VIRT 'generated by means of the monitor is generated by means of the semitransparent mirror 211 in the eye of the beholder 1 is blasted. From the perspective of the viewer 1 the virtual information VIRT 'appears in a virtual image plane and possibly superimposes an object 2 , 2 shows the data glasses 20 in a schematic diagram. This includes the semi-transparent display 21 a plurality of individually controllable pixels 22 for displaying the virtual information or for displaying virtual image components VIRT '.

Ein Beispiel der Verwendung virtueller Bildbestandteile VIRT' im Zusammenhang mit Kraftfahrzeugen zeigen 3 und 4, wobei Bezugszeichen 100 einen Fahrer des Kraftfahrzeugs 101 bezeichnet, der die Datenbrille 20 trägt. In der in 3 dargestellten Situation fährt das Kraftfahrzeug 101 auf eine Ausfahrt einer für die Einfahrt gesperrten Straße 50 zu. Daher generiert eine Recheneinheit 40 der Datenbrille 20 in dem Display 21 einen virtuellen Felsblock 51, der aus der Sicht des Fahrers 100 aufgrund des Tragens der Datenbrille 20 die Ausfahrt der für die Einfahrt gesperrten Straße 50 (optisch, virtuell) versperrt. An example of the use of virtual image components VIRT 'in connection with motor vehicles show 3 and 4 , wherein reference numerals 100 a driver of the motor vehicle 101 called the data glasses 20 wearing. In the in 3 the situation shown drives the motor vehicle 101 to an exit of a road closed to the driveway 50 to. Therefore generates a computing unit 40 the data glasses 20 in the display 21 a virtual boulder 51 from the driver's point of view 100 due to wearing the data glasses 20 the exit of the road closed to the driveway 50 (visually, virtually) blocked.

Das semitransparente Display 21 umfasst zudem fotosensitive Pixel 24. Diese können zum Beispiel mit den Pixeln 22 in einer gemeinsamen Matrix angeordnet sein. Die fotosensitiven Pixel 24 können jedoch auch, wie in 5 dargestellt, zwischen einer Matrix der individuell ansteuerbaren Pixel 22 liegen. Dabei bezeichnet in 5 Bezugszeichen 221 Pixel zum Emittieren von blauem Licht, Bezugszeichen 222 Pixel zum Emittieren von gelbem Licht und Bezugszeichen 223 Pixel zum Emittieren von rotem Licht. Es kann auch vorgesehen sein, dass die Pixel 221, 222 und 223, wie in 6 dargestellt, von fotosensitivem Material 24' umgeben sind. The semitransparent display 21 also includes photosensitive pixels 24 , These can be used, for example, with the pixels 22 be arranged in a common matrix. The photosensitive pixels 24 can but also, as in 5 represented between a matrix of individually controllable pixels 22 lie. This designates in 5 reference numeral 221 Pixel for emitting blue light, reference number 222 Pixels for emitting yellow light and reference numerals 223 Pixel for emitting red light. It can also be provided that the pixels 221 . 222 and 223 , as in 6 represented by photosensitive material 24 ' are surrounded.

Eine geeignete Schaltung für die fotosensitiven Pixel 24 zeigt 5 des Artikels Shree K. Nayar Daniel C. Sims Mikhail Fridberg: “Towards Self-Powered Cameras”, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/Nayar_ICCP15.pdf ; wobei Bezugszeichen 23 in 2 dem Energy Harvester in 5 des Artikels Shree K. Nayar Daniel C. Sims Mikhail Fridberg: “Towards Self-Powered Cameras”, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/Nayar_ICCP15.pdf entspricht. Der Harvester 23 liefert eine Ausgangsspannung VOUT, mittels der ein Kondensator 30 geladen wird. Der Kondensator 30 stellt eine Versorgungsspannung VIN für das transparente Display 21 und für eine Recheneinrichtung 40 der Datenbrille 20 zur Verfügung. Dabei ist vorgesehen, dass die Pixel 24 gesteuert durch den Harvester 23 zur Erzeugung elektrischer Energie eingesetzt werden, wenn der Kondensator 30 unzureichend geladen ist. Ist der Kondensator 30 ausreichend geladen, können die Pixel 24 zur Bildgebung, das heißt zur Erzeugung eines realen Bildes RB, verwendet werden. A suitable circuit for the photosensitive pixels 24 shows 5 of Shree K. Nayar Daniel C. Sims Mikhail Fridberg: Towards Self-Powered Cameras, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/ Nayar_ICCP15.pdf ; wherein reference numerals 23 in 2 the Energy Harvester in 5 of Shree K. Nayar Daniel C. Sims Mikhail Fridberg: Towards Self-Powered Cameras, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/ Nayar_ICCP15.pdf equivalent. The harvester 23 provides an output voltage VOUT, by means of which a capacitor 30 is loaded. The capacitor 30 provides a supply voltage VIN for the transparent display 21 and for a computing device 40 the data glasses 20 to disposal. It is envisaged that the pixels 24 controlled by the harvester 23 be used for generating electrical energy when the capacitor 30 is insufficiently charged. Is the capacitor 30 sufficiently charged, the pixels can 24 for imaging, that is to say for generating a real image RB.

Die Recheneinrichtung 40 umfasst ein Trackingmodul 41, mittels dessen in Abhängigkeit des realen Bildes RB markerloses Tracking erfolgt, und eine Soll-Position POS für einen virtuellen Bildbestandteil VIRT auf dem transparenten Display 21 ermittelt wird. Bezugszeichen 31 bezeichnet einen Datenbestand virtueller Bilder VIRT. Dieser kann zum Beispiel über eine Schnittstelle von einem Kraftfahrzeug bereitgestellt werden. Es kann jedoch auch eine Datenbasis der Datenbrille 20 bzw. eine Datenbasis sein, die in die Recheneinrichtung 40 integriert ist. In Abhängigkeit der Soll-Position POS des virtuellen Bildbestandteils VIRT steuert ein Ausrichtmodul 42 die individuell ansteuerbaren Pixel 22 derart an, dass ein virtueller Bildbestandteil VIRT' an der gewünschten Position des transparenten Displays 21 dargestellt wird. The computing device 40 includes a tracking module 41 , By means of which, in accordance with the real image RB markerless tracking takes place, and a target position POS for a virtual image component VIRT on the transparent display 21 is determined. reference numeral 31 denotes a dataset of virtual images VIRT. This can be provided for example via an interface of a motor vehicle. However, it can also be a database of data glasses 20 or a database that is in the computing device 40 is integrated. Depending on the desired position POS of the virtual image component VIRT controls an alignment module 42 the individually controllable pixels 22 such that a virtual image component VIRT 'at the desired position of the transparent display 21 is pictured.

Die Energieversorgung für die Recheneinrichtung 40 erfolgt über den Kondensator 30 (Versorgungsspannung VIN). In dem dargestellten Ausführungsbeispiel einer Datenbrille 20 ist vorgesehen, dass diese zum Starten des Betriebs der Datenbrille 20 die Möglichkeit einer zusätzlichen Versorgungsspannung VINEXT bietet. Diese zusätzliche Versorgungsspannung VINEXT wird solange angelegt, bis der Kondensator 30 hinreichend geladen ist, um einen Betrieb der Datenbrille 20, wie beschrieben, zu ermöglichen bzw. zu starten. Zur Erzeugung der zusätzlichen Versorgungsspannung VINEXT kann die Datenbrille 20 zum Beispiel einen Piezogenerator (Druckknopf) umfassen. The power supply for the computing device 40 takes place via the condenser 30 (Supply voltage VIN). In the illustrated embodiment of a data glasses 20 it is envisaged that these will start the operation of the data glasses 20 the possibility of an additional supply voltage VINEXT offers. This additional supply voltage VINEXT is applied until the capacitor 30 is sufficiently charged to operate the data glasses 20 as described, to enable or start. The data glasses can be used to generate the additional supply voltage VINEXT 20 For example, a piezo generator (push button) include.

Die in 5 des Artikels Shree K. Nayar Daniel C. Sims Mikhail Fridberg: “Towards Self-Powered Cameras”, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/Nayar_ICCP15.pdf vorgesehenen Befehlssignale DISCHARGE, HARVEST und RESET werden von der Recheneinrichtung 40 erzeugt, und an das transparente Display 20 übertragen. In einer vereinfachten alternativen Ausgestaltung der Datenbrille 20 kann das Trackingmodul 41 nicht vorgesehen sein. Zudem entfällt die Erzeugung eines realen Bildes RB. In the 5 of Shree K. Nayar Daniel C. Sims Mikhail Fridberg: Towards Self-Powered Cameras, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/ Nayar_ICCP15.pdf command signals DISCHARGE, HARVEST and RESET are provided by the computing device 40 generated, and to the transparent display 20 transfer. In a simplified alternative embodiment of the data glasses 20 can the tracking module 41 not be provided. In addition, the generation of a real image RB is omitted.

7 zeigt ein weiteres Ausführungsbeispiel der Verwendung der erfindungsgemäßen Datenbrille 20, wobei mittels des transparenten Displays 21 ein virtueller Bildbestandteil VIRT' zur Erläuterung einer Wartungsmaßnahme, einer Instandhaltungsmaßnahme, einer Reparaturmaßnahme oder einer Herstellungsmaßnahme in Bezug auf das mit Bezugszeichen 103 bezeichnete Kraftfahrzeug beschrieben wird. 7 shows a further embodiment of the use of the data glasses according to the invention 20 , wherein by means of the transparent display 21 a virtual image component VIRT 'for explaining a maintenance measure, a maintenance measure, a repair measure or a production measure with respect to the reference number 103 designated motor vehicle is described.

8 zeigt ein Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, wobei in einem Schritt 71 ein zu montierendes Bauteil mittels des virtuellen Bildbestandteils gemäß dem vorgehend beschriebenen Verfahren markiert oder gekennzeichnet wird, und wobei in einem Schritt 72 das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente montiert wird. 8th shows an embodiment of a method for producing, maintaining, repairing or repairing a motor vehicle or a motor vehicle component, wherein in one step 71 a component to be mounted is marked or marked by means of the virtual image component according to the method described above, and wherein in one step 72 the component to be mounted is mounted in the technical component, in the motor vehicle or in the motor vehicle component.

9 zeigt ein Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, wobei in einem Schritt 81 der Montageort eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils gemäß dem vorgehend beschriebenen Verfahren markiert oder gekennzeichnet wird, und wobei in einem Schritt 82 das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente am Montageort montiert wird. 9 shows an embodiment of a method for producing, maintaining, repairing or repairing a motor vehicle or a motor vehicle component, wherein in one step 81 the mounting location of a component to be mounted is marked or marked by means of the virtual image component according to the method described above, and wherein in one step 82 the component to be mounted is mounted in the technical component, in the motor vehicle or in the motor vehicle component at the installation site.

10 zeigt ein Ausführungsbeispiel eines Verfahrens zum Herstellen, Warten, Instandsetzen oder Reparieren eines Kraftfahrzeuges oder einer Kraftfahrzeugkomponente, wobei in einem Schritt 91 ein Montageablauf zum Montieren eines zu montierenden Bauteils mittels des virtuellen Bildbestandteils gemäß dem vorgehend beschriebenen Verfahren ermittelt oder verifiziert wird, und wobei in einem Schritt 92 das zu montierende Bauteil in der technischen Komponente, in dem Kraftfahrzeug oder in der Kraftfahrzeugkomponente dem Montageablauf entsprechend montiert wird. 10 shows an embodiment of a method for manufacturing, maintenance, repair or repair of a motor vehicle or a Motor vehicle component, wherein in one step 91 an assembly procedure for mounting a component to be mounted by means of the virtual image component is determined or verified according to the method described above, and wherein in one step 92 the component to be mounted in the technical component, in the motor vehicle or in the motor vehicle component is mounted according to the assembly process.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • WO 0196829 A1 [0002] WO 0196829 A1 [0002]
  • DE 102012014995 A1 [0009] DE 102012014995 A1 [0009]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • www.ingenieur.de/Themen/IT-Hardware/BMW-Tochter-Mini-zeigt-Datenbrille-fuer-Autofahrer [0003] www.ingenieur.de/Themen/IT-Hardware/BMW-Tochter-Mini-zeigt-Datenbrille-fuer-Autofahrer [0003]
  • Artikel Georg Klein, David Murrayt: “Parallel Tracking and Mapping for Small AR Workspaces”, ISMAR 2007) [0009] Georg Klein, David Murrayt: "Parallel Tracking and Mapping for Small AR Workspaces", ISMAR 2007) [0009]
  • Artikels Shree K. Nayar Daniel C. Sims Mikhail Fridberg: “Towards Self-Powered Cameras”, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/Nayar_ICCP15.pdf [0031] Shree K. Nayar Daniel C. Sims Mikhail Fridberg: Towards Self-Powered Cameras, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/ Nayar_ICCP15.pdf [0031]
  • Artikels Shree K. Nayar Daniel C. Sims Mikhail Fridberg: “Towards Self-Powered Cameras”, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/Nayar_ICCP15.pdf [0031] Shree K. Nayar Daniel C. Sims Mikhail Fridberg: Towards Self-Powered Cameras, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/ Nayar_ICCP15.pdf [0031]
  • Artikels Shree K. Nayar Daniel C. Sims Mikhail Fridberg: “Towards Self-Powered Cameras”, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/Nayar_ICCP15.pdf [0034] Shree K. Nayar Daniel C. Sims Mikhail Fridberg: Towards Self-Powered Cameras, Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/ Nayar_ICCP15.pdf [0034]

Claims (10)

Datenbrille (20) mit einem transparenten Display (21), insbesondere zur überlagernden Darstellung eines virtuellen Bildbestandteils (VIRT) mit einem durch das transparente Display (21) sichtbaren realen Objekt, wobei das transparente Display (21) eine Mehrzahl individuell ansteuerbarer Pixel aufweist, und wobei die Datenbrille (20) eine Recheneinrichtung (40) zur Erzeugung, Auswahl und/oder Positionierung des virtuellen Bildbestandteils (VIRT) und zur individuellen Ansteuerung der Pixel des transparenten Displays (21) umfasst, dadurch gekennzeichnet, dass das transparente Display (21) fotosensitives Material zur Erzeugung elektrischer Energie aus Licht für die Versorgung der Recheneinrichtung (40) und/oder der Pixel des transparenten Displays (21) umfasst. Data glasses ( 20 ) with a transparent display ( 21 ), in particular for overlaying a virtual image component (VIRT) with a transparent display ( 21 ) visible real object, the transparent display ( 21 ) has a plurality of individually controllable pixels, and wherein the data glasses ( 20 ) a computing device ( 40 ) for generating, selecting and / or positioning the virtual image component (VIRT) and for individually controlling the pixels of the transparent display ( 21 ), characterized in that the transparent display ( 21 ) Photosensitive material for generating electrical energy from light for the supply of the computing device ( 40 ) and / or the pixels of the transparent display ( 21 ). Datenbrille (20) nach Anspruch 1, dadurch gekennzeichnet, dass das fotosensitive Material zwischen den Pixeln des transparenten Displays (21) angeordnet ist. Data glasses ( 20 ) according to claim 1, characterized in that the photosensitive material between the pixels of the transparent display ( 21 ) is arranged. Datenbrille (20) nach Anspruch 1, dadurch gekennzeichnet, dass das fotosensitive Material in Form fotosensitiver Pixel, insbesondere zwischen den Pixeln des transparenten Displays (21), angeordnet ist. Data glasses ( 20 ) according to claim 1, characterized in that the photosensitive material in the form of photosensitive pixels, in particular between the pixels of the transparent display ( 21 ) is arranged. Datenbrille (20) nach Anspruch 3, dadurch gekennzeichnet, dass die fotosensitiven Pixel (zumindest zum Teil) Teil einer Kamera sind. Data glasses ( 20 ) according to claim 3, characterized in that the photosensitive pixels are (at least in part) part of a camera. Datenbrille (20) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass sie bzw. die Recheneinrichtung (40) ein Trackingmodul zur Auswertung individueller Ausgangssignale der fotosensitiven Pixel bzw. ein Modul zur Auswertung individueller Ausgangssignale der fotosensitiven Pixel umfasst. Data glasses ( 20 ) according to claim 3 or 4, characterized in that it or the computing device ( 40 ) comprises a tracking module for evaluating individual output signals of the photosensitive pixels or a module for evaluating individual output signals of the photosensitive pixels. Datenbrille (20) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass sie bzw. die Recheneinrichtung (40) ein Trackingmodul zur Erzeugung eines realen Bildes durch Auswertung individueller Ausgangssignale der fotosensitiven Pixel bzw. ein Modul zur Erzeugung eines realen Bildes durch Auswertung individueller Ausgangssignale der fotosensitiven Pixel umfasst. Data glasses ( 20 ) according to claim 3 or 4, characterized in that it or the computing device ( 40 ) comprises a tracking module for generating a real image by evaluating individual output signals of the photosensitive pixels or a module for generating a real image by evaluating individual output signals of the photosensitive pixels. Datenbrille (20) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie bzw. die Recheneinrichtung (40) eine Schnittstelle zur drahtlosen Kommunikation mit einem Kraftfahrzeug umfasst. Data glasses ( 20 ) According to one of the preceding claims, characterized in that it and the computing means ( 40 ) comprises an interface for wireless communication with a motor vehicle. Verfahren zur Darstellung eines virtuellen Bildbestandteils (VIRT) auf einem transparenten Display (21) einer Datenbrille (20) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass (mittels der Recheneinrichtung (40) bzw. des Trackingmoduls) die Position (POS) des virtuellen Bildbestandteils (VIRT) in Abhängigkeit der Position eines mittels des virtuellen Bildbestandteils (VIRT) zu überlagernden realen Objektes in Bezug auf das transparente Display (21) bestimmt und der virtuelle Bildbestandteil (VIRT) mittels des transparenten Displays (21) entsprechend positioniert dargestellt wird. Method for displaying a virtual image component (VIRT) on a transparent display ( 21 ) of data glasses ( 20 ) according to one of the preceding claims, characterized in that (by means of the computing device ( 40 ) or the tracking module) the position (POS) of the virtual image component (VIRT) as a function of the position of a real object to be superposed by means of the virtual image component (VIRT) with respect to the transparent display ( 21 ) and the virtual image component (VIRT) by means of the transparent display ( 21 ) is positioned accordingly. Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs, dadurch gekennzeichnet, dass auf einem transparenten Display (21) ein virtueller Bildbestandteil (VIRT) gemäß einem Verfahren nach Anspruch 8 dargestellt wird, und dass eine Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils (VIRT) erfolgt. Method for the maintenance, servicing, repair or production of a motor vehicle, characterized in that on a transparent display ( 21 ) a virtual image component (VIRT) according to a method according to claim 8 is shown, and that a measure for the maintenance, repair, repair or production of a motor vehicle according to the default of the virtual image component (VIRT) takes place. Verfahren zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs, dadurch gekennzeichnet, dass auf dem transparenten Display (21) einer Datenbrille (20) nach einem der Ansprüche 1 bis 7 ein virtueller Bildbestandteil (VIRT) dargestellt wird, und dass eine Maßnahme zur Wartung, Instandhaltung, Reparatur oder Herstellung eines Kraftfahrzeugs entsprechend der Vorgabe des virtuellen Bildbestandteils (VIRT) erfolgt. Method for the maintenance, servicing, repair or production of a motor vehicle, characterized in that on the transparent display ( 21 ) of data glasses ( 20 ) according to one of claims 1 to 7, a virtual image component (VIRT) is displayed, and that a measure for the maintenance, repair, repair or production of a motor vehicle according to the default of the virtual image component (VIRT) takes place.
DE102015221181.9A 2015-10-29 2015-10-29 Data glasses and methods for displaying a virtual image component and methods for maintaining, servicing, repairing or manufacturing a motor vehicle Active DE102015221181B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015221181.9A DE102015221181B4 (en) 2015-10-29 2015-10-29 Data glasses and methods for displaying a virtual image component and methods for maintaining, servicing, repairing or manufacturing a motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015221181.9A DE102015221181B4 (en) 2015-10-29 2015-10-29 Data glasses and methods for displaying a virtual image component and methods for maintaining, servicing, repairing or manufacturing a motor vehicle

Publications (2)

Publication Number Publication Date
DE102015221181A1 true DE102015221181A1 (en) 2017-05-04
DE102015221181B4 DE102015221181B4 (en) 2022-03-03

Family

ID=58545503

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015221181.9A Active DE102015221181B4 (en) 2015-10-29 2015-10-29 Data glasses and methods for displaying a virtual image component and methods for maintaining, servicing, repairing or manufacturing a motor vehicle

Country Status (1)

Country Link
DE (1) DE102015221181B4 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001096829A1 (en) 2000-06-13 2001-12-20 Volkswagen Aktiengesellschaft Method for testing a product for quality defects and system for carrying out this method
DE102012014995A1 (en) 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Method for generating augmented reality image and/or representing virtual image component on transparent display, involves producing synthetic image of object from surrounding area to be recorded using CAD data
US20140267208A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Image display device and image display method
US20150108508A1 (en) * 2012-06-22 2015-04-23 Industrial Technology Research Institute Display panel
WO2015081327A1 (en) * 2013-11-27 2015-06-04 Chou Stephen Y Light emitting diode, photodiode, displays, and method for forming the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001096829A1 (en) 2000-06-13 2001-12-20 Volkswagen Aktiengesellschaft Method for testing a product for quality defects and system for carrying out this method
US20150108508A1 (en) * 2012-06-22 2015-04-23 Industrial Technology Research Institute Display panel
DE102012014995A1 (en) 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Method for generating augmented reality image and/or representing virtual image component on transparent display, involves producing synthetic image of object from surrounding area to be recorded using CAD data
US20140267208A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Image display device and image display method
WO2015081327A1 (en) * 2013-11-27 2015-06-04 Chou Stephen Y Light emitting diode, photodiode, displays, and method for forming the same

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Artikel Georg Klein, David Murrayt: "Parallel Tracking and Mapping for Small AR Workspaces", ISMAR 2007)
Artikels Shree K. Nayar Daniel C. Sims Mikhail Fridberg: "Towards Self-Powered Cameras", Department of Computer Science, Columbia University, New York, NY 10027, USA, www1.cs.columbia.edu/CAVE/publications/pdfs/Nayar_ICCP15.pdf
NAYAR, S.-K. [et. al.]: Towards Self-Powered Cameras. In: IEEE International Conference on Computational Photography (ICCP), April 2015, 1-10. IEEE Xplore Digital Library [abgerufen am 02.08.2016] *
www.ingenieur.de/Themen/IT-Hardware/BMW-Tochter-Mini-zeigt-Datenbrille-fuer-Autofahrer

Also Published As

Publication number Publication date
DE102015221181B4 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
DE102013114542B4 (en) Display close to the eye with parallax lock
CN104519347B (en) Light field display control method and device, light field display device
CN106468918B (en) Standardized data acquisition method and system for line inspection
DE602005002311T2 (en) Device for the restoration of vision
DE102009050368A1 (en) Method for automatically calibrating a virtual camera
DE102014211803A1 (en) Augmented reality system for a motor vehicle
DE102014206202A1 (en) Sun visor with an electronic image display device and method for its operation
DE102020114506A1 (en) Multifunctional glasses device
WO2017064063A1 (en) Apparatus and method for augmented reality presentation
DE102014206569A1 (en) A method and apparatus for controlling a light output of an imager of a visual field display device for displaying a stereoscopic image and visual field display device
DE102015221181A1 (en) data glasses
DE112017001455T5 (en) DEVICE AND METHOD FOR VEHICLE INFORMATION DISPLAY
DE102018203865A1 (en) Method and device for providing information through an augmented reality device, method and device for providing information for controlling an indication of an augmented reality device, method and device for controlling an indication of an augmented reality device, computer readable storage medium having Instructions for carrying out the procedures
DE112020004921T5 (en) PREDICTIVE VIRTUAL RECONSTRUCTION OF PHYSICAL ENVIRONMENTS
WO2015022052A1 (en) Method for operating electronic data glasses, and electronic data glasses
CN104050925B (en) Displaying method and device for LED display screen and LED display screen
DE102016124780A1 (en) A display device and method and systems for driving a multi-lens display assembly
DE102018222788B3 (en) Contact lens assembly with augmented reality capability for a vehicle driver and method for operating such a contact lens assembly
EP3365966B1 (en) Arrangement for switching on a two-way switch of a converter module, converter module for a modular multi-level converter having the arrangement and method for producing operational standby for a converter module having a two-way switch
DE102015217993A1 (en) Pixel based display device
DE102015101203A1 (en) Light modulation device
DE102014206625A1 (en) Positioning of an HMD in the vehicle
WO2020126803A1 (en) Method for operating a system for converting and/or storing at least one form of energy, electronic computing device for carrying out a method, computer program, and electronically readable data carrier
DE102014008976A1 (en) A method for providing rescue maps on a mobile electronic terminal, in particular for use in a rescue operation
DE102014019039A1 (en) Low-reflection head-up display for a motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final