DE112012001022T5 - Alignment control in a head-worn augmented reality device - Google Patents
Alignment control in a head-worn augmented reality device Download PDFInfo
- Publication number
- DE112012001022T5 DE112012001022T5 DE112012001022T DE112012001022T DE112012001022T5 DE 112012001022 T5 DE112012001022 T5 DE 112012001022T5 DE 112012001022 T DE112012001022 T DE 112012001022T DE 112012001022 T DE112012001022 T DE 112012001022T DE 112012001022 T5 DE112012001022 T5 DE 112012001022T5
- Authority
- DE
- Germany
- Prior art keywords
- image
- viewer
- scene
- objects
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/281—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for attenuating light intensity, e.g. comprising rotatable polarising elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Dieses Patent offenbart ein Verfahren zum Bereitstellen eines erweiterten Bildes in einem Head-Mounted Durchsicht-Display. Das Verfahren umfasst das Aufnehmen eines Bilds einer Szene mit Objekten und das Anzeigen des Bildes für einen Betrachter. Das Verfahren umfasst außerdem das Aufnehmen von einem oder mehr zusätzlichen Bildern der Szene, in denen der Betrachter eine Fehlausrichtung zwischen dem angezeigten Bild und einer Durchsicht-Ansicht der Szene angibt. Die aufgenommenen Bilder werden dann verglichen, um eine Bildeinstellung zu bestimmen, um entsprechende Objekte in angezeigten Bildern mit den Objekten in der Durchsicht-Ansicht der Szene auszurichten. Durch dieses Verfahren werden erweiterte Bildinformationen zur Verfügung gestellt, die entsprechend zu den Bildeinstellungen angezeigt werden, so dass der Betrachter ein erweitertes Bild sieht, das die erweiterten Bildinformationen enthält, das mit der Durchsicht-Ansicht überlagert und ausgerichtet ist.This patent discloses a method for providing an enhanced image in a head-mounted transparent display. The method includes capturing an image of a scene with objects and displaying the image to a viewer. The method also includes capturing one or more additional images of the scene in which the viewer indicates misalignment between the displayed image and a see-through view of the scene. The captured images are then compared to determine an image adjustment to align corresponding objects in displayed images with the objects in the review view of the scene. This method provides enhanced image information that is displayed according to the image settings so that the viewer sees an enhanced image containing the enhanced image information overlaid and aligned with the see-through view.
Description
Querverweis auf verwandte AnmeldungenCross-reference to related applications
Die vorliegende Anmeldung ist eine Continuation-in-part der US-Patent-Anmeldung Nr. 13/037,324, eingereicht am 28. Februar 2011, jetzt US-Patent Nr. ..., und der US-Patent-Anmeldung Nr. 13/037,335, ebenfalls eingereicht am 28. Februar 2011, jetzt US-Patent Nr. ..., und beansprucht deren Prioritäten, wobei die Offenbarung beider Anmeldung hiermit durch Bezugnahme in ihrer Gesamtheit aufgenommen werden.The present application is a continuation-in-part of U.S. Patent Application No. 13 / 037,324, filed on February 28, 2011, now U.S. Patent No. ..., and U.S. Patent Application No. 13 / 037,335, also filed February 28, 2011, now US Patent No. ..., and claims its priorities, the disclosure of which is hereby incorporated by reference in its entirety.
Gebiet der ErfindungField of the invention
Die vorliegende Erfindung bezieht sich auf eine erweiterte Realitäts-Bildverarbeitung mit einem am Kopf zu tragenden (Head-Mounted) Durchsicht-Display.The present invention relates to enhanced reality image processing with a head-mounted transparent display.
Hintergrundbackground
Head-Mounted Durchsicht-Displays ermöglichen einem Betrachter eine Ansicht der umliegenden Umgebung, die mit einem überlagerten angezeigten Bild kombiniert werden kann. Das überlagerte Bild kann semitransparent sein, so dass das überlagerte angezeigte Bild und die Ansicht der umliegenden Umgebung gleichzeitig zu sehen sind. In verschiedenen Betriebsarten kann ein Durchsicht-Display transparent, semitransparent oder undurchsichtig sein. In der Transparent-Betriebsart wird die Ansicht der Umgebung nicht blockiert, und ein überlagertes angezeigtes Bild kann mit einem geringen Kontrast zur Verfügung gestellt werden. In der Semitransparent-Betriebsart wird die Ansicht der Umgebung teilweise blockiert, und ein überlagertes angezeigtes Bild kann mit einem höheren Kontrast zur Verfügung gestellt werden. In der undurchsichtigen Betriebsart wird die Ansicht der Umgebung vollständig blockiert, und ein überlagertes angezeigtes Bild kann mit einem hohen Kontrast zur Verfügung gestellt werden.Head-mounted transparency displays allow a viewer to view the surrounding environment, which can be combined with a superimposed displayed image. The superimposed image may be semi-transparent so that the superimposed displayed image and the surrounding environment view can be seen simultaneously. In different modes, a see-through display may be transparent, semi-transparent or opaque. In the transparent mode, the view of the environment is not blocked, and a superimposed displayed image can be provided with a low contrast. In Semitransparent mode, the view of the environment is partially blocked, and a superimposed displayed image can be provided with a higher contrast. In opaque mode, the view of the environment is completely blocked, and a superimposed displayed image can be provided with a high contrast.
Bei der erweiterten Realitäts-Bildgebung (Augmented Reality Imaging) werden zusätzliche Informationen zur Verfügung gestellt, die sich auf die umliegende Umgebung beziehen. Normalerweise werden bei der erweiterten Realitäts-Bildgebung Objekte in der umliegenden Umgebung in Bildern der umliegenden Umgebung identifiziert, und erweiterte Bildinhalte, die diese Objekte betreffen, werden in einem erweiterten Bild zur Verfügung gestellt. Beispiele für erweiterte Bildinhalte, die in erweiterten Bildern zur Verfügung gestellt werden, umfassen: Adress-Etiketten für Gebäude; Namen von Geschäften; Werbung für Produkte; Zeichen für Virtual Reality Gaming und Nachrichten für bestimmte Personen. Damit die erweiterte Realitäts-Bildgebung wirksam sein kann, ist es erforderlich, dass die erweiterten Bildinhalte mit den Objekten der umliegenden Umgebung in den erweiterten Bildern ausgerichtet sind.Augmented Reality Imaging provides additional information related to the surrounding environment. Normally, in augmented reality imaging, objects in the surrounding environment are identified in images of the surrounding environment, and extended image contents pertaining to those objects are provided in an enhanced image. Examples of advanced image content provided in enhanced images include: address labels for buildings; Names of shops; Advertising of products; Sign for virtual reality gaming and news for specific people. For extended reality imaging to be effective, it is necessary for the extended image content to be aligned with the objects of the surrounding environment in the enhanced images.
Bei Head-Mounted Durchsicht-Displays ist die Ansicht der umliegenden Umgebung ist nicht unbedingt mit dem angezeigten Bild ausgerichtet. Variationen bezüglich der Position des hergestellten Display-Bereichs, Variationen hinsichtlich der Art und Weise, wie ein Betrachter das Head-Mounted Durchsicht-Display trägt, und Variationen hinsichtlich der Charakteristiken des Auges des Betrachters können zu Fehlausrichtungen des angezeigten Bildes relativ zur Durchsicht-Ansicht beitragen. Als Ergebnis sind Anpassungen des Head-Mounted Durchsicht-Displays erforderlich, um das angezeigte Bild relativ zur Durchsicht-Ansicht auszurichten, so dass die erweiterten Bildinhalte mit den Objekten aus der umliegenden Umgebung in den erweiterten Bildern ausgerichtet sind.In the case of head-mounted transparent displays, the view of the surrounding environment is not necessarily aligned with the displayed image. Variations in the position of the manufactured display area, variations in the way an observer wears the head-mounted transparency display, and variations in the characteristics of the viewer's eye may contribute to misalignments of the displayed image relative to the see-through view , As a result, adjustments to the head-mounted transparency display are required to align the displayed image relative to the see-through view so that the extended image content is aligned with the objects from the surrounding environment in the enhanced images.
Im
In US-Patent-Anmeldung Nr. 2002/0167536 wird ein Ausrichtungsindikator in dem angezeigt Bild erzeugt, und der Indikator wird bezüglich der Durchsicht-Ansicht ausgerichtet, indem der Betrachter die Vorrichtung relativ zum Betrachter manuell bewegt. Diese Erfindung ist auf eine in der Hand zu haltende Durchsicht-Display-Vorrichtung gerichtet, die innerhalb des Sichtfeldes des Betrachters bewegt werden kann, und ist bei einem Head-Mounted Durchsicht-Display nicht anwendbar, bei dem das Display am Kopf des Betrachters montiert ist.In US Patent Application No. 2002/0167536 an alignment indicator is generated in the displayed image, and the indicator is aligned with respect to the see-through view by the viewer manually moving the device relative to the viewer. This invention is directed to a hand-held see-through display device that can be moved within the field of view of the observer, and is not applicable to a head-mounted see-through display in which the display is mounted on the head of the observer ,
In dem Artikel
Im
ZusammenfassungSummary
Bei einer Ausgestaltung wird ein Verfahren zum Ausrichten eines angezeigten Bildes in einem Head-Mounted Durchsicht-Display relativ zu der vom Betrachter wahrgenommen Durchsicht-Ansicht zur Verfügung gestellt. Durch das kombinierte Bild, das das angezeigte Bild – überlagert mit der Durchsicht-Ansicht – enthält, wird für den Betrachter ein Bild der erweiterten Realität zur Verfügung gestellt. Das Verfahren umfasst das Aufnehmen eines ersten Bildes einer Szene mit einer Kamera in der Head-Mounted Durchsicht-Display-Vorrichtung, wobei diese Szene Objekte enthält. Das aufgenommene erste Bild wird dann einem Betrachter unter Verwendung der Head-Mounted Durchsicht-Display-Vorrichtung angezeigt, so dass sowohl das angezeigte Bild als auch die Durchsicht-Ansicht der Szene sichtbar sind. Ein oder mehrere zusätzliche Bilder der Szene werden mit der Kamera aufgenommen, in denen der Betrachter eine Fehlausrichtung zwischen dem ersten angezeigten Bild und einer Durchsicht-Ansicht der Szene angibt. Die aufgenommenen Bilder werden dann miteinander verglichen, um ein Bildeinstellung zu bestimmen, um entsprechende Objekte in angezeigten Bildern mit Objekten in der Durchsicht-Ansicht der Szene auszurichten. Anschließend werden erweiterte Bildinformation bereitgestellt, die die bestimmten Bildeinstellungen enthalten, und die erweiterten Bildinformationen werden dem Betrachter angezeigt, so dass der Betrachter ein erweitertes Bild sieht, das erweiterte Bildinformationen enthält, die der Durchsicht-Ansicht überlagert sind.In one embodiment, a method for aligning a displayed image in a head-mounted transparency display relative to the viewer's perceived see-through view is provided. The combined image, which contains the displayed image superimposed with the see-through view, provides the viewer with an augmented reality image. The method includes capturing a first image of a scene with a camera in the head-mounted transparent display device, which scene contains objects. The captured first image is then displayed to a viewer using the head-mounted transparent display device so that both the displayed image and the review view of the scene are visible. One or more additional images of the scene are taken with the camera, in which the viewer indicates a misalignment between the first displayed image and a see-through view of the scene. The captured images are then compared with each other to determine an image adjustment to align corresponding objects in displayed images with objects in the review view of the scene. Subsequently, enhanced image information is provided that includes the determined image settings, and the enhanced image information is displayed to the viewer so that the viewer sees an enhanced image that contains extended image information superimposed on the see-through view.
Kurzbeschreibung der ZeichnungenBrief description of the drawings
Detaillierte BeschreibungDetailed description
Bei einem Durchsicht-Display kann ein angezeigtes Bild von einem Betrachter gesehen werden, und zwar gleichzeitig mit einer ebenfalls zu sehenden Durchsicht-Ansicht der umliegenden Umgebung. Das angezeigte Bild und die Durchsicht-Ansicht können als ein kombiniertes Bild gesehen werden, wobei ein Bild mit dem anderen Bild überlagert ist oder wobei die beiden Bilder gleichzeitig in unterschiedlichen Bereichen des Durchsicht-Displays gesehen werden können, das vom Betrachter betrachtet werden kann.With a see-through display, a displayed image can be seen by a viewer, simultaneously with a see-through view of the surrounding environment as well. The displayed image and the see-through view can be viewed as a combined image, wherein an image is superimposed on the other image or the two images can be seen simultaneously in different areas of the see-through display that can be viewed by the viewer.
Um ein effektives erweitertes Realitäts-Bild für einen Betrachter zur Verfügung zu stellen, ist es wichtig, dass die erweiterten Bildinformationen relativ zu Objekten in der Durchsicht-Ansicht ausgerichtet sind, so dass der Betrachter die erweiterten Bildinformationen mit dem korrekten Objekt in der Durchsicht-Ansicht visuell verknüpfen kann. Die Erfindung stellt ein einfaches und intuitives Verfahren zur Verfügung, um Fehlausrichtungen zwischen den angezeigten Bildern und den Durchsicht-Ansichten anzugeben, sowie ein Verfahren, um die Richtung und das Ausmaß der Fehlausrichtung zu bestimmen, so dass die Fehlausrichtung durch Veränderung der Art und Weise, wie das angezeigte Bild dem Betrachter zur Verfügung gestellt wird, korrigiert werden kann.To provide an effective augmented reality image to an observer, it is important that the augmented image information be aligned relative to objects in the phantom view so that the viewer can see the augmented image information with the correct object in phantom view connect visually. The invention provides a simple and intuitive method for indicating misalignments between the displayed images and the phantom views, as well as a method for determining the direction and extent of misalignment so that misalignment can be achieved by changing the manner in which how the displayed image is made available to the viewer can be corrected.
Um Bilder in einem Head-Mounted Durchsicht-Display auszurichten, ist es notwendig, mindestens zwei verschiedene Punkte in den Bildern zu kennen, wo zugehörige Objekte in den Bildern ausgerichtet sind. Dies ermöglicht Berechnungen zum Verschieben der Bilder, um bei einem ersten Punkt eine Ausrichtung und Größenänderung durchzuführen, um den zweiten Punkt auszurichten. Dies setzt allerdings voraus, dass zwischen den beiden Bildern keine Rotations-Fehlausrichtung vorliegt, und dass die Bilder nicht verbogen oder verzerrt sind. Wie in
Bei einer Ausgestaltung der Erfindung verwendet der Betrachter eine Finger-Geste, um Fehlausrichtungen zwischen einem aufgenommenen Bild der Umgebung, die auf dem Head-Mounted Durchsicht-Display angezeigt wird, und der Durchsicht-Ansicht der umliegendem Umgebung anzugeben, wie es vom Betrachter gesehen wird.In one embodiment of the invention, the viewer uses a finger gesture to indicate misalignments between a captured image of the environment displayed on the head-mounted see-through display and the perimeter view of the surrounding environment, as seen by the viewer ,
Ein Verfahren zur Bestimmung von Fehlausrichtungen ist in
Wie in
Das angezeigte Bild wird dann ausgeschaltet oder aus dem Head-Mounted Durchsicht-Display
Anschließend wird ein viertes Bild erfasst, wie in
Die Größenanpassung wird dann als relative oder prozentuale Veränderung des Abstands zwischen den Positionen des Fingers
Die zeitliche Abfolge, in der die mehreren Bilder in dem Verfahren der vorliegenden Erfindung aufgenommen werden, kann automatisch oder manuell durchgeführt werden. Zum Beispiel können die Aufnahmen alle zwei Sekunden durchgeführt werden, bis alle Bilder aufgenommen wurden, die benötigt werden, um die Bildeinstellungen zu bestimmen. Durch den Abstand zwischen den Aufnahmen von zwei Sekunden hat der Betrachter genug Zeit, um die Fehlausrichtung zu bewerten und um eine Angabe der Fehlausrichtung zu bewirken. Alternativ kann der Betrachter eine manuelle Angabe an die Head-Mounted Durchsicht-Display-Vorrichtung
Es wird darauf hingewiesen, dass die hier beschriebenen Verfahren zur Bestimmung von Bildeinstellungen zum Reduzieren von Fehlausrichtungen zwischen angezeigten Bildern und Durchsicht-Ansichten möglich sind, da die Fehlausrichtungen im Wesentlichen auf Unterschieden hinsichtlich der Winkelunterschiede der Positionen und Größen von Objekten in den von der Kamera
Obwohl die oben beschriebenen Beispiel den Fall betreffen, dass Fehlausrichtungen zwischen dem angezeigten Bild und der Durchsicht-Ansicht auf Quer- und Längs-Fehlausrichtungen sowie auf Größenunterschieden basieren, sind komplizierter Fehlausrichtungen möglich, wie zum Beispiel Verzerrungen oder Rotationen. Rotations-Fehlausrichtungen können in dem Verfahren zum Bestimmen der Größenanpassungen bestimmt werden, die erforderlich sind, wenn das vierte und das fünfte aufgenommene Bild verglichen werden.Although the examples described above relate to the case that misalignments between the displayed image and the phantom view are based on transverse and longitudinal misalignments as well as size differences, more complicated misalignments are possible, such as distortions or rotations. Rotational misalignments may be determined in the method of determining the size adjustments required when comparing the fourth and fifth captured images.
Die Bestimmung von Bildeinstellungen, die erforderlich ist, um angezeigte Bilder mit der Durchsicht-Ansicht auszurichten, wenn eine Verzerrung entweder in dem angezeigten Bild oder in der Durchsicht-Ansicht vorliegt, erfordert das Bestimmen von mehr Informationen. In diesem Fall muss der Betrachter mindestens ein weiteres Objekt in einer Position auswählen, die verschieden ist von den Positionen des ersten oder zweiten Objekts, und den Vorgang durchführen, der oben beschrieben wurde.The determination of image adjustments required to align displayed images with the phantom view when there is distortion either in the displayed image or in the phantom view requires determining more information. In this case, the viewer must select at least one other object in a position different from the positions of the first or second object, and perform the operation described above.
Die angegebenen Beispiele beschreiben Verfahren zum Bestimmen der Bildeinstellungen auf Basis des Sehens mit einem Auge. Diese ermittelten Bildeinstellungen können auf die angezeigten Bilder in beiden Augen angewendet werden, oder die Bildeinstellungen können unabhängig für jedes Auge angewendet werden.The examples given describe methods for determining the image settings based on one-eye vision. These determined image settings can be applied to the displayed images in both eyes, or the image settings can be independently applied to each eye.
Nachdem die Bildeinstellungen bestimmt worden sind, können die angezeigten Bilder modifiziert werden, um Fehlausrichtungen auszugleichen. Die angezeigten Bilder können Standbilder oder Video sein. Weitere Bilder der Szene können aufgenommen werden, um Objekte identifizieren zu können und um die Positionen der Objekte in den weiteren Bildern bestimmen zu können. Verfahren zum Identifizieren von Objekten und zum Bestimmen der Positionen von Objekten in Bildern sind zum Beispiel in der
Bei einem anderen Verfahren gibt der Betrachter die Fehlausrichtung zwischen einem angezeigten Bild und der Durchsicht-Ansicht an, indem er seinen Kopf bewegt. Darstellungen von diesem Verfahren sind in
Das angezeigte Bild, das in
Anschließend wird ein zweites Bild durch die Kamera
Wie in
Das Verfahren zum Ausrichten wird weiter unter Bezugnahme auf das Flussdiagramm in
Bei einer weiteren Ausführung zeigt der Betrachter Fehlausrichtungen zwischen aufgenommenen Bildern der Szene und der Durchsicht-Ansicht durch eine Kombination von Hand-Gesten und Kopfbewegungen an. Ein oder mehrere zusätzliche Bilder werden aufgenommen und verglichen, um die Bildeinstellungen zu bestimmen, wie zuvor beschrieben wurde.In another embodiment, the viewer displays misalignments between captured images of the scene and the see-through view through a combination of hand gestures and head movements. One or more additional images are captured and compared to determine the image settings, as previously described.
Bei einer weiteren Ausgestaltung enthält die Head-Mounted Durchsicht-Display-Vorrichtung
Nach dem Ausrichten können erweiterte Bildinformationen mit identifizierten Objekten in der aufgenommenen Bilder und identifizierten Kanten von Objekten in den aufgenommenen Bildern ausgerichtet werden. Darüber hinaus können in Head-Mounted Durchsicht-Display-Vorrichtungen
Zum Beispiel kann ein Haus in dem aufgenommenen Bild durch die Kombination seiner Form in dem aufgenommenen Bild und aus der GPS-Position sowie der Richtung ermittelt werden, wobei dann die Adresse des Hauses von einer Karte bestimmt werden kann, die im Internet verfügbar ist, und dann kann die Adresse in dem angezeigten Bild dargestellt werden, so dass sie den Bereich der Durchsicht-Ansicht überdeckt, der das Haus enthält (siehe
Die erweiterten Bilder, die durch diese Verfahren erzeugt werden, können für eine Vielzahl von Anwendungen eingesetzt werden. Bei einer Ausführungsform kann das erweiterte Bild Teil einer Benutzerschnittstelle sein, wobei die erweiterte Bildinformation eine virtuelle Tastatur ist, die mit Fingerbewegungen des Betrachters betätigt werden kann. In diesem Beispiel muss die virtuelle Tastatur mit der Durchsicht-Ansicht der Finger des Betrachters für den Betrachter auf den gewünschten Tasten ausgerichtet werden. Bei einer anderen Ausführungsform können die Positionen der Objekte mit Hilfe von GPS-Daten oder Magnetometer-Daten bestimmt werden, und die erweiterten Bildinformationen können Werbung oder Namen von Objekten oder Adressen von Objekten sein. Die Objekte können Gebäude, Ausstellungen oder touristischen Attraktionen sein, wobei der Betrachter das erweiterte Bild verwendet, um eine Entscheidung zu treffen, wohin er gehen soll oder was er tun soll. Diese Informationen sollten mit der Durchsicht-Ansicht der Gebäude, Ausstellungen oder Sehenswürdigkeiten ausgerichtet werden.The enhanced images produced by these methods can be used for a variety of applications. In one embodiment, the enhanced image may be part of a user interface, wherein the enhanced image information is a virtual keyboard that includes Finger movements of the viewer can be operated. In this example, the virtual keyboard must be aligned with the viewer's finger-peek view of the viewer's fingers on the desired keys. In another embodiment, the positions of the objects may be determined using GPS data or magnetometer data, and the enhanced image information may be advertisements or names of objects or addresses of objects. The objects may be buildings, exhibitions or tourist attractions, with the viewer using the expanded image to decide where to go or what to do. This information should be aligned with the perusal view of the buildings, exhibitions or attractions.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 100100
- Head-Mounted Durchsicht-DisplayHead-mounted transparent display
- 102102
- Linselens
- 105105
- Rahmenframe
- 110110
- durchsichtiger Linsenbereichtransparent lens area
- 115115
- Display-BereichDisplay area
- 120120
- Kameracamera
- 125125
- Elektronik mit ProzessorElectronics with processor
- 127127
- Peripherie-Elektronik mit Drahtlos-Verbindung und BildspeicherPeripheral electronics with wireless connection and image memory
- 130130
- Armepoor
- 240240
- Objekt im angezeigten BildObject in the displayed image
- 245245
- angezeigtes Bild im linken Augedisplayed image in the left eye
- 250250
- angezeigtes Bild im rechten Augedisplayed image in the right eye
- 342342
- Objekt im angezeigten BildObject in the displayed image
- 425425
- Finger des BetrachtersFinger of the viewer
- 525525
- Finger des BetrachtersFinger of the viewer
- 625625
- Finger des BetrachtersFinger of the viewer
- 725725
- Finger des BetrachtersFinger of the viewer
- 925925
- Finger des BetrachtersFinger of the viewer
- 10251025
- Finger des BetrachtersFinger of the viewer
- 11251125
- Finger des BetrachtersFinger of the viewer
- 12251225
- Finger des BetrachtersFinger of the viewer
- 14701470
- angezeigtes Etikettdisplayed label
- 14751475
- angezeigte Objektedisplayed objects
- 15501550
- Markermarker
- 18501850
- Markermarker
- 21102110
- Schritt: Betrachter schaut auf SzeneStep: Viewer looks at scene
- 21202120
- Schritt: Kamera nimmt Bild der Szene aufStep: Camera takes picture of the scene
- 21302130
- Schritt: Anzeigen des aufgenommenen BildesStep: View the captured image
- 21402140
- Schritt: Betrachter liefert eine Angabe bezüglich einer FehlausrichtungStep: Viewer provides an indication of misalignment
- 21502150
- Schritt: Kamera nimmt weitere Bilder entsprechend der Angabe der BetrachtersStep: Camera takes more pictures according to the indication of the viewer
- 21602160
- Schritt: Aufgenommene Bilder werden verglichen, um erforderliche Bildeinstellungen zu bestimmenStep: Recorded images are compared to determine required image settings
- 21702170
- Schritt: Bestimmen von PositionsinformationenStep: Determine position information
- 22202220
- Schritt: Kamera nimmt ein Bild der Szene aufStep: Camera takes a picture of the scene
- 22302230
- Schritt: Analysieren des Bildes, um Objekte zu identifizierenStep: Analyze the image to identify objects
- 22402240
- Schritt: Bestimmen, ob erweiterte Informationen für Objekte verfügbar sindStep: Determine if advanced information is available for objects
- 22502250
- Schritt: Anzeigen von erweiterten Informationen für Objekte in Bereichen des angezeigten Bildes, die mit entsprechenden Objekten in der Durchsicht-Ansicht ausgerichtet sindStep: View extended information for objects in areas of the displayed image that are aligned with corresponding objects in the Review view
Diese Offenbarung erfolgte unter besonderer Bezugnahme auf bestimmte Ausführungsformen, aber es versteht sich, dass Variationen und Modifikationen innerhalb des Schutzbereiche der Erfindung bewirkt werden können.This disclosure has been made with particular reference to particular embodiments, but it is to be understood that variations and modifications may be effected within the scope of the invention.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 7369101 [0006] US 7369101 [0006]
- US 6753828 [0009] US 6753828 [0009]
- US 7755667 [0043] US 7755667 [0043]
- US 7805003 [0052] US 7805003 [0052]
Zitierte Nicht-PatentliteraturCited non-patent literature
- ”Single point aktive allignment method (SPAAM) for optical see-through HMD calibration for AR” von M. Tuceryan, N. Navab, Proceedings of the IEEE and ACM International Symposium on Augmented Reality, Seiten 149–158, München, Deutschland Oktober 2000 [0008] "Single point active alignment method (SPAAM) for optical see-through HMD calibration for AR" by M. Tuceryan, N. Navab, Proceedings of the IEEE and ACM International Symposium on Augmented Reality, pp. 149-158, Munich, Germany October 2000 [0008]
- ”Practical solutions for Calibration of optical see-through devices” von Y. Gene, M. Tuceryan, N. Navab, Proceedings of International Symposium on Mixed and Augmented Reality (ISMAR'02), 169–175, Darmstadt, Deutschland, 2002 [0008] "Practical solutions for calibration of optical see-through devices" by Y. Gene, M. Tuceryan, N. Navab, Proceedings of International Symposium on Mixed and Augmented Reality (ISMAR'02), 169-175, Darmstadt, Germany, 2002 [ 0008]
Claims (17)
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
USUS-13/037,335 | 2011-02-28 | ||
US13/037,335 US20110213664A1 (en) | 2010-02-28 | 2011-02-28 | Local advertising content on an interactive head-mounted eyepiece |
USUS-13/037,324 | 2011-02-28 | ||
US13/037,324 US20110214082A1 (en) | 2010-02-28 | 2011-02-28 | Projection triggering through an external marker in an augmented reality eyepiece |
PCT/US2012/022568 WO2012118575A2 (en) | 2011-02-28 | 2012-01-25 | Alignment control in an augmented reality headpiece |
Publications (1)
Publication Number | Publication Date |
---|---|
DE112012001022T5 true DE112012001022T5 (en) | 2013-12-19 |
Family
ID=46758533
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112012001032.9T Withdrawn DE112012001032T5 (en) | 2011-02-28 | 2012-01-25 | Lighting control in displays to be worn on the head |
DE112012001022T Withdrawn DE112012001022T5 (en) | 2011-02-28 | 2012-01-25 | Alignment control in a head-worn augmented reality device |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112012001032.9T Withdrawn DE112012001032T5 (en) | 2011-02-28 | 2012-01-25 | Lighting control in displays to be worn on the head |
Country Status (3)
Country | Link |
---|---|
CA (2) | CA2828407A1 (en) |
DE (2) | DE112012001032T5 (en) |
WO (2) | WO2012118573A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017217923A1 (en) | 2017-10-09 | 2019-04-11 | Audi Ag | Method for operating a display device in a motor vehicle |
Families Citing this family (123)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9158116B1 (en) | 2014-04-25 | 2015-10-13 | Osterhout Group, Inc. | Temple and ear horn assembly for headworn computer |
AU2009206514A1 (en) | 2008-01-22 | 2009-07-30 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Head-mounted projection display using reflective microdisplays |
US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US20150277120A1 (en) | 2014-01-21 | 2015-10-01 | Osterhout Group, Inc. | Optical configurations for head worn computing |
US20120081800A1 (en) | 2009-04-20 | 2012-04-05 | Dewen Cheng | Optical see-through free-form head-mounted display |
US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
US8488246B2 (en) | 2010-02-28 | 2013-07-16 | Osterhout Group, Inc. | See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US8472120B2 (en) | 2010-02-28 | 2013-06-25 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
CN102906623A (en) | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | Local advertising content on an interactive head-mounted eyepiece |
US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
WO2011134169A1 (en) | 2010-04-30 | 2011-11-03 | Beijing Institute Of Technology | Wide angle and high resolution tiled head-mounted display device |
EP3270194B1 (en) | 2012-01-24 | 2020-10-14 | The Arizona Board of Regents on behalf of The University of Arizona | Compact eye-tracked head-mounted display |
JP6525880B2 (en) | 2012-10-18 | 2019-06-05 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | Stereoscopic display with addressable focus cues |
US9448404B2 (en) | 2012-11-13 | 2016-09-20 | Qualcomm Incorporated | Modifying virtual object display properties to increase power performance of augmented reality devices |
KR20140090552A (en) | 2013-01-09 | 2014-07-17 | 엘지전자 주식회사 | Head Mounted Display and controlling method for eye-gaze calibration |
US20140191927A1 (en) * | 2013-01-09 | 2014-07-10 | Lg Electronics Inc. | Head mount display device providing eye gaze calibration and control method thereof |
US9619021B2 (en) | 2013-01-09 | 2017-04-11 | Lg Electronics Inc. | Head mounted display providing eye gaze calibration and control method thereof |
US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9366868B2 (en) | 2014-09-26 | 2016-06-14 | Osterhout Group, Inc. | See-through computer display systems |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9532715B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US9310610B2 (en) | 2014-01-21 | 2016-04-12 | Osterhout Group, Inc. | See-through computer display systems |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9740280B2 (en) | 2014-01-21 | 2017-08-22 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9746676B2 (en) | 2014-01-21 | 2017-08-29 | Osterhout Group, Inc. | See-through computer display systems |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US9811152B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
IL247588B2 (en) | 2014-03-05 | 2023-12-01 | Univ Arizona | Wearable 3D Augmented Reality Display with Variable Focus and/or Object Recognition |
JP6971030B2 (en) | 2014-03-18 | 2021-11-24 | スリーエム イノベイティブ プロパティズ カンパニー | Flat image synthesizer for near-eye displays |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9965030B2 (en) * | 2014-07-31 | 2018-05-08 | Samsung Electronics Co., Ltd. | Wearable glasses and method of displaying image via the wearable glasses |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
US10176961B2 (en) | 2015-02-09 | 2019-01-08 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | Small portable night vision system |
WO2016133886A1 (en) * | 2015-02-17 | 2016-08-25 | Osterhout Group, Inc. | See-through computer display systems |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
CN113397472A (en) | 2015-03-16 | 2021-09-17 | 奇跃公司 | Wearable augmented reality device and wearable virtual reality device |
JP6892213B2 (en) * | 2015-04-30 | 2021-06-23 | ソニーグループ株式会社 | Display device and initial setting method of display device |
US9910284B1 (en) | 2016-09-08 | 2018-03-06 | Osterhout Group, Inc. | Optical systems for head-worn computers |
US10739578B2 (en) | 2016-08-12 | 2020-08-11 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | High-resolution freeform eyepiece design with a large exit pupil |
KR20230157533A (en) | 2017-02-23 | 2023-11-16 | 매직 립, 인코포레이티드 | Display system with variable power reflector |
US10495895B2 (en) | 2017-06-14 | 2019-12-03 | Varjo Technologies Oy | Display apparatus and method of displaying using polarizers |
US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
CN107422481A (en) * | 2017-08-07 | 2017-12-01 | 杭州太若科技有限公司 | Apparatus and method for realizing augmented reality |
CN107589546B (en) * | 2017-10-23 | 2024-05-24 | 北京小米移动软件有限公司 | Optical system and augmented reality glasses |
CN109991744B (en) | 2018-01-02 | 2020-12-01 | 京东方科技集团股份有限公司 | Display device, display method, and head-up display device |
CN116149062A (en) | 2018-02-12 | 2023-05-23 | 优奈柯恩(北京)科技有限公司 | AR display device and wearable AR equipment |
CN110146978A (en) * | 2018-02-12 | 2019-08-20 | 杭州太若科技有限公司 | AR display device and wearable AR equipment |
WO2019154430A1 (en) * | 2018-02-12 | 2019-08-15 | 杭州太若科技有限公司 | Wearable ar system, ar display device, and projection source module thereof |
JP7185331B2 (en) | 2018-03-22 | 2022-12-07 | アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ | How to render light field images for integral imaging light field displays |
CN109387942B (en) * | 2018-03-28 | 2024-05-10 | 深圳惠牛科技有限公司 | Optical system and augmented reality equipment |
US11204501B2 (en) | 2018-04-24 | 2021-12-21 | Mentor Acquisition One, Llc | See-through computer display systems with vision correction and increased content density |
CN108594441A (en) * | 2018-07-04 | 2018-09-28 | 王锐 | A kind of optical system |
CN108572457A (en) * | 2018-07-12 | 2018-09-25 | 王锐 | A kind of optical presentation system |
CN108681073A (en) * | 2018-07-17 | 2018-10-19 | 王锐 | A kind of augmented reality optical presentation system |
US11749142B2 (en) | 2018-12-04 | 2023-09-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Optical see-through viewing device and method for providing virtual content overlapping visual objects |
CN112051671B (en) * | 2019-06-06 | 2023-10-13 | 舜宇光学(浙江)研究院有限公司 | Near-eye display optical machine, near-eye display method and near-eye display equipment |
CN111290125A (en) * | 2020-03-31 | 2020-06-16 | 优奈柯恩(北京)科技有限公司 | Optical device and head-mounted apparatus |
CN111474715A (en) * | 2020-04-23 | 2020-07-31 | 歌尔股份有限公司 | Optical system and augmented reality device |
CN116964508A (en) * | 2020-12-09 | 2023-10-27 | 伊诺托尼克斯股份有限公司 | Improved optical performance of head mounted displays inside laser safety eyewear |
WO2023131980A1 (en) * | 2022-01-07 | 2023-07-13 | Tesseract Imaging Limited | Apparatus for viewing optical images and method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6753828B2 (en) | 2000-09-25 | 2004-06-22 | Siemens Corporated Research, Inc. | System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality |
US7369101B2 (en) | 2003-06-12 | 2008-05-06 | Siemens Medical Solutions Usa, Inc. | Calibrating real and virtual views |
US7755667B2 (en) | 2005-05-17 | 2010-07-13 | Eastman Kodak Company | Image sequence stabilization method and camera having dual path image sequence stabilization |
US7805003B1 (en) | 2003-11-18 | 2010-09-28 | Adobe Systems Incorporated | Identifying one or more objects within an image |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5151722A (en) * | 1990-11-05 | 1992-09-29 | The Johns Hopkins University | Video display on spectacle-like frame |
US5625765A (en) * | 1993-09-03 | 1997-04-29 | Criticom Corp. | Vision systems including devices and methods for combining images for extended magnification schemes |
JPH08136852A (en) * | 1994-11-02 | 1996-05-31 | Olympus Optical Co Ltd | Optical device having eyepiece optical system |
JPH09219832A (en) * | 1996-02-13 | 1997-08-19 | Olympus Optical Co Ltd | Image display |
EP0825470B1 (en) * | 1996-03-11 | 2005-08-03 | Seiko Epson Corporation | Head-mounted display |
US7898504B2 (en) * | 2007-04-06 | 2011-03-01 | Sony Corporation | Personal theater display |
-
2012
- 2012-01-25 WO PCT/US2012/022492 patent/WO2012118573A1/en active Application Filing
- 2012-01-25 CA CA2828407A patent/CA2828407A1/en not_active Abandoned
- 2012-01-25 DE DE112012001032.9T patent/DE112012001032T5/en not_active Withdrawn
- 2012-01-25 CA CA2828413A patent/CA2828413A1/en not_active Abandoned
- 2012-01-25 WO PCT/US2012/022568 patent/WO2012118575A2/en active Application Filing
- 2012-01-25 DE DE112012001022T patent/DE112012001022T5/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6753828B2 (en) | 2000-09-25 | 2004-06-22 | Siemens Corporated Research, Inc. | System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality |
US7369101B2 (en) | 2003-06-12 | 2008-05-06 | Siemens Medical Solutions Usa, Inc. | Calibrating real and virtual views |
US7805003B1 (en) | 2003-11-18 | 2010-09-28 | Adobe Systems Incorporated | Identifying one or more objects within an image |
US7755667B2 (en) | 2005-05-17 | 2010-07-13 | Eastman Kodak Company | Image sequence stabilization method and camera having dual path image sequence stabilization |
Non-Patent Citations (2)
Title |
---|
"Practical solutions for Calibration of optical see-through devices" von Y. Gene, M. Tuceryan, N. Navab, Proceedings of International Symposium on Mixed and Augmented Reality (ISMAR'02), 169-175, Darmstadt, Deutschland, 2002 |
"Single point aktive allignment method (SPAAM) for optical see-through HMD calibration for AR" von M. Tuceryan, N. Navab, Proceedings of the IEEE and ACM International Symposium on Augmented Reality, Seiten 149-158, München, Deutschland Oktober 2000 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017217923A1 (en) | 2017-10-09 | 2019-04-11 | Audi Ag | Method for operating a display device in a motor vehicle |
WO2019072481A1 (en) | 2017-10-09 | 2019-04-18 | Audi Ag | Method for operating a display device in a motor vehicle |
US11100718B2 (en) | 2017-10-09 | 2021-08-24 | Audi Ag | Method for operating a display device in a motor vehicle |
EP3955046A1 (en) | 2017-10-09 | 2022-02-16 | Audi Ag | Method for operating a display device in a motor vehicle |
US11836864B2 (en) | 2017-10-09 | 2023-12-05 | Audi Ag | Method for operating a display device in a motor vehicle |
Also Published As
Publication number | Publication date |
---|---|
CA2828407A1 (en) | 2012-09-07 |
WO2012118575A3 (en) | 2013-03-14 |
WO2012118575A2 (en) | 2012-09-07 |
CA2828413A1 (en) | 2012-09-07 |
WO2012118573A1 (en) | 2012-09-07 |
DE112012001032T5 (en) | 2014-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112012001022T5 (en) | Alignment control in a head-worn augmented reality device | |
DE112018001655B4 (en) | Display device and moving body with the display device | |
DE102009037835B4 (en) | Method for displaying virtual information in a real environment | |
EP3410405A1 (en) | Method for representing virtual information in a view of a real environment | |
DE60313412T2 (en) | Video overlay device and method | |
DE112016004114T5 (en) | STEREO RENDERING SYSTEM | |
DE102011115739A1 (en) | Method for integrating virtual objects in vehicle displays | |
DE102007023506A1 (en) | Method for displaying image objects in a virtual three-dimensional image space | |
DE102014006732B4 (en) | Image overlay of virtual objects in a camera image | |
DE102010037169A1 (en) | Unlimited spatially oriented field of view display device | |
EP2977961B1 (en) | Method and communication device for creating and/or editing virtual objects | |
EP3620842A1 (en) | Concept for adjusting a head-up display in a motor vehicle | |
WO2009062492A2 (en) | Method for representing image objects in a virtual three-dimensional image space | |
DE112017006836T5 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING AND PROGRAM | |
DE102021204765A1 (en) | Rendering augmented reality with masking | |
DE112016004269T5 (en) | METHODS, SYSTEMS AND MEDIA FOR PRESENTING INTERACTIVE ELEMENTS WITHIN VIDEO CONTENT | |
DE102017109021B4 (en) | System for stereoscopic visualization of an object area and object area visualization method | |
DE102018209377A1 (en) | A method of presenting AR / VR content on a mobile terminal and mobile terminal presenting AR / VR content | |
DE102016105731A1 (en) | Context-based graphical user interface (GUI) shading | |
EP2232331B1 (en) | Device for helping the capture of images | |
DE102013016241A1 (en) | Method and device for augmented presentation | |
DE102015217258A1 (en) | Method and device for representing a vehicle environment of a vehicle | |
DE112017007791B4 (en) | CONTROL DEVICE FOR AN OPTICAL DEVICE, CONTROL METHOD FOR AN OPTICAL DEVICE, AND CONTROL PROGRAM FOR AN OPTICAL DEVICE | |
DE102022100546A1 (en) | Image processing depending on the geometry of a deformable electronic device, as well as corresponding devices and methods | |
WO2018036663A1 (en) | Changing a display of a reality for information purposes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R082 | Change of representative |
Representative=s name: UEXKUELL & STOLBERG, DE |
|
R081 | Change of applicant/patentee |
Owner name: MICROSOFT CORPORATION, US Free format text: FORMER OWNER: OSTERHOUT GROUP, INC., SAN FRANCISCO, US Effective date: 20140212 Owner name: MICROSOFT CORPORATION, REDMOND, US Free format text: FORMER OWNER: OSTERHOUT GROUP, INC., SAN FRANCISCO, CALIF., US Effective date: 20140212 Owner name: MICROSOFT TECHNOLOGY LICENSING, LLC, REDMOND, US Free format text: FORMER OWNER: OSTERHOUT GROUP, INC., SAN FRANCISCO, CALIF., US Effective date: 20140212 |
|
R082 | Change of representative |
Representative=s name: UEXKUELL & STOLBERG, DE Effective date: 20140212 Representative=s name: OLSWANG GERMANY LLP, DE Effective date: 20140212 |
|
R082 | Change of representative |
Representative=s name: OLSWANG GERMANY LLP, DE |
|
R082 | Change of representative |
Representative=s name: OLSWANG GERMANY LLP, DE |
|
R081 | Change of applicant/patentee |
Owner name: MICROSOFT TECHNOLOGY LICENSING, LLC, REDMOND, US Free format text: FORMER OWNER: MICROSOFT CORPORATION, REDMOND, WASH., US Effective date: 20150219 |
|
R082 | Change of representative |
Representative=s name: OLSWANG GERMANY LLP, DE Effective date: 20141202 Representative=s name: OLSWANG GERMANY LLP, DE Effective date: 20150219 |
|
R005 | Application deemed withdrawn due to failure to request examination |