EP3899693A1 - Verfahren zum erzeugen und anzeigen eines virtuellen objektes durch ein optisches system - Google Patents

Verfahren zum erzeugen und anzeigen eines virtuellen objektes durch ein optisches system

Info

Publication number
EP3899693A1
EP3899693A1 EP19827715.4A EP19827715A EP3899693A1 EP 3899693 A1 EP3899693 A1 EP 3899693A1 EP 19827715 A EP19827715 A EP 19827715A EP 3899693 A1 EP3899693 A1 EP 3899693A1
Authority
EP
European Patent Office
Prior art keywords
display
eye
determined
virtual object
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19827715.4A
Other languages
English (en)
French (fr)
Inventor
Julian GRAHSL
Michael MÖRTENHUBER
Frank Linsenmaier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Viewpointsystem GmbH
Original Assignee
Viewpointsystem GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Viewpointsystem GmbH filed Critical Viewpointsystem GmbH
Publication of EP3899693A1 publication Critical patent/EP3899693A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features

Definitions

  • the invention relates to a method for generating and displaying a virtual object using an optical system.
  • Augmented reality and mixed reality glasses are becoming increasingly important and widespread. The user will be one
  • Data glasses information imported into its field of vision Such glasses have at least one, at least partially transparent display, which is arranged in front of at least one eye of the user.
  • augmented reality and mixed reality In contrast to so-called virtual reality, augmented reality and mixed reality always have a direct relationship to the environment.
  • the display of the information actually makes the user hardly any
  • optical glasses are also individually adapted for a user.
  • Data glasses in particular an optical system, can consist of goggles and a display unit can be quickly and easily adapted to an individual user. This makes it possible not to show content anywhere on a display, but to adapt the optical system in question in such a way that the corresponding content can be displayed wherever a user is looking. This makes it possible to combine the display of virtual objects with objects from the real world or to reconcile them in a predefinable and deliberate manner.
  • Fig. 1 shows a first embodiment of a physical system
  • Fig. 2 shows a second embodiment of a physical system
  • FIG. 3 shows a schematic perspective view of the spatial arrangement of a first and a second display in relation to the eyes of a user
  • FIG. 4 shows a block diagram of an embodiment of an objective system consisting of goggles and display unit
  • Fig. 5 is a schematic perspective view of the spatial arrangement of a first displays, a first eye and a real object (physical object);
  • FIG. 6 shows the arrangement of the first display and the first eye according to FIG. 5 with a virtual object (TAG) shown on the first display; and
  • TAG virtual object
  • FIG. 7 shows the arrangement of the first display and the first eye according to FIG. 5 with a virtual object (TAG) arranged outside the first display and not shown.
  • TAG virtual object
  • an optical system 1 which is objectively adapted to an individual user. Furthermore, the objective optical system 1 serves for the defined display of virtual objects 16, which are generated in response to a predeterminable state or event. These virtual objects 16 are shown in a defined viewing environment at a predefinable position in at least one display 4, 10 of the system 1.
  • the optical system 1 consists of at least one goggle 2 and at least one display unit 3 connected to the goggle 2.
  • the eye glasses 2 have at least one first eye camera 5 for creating a first eye video of a first eye 6 of the user.
  • the goggles 2 also have a second one
  • Eye detection camera 1 1 for creating a second eye video of a second eye 12 of the user.
  • the gaze detection glasses 2 preferably have at least one field of view camera 14 pointing forward from the point of view of the user 1 who wears the gaze detection glasses 2.
  • Eye detection camera 5 or the preferably two eye detection cameras 5, 11 are arranged in so-called nose part frames of the eye detection glasses 2. The arrangement of the two eye detection cameras 5, 11 can be clearly seen in FIG.
  • a particularly preferably provided goggle 2 as shown in FIGS. 1 and 2 is known from AT 513.987 B1, which further details of the preferred goggles 2 can be found. However, the subject methods can also be carried out with other goggles 2.
  • the gaze glasses 2 are provided and designed to detect gaze directions of the user.
  • the gaze glasses 2 shows i.a. a block diagram of the gaze glasses 2, but a real goggles 2 may have other components.
  • the eye detection cameras 5, 1 1 already described the eye detection cameras 5, 1 1 already described.
  • Eye-tracking glasses 2 in particular at least one controller 18
  • the gaze glasses 2 also preferably have other components, such as an energy supply unit.
  • the display unit 3 has at least one - at least - partially transparent first display 4, as shown in FIG. 1.
  • the display unit 3 has at least one - at least - partially transparent first display 4, as shown in FIG. 1.
  • the display unit 3 has at least one - at least - partially transparent first display 4, as shown in FIG. 1.
  • Display unit 3 also a second display 10.
  • the two displays 4, 10 can also be formed in one piece, it being provided that the individual display extends over both eyes 6, 12.
  • the first display 4 is consistently assigned to the left eye of the user, although this is not a mandatory definition, and the right eye can also be referred to as the first eye 6.
  • the display unit 3 is preferably one of the goggles 2
  • Eye detection glasses 2 arranged and mechanically connected to this.
  • the first display 4 is arranged, at least in certain areas, in a first viewing area 7 of the gaze glasses 2.
  • the second display 10, which is preferably provided, is at least in some areas in a second viewing area 13
  • a viewing area 7, 13 is to be understood as an area within the line of sight or the optical field of view of a user.
  • the see-through areas 7, 13 are identical to the lens-receiving openings of the eye-goggles 2. If none "Glasses” and / or has no or only a partially formed frame, the see-through areas 7, 13 are in particular the areas where the "glasses" would normally be arranged in conventional glasses.
  • the first and optionally the second display 4, 10 can be on the
  • Eye-tracking glasses 2 can be arranged.
  • the first and optionally the second display 4, 10 are fixed in position in the first and optionally the second display 4, 10
  • Display unit 3 arranged. It is not intended that these be tilted or swiveled during operation.
  • the display unit 3 also has no corresponding actuators.
  • the first and optionally the second display 4, 10 are preferably designed as so-called wave guide displays and are essentially transparent.
  • the first and optionally the second display 4, 10 are preferably so-called
  • Single focal plane display trained. It is a display with only one display level. In contrast, so-called “multiple focal plane” displays are also known, but are not used objectively.
  • the display unit 3 shows i.a. a block diagram of the display unit 3, but a real-world display unit 3 may have other components.
  • the display unit 3 also has a controller 22 of the display unit 3 and a first interface 20 of the
  • Display unit 3 for communication with the goggles 2.
  • the display unit 3 has a display control unit 8, which is connected to the controller 22 or is formed in one piece with it.
  • the display control unit 8 controls the first and the preferably provided second display 4, 10, and is responsible for the position and the
  • the image or object 16 is generated by the controller 22 and for display to the display control unit 8 transfer.
  • the display unit 3 also has a second interface 21 of the display unit 3, which is provided for communication with the environment and is designed accordingly.
  • a second interface 21 of the display unit 3 is provided for communication with the environment and is designed accordingly.
  • suitable or preferred transmission methods or systems are currently widely known and widespread, and are referred to in the field of cellular mobile radio as 3G (UMTS) or 4G (LTE) or 5G, whereby systems of the Internet or WLAN can also be used .
  • the display unit 3 preferably has a navigation and
  • Position determination unit 23 which is connected to the controller 22.
  • the navigation and position determination unit 23 can both the position of the display unit 3 in a global coordinate system, in particular by means of satellite navigation methods and, if appropriate, by using the connection data
  • the display unit 3 preferably has further components, such as an energy supply unit.
  • the individual position and orientation of the first eye detection camera 5 and / or the second eye detection camera 11 of each individual or individual goggles 2 - before they are delivered - are determined in a test stand, and the corresponding data in one
  • Memory or the controller 18 of the respective goggles 2 are stored.
  • Eye detection camera 5 and / or the second eye detection camera 11 in the Measuring status is determined, and that the at least one determined value is also stored in the memory or the controller 18 and is taken into account in the method steps described below.
  • the individual position and orientation of the first display 4 and the preferably provided second display 10 of each display unit 3 is determined individually in a measuring stand, and the data determined in this way are stored in the controller 22 of the respective display unit 3. These data are preferred for those described below
  • the optical system 1 is adapted to an individual user. This includes at least the following steps:
  • the eye glasses 2 are put on by the user.
  • At least one predeterminable eye dimension and / or at least one predeterminable eye position of the first eye 6 are determined by the goggles 2.
  • At least one first target value of at least one geometrical display setting of the first display 4 is determined.
  • a display control unit 8 of the display unit 3 for controlling the first display 4 is at least adapted to the first target value.
  • an objective individual optical system 1 for augmented or mixed reality can be quickly and easily adapted to an individual user.
  • a corresponding adaptation or calibration is carried out only once for an individual optical system 1 in order to adapt it to a specific user. It is preferably provided that the adaptation is repeated at predeterminable time intervals.
  • the method steps mentioned are only mandatory for one eye 6 and can only be carried out for one eye 6. This affects, for example, users with only one eye 6 or situations in which only one eye 6 is used.
  • At least one predeterminable eye dimension and / or at least one predefinable eye position of the second eye 12 are determined by the
  • Eye glasses 2 determined. - From the at least one determined eye dimension and / or the at least one determined eye position and the position and orientation of the second eye detection camera 1 1, at least one second target value of at least one geometric display display setting of the second display 10 is determined.
  • the display control unit 8 for controlling the second display 10 is at least adapted to the second target value.
  • Putting on the eye-tracking glasses 2 is identical to putting on any other glasses, is generally known and does not require any further
  • At least one predeterminable eye dimension and / or at least one predefinable eye position of the first eye 6 and preferably also of the second eye 12 are determined by the
  • Eye glasses 2 determined. Eye dimensions are in particular the eye diameter or the eye radius as well as the pupil diameter. Both are preferably determined. Eye positions are in particular the position of the pupils of the eyes 6, 12, in particular a distance between the two pupils, and the spatial position of the two eyes 6, 12 in relation to one another.
  • Both are preferably determined.
  • a position of a median of the eyes 6, 12 is determined.
  • a median is a midline of the body or head in the area of the eyes 6, 12. Furthermore, the position of the first eye detection camera 5 and the second eye detection camera 1 1 relative to the median of the eyes 6, 12 is determined.
  • At least one sample gaze sequence of the user is recorded on a predeterminable plurality of predetermined control points.
  • the model gaze sequence or gaze sequence refers to the user's gaze behavior, which is encouraged to look at certain control points from a certain location, or to move his head in a predefinable manner while fixing a control point.
  • the control points are or are arranged at different distances and distances from the optical system 1. The resulting advantages will be discussed at a later point below.
  • At least one first target value of at least one geometric display setting first displays 4 is determined. It is further preferably provided that at least one second target value of at least one geometric display display setting of the second display 10 is determined from the at least one determined eye dimension and / or the at least one determined eye position as well as the position and orientation of the second eye detection camera 11 .
  • target values indicate at which position and / or with what distortion an image or a virtual object 16 must be displayed within the display areas of the respective displays 4, 10, so that this for the user who is opening, diagonally in front of his eyes 6, 12 arranged displays 4, 10 looks, has to be displayed so that this is again shown to the user at a very specific or predetermined position, and essentially free from distortion.
  • the target values are not individual values, but rather groups or sets of values or vectors. It is particularly provided that
  • the geometrical display setting is at least one setting which relates to the geometrical representation of an object in the display, but not its color or contrast.
  • the geometric display display setting therefore relates to the position or position, distortion and size of a displayed object 16 within a display area of the respective display 4, 10.
  • the display control unit 8 of the display unit 3 is adapted to control the first display 4 at least to the first target value and to control the second display 10 at least to the second target value.
  • Display control unit 8 can be achieved that the objects to be displayed are presented to the user in such a way that - relative to the eyes 6, 12 of the user - they are actually displayed where they should appear and have the required distortion in order to be undistorted to appear.
  • Eye dimensions and / or eye positions are particularly preferred
  • first distance values of the first target value and the second target value are determined at a first control point located at a first distance from the optical system 1, and that at a second distance from the optical system 1 , second control point, second distance values of the first target value and the second target value are determined, the first distance being different from the second distance.
  • Different values between the amounts of the first target value and the second target value for different setting distances of the first and second eyes 6, 12 or for different, mutually directed positions of the eyes 6, 12 can therefore act.
  • control points are arranged at least four different distances. A corresponding course over the
  • the type of target values is directly related to the type of displays 4, 10.
  • Displays 4, 10 often have so-called basic settings, which are also referred to as default settings. Without consciously changing or adapting the video signals that are fed to such a display, a corresponding image or video is shown in accordance with the default settings. The corresponding image would usually be displayed undistorted in the center of the respective display.
  • the first target value is the
  • a first target position and / or a first target distortion of a first display area 9 for displaying a virtual object 16 in front of the first eye 6 is determined, starting from at least one deviation of the first target position and / or the first target distortion of the first display area 9 to a first display area basic setting of the first display 4, at least one first correction factor and / or a first correction function is determined, the
  • Display control unit 8 is adapted to the user at least with the first correction factor or the first correction function.
  • the first display area 9 is a sub-area within the first display 4.
  • a second target position and / or a second target distortion of a second display area 17 for displaying a virtual object 16 in front of the second eye 12 is determined as the second target value of the geometric display setting , whereby at least a second correction factor and / or a second correction function is determined on the basis of at least one deviation of the second target position and / or the second target distortion of the second display area 17 from a second display area basic setting of the second display 10, the
  • Display control unit 8 is adapted to the user at least with the second correction factor or the second correction function.
  • the display area 17 is a sub-area within the second display 10.
  • a correction function provides a Relationship between certain eye positions and / or viewing directions of the user and the respective correction factors provided for the display of a virtual object under the respective conditions. Eyes are capable of quasi-continuous changes in position. It has been shown that the values of the correction factors also show quasi-continuous behavior.
  • Correction functions make it easy to adapt the displays 4, 10 or the display control unit 8. It is particularly preferred to provide the correction factors or correction functions as fields with different ones
  • Fig. 3 clearly shows how the respective for the two eyes shown
  • Display areas 9, 17 differ significantly from the respective centers of the two displays 4, 10.
  • the objective adaptation of the optical system 1 enables the display of a virtual object 16 in a predeterminable relationship to the viewing direction or viewing behavior of the user. In particular, this makes it possible to display a virtual object 16 in a predefinable relationship together with a real object 15.
  • virtual objects 16 can also be generated and displayed.
  • the following additional method steps are provided in the method for generating and displaying a virtual object 16 by an optical system 1:
  • a current viewing direction of the first eye 6 is determined from the goggles 2.
  • the virtual object 16 is from the display control unit 8, under
  • a current viewing direction of the second eye 12 is determined from the goggle 2.
  • the virtual object 16 is from the display control unit 8, under
  • determined viewing direction of the second eye 12 also shows in the second display 10.
  • the virtual object 16 When using displays 4, 10 with basic settings, provision is made in particular for the virtual object 16 to be offset and / or distorted in the first display 4 by the first correction factor and / or the first correction function, and preferably for the virtual object 16 to be displayed around the second correction factor and / or the second correction function is offset and / or is shown distorted in the second display 10.
  • the virtual object is displayed at a position in the determined viewing direction of the first eye 6 or the second eye 12. It is provided that the relevant position of the display moves with the viewing direction or is shifted accordingly. In this context, it is therefore preferably provided that the current gaze direction of the first eye 6 and / or the second eye 12 is continuously determined by the gaze detection glasses 2, and that the position at which the virtual object 16 is displayed is continuously related to the current gaze direction or the current viewing directions are adjusted.
  • the current line of sight is determined by a predeterminable amount, in particular by 2 °, from a last determined one
  • the viewing direction must deviate so that the position at which the virtual object 16 is displayed is adapted to the current viewing direction.
  • the respectively determined viewing directions are averaged over a certain period of time or a predeterminable past, and the position at which the virtual object 16 is displayed lies in the averaged viewing direction.
  • the length of the past can be adjusted depending on the situation.
  • the length of the past is preferably approximately 0.1 to 0.3 s.
  • the virtual object 16 is generated and displayed when a predefinable state and / or a predefinable event occurs.
  • a state or such an event can only be regarded as having occurred if a predeterminable plurality of criteria are met in each case.
  • the optical system has at least one field of view camera 14, a predefinable real object 15 being detected by the field of view camera 14, the detection of the predefinable real object 15 being the predefinable event or a criterion for a corresponding event , for creating the virtual object 16.
  • a predefinable real object 15 being detected by the field of view camera 14, the detection of the predefinable real object 15 being the predefinable event or a criterion for a corresponding event , for creating the virtual object 16.
  • a real object 15 can be recognized by means of a corresponding method
  • the system is designed to detect at least one status value of the user, that the status value is monitored by the system with regard to the exceeding of a limit value, and that if the limit value is exceeded the predefinable event for generating the virtual object 16 is.
  • a fatigue value for a wake / fatigue state of the user may be from a
  • Observation and evaluation of gaze behavior can be determined, for which none additional sensors are required.
  • the optical system 1 has at least one further sensor for determining a physiological size of the user, in particular heartbeat and / or skin conductivity, and / or is connected to a corresponding external sensor in order to display its values.
  • the optical system 1 can also be connected to a blood pressure sensor.
  • Corresponding external sensors can also be sensors which record the body functions of living beings other than the user. For example, a trainer can be informed about a critical condition of one of his athletes.
  • the at least one sensor can be a sensor of a technical apparatus.
  • the system has at least one navigation and position determination unit 23 for detecting a spatial orientation and a location of the system 1, and that a predeterminable location and a predeterminable spatial orientation provide the predefinable event for generating the virtual object 16 are.
  • the detection of a spatial orientation and of a location of the system 1 can be supported in particular by means of so-called location-based services, as are known in the field of smartphones.
  • 5 to 7 show examples for the display of virtual objects 16 in relation to a real object 15, it being irrelevant whether this real object 15 is simply there or was also detected or recognized as object 15.
  • 5 shows the first eye 6 of the user, who looks at the real object 15 through the first display 4, which is designated as a “physical object” in FIG. 5.
  • a virtual object 16 in the form of a frame is shown on the display 4 such that this virtual object 16 surrounds the real object 15 and the frame appears essentially rectangular.
  • FIG. 6 shows a similar situation, but no real object 15 is shown. Instead of the border, another virtual object 16 is now shown in the form of a TAG.
  • the relevant TAG is shown laterally adjacent to the viewing direction. Since it is clearly known about the gaze glasses 2, Wherever the user is looking, the virtual object can be positioned at or next to the viewing direction in such a way that the user can recognize or read it without significantly changing the viewing direction.
  • FIG. 7 shows the effects on the virtual object 16 or the TAG when the user turns away from it or turns his gaze to another thing.
  • the virtual object 16 in question maintains its assigned position in space. Since this is now outside the display area 9 of the display 4, it is also no longer shown. As soon as the user again moves sufficiently in the corresponding direction, the virtual object 16 is also shown again.
  • Setting distance of the two eyes 6, 12 of the user is determined when looking at the real object 15, and that the virtual object 16 is shifted in position and / or distorted on the first and second displays 4, 10 so that it is displayed as a single object at the same setting distance of the two Eyes 6, 12 appear like real object 15. Virtual object 16 is therefore shown on displays 4, 10, which are directly in front of eyes 6, 12 of the user
  • the eyes 6, 12 of the user see the virtual object 16 at the same distance as the real object 15 with which it is associated.
  • the virtual object 16 is represented as a so-called stereo image.
  • the adjustment distance of the two eyes 6, 12 is determined by the goggles in such a way that the angular positions of the eyes 6, 12 are determined, and the distance to which the eyes 6, 12 focus is calculated therefrom. It can be omitted, a distance value in one
  • the setting distance can also be determined and processed in the form of one or more angles.
  • a current position of the two eyes is determined by the goggle 2, and the virtual object 16 is shifted in this way and / or distorted on First and second display 4, 10 shown that this appears as a single object at the distance to which the two eyes 6, 12 are aligned.
  • the system 1 in question preferably does not have a separate range finder for determining a distance between the system 1 and the real object 15.
  • At least one distance value of the first target value and the second target value corresponding to the setting distance of the two eyes 6, 12 is taken into account. If no distance value is stored between the distance values of the first target value and the second target value, it is provided that the
  • Display control unit 8 interpolated between the two neighboring distance values.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Eye Examination Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Bei einem Verfahren zum Erzeugen und Anzeigen eines virtuellen Objektes (16) durch ein optisches System (1) aus einer Blickerfassungsbrille (2) und wenigstens einer, mit der Blickerfassungsbrille (2) verbundenen Displayeinheit (3) an einen individuellen Benutzer, welche Displayeinheit (3) ein erstes Display (4) aufweist, wobei die Blickerfassungsbrille (2) eine erste Augenerfassungskamera (5) aufweist, wobei das erste Display (4) in einem ersten Durchsichtbereich (7) der Blickerfassungsbrille (2) angeordnet ist, wird vorgeschlagen, dass das optische System (1) an einen individuellen Benutzer angepasst wird, wobei ein erster Soll-Wert zur Anpassung einer Displayansteuereinheit (8) der Displayeinheit (3) zur Ansteuerung des ersten Displays (4) ermittelt wird, wobei von der Blickerfassungsbrille (2) eine aktuelle Blickrichtung des ersten Auges (6) ermittelt wird, wobei ein virtuelles Objekt (16) erzeugt wird, wobei das virtuelle Objekt (16), unter Berücksichtigung des ersten Soll-Wertes, an einer Position in der ermittelten Blickrichtung des ersten Auges (6) im ersten Display (4) anzeigt wird.

Description

Verfahren zum Erzeugen und Anzeigen eines virtuellen Objektes durch ein optisches System
Die Erfindung betrifft ein Verfahren zum Erzeugen und Anzeigen eines virtuellen Objektes durch ein optisches System gemäß Patentanspruch 1.
In zunehmendem Maße gewinnen Brillen zur sog. Augmented Reality sowie Mixed Reality an Bedeutung und Verbreitung. Dabei werden dem Benutzer einer
Datenbrille Informationen in dessen Gesichtsfeld eingespielt. Derartige Brillen weisen wenigstens ein, zumindest teildurchsichtiges Display auf, welches vor wenigstens einem Auge des Benutzers angeordnet ist. Im Gegensatz zur sog. Virtual Reality ist bei Augmented Reality sowie Mixed Reality stets ein direkter Bezug zur Umgebung gegeben.
In der Praxis ergeben sich bei derartigen Brillen, etwa der sog. Google Glass, zahlreiche Probleme. Die simple Darstellung einer Information auf einem Display, welches Teil einer Brille ist, hat sich als äußerst nachteilig erwiesen. Durch die Darstellung der Inhalte wird das Blickverhalten des Benutzers deutlich geändert.
Der Benutzer wird durch die Darstellung der Information tatsächlich kaum
unterstützt, da dieser bzw. dessen Augen gezwungen sind, ständig zwischen der dargestellten Information und der Umgebung zu wechseln. Dies führt zu schnellem Ermüden, und ist eine ernst zu nehmende Belastung für das Gehirn. Durch die dargestellten Inhalte wird der Benutzer auch von der realen Umgebung abgelenkt, da der optische Reiz einer neu angezeigten Information den Blick des Benutzers auf diese lenkt, und zwar ungeachtet dessen, ob in einer anderen Blickrichtung möglicherweise Relevanteres in der realen Welt mehr Aufmerksamkeit verdient hätte. Dies hat bereits zu Unfällen geführt. Derartige bekannte Brillen können daher genau das Gegenteil dessen bewirken, was sie bezwecken. Anstatt eine Situation für den Benutzer zu vereinfachen erhöhen derartige Brillen die
Komplexität.
Zudem sind alle Menschen in gewisser Weise individuell. Die Augen der Menschen sind jeweils, bezogen auf Nase und Ohren, anders angeordnet, und weisen jeweils auch einen individuellen Abstand zueinander auf. Jeder Brillenträger kennt das entsprechende Anpassen einer Brille durch den Optiker, wobei dieser durch mechanische Veränderungen der Brille, etwa durch Verbiegen der Bügel bzw. der Nasenpads, diese an die jeweiligen Gegebenheiten des einzelnen Brillenträgers anpasst. Entsprechend werden auch optische Gläser jeweils individuell für einen Benutzer angepasst.
Bei bekannten Systemen für Augmented Reality bzw. Mixed Reality ist es bislang nicht möglich die Anzeige virtueller Objekte mit Objekten der realen Welt zu kombinieren bzw. vorgebbar und gewollt in Einklang zu bringen.
Aufgabe der Erfindung ist es daher ein Verfahren der eingangs genannten Art anzugeben, mit welchem die genannten Nachteile vermieden werden können, und mit welchem virtuelle Objekte in vorgebbarer Kombination mit der realen
Umgebung angezeigt werden können.
Erfindungsgemäß wird dies durch die Merkmale des Patentanspruches 1 erreicht.
Dadurch werden Inhalte genau dort dargestellt, wohin ein Mensch zu dem betreffenden Zeitpunkt ohnedies bereits blickt. Die Blickzuwendung eines
Menschen erfolgt selten zufällig, sondern hat meistens Ursachen in der Umgebung des betreffenden Menschen. Die Darstellung eines virtuellen Objekts in einer Datenbrille ist ein weiteres Ereignis, und zieht Aufmerksamkeit des Benutzers auf sich. In zahlreichen Situationen blickt ein Benutzer nicht zufällig auf ein
bestimmtes Objekt seiner realen Umgebung, sondern weil es einen bestimmten Grund gibt. Erscheint ein Objekt in dessen Datenbrille blickt der Benutzer automatisch auf dieses Objekt. Dadurch verliert er jedoch die Realität aus dem Blick. Dies kann bei sicherheitskritischen Umgebungen, etwa in der Industrie bzw. einem Labor, zu einer Unachtsamkeit und einem Unfall führen. Indem die Inhalte genau dort angezeigt werden, wohin der Benutzer bereits blickt, muss dieser nicht seine visuelle Aufmerksamkeit aufgrund der Anzeige eines Inhaltes bzw. eines Bildes ändern. Der Benutzer kann dadurch gleichermaßen auf die reale Umgebung und auf die angezeigten Inhalte reagieren. Dadurch wird der Benutzer in der Meisterung selbst schwierigster Situationen bestmöglich unterstütz ohne abgelenkt oder überfordert zu werden.
Dadurch kann eine Datenbrille, insbesondere ein optisches System bestehend aus einer Blickerfassungsbrille und einer Displayeinheit, schnell und einfach an einen individuellen Benutzer angepasst werden. Dadurch ist es möglich Inhalte nicht irgendwo auf einem Display anzuzeigen, sondern das betreffende optische System derart anzupassen, dass die entsprechenden Inhalte dort angezeigt werden können, wo ein Benutzer hinsieht. Dadurch ist es möglich die Anzeige virtueller Objekte mit Objekten der realen Welt zu kombinieren bzw. vorgebbar und gewollt in Einklang zu bringen.
Dadurch kann sichergestellt werden, dass, durch das bzw. auf dem Display angezeigte Inhalte in der tatsächlichen Blickrichtung des Benutzers, bzw. in einer wohldefinierten und bewusst gewählten Lage bezogen auf die tatsächliche
Blickrichtung des Benutzers angezeigt werden.
Das gegenständliche Verfahren ist in der Praxis schnell und einfach durchführbar.
Die Unteransprüche betreffen weitere vorteilhafte Ausgestaltungen der Erfindung.
Ausdrücklich wird hiermit auf den Wortlaut der Patentansprüche Bezug genommen, wodurch die Ansprüche an dieser Stelle durch Bezugnahme in die Beschreibung eingefügt sind und als wörtlich wiedergegeben gelten.
Die Erfindung wird unter Bezugnahme auf die beigeschlossenen Zeichnungen, in welchen lediglich bevorzugte Ausführungsformen beispielhaft dargestellt sind, näher beschrieben. Dabei zeigt:
Fig. 1 eine erste Ausführungsform eines gegenständlichen Systems aus
Blickerfassungsbrille und Displayeinheit in perspektivischer Ansicht;
Fig. 2 eine zweite Ausführungsform eines gegenständlichen Systems aus
Blickerfassungsbrille und Displayeinheit im Grundriss;
Fig. 3 eine schematische perspektivische Ansicht der räumlichen Anordnung eines ersten und eines zweiten Displays gegenüber den Augen eines Benutzers;
Fig. 4 ein Blockschaltbild einer Ausführungsform eines gegenständlichen Systems aus Blickerfassungsbrille und Displayeinheit;
Fig. 5 eine schematische perspektivische Ansicht der räumlichen Anordnung eines ersten Displays, eines ersten Auges sowie eines realen Objekts (Physical Object);
Fig. 6 die Anordnung aus erstem Display und erstem Auge gemäß Fig. 5 mit einem, auf dem ersten Display dargestelltem virtuellen Objekt (TAG); und
Fig. 7 die Anordnung aus erstem Display und erstem Auge gemäß Fig. 5 mit einem, außerhalb des ersten Displays angeordnetem, und nicht dargestelltem virtuellen Objekt (TAG).
Die Fig. 1 , 2 und 4 zeigen jeweils unterschiedliche Ausführungsformen bzw.
Darstellungen eines optischen Systems 1 , welches gegenständlich an einen individuellen Benutzer angepasst wird. Weiters dient das gegenständliche optische System 1 der definierten Anzeige virtueller Objekte 16, welche in Reaktion auf einen vorgebbaren Zustand bzw. ein vorgebbares Ereignis erzeugt werden. Diese virtuellen Objekte 16 werden in definierter Sichtumgebung an einer vorgebbaren Position in wenigstens einem Display 4, 10 des Systems 1 dargestellt.
Das optischen Systems 1 besteht wenigstens aus einer Blickerfassungsbrille 2 und wenigstens einer, mit der Blickerfassungsbrille 2 verbundenen Displayeinheit 3.
Die Blickerfassungsbrille 2 weist wenigstens eine erste Augenerfassungskamera 5 zur Erstellung eines ersten Augenvideos eines ersten Auges 6 des Benutzers auf. Bevorzugt weist die Blickerfassungsbrille 2 weiters eine zweite
Augenerfassungskamera 1 1 zur Erstellung eines zweiten Augenvideos eines zweiten Auges 12 des Benutzers auf. Die Blickerfassungsbrille 2 weist bevorzugt wenigstens eine, aus Sicht des Benutzers 1 , welcher die Blickerfassungsbrille 2 trägt, nach vorne weisende Blickfeldkamera 14 auf. Die wenigstens eine
Augenerfassungskamera 5 bzw. die bevorzugt zwei Augenerfassungskameras 5, 1 1 sind in sog. Nasenteilrahmen der Blickerfassungsbrille 2 angeordnet. In Fig. 2 ist die Anordnung der beiden Augenerfassungskameras 5, 1 1 gut zu erkennen.
Eine besonders bevorzugt vorgesehene Blickerfassungsbrille 2, wie in den Fig. 1 und 2 dargestellt, ist aus der AT 513.987 B1 bekannt, welcher weitere Details der bevorzugten Blickerfassungsbrille 2 zu entnehmen sind. Die gegenständlichen Verfahren können jedoch auch mit anderen Blickerfassungsbrillen 2 durchgeführt werden. Die Blickerfassungsbrille 2 ist dazu vorgesehen und ausgebildet Blickrichtungen des Benutzers zu detektieren.
Fig. 4 zeigt u.a. ein Blockschaltbild der Blickerfassungsbrille 2, wobei jedoch eine real umgesetzte Blickerfassungsbrille 2 weitere Komponenten aufweisen kann. Neben den bereits beschriebenen Augenerfassungskameras 5, 1 1 weist die
Blickerfassungsbrille 2 insbesondere wenigstens einen Controller 18 der
Blickerfassungsbrille 2 sowie eine Schnittstelle 19 zur Kommunikation mit der Displayeinheit 3 auf. Die Blickerfassungsbrille 2 weist darüber hinaus bevorzugt weitere Komponenten auf, wie beispielsweise eine Energieversorgungseinheit.
Die Displayeinheit 3 weist zumindest ein - wenigstens - teildurchsichtiges erstes Display 4 auf, wie dies in Fig. 1 dargestellt ist. Insbesondere weist die
Displayeinheit 3 weiters ein zweites Display 10 auf. Die beiden Displays 4, 10 können auch einstückig ausgebildet sein, wobei dabei vorgesehen ist, dass sich das einzelne Display über beide Augen 6, 12 erstreckt. Gegenständlich ist durchwegs das erste Display 4 dem linken Auge des Benutzers zugeordnet, wobei es sich jedoch um keine zwingende Festlegung handelt, und auch das rechte Auge als erstes Auge 6 bezeichnet werden kann.
Bevorzugt ist die Displayeinheit 3 ein, von der Blickerfassungsbrille 2
eigenständiges Gerät, welches jedoch dazu ausgebildet ist mit einer bestimmten Art einer Blickerfassungsbrille 2 zu interagieren und auf dieser bestimmten
Blickerfassungsbrille 2 angeordnet und mit dieser mechanisch verbunden zu werden. Gegenständlich wird stets das System 1 aus einer Blickerfassungsbrille 2 und einer mit dieser mechanisch verbundenen Displayeinheit 3 verwendet, wobei auch eine einstückige Ausführung der beiden Geräte 2, 3 vorgesehen sein kann.
Das erste Display 4 ist wenigstens bereichsweise in einem ersten Durchsichtbereich 7 der Blickerfassungsbrille 2 angeordnet. Das bevorzugt vorgesehene zweite Display 10 ist wenigstens bereichsweise in einem zweiten Durchsichtbereich 13 der
Blickerfassungsbrille 2 angeordnet. Als Durchsichtbereich 7, 13 ist dabei ein Bereich innerhalb der Sichtlinie bzw. des optischen Gesichtsfeldes eines Benutzers zu verstehen. Insbesondere sind die Durchsichtbereiche 7, 13 identisch mit den Scheibenaufnahmeöffnungen der Blickerfassungsbrille 2. Sofern diese keine „Gläser“ und/oder keinen oder nur einen teilweise ausgebildeten Rahmen aufweist, so sind die Durchsichtbereiche 7, 13 insbesondere die Bereiche an denen üblicherweise bei einer herkömmlichen Brille die„Gläser“ angeordnet wären.
Das erste und gegebenenfalls das zweite Display 4, 10 können an der, dem
Benutzer zugewandten Seite der Blickerfassungsbrille 2, wie in Fig. 1 dargestellt, oder der, dem Benutzer abgewandten Seite der Blickerfassungsbrille 2, wie in Fig.
2 dargestellt, angeordnet sein. Darüber hinaus können diese auch in der
Blickerfassungsbrille 2 angeordnet sein.
Das erste und gegebenenfalls das zweite Display 4, 10 sind lagefest in der
Displayeinheit 3 angeordnet. Es ist nicht vorgesehen, dass diese im Betrieb gekippt oder geschwenkt werden. Die Displayeinheit 3 weist auch keine entsprechenden Aktuatoren auf.
Das erste und gegebenenfalls das zweite Display 4, 10 sind bevorzugt als sog. Wave- Guide Displays ausgebildet, und im Wesentlichen durchsichtig.
Das erste und gegebenenfalls das zweite Display 4, 10 sind bevorzugt als sog.
„single focal plane“-Display ausgebildet. Dabei handelt es sich um ein Display mit nur einer einzigen Anzeigeebene. Demgegenüber sind auch sog.„multiple focal plane“- Displays bekannt, welche gegenständlich jedoch nicht verwendet werden.
Fig. 4 zeigt u.a. ein Blockschaltbild der Displayeinheit 3, wobei jedoch eine real umgesetzte Displayeinheit 3 weitere Komponenten aufweisen kann. Neben den bereits beschriebenen Displays 4, 10 weist die Displayeinheit 3 weiters einen Controller 22 der Displayeinheit 3 sowie eine erste Schnittstelle 20 der
Displayeinheit 3 zur Kommunikation mit der Blickerfassungsbrille 2 auf.
Weiters weist die Displayeinheit 3 eine Displayansteuereinheit 8 auf, welche mit dem Controller 22 verbunden oder mit diesem einstückig ausgebildet ist. Die Displayansteuereinheit 8 steuert das erste sowie das bevorzugt vorgesehene zweite Display 4, 10 an, und ist dabei verantwortlich für die Position sowie die
Verzerrungen eines Bildes bzw. eines darzustellenden Objekts 16 auf bzw. in dem ersten und bevorzugt zweiten Displays 4, 10. Das Bild bzw. Objekt 16 wird vom Controller 22 generiert, und zur Darstellung an die Displayansteuereinheit 8 übertragen.
Die Displayeinheit 3 weist weiters eine zweite Schnittstelle 21 der Displayeinheit 3 auf, welche zur Kommunikation mit der Umwelt vorgesehen und entsprechend ausgebildet ist. Entsprechend geeignete bzw. bevorzugte Übertragungsverfahren bzw. Systeme sind derzeit vielfältig bekannt und verbreitet, und werden im Bereich des zellulären Mobilfunks als 3G (UMTS) bzw. 4G (LTE) bzw. 5G bezeichnet, wobei weiters Systeme des Internets bzw. WLAN Verwendung finden können.
Entsprechende weitere Protokolle sind etwa IEEE 802 mit zahlreichen Varianten.
Weiters weist die Displayeinheit 3 bevorzugt eine Navigations- und
Lagebestimmungseinheit 23 auf, welche mit dem Controller 22 verbunden ist.
Entsprechende Einheiten sind aus sog. Smart-Phones bekannt. Die Navigations- und Lagebestimmungseinheit 23 kann sowohl die Position der Displayeinheit 3 in einem globalen Koordinatensystem, insbesondere mittels Sattelitennavigationsverfahren sowie gegebenenfalls unter Hinzuziehung der Verbindungsdaten eines
Mobilfunkanbieters, sowie weiters die räumliche Lage bzw. Ausrichtung der
Displayeinheit 3 bestimmen, insbesondere mittels wenigstens einem
Neigungssensor.
Die Displayeinheit 3 weist darüber hinaus bevorzugt weitere Komponenten auf, wie beispielsweise eine Energieversorgungseinheit.
Da es bei der Fertigung der Blickerfassungsbrille 2 und /oder der Displayeinheit 3 zu geringfügigen, individuellen Abweichungen von den Maßvorgaben kommen kann, ist bevorzugt vorgesehen, dass die individuelle Position und Ausrichtung der ersten Augenerfassungskamera 5 und/oder der zweiten Augenerfassungskamera 11 jeder einzelnen bzw. individuellen Blickerfassungsbrille 2 - vor deren Auslieferung - in einem Messstand ermittelt werden, und die entsprechenden Daten in einem
Speicher bzw. dem Controller 18 der jeweiligen Blickerfassungsbrille 2 abgelegt werden.
Bevorzugt ist vorgesehen, dass weiters - ebenfalls jeweils individuell - wenigstens ein Wert für wenigstens einen vorgebbaren optischen Fehler der ersten
Augenerfassungskamera 5 und/oder der zweiten Augenerfassungskamera 11 in dem Messstand ermittelt wird, und dass der wenigstens eine ermittelte Wert ebenfalls in dem Speicher bzw. dem Controller 18 abgelegt und bei den nachfolgend beschriebenen Verfahrensschritten berücksichtigt wird.
Weiters ist bevorzugt vorgesehen, dass auch die individuelle Lage und Ausrichtung des ersten Displays 4 sowie des bevorzugt vorgesehenen zweiten Displays 10 einer jeden Displayeinheit 3 einzeln in einem Messstand ermittelt wird, und die dabei ermittelten Daten im Controller 22 der jeweiligen Displayeinheit 3 abgelegt werden. Diese Daten werden bevorzugt bei den nachfolgend beschriebenen
Verfahrensschritten berücksichtigt.
Die vorbeschriebene Ermittlung der tatsächlichen Abmessungen und optischen Fehler erfolgt bereits vor der Übergabe der jeweiligen Blickerfassungsbrille 2 und/oder der jeweiligen Displayeinheit 3 an den Benutzer. Dies wird auch als intrinsische Kalibrierung bezeichnet.
Im Rahmen des gegenständlichen Verfahrens zum Erzeugen und Anzeigen eines virtuellen Objektes 16 durch ein optisches System ist vorgesehen, dass das optische System 1 an einen individuellen Benutzer angepasst wird. Dies umfasst zumindest folgende Schritte:
- Die Blickerfassungsbrille 2 wird vom Benutzer aufgesetzt.
- Nachfolgend werden wenigstens eine vorgebbare Augenabmessung und/oder wenigstens eine vorgebbare Augenposition des ersten Auges 6 durch die Blickerfassungsbrille 2 ermittelt.
- Nachfolgend wird aus der wenigstens einen ermittelten Augenabmessung und/oder der wenigstens einen ermittelten Augenposition sowie der Position und Ausrichtung der ersten Augenerfassungskamera 5 wenigstens ein erster Soll-Wert wenigstens einer geometrischen Display-Anzeige-Einstellung des ersten Displays 4 ermittelt.
- Nachfolgend wird eine Displayansteuereinheit 8 der Displayeinheit 3 zur Ansteuerung des ersten Displays 4 wenigstens an den ersten Soll-Wert angepasst. Dadurch kann ein gegenständliches individuelles optisches System 1 zur Augmented bzw. Mixed Reality schnell und einfach an einen individuellen Benutzer angepasst werden. Dadurch ist es erst möglich Inhalte nicht irgendwo auf einem Display 4, 10 anzuzeigen, sondern das betreffende optische System 1 derart anzupassen, dass die entsprechenden Inhalte dort angezeigt werden können, wo ein Benutzer bereits hinsieht. Dadurch ist es weiters auch möglich die Anzeige virtueller Objekte 16 mit realen Objekten 15 der realen Welt zu kombinieren bzw. vorgebbar und gewollt in Einklang zu bringen.
Dadurch kann sichergestellt werden, dass, durch das bzw. auf dem Display 4, 10 angezeigte Inhalte in der tatsächlichen Blickrichtung des Benutzers, bzw. in einer wohldefinierten und bewusst gewählten Lage und /oder Verzerrung bezogen auf die tatsächliche Blickrichtung des Benutzers angezeigt werden.
Es kann vorgesehen sein, dass eine entsprechende Anpassung bzw. Kalibrierung nur ein einziges Mal für ein individuelles optisches System 1 durchgeführt wird, um dieses an einen bestimmten Benutzer anzupassen. Bevorzugt ist vorgesehen, dass die Anpassung in vorgebbaren zeitlichen Abständen wiederholt wird.
Die angeführten Verfahrensschritte sind jeweils nur für ein Auge 6 zwingend vorgesehen, und nur für ein Auge 6 ausführbar. Dies betrifft etwa Benutzer mit nur einem Auge 6 bzw. Situationen, in welchen nur ein Auge 6 genutzt wird.
Bevorzugt ist das bzw. sind die gegenständlichen Verfahren für beide Augen 6, 12 eines Benutzers vorgesehen. Nachfolgend werden die gegenständlichen Verfahren daher insbesondere für zwei Augen 6, 12 beschrieben, wobei sämtliche
Verfahrensschritte, welche auch mit bzw. bei nur einem Auge 6 durchführbar sind, als solches auch für nur ein Auge 6 vorgesehen sind.
Das gegenständliche Verfahren weist daher in der bevorzugten Grundvariante folgende weiteren Verfahrensschritte auf:
- Wenigstens eine vorgebbare Augenabmessung und/oder wenigstens eine vorgebbare Augenposition des zweiten Auges 12 werden durch die
Blickerfassungsbrille 2 ermittelt. - Nachfolgend wird aus der wenigstens einen ermittelten Augenabmessung und/oder der wenigstens einen ermittelten Augenposition sowie der Position und Ausrichtung der zweiten Augenerfassungskamera 1 1 wenigstens ein zweiter Soll-Wert wenigstens einer geometrischen Display-Anzeige- Einstellung des zweiten Displays 10 ermittelt.
- Nachfolgend wird die Displayansteuereinheit 8 zur Ansteuerung des zweiten Displays 10 wenigstens an den zweiten Soll-Wert angepasst.
Nachfolgend werden die einzelnen Schritte im Detail erläutert.
Das Aufsetzen der Blickerfassungsbrille 2 ist mit dem Aufsetzen einer jeden anderen Brille identisch, allgemein bekannt und erfordert keine weitere
Erläuterung. Zusammen mit der Blickerfassungsbrille 2 wird auch die, mit dieser verbundene Displayeinheit 3 aufgesetzt.
Nachfolgend dem Aufsetzen der Blickerfassungsbrille 2 werden wenigstens eine vorgebbare Augenabmessung und/oder wenigstens eine vorgebbare Augenposition des ersten Auges 6 sowie bevorzugt auch des zweiten Auges 12 durch die
Blickerfassungsbrille 2 ermittelt. Augenabmessungen sind insbesondere der Augendurchmesser bzw. der Augenradius sowie weiters der Pupillendurchmesser. Bevorzugt wird beides bestimmt. Augenpositionen sind insbesondere die Position der Pupillen der Augen 6, 12, insbesondere ein Abstand der beiden Pupillen zueinander, sowie die räumliche Lage der beiden Augen 6, 12 zueinander.
Bevorzugt wird beides bestimmt.
Zur Ermittlung der Augenpositionen des ersten Auges 6 und des zweiten Auges 12 ist insbesondere vorgesehen, dass eine Position eines Medians der Augen 6, 12 bestimmt wird. Als Median wird eine Mittellinie des Körpers bzw. des Kopfes im Bereich der Augen 6, 12 bezeichnet. Weiters wird hierzu die Position der ersten Augenerfassungskamera 5 und der zweiten Augenerfassungskamera 1 1 zum Median der Augen 6, 12 bestimmt.
Zur Ermittlung der Augenpositionen bzw. der Augenabmessungen ist bevorzugt vorgesehen, dass wenigstens eine Musterblicksequenz des Benutzers auf eine vorgebbare Mehrzahl vorgegebener Passpunkte aufgenommen wird. Als Musterblicksequenz bzw. Blicksequenz wird dabei das Blickverhalten des Benutzers bezeichnet, welcher dazu angehalten wird, von einem bestimmten Aufenthaltsort aus, auf bestimmte Passpunkte zu blicken, bzw. unter Fixierung eines Passpunktes seinen Kopf vorgebbar zu bewegen. Bevorzugt ist vorgesehen, dass die Passpunkte in unterschiedlichen Abständen und Entfernungen zum optischen System 1 angeordnet sind bzw. werden. Auf die daraus resultierenden Vorteile wird an später nachfolgender Stelle eingegangen.
Nachfolgend der Ermittlung der Augenabmessungen sowie der Augenpositionen ist vorgesehen, dass aus der wenigstens einen ermittelten Augenabmessung und/oder der wenigstens einen ermittelten Augenposition sowie der Position und Ausrichtung der ersten Augenerfassungskamera 5 wenigstens ein erster Soll-Wert wenigstens einer geometrischen Display- Anzeige- Einstellung des ersten Displays 4 ermittelt wird. Bevorzugt ist weiters vorgesehen, dass aus der wenigstens einen ermittelten Augenabmessung und/oder der wenigstens einen ermittelten Augenposition sowie der Position und Ausrichtung der zweiten Augenerfassungskamera 1 1 wenigstens ein zweiter Soll-Wert wenigstens einer geometrischen Display-Anzeige- Einstellung des zweiten Displays 10 ermittelt wird.
Im Zuge dieses Verfahrensschrittes werden daher Werte bzw. Parameter ermittelt, welche als Soll-Werte bezeichnet werden. Diese Soll-Werte geben an, an welcher Position und/oder mit welcher Verzerrung ein Bild bzw. ein virtuelles Objekt 16 innerhalb der Anzeigebereiche der jeweiligen Displays 4, 10 dargestellt werden muss, damit dieses für den Benutzer, welcher auf, schräg vor seinen Augen 6, 12 angeordnete Displays 4, 10 blickt, angezeigt werden muss, damit dieses für den Benutzer wiederum an einer ganz bestimmten bzw. vorgegebenen Stelle dargestellt wird, sowie im Wesentlichen verzeichnungsfrei. Insbesondere handelt es sich bei den Soll-Werten nicht um Einzelwerte, sondern jeweils um Gruppen bzw. Mengen von Werten bzw. Vektoren. Dabei ist insbesondere vorgesehen, dass für
verschiedene Augenstellungen, welche in der Regel mit unterschiedlichen
Beobachtungsabständen einhergehen, jeweils unterschiedliche Soll-Werte ermittelt, gespeichert und berücksichtig werden.
Fig. 3 zeigt eine entsprechende Ansicht nur der Augen 6, 12 sowie der beiden Displays 4, 10. Entsprechend handelt es sich bei der geometrischen Display-Anzeige-Einstellung um wenigstens eine Einstellung, welche die geometrische Darstellung eines Objekts in dem Display betrifft, nicht jedoch dessen Farbe oder Kontrast. Die geometrische Display-Anzeige-Einstellung betrifft daher Lage bzw. Position, Verzerrung sowie Größe eines dargestellten Objekts 16 innerhalb eines Anzeigebereichs des jeweiligen Displays 4, 10.
Nach Ermittlung des ersten sowie bevorzugt des zweiten Soll-Wertes wird die Displayansteuereinheit 8 der Displayeinheit 3 zur Ansteuerung des ersten Displays 4 wenigstens an den ersten Soll-Wert, sowie zur Ansteuerung des zweiten Displays 10 wenigstens an den zweiten Soll-Wert angepasst. Durch die Anpassung der
Displayansteuereinheit 8 kann erreicht werden, dass die darzustellenden Objekte dem Benutzer in der Weise dargestellt werden, dass diese - relativ zu den Augen 6, 12 des Benutzers - tatsächlich dort dargestellt werden, wo diese auch erscheinen sollen, und die erforderliche Verzerrung aufweisen, um unverzerrt zu erscheinen.
Das erforderliche Maß an Verzerrung sowie die gewünschte Position sind auch für ein und denselben Benutzer nicht über alle Blickzustände konstant. Insbesondere verändern sich diese mit der Entfernung eines Punktes auf den der Benutzer blickt. Es ist daher, wie bereits angedacht, im Rahmen der Ermittlung der
Augenabmessungen und/oder der Augenpositionen besonders bevorzugt
vorgesehen, dass zu einem, in einer ersten Entfernung von dem optischen System 1 angeordneten, ersten Passpunkt erste Entfernungswerte des ersten Soll-Wertes und des zweiten Soll-Wertes ermittelt werden, und dass zu einem, in einer zweiten Entfernung von dem optischen System 1 angeordneten, zweiten Passpunkt zweite Entfernungswerte des ersten Soll-Wertes und des zweiten Soll-Wertes ermittelt werden, wobei die erste Entfernung unterschiedlich der zweiten Entfernung ist. Es werden daher unterschiedliche Werte zw. Beträge des ersten Soll-Wertes und des zweiten Soll-Wertes für unterschiedliche Einstellentfernung des ersten und zweiten Auges 6, 12 bzw. für unterschiedliche, zueinander gerichtete Stellung der Augen 6, 12 handeln kann ermittelt. Insbesondere ist vorgesehen, dass Passpunkte in wenigstens vier unterschiedlichen Entfernungen angeordnet werden. Aus den ermittelten Entfernungswerten kann ein entsprechender Verlauf über die
Einstellentfernung extrapoliert und für die künftige Anzeige virtueller Objekte 16 zu bestimmten Augenstellungen gespeichert werden.
Die Art der Soll-Werte steht in direktem Zusammenhang zur Art der verwendeten Displays 4, 10. Displays 4, 10 weisen oftmals sog. Grundeinstellungen auf, welche auch als Default-Settings bezeichnet werden. Ohne bewusste Veränderung bzw. Anpassung der Videosignale, welche einem solchen Display zugeführt werden, wird ein entsprechendes Bild bzw. Video entsprechend der Default-Settings dargestellt. Dadurch würde das entsprechende Bild in der Regel unverzerrt in der Mitte des jeweiligen Displays dargestellt.
Besonders bevorzugt ist daher vorgesehen, dass als erster Soll-Wert der
geometrischen Display-Anzeige-Einstellung eine erste Soll-Position und/oder eine erste Soll-Verzerrung eines ersten Anzeigebereiches 9 zur Darstellung eines virtuellen Objektes 16 vor dem ersten Auge 6 ermittelt wird, wobei ausgehend von wenigstens einer Abweichung der ersten Soll-Position und/oder der ersten Soll- Verzerrung des ersten Anzeigebereiches 9 zu einer ersten Anzeigebereichs- Grundeinstellung des ersten Displays 4 wenigstens ein erster Korrekturfaktor und/oder eine erste Korrekturfunktion ermittelt wird, wobei die
Displayansteuereinheit 8 wenigstens mit dem ersten Korrekturfaktor bzw. der ersten Korrekturfunktion an den Benutzer angepasst wird. Der erste Anzeigebereich 9 ist dabei ein Teilbereich innerhalb des ersten Displays 4.
Entsprechend ist für das zweite Auge bevorzugt vorgesehen, dass als zweiter Soll- Wert der geometrischen Display- Einstellung eine zweite Soll-Position und/oder eine zweite Soll-Verzerrung eines zweiten Anzeigebereiches 17 zur Darstellung eines virtuellen Objektes 16 vor dem zweiten Auge 12 ermittelt wird, wobei ausgehend von wenigstens einer Abweichung der zweiten Soll-Position und/oder der zweiten Soll-Verzerrung des zweiten Anzeigebereiches 17 zu einer zweiten Anzeigebereichs- Grundeinstellung des zweiten Displays 10 wenigstens ein zweiter Korrekturfaktor und/oder eine zweite Korrekturfunktion ermittelt wird, wobei die
Displayansteuereinheit 8 wenigstens mit dem zweiten Korrekturfaktor bzw. der zweiten Korrekturfunktion an den Benutzer angepasst wird. Der zweite
Anzeigebereich 17 ist dabei ein Teilbereich innerhalb des zweiten Displays 10.
Im vorgenannten Zusammenhang stellt eine Korrekturfunktion einen Zusammenhang zwischen bestimmten Augenstellungen und/oder Blickrichtungen des Benutzers und den jeweils, für die Anzeige eines virtuellen Objekts untern den jeweiligen Bedingungen vorgesehenen Korrekturfaktoren her. Augen sind zu quasikontinuierlichen Positionsänderungen fähig. Es hat sich gezeigt, dass die Werte der Korrekturfaktoren ein ebensolch quasikontinuierliches Verhalten zeigen.
Durch die vorstehende Verwendung von Korrekturfaktoren bzw.
Korrekturfunktionen ist eine einfache Anpassung der Displays 4, 10 bzw. der Displayansteuereinheit 8 möglich. Dabei ist besonders bevorzugt vorgesehen, die Korrekturfaktoren bzw. Korrekturfunktionen als Feld mit unterschiedlichen
Entfernungswerten aufzunehmen.
Fig. 3 zeigt deutlich, wie für die beiden dargestellten Augen die jeweiligen
Anzeigebereiche 9, 17 deutlich von den jeweiligen Mitten der beiden Displays 4, 10 abweichen.
Durch die gegenständlich durchgeführte Anpassung des optischen Systems 1 wird die Anzeige eines virtuellen Objektes 16 in vorgebbarem Bezug zur Blickrichtung bzw. Blickverhalten des Benutzers ermöglicht. Insbesondere ist es dadurch möglich ein virtuelles Objekt 16 in vorgebbarem Bezug zusammen mit einem realen Objekt 15 anzuzeigen.
Nachdem das beschriebene optische System 1 entsprechend den beschriebenen Verfahren an den Benutzer angepasst bzw. kalibriert wurde, können weiters virtuelle Objekte 16 erzeugt und angezeigt werden. Beim Verfahren zum Erzeugen und Anzeigen eines virtuellen Objektes 16 durch ein optisches System 1 sind folgende weitere Verfahrensschritte vorgesehen:
- Von der Blickerfassungsbrille 2 wird eine aktuelle Blickrichtung des ersten Auges 6 ermittelt.
- In Reaktion auf einen vorgebbaren Zustand und/oder ein vorgebbares
Ereignis wird ein virtuelles Objekt 16 erzeugt.
- Das virtuelle Objekt 16 wird von der Displayansteuereinheit 8, unter
Berücksichtigung des ersten Soll-Wertes, an einer Position in der ermittelten Blickrichtung des ersten Auges 6 im ersten Display 4 anzeigt.
Wie bereits dargelegt, ist insbesondere die Verwendung zweier Displays 4, 10 vorgesehen. Dabei ist insbesondere weiters vorgesehen, dass gleichzeitig mit den vorgenannten Verfahrensschritten, bei einer entsprechend angepassten bzw.
kalibrierten Blickerfassungsbrille 2 die folgenden weiteren Verfahrensschritte durchgeführt werden:
- Von der Blickerfassungsbrille 2 wird eine aktuelle Blickrichtung des zweiten Auges 12 ermittelt.
- Das virtuelle Objekt 16 wird von der Displayansteuereinheit 8, unter
Berücksichtigung des zweiten Soll-Wertes, an einer Position in der
ermittelten Blickrichtung des zweiten Auges 12 auch im zweiten Display 10 anzeigt.
Bei Verwendung von Displays 4, 10 mit Grundeinstellungen ist insbesondere vorgesehen, dass das virtuelle Objekt 16 um den ersten Korrekturfaktor und/oder die erste Korrekturfunktion versetzt und/oder verzerrt im ersten Display 4 anzeigt wird, sowie bevorzugt, dass das virtuelle Objekt 16 um den zweiten Korrekturfaktor und/oder die zweite Korrekturfunktion versetzt und/oder verzerrt im zweiten Display 10 anzeigt wird.
Es ist vorgesehen, dass das virtuelle Objekt an einer Position in der ermittelten Blickrichtung des ersten Auges 6 bzw. des zweiten Auges 12 dargestellt wird. Dabei ist vorgesehen, die betreffende Position der Darstellung mit der Blickrichtung mit wandert bzw. entsprechend verschoben wird. In diesem Zusammenhang ist daher bevorzugt vorgesehen, dass von der Blickerfassungsbrille 2 fortlaufend die aktuelle Blickrichtung des ersten Auges 6 und/oder des zweiten Auges 12 ermittelt wird, und dass die Position an der das virtuelle Objekt 16 angezeigt wird, fortlaufend an die aktuelle Blickrichtung bzw. die aktuellen Blickrichtungen angepasst wird.
Da wenigstens eines der Augen 6, 12 bei Betrachtung des virtuellen Objekts 16 gewisse geringfügige, unbewusste Bewegungen vornehmen kann, welche jeweils von der Blickerfassungsbrille 2 erfasst werden, kann ein unmittelbares Folgen der Anzeige- Position zu einer ständigen Bewegung derselben führen, welche vom Benutzer als Unruhe bzw. als Wackeln wahrgenommen wird. Um derartiges zu vermeiden, kann vorgesehen sein, dass die aktuelle Blickrichtung um einen vorgebbaren Betrag, insbesondere um 2° , von einer zuletzt ermittelten
Blickrichtung abweichen muss, damit die Position an der das virtuelle Objekt 16 angezeigt wird an die aktuelle Blickrichtung angepasst wird.
Alternativ kann vorgesehen sein, dass die jeweils ermittelten Blickrichtungen über einen gewissen Zeitraum bzw. eine vorgebbare Vergangenheit gemittelt werden, und die Position an der das virtuelle Objekt 16 angezeigt wird in der gemittelten Blickrichtung liegt. Die Länge der Vergangenheit kann dabei situationsabhängig angepasst werden. Bevorzugt wird die Länge der Vergangenheit ca. 0, 1 bis 0,3 s betragen.
Das virtuelle Objekt 16 wird erzeugt und angezeigt, wenn ein vorgebbarer Zustand und/oder ein vorgebbares Ereignis eintritt. Dabei kann ein solcher Zustand bzw. ein solches Ereignis jeweils auch erst dann als eingetreten angesehen werden, wenn jeweils eine vorgebbare Mehrzahl an Kriterien erfüllt ist.
Gemäß einer ersten bevorzugten Variante ist vorgesehen, dass optische System wenigstens eine Blickfeldkamera 14 aufweist, wobei ein vorgebbares reales Objekt 15 durch die Blickfeldkamera 14 detektiert wird, wobei das Detektieren des vorgebbaren realen Objektes 15 das vorgebbare Ereignis, bzw. ein Kriterium für ein entsprechendes Ereignis, zum Erzeugen des virtuellen Objekts 16 ist. Dadurch kann etwa ein Benutzer bei der Orientierung in der realen Welt unterstützt werden. Ein Erkennen eines realen Objekts 15 ist mittels entsprechender
Bildverarbeitungsprogramme bereits möglich. In diesem Zusammenhang kann auch das Erkennen eines Gesichts vorgesehen sein.
Gemäß einer zweiten bevorzugten Variante ist vorgesehen, dass das System zur Detektion wenigstens eines Zustandswertes des Benutzers ausgebildet ist, dass der Zustandswert hinsichtlich der Überschreitung eines Grenzwertes von dem System überwacht wird, und dass ein Überschreiten des Grenzwertes das vorgebbare Ereignis zum Erzeugen des virtuellen Objekts 16 ist. Beispielsweise kann ein Müdigkeitswert für einen Wach/Müdigkeitszustand des Benutzers aus einer
Beobachtung und Auswertung des Blickverhaltens ermittelt werden, wozu keine weiteren Sensoren erforderlich sind.
Weiters kann vorgesehen sein, dass das optische System 1 wenigstens einen weiteren Sensor zur Ermittlung einer physiologischen Größe des Benutzers, insbesondere Herzschlag und/oder Hautleitfähigkeit, aufweist, und/oder mit einem entsprechenden externen Sensor verbunden ist, um dessen Werte anzuzeigen.
Beispielsweise kann das optische System 1 auch mit einem Blutdrucksensor verbunden sein. Entsprechende externe Sensoren können auch Sensoren sein, welche die Körperfunktionen anderer Lebewesen, als den Benutzer, aufnehmen. So kann beispielsweise ein Trainer über einen kritischen Zustand eines seiner Athleten unterrichtet werden. Weiters kann es sich bei dem wenigstens einen Sensor um einen Sensor einer technischen Apparatur handeln.
Gemäß einer dritten bevorzugten Variante ist vorgesehen, dass das System wenigstens eine Navigations- und Lagebestimmungseinheit 23 zur Detektion einer räumlichen Ausrichtung sowie eines Standorts des Systems 1 aufweist, und dass ein vorgebbarer Ort sowie eine vorgebbare räumliche Ausrichtung das vorgebbare Ereignis zum Erzeugen des virtuellen Objekts 16 sind. Die Detektion einer räumlichen Ausrichtung sowie eines Standorts des Systems 1 kann insbesondere mittels sog. standortbezogener Dienste bzw. location based Services, wie diese im Bereich der Smart-Phones bekannt sind, unterstützt werden.
Die Fig. 5 bis 7 zeigen Beispiele zur Anzeige virtueller Objekte 16 in Bezug auf ein reales Objekt 15, wobei unerheblich ist, ob dieses reale Objekt 15 einfach ur da ist, oder auch als Objekt 15 detektiert bzw. erkannt wurde. Dabei zeigt Fig. 5 das erste Auge 6 des Benutzers, welches durch das erste Display 4 das reale Objekt 15 anblickt, welches in Fig. 5 als„Physical Object“ bezeichnet ist. Gemäß einer besonders einfachen Reaktion wird ein virtuelles Objekt 16 in Form eines Rahmens im Display 4 so angezeigt, dass dieses virtuelle Objekt 16 das reale Objekt 15 einfasst, und der Rahmen im Wesentlichen rechteckig erscheint.
Fig. 6 zeigt eine ähnliche Situation, wobei jedoch kein reales Objekt 15 dargestellt ist. Anstelle der Umrandung wird nunmehr ein anderes virtuelles Objekt 16 in Form eines TAG dargestellt wird. Der betreffende TAG wird dabei seitlich angrenzend zur Blickrichtung dargestellt. Da über die Blickerfassungsbrille 2 eindeutig bekannt ist, wohin der Benutzer blickt, kann das virtuelle Objekt derart an bzw. neben der Blickrichtung positioniert werden, dass dieses vom Benutzer ohne wesentliche Veränderung der Blickrichtung erkannt bzw. gelesen werden kann.
Fig. 7 zeigt die Auswirkungen auf das virtuelle Objekt 16 bzw. den TAG, wenn der Benutzer sich von diesem wegdreht bzw. den Blick einer anderen Sache zuwendet. Das betreffende virtuelle Objekt 16 behält dabei dessen zugewiesene Position im Raum bei. Da sich dieses nun außerhalb des Anzeigebereichs 9 des Displays 4 befindet, wird es auch nicht mehr dargestellt. Sobald sich der Benutzer wieder ausreichend in die entsprechende Richtung bewegt, wird auch das virtuelle Objekt 16 wieder dargestellt.
Bevorzugt ist vorgesehen, dass von der Blickerfassungsbrille 2 eine
Einstellentfernung der beiden Augen 6, 12 des Benutzers beim Anblick des realen Objekts 15 ermittelt wird, und dass das virtuelle Objekt 16 derart lageverschoben und/oder verzerrt am ersten und zweiten Display 4, 10 dargestellt wird, dass dieses als Einzelobjekt in derselben Einstellentfernung der beiden Augen 6, 12 erscheint, wie das reale Objekt 15. Das virtuelle Objekt 16 wird daher zwar auf den Displays 4, 10 dargestellt, welche unmittelbar vor den Augen 6, 12 des Benutzers
angeordnet sind, jedoch sehen die Augen 6, 12 des Benutzers das virtuelle Objekt 16 in derselben Entfernung wie das reale Objekt 15, dem es zugeordnet ist.
Dadurch entfällt das ansonsten ständig erforderliche erneute Fokussieren auf unterschiedliche Entfernungen.
Es ist daher vorgesehen, dass das virtuelle Objekt 16 als sog. Stereo- Image dargestellt wird.
Die Einstellentfernung der beiden Augen 6, 12 wird von der Blickerfassungsbrille derart ermittelt, dass die Winkelstellungen der Augen 6, 12 ermittelt werden, und daraus errechnet wird, auf welche Entfernung die Augen 6, 12 fokussieren. Dabei kann es durchaus unterlassen werden, einen Entfernungswert in einer
Längeneinheit zu ermitteln. Die Einstellentfernung kann auch in Form eines Winkels oder mehrerer Winkel ermittelt und verarbeitet werden. Mit anderen Worten wird daher von der Blickerfassungsbrille 2 eine aktuelle Stellung der beiden Augen ermittelt, und das virtuelle Objekt 16 derart lageverschoben und/oder verzerrt am ersten und zweiten Display 4, 10 dargestellt, dass dieses als Einzelobjekt in der Entfernung erscheint, auf welche die beiden Augen 6, 12 ausgerichtet sind.
Das gegenständliche System 1 weist bevorzugt keinen separaten Entfernungsmesser zur Ermittlung einer Entfernung zwischen System 1 und realem Objekt 15 auf.
Dabei ist insbesondere vorgesehen, dass die Displayansteuereinheit 8 zur
Darstellung des virtuellen Objekts 16 im ersten und zweiten Display 4, 10
wenigstens einen, der Einstellentfernung der beiden Augen 6, 12 entsprechenden Entfernungswert des ersten Soll-Wertes und des zweiten Soll-Wertes berücksichtigt. Sofern kein Entfernungswert zw. Entfernungswerte des ersten Soll-Wertes und des zweiten Soll-Wertes gespeichert sind, ist vorgesehen, dass die
Displayansteuereinheit 8 zwischen den beiden benachbarten Entfernungswerten interpoliert.

Claims

P A T E N T A N S P R Ü C H E
1 . Verfahren zum Erzeugen und Anzeigen eines virtuellen Objektes (16) durch ein optisches System (1 ), wobei das optische System (1 ) aus einer
Blickerfassungsbrille (2) zur Detektion von Blickrichtungen des Benutzers und wenigstens einer, mit der Blickerfassungsbrille (2) verbundenen Displayeinheit (3) besteht, welche Displayeinheit (3) zumindest ein wenigstens teildurchsichtiges erstes Display (4) aufweist, wobei die Blickerfassungsbrille (2) eine erste
Augenerfassungskamera (5) zur Erstellung eines ersten Augenvideos eines ersten Auges (6) des Benutzers aufweist, wobei das erste Display (4) wenigstens bereichsweise in einem, dem ersten Auge (6) zugeordneten, ersten
Durchsichtbereich (7) der Blickerfassungsbrille (2) angeordnet ist,
- wobei das optische System (1 ) gemäß den nachfolgenden Schritten an einen individuellen Benutzer angepasst wird:
- wobei die Blickerfassungsbrille (2) vom Benutzer aufgesetzt wird,
- wobei nachfolgend wenigstens eine vorgebbare Augenabmessung und/oder wenigstens eine vorgebbare Augenposition des ersten Auges (6) durch die Blickerfassungsbrille (2) ermittelt werden,
- wobei nachfolgend aus der wenigstens einen ermittelten
Augenabmessung und/oder der wenigstens einen ermittelten
Augenposition sowie der Position und Ausrichtung der ersten
Augenerfassungskamera (5) wenigstens ein erster Soll- Wert
wenigstens einer geometrischen Display-Anzeige-Einstellung des ersten Displays (4) ermittelt wird,
- und wobei nachfolgend eine Displayansteuereinheit (8) der Displayeinheit (3) zur Ansteuerung des ersten Displays (4) wenigstens an den ersten Soll-Wert angepasst wird, - wobei von der Blickerfassungsbrille (2) eine aktuelle Blickrichtung des ersten Auges (6) ermittelt wird,
- wobei in Reaktion auf einen vorgebbaren Zustand und/oder ein vorgebbares Ereignis ein virtuelles Objekt (16) erzeugt wird,
- wobei das virtuelle Objekt (16) von der Displayansteuereinheit (8), unter Berücksichtigung des ersten Soll-Wertes, an einer Position in der ermittelten Blickrichtung des ersten Auges (6) im ersten Display (4) anzeigt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass von der Blickerfassungsbrille (2) fortlaufend die aktuelle Blickrichtung des ersten Auges (6) ermittelt wird, und dass die Position an der das virtuelle Objekt (16) angezeigt wird, fortlaufend an die aktuelle Blickrichtung angepasst wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die aktuelle Blickrichtung um einen vorgebbaren Betrag, insbesondere um 2° , von einer zuletzt ermittelten Blickrichtung abweichen muss, damit die Position an der das virtuelle Objekt (16) angezeigt wird an die aktuelle Blickrichtung angepasst wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet dass als erster Soll-Wert der geometrischen Display-Anzeige-Einstellung eine erste Soll-Position und/oder eine erste Soll-Verzerrung eines ersten Anzeigebereiches (9) innerhalb des ersten Displays (4) zur Darstellung eines virtuellen Objektes (16) vor dem ersten Auge (6) ermittelt wird, wobei ausgehend von wenigstens einer
Abweichung der ersten Soll-Position und/oder der ersten Soll-Verzerrung des ersten Anzeigebereiches (9) zu einer ersten Anzeigebereichs-Grundeinstellung des ersten Displays (4) wenigstens ein erster Korrekturfaktor und/oder eine erste
Korrekturfunktion ermittelt wird, wobei die Displayansteuereinheit (8) wenigstens mit dem ersten Korrekturfaktor bzw. der ersten Korrekturfunktion an den Benutzer angepasst wird, und dass das virtuelle Objekt (16) um den ersten Korrekturfaktor und/oder die erste Korrekturfunktion versetzt und/oder verzerrt im ersten Display (4) anzeigt wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Displayeinheit (3) zumindest ein wenigstens teildurchsichtiges zweites Display (10) aufweist, wobei die Blickerfassungsbrille (2) eine zweite Augenerfassungskamera (11 ) zur Erstellung eines zweiten Augenvideos eines zweiten Auges (12) des Benutzers aufweist, wobei das zweite Display (10) wenigstens bereichsweise in einem, dem zweiten Auge zugordneten, zweiten Durchsichtbereich (13) der Blickerfassungsbrille (2) angeordnet ist,
- wobei wenigstens eine vorgebbare Augenabmessung und/oder wenigstens eine vorgebbare Augenposition des zweiten Auges (12) durch die
Blickerfassungsbrille (2) ermittelt werden,
- wobei nachfolgend aus der wenigstens einen ermittelten Augenabmessung und/oder der wenigstens einen ermittelten Augenposition sowie der Position und Ausrichtung der zweiten Augenerfassungskamera (11 ) wenigstens ein zweiter Soll-Wert wenigstens einer geometrischen Display-Anzeige- Einstellung des zweiten Displays (10) ermittelt wird,
- und wobei nachfolgend die Displayansteuereinheit (8) zur Ansteuerung des zweiten Displays (10) wenigstens an den zweiten Soll-Wert angepasst wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass weiters
- wobei von der Blickerfassungsbrille (2) eine aktuelle Blickrichtung des
zweiten Auges (12) ermittelt wird,
- wobei das virtuelle Objekt (16) von der Displayansteuereinheit (8), unter Berücksichtigung des zweiten Soll-Wertes, an einer Position in der ermittelten Blickrichtung des zweiten Auges (12) auch im zweiten Display (10) anzeigt wird.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass als zweiter Soll-Wert der geometrischen Display-Anzeige-Einstellung eine zweite Soll- Position und/oder eine zweite Soll-Verzerrung eines zweiten Anzeigebereiches (17) innerhalb des zweiten Displays (10) zur Darstellung eines virtuellen Objektes (16) vor dem zweiten Auge (12) ermittelt wird, wobei ausgehend von wenigstens einer Abweichung der zweiten Soll-Position und/oder der zweiten Soll-Verzerrung des zweiten Anzeigebereiches (17) zu einer zweiten Anzeigebereichs-Grundeinstellung des zweiten Displays (10) wenigstens ein zweiter Korrekturfaktor und/oder eine zweite Korrekturfunktion ermittelt wird, wobei die Displayansteuereinheit (8) wenigstens mit dem zweiten Korrekturfaktor bzw. der zweiten Korrekturfunktion an den Benutzer angepasst wird, und dass das virtuelle Objekt (16) um den zweiten Korrekturfaktor und/oder die zweite Korrekturfunktion versetzt und/oder verzerrt im zweiten Display (10) anzeigt wird.
8. Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass bei der Ermittlung der Augenpositionen des ersten Auges (6) und des zweiten Auges (12) weiters eine Position eines Medians der Augen (6, 12) bestimmt wird, und mittels der Blickerfassungsbrille (2) weiters die Position der ersten
Augenerfassungskamera (5) und der zweiten Augenerfassungskamera (11 ) zum Median der Augen (6, 12) bestimmt wird.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass - für die Anpassung an den Benutzer - wenigstens eine Musterblicksequenz des Benutzers auf eine vorgebbare Mehrzahl vorgegebener Passpunkte, welche in unterschiedlichen Abständen und Entfernungen zum optischen System (1 ) angeordnet werden, aufgenommen wird.
10. Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass zu einem, in einer ersten Entfernung von dem optischen System (1 )
angeordneten, ersten Passpunkt erste Entfernungswerte des ersten Soll-Wertes und des zweiten Soll-Wertes ermittelt werden, und dass zu einem, in einer zweiten Entfernung von dem optischen System (1 ) angeordneten, zweiten Passpunkt zweite Entfernungswerte des ersten Soll-Wertes und des zweiten Soll-Wertes ermittelt werden, wobei die erste Entfernung unterschiedlich der zweiten Entfernung ist.
11. Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass von der Blickerfassungsbrille (2) aktuelle Stellungen der beiden Augen (6, 12) ermittelt werden, und dass das virtuelle Objekt (16) derart lageverschoben und/oder verzerrt am ersten und zweiten Display (4, 10) dargestellt wird, dass dieses als Einzelobjekt in der Entfernung erscheint, auf welche die beiden Augen (6, 12) ausgerichtet sind.
12. Verfahren nach einem der Ansprüche 1 bis 11 , dadurch gekennzeichnet, dass optische System wenigstens eine Blickfeldkamera (14) aufweist, wobei ein vorgebbares reales Objekt (15) durch die Blickfeldkamera (14) detektiert wird, wobei das Detektieren des vorgebbaren realen Objektes (15) das vorgebbare Ereignis zum Erzeugen des virtuellen Objekts (16) ist.
13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass das System zur Detektion wenigstens eines Zustandswertes, insbesondere eines Müdigkeitszustandes, des Benutzers ausgebildet ist, dass der Zustandswert hinsichtlich der Überschreitung eines Grenzwertes von dem System überwacht wird, und dass ein Überschreiten des Grenzwertes das vorgebbare Ereignis zum Erzeugen des virtuellen Objekts (16) ist.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass das System wenigstens eine Navigations- und Lagebestimmungseinheit (23) zur Detektion einer räumlichen Ausrichtung sowie eines Standorts des Systems aufweist, und dass ein vorgebbarer Ort sowie eine vorgebbare räumliche
Ausrichtung das vorgebbare Ereignis zum Erzeugen des virtuellen Objekts (16) sind.
EP19827715.4A 2018-12-19 2019-12-19 Verfahren zum erzeugen und anzeigen eines virtuellen objektes durch ein optisches system Pending EP3899693A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA51133/2018A AT522012A1 (de) 2018-12-19 2018-12-19 Verfahren zur Anpassung eines optischen Systems an einen individuellen Benutzer
PCT/EP2019/086307 WO2020127732A1 (de) 2018-12-19 2019-12-19 Verfahren zum erzeugen und anzeigen eines virtuellen objektes durch ein optisches system

Publications (1)

Publication Number Publication Date
EP3899693A1 true EP3899693A1 (de) 2021-10-27

Family

ID=69005726

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19827715.4A Pending EP3899693A1 (de) 2018-12-19 2019-12-19 Verfahren zum erzeugen und anzeigen eines virtuellen objektes durch ein optisches system

Country Status (6)

Country Link
US (1) US11561392B2 (de)
EP (1) EP3899693A1 (de)
JP (1) JP2022514631A (de)
CN (1) CN113614674A (de)
AT (1) AT522012A1 (de)
WO (1) WO2020127732A1 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020095784A1 (ja) * 2018-11-06 2020-05-14 日本電気株式会社 表示制御装置、表示制御方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
US11573632B2 (en) * 2020-06-30 2023-02-07 Snap Inc. Eyewear including shared object manipulation AR experiences
EP4222548A1 (de) * 2020-09-29 2023-08-09 Viewpointsystem GmbH Generativ gefertigte augenverfolgungsbrille
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN115590462A (zh) * 2022-12-01 2023-01-13 广州视景医疗软件有限公司（Cn） 一种基于摄像头的视力检测方法和装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710654B2 (en) * 2003-05-12 2010-05-04 Elbit Systems Ltd. Method and system for improving audiovisual communication
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US8878749B1 (en) * 2012-01-06 2014-11-04 Google Inc. Systems and methods for position estimation
WO2013140725A1 (ja) * 2012-03-21 2013-09-26 パナソニック株式会社 眼球疲労判定装置および眼球疲労判定方法
US9171198B1 (en) * 2012-04-02 2015-10-27 Google Inc. Image capture technique
US9223136B1 (en) * 2013-02-04 2015-12-29 Google Inc. Preparation of image capture device in response to pre-image-capture signal
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
US9239626B1 (en) * 2013-07-02 2016-01-19 Google Inc. Input system
US9264702B2 (en) * 2013-08-19 2016-02-16 Qualcomm Incorporated Automatic calibration of scene camera for optical see-through head mounted display
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
AT513987B1 (de) * 2013-08-23 2014-09-15 Ernst Dipl Ing Dr Pfleger Brille und Verfahren zur Bestimmung von Pupillenmittelpunkten beider Augen eines Menschen
US8950864B1 (en) * 2013-08-30 2015-02-10 Mednovus, Inc. Brain dysfunction testing
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
US9491365B2 (en) * 2013-11-18 2016-11-08 Intel Corporation Viewfinder wearable, at least in part, by human operator
US20160327798A1 (en) * 2014-01-02 2016-11-10 Empire Technology Development Llc Augmented reality (ar) system
EP3031194B1 (de) * 2014-10-30 2019-03-13 Telefonaktiebolaget LM Ericsson (publ) Integriertes zellulares system mit wi-fi-fallback
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
WO2016138178A1 (en) * 2015-02-25 2016-09-01 Brian Mullins Visual gestures for a head mounted device
US10271042B2 (en) * 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
WO2017053966A1 (en) * 2015-09-24 2017-03-30 Tobii Ab Eye-tracking enabled wearable devices
US9942532B2 (en) * 2015-11-03 2018-04-10 International Business Machines Corporation Eye-fatigue reduction system for head-mounted displays
KR101788452B1 (ko) * 2016-03-30 2017-11-15 연세대학교 산학협력단 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
US20180157908A1 (en) * 2016-12-01 2018-06-07 Varjo Technologies Oy Gaze-tracking system and method of tracking user's gaze
US10534184B2 (en) * 2016-12-23 2020-01-14 Amitabha Gupta Auxiliary device for head-mounted displays
WO2018181144A1 (ja) * 2017-03-31 2018-10-04 シャープ株式会社 ヘッドマウントディスプレイ
US10249095B2 (en) * 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US10489651B2 (en) * 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10380418B2 (en) * 2017-06-19 2019-08-13 Microsoft Technology Licensing, Llc Iris recognition based on three-dimensional signatures
WO2019104413A1 (en) * 2017-12-03 2019-06-06 Frank Jones Enhancing the performance of near-to-eye vision systems
US10528128B1 (en) * 2017-12-15 2020-01-07 Facebook Technologies, Llc Head-mounted display devices with transparent display panels for eye tracking
US10558260B2 (en) * 2017-12-15 2020-02-11 Microsoft Technology Licensing, Llc Detecting the pose of an out-of-range controller
US10852816B2 (en) * 2018-04-20 2020-12-01 Microsoft Technology Licensing, Llc Gaze-informed zoom and pan with manual speed control
US10607083B2 (en) * 2018-07-19 2020-03-31 Microsoft Technology Licensing, Llc Selectively alerting users of real objects in a virtual environment
CN112805659A (zh) * 2018-08-03 2021-05-14 奇跃公司 通过用户分类为多深度平面显示系统选择深度平面
US10909762B2 (en) * 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
US10816804B2 (en) * 2018-08-31 2020-10-27 Google Llc Near-eye display system with polarization-based optical path folding and variable focus catadioptric lens assembly
US11042034B2 (en) * 2018-12-27 2021-06-22 Facebook Technologies, Llc Head mounted display calibration using portable docking station with calibration target
US11127380B2 (en) * 2019-12-13 2021-09-21 Qualcomm Incorporated Content stabilization for head-mounted displays
GB2596300A (en) * 2020-06-23 2021-12-29 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
US11249556B1 (en) * 2020-11-30 2022-02-15 Microsoft Technology Licensing, Llc Single-handed microgesture inputs

Also Published As

Publication number Publication date
JP2022514631A (ja) 2022-02-14
CN113614674A (zh) 2021-11-05
US11561392B2 (en) 2023-01-24
US20220075187A1 (en) 2022-03-10
WO2020127732A1 (de) 2020-06-25
AT522012A1 (de) 2020-07-15

Similar Documents

Publication Publication Date Title
WO2020127732A1 (de) Verfahren zum erzeugen und anzeigen eines virtuellen objektes durch ein optisches system
EP3958726B1 (de) Bestimmung eines refraktionsfehlers eines auges
EP3238607B1 (de) Verfahren und vorrichtungen zur bestimmung der augenrefraktion
EP3243428B1 (de) Verfahren und vorrichtung zur verordnung eines brillenglases
EP2157903B1 (de) Verfahren zur wahrnehmungsmessung
DE102014223442B4 (de) Verfahren zur Sehzeichendarstellung, Sehzeichendarstellung, dazugehörige Verwendung und Bildausgabegerät
EP3955800B1 (de) Bestimmung eines refraktionsfehlers eines auges
EP3195052B1 (de) Verfahren zur messgenauen bestimmung von zentriertdaten eines probanden zur anpassung einer brille an den probanden und immobiles videozentriersystem
EP2926733A1 (de) Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
EP3256036B1 (de) Vorrichtung und verfahren zur abstandsbestimmung und/oder zentrierung unter verwendung von hornhautreflexionen
EP3210071B1 (de) Vorrichtung und verfahren zum bestimmen von optischen parametern
EP2828794A1 (de) Verfahren und vorrichtung zum auswerten von ergebnissen einer blickerfassung
EP3422087B1 (de) Verfahren zur korrektur von zentrierparametern und/oder einer achslage sowie entsprechendes computerprogramm und verfahren
DE102015219868A1 (de) System und Verfahren für das Trainieren von Kopfbewegungen
EP3192432B1 (de) Verfahren zum überprüfen der augen
EP3765888B1 (de) Verfahren zur benutzerindividuellen kalibrierung einer auf den kopf eines benutzers aufsetzbaren anzeigevorrichtung für eine augmentierte darstellung
EP3995069B1 (de) Ermittlung von werten für eine myopie-kontrolle eines auges eines nutzers
EP4188188B1 (de) Verfahren zum bestimmen des nahpunkts, zum bestimmen der nahpunktdistanz, zum bestimmen eines sphärischen brechwertes sowie zum herstellen eines brillenglases sowie entsprechende mobile endgeräte und computerprogramme
DE102014113685A1 (de) Anzeigevorrichtung, die auf den Kopf eines Benutzers aufsetzbar ist, und Verfahren zum Steuern einer solchen Anzeigevorrichtung
DE19809591A1 (de) Vorrichtung und Verfahren zur Darbietung von bewegten oder unbewegten Seheindrücken zur automatischen und umfassenden Erfassung zahlreicher Parameter des Betrachters
DE102015204640A1 (de) Verfahren zur Erfassung der Kontrastseh-Fähigkeit
DE102010014114B4 (de) Ophthalmologisches Gerät mit Abbildungsmodi für Justier- und Messaufgaben
DE102014015345A1 (de) Verfahren zur messgenauen Bestimmung von optisch-physiognomischen Parametern eines Probanden zur Anpassung von Brillengläsern an den Probanden für die Nahsichtsituation
DE102015116405A1 (de) Anzeigevorrichtung mit Vorverzeichnung
DE102014107939A1 (de) Verfahren zum Erzeugen von Bildern für eine auf den Kopf eines Benutzers aufsetzbare Anzeigevorrichtung sowie eine auf den Kopf eines Benutzers aufsetzbare Anzeigevorrichtung

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210719

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230223

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: VIEWPOINTSYSTEM GMBH