EP3953795A1 - Augmented-reality-system - Google Patents

Augmented-reality-system

Info

Publication number
EP3953795A1
EP3953795A1 EP20717153.9A EP20717153A EP3953795A1 EP 3953795 A1 EP3953795 A1 EP 3953795A1 EP 20717153 A EP20717153 A EP 20717153A EP 3953795 A1 EP3953795 A1 EP 3953795A1
Authority
EP
European Patent Office
Prior art keywords
control element
augmented reality
headset
reality system
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20717153.9A
Other languages
English (en)
French (fr)
Inventor
Yasin SAVCI
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3953795A1 publication Critical patent/EP3953795A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the invention relates to an augmented reality system (AR system) with a headset and a control element and a method for operating such an augmented reality system.
  • AR system augmented reality system
  • the invention also relates to a control element of an augmented reality system.
  • Such an augmented reality system with a headset and a control element is disclosed in US 2017/0357333 A1 (incorporated by reference in its entirity).
  • the control element disclosed in US 2017/0357333 A1 is pen-shaped and has an elongated central part, at the ends of which optical markers are provided.
  • the control element has a status LED and a switch.
  • US 2015/0084855 A1 discloses a headset (head mounted display (HMD)) with which the gestures of a user can be recognized.
  • HMD head mounted display
  • US 2006/0227151 A1 discloses a system by means of which a virtual object can be overlaid with a real video, or a real space in which a worker is active. Another AR system is disclosed in US 2007/0184422 A1.
  • DE 102015215613 A1 discloses a method for generating an augmented reality image, a real image of a real object being recorded by means of a camera, an edge image of the real object being generated from the real image of the real object, the position of a virtual Image component to the real image recorded by the camera is determined by means of the edge image, and the virtual image component is combined with at least a part of the real image to form an augmented reality image (and advantageously shown on a display).
  • the object of the invention is to improve or improve an AR system mentioned at the beginning.
  • control element in particular a pen-like / elongated control element, in particular a control element in the form of a pen, the control element comprising a first marker and a second marker for determining the alignment of the control element and a light source for emitting a light beam.
  • the control element can be used for tracking or Determining its orientation also include a gyro, in particular in accordance with the teaching of US 2017/037333 A1.
  • the control element comprises a CPU and a battery for the power supply.
  • the first marker is to be distinguished from the second marker. It can in particular be provided that the marker on the light source side is designed as a ring or comprises a ring.
  • the light beam can comprise visible light, but the light beam can also comprise UV light or infrared light.
  • the light source is a diode or a laser diode. The ray of light can be
  • the headset can identify an object marked by means of the light beam in a particularly suitable manner.
  • the control element has a range finder or the light source is part of a range finder.
  • control element has a contour, a structure or a texture or the like that allows or enables haptic or manual detection of the alignment of the control element.
  • control element has an interface to a headset.
  • the interface is a wireless interface or an interface for wireless communication.
  • control element has one or more
  • Controls on These serve in particular to adjust the light source and / or to trigger the recognition of an area marked by means of the light beam.
  • an augmented reality system with a headset that includes a transparent display (see-through display), by means of which a virtual image component can be displayed, the headset having a camera arrangement for recording an image of the surroundings of the headset and a tracking system for
  • a headset in the sense of this disclosure is in particular also a head-mounted display (HMD) or data glasses or AR glasses.
  • HMD head-mounted display
  • a suitable headset for the purposes of this disclosure for example, the Hololens ® from Microsoft ®.
  • a camera arrangement in the sense of this disclosure is in particular a stereo camera arrangement with at least two cameras.
  • a tracking system in the sense of this disclosure is in particular a markerless one
  • the augmented reality system comprises at least two control elements and / or at least two headsets. these can
  • the headset and the control element are connected in terms of data technology by means of an, in particular wireless, communication system.
  • Augmented Reality System has a local position determination module for recognizing or determining the position of a point or area in the vicinity of the headset marked by means of the light beam.
  • the aforementioned object is also achieved by a method for operating an aforementioned augmented reality system, a point or a region in the vicinity of the augmented reality system being marked in the field of view of the transparent display by means of the light beam.
  • the marked point or area is assigned a local position and / or a global position.
  • the local position or the global position is assigned a function.
  • the marked area is measured and / or separated.
  • FIG. 1 shows an exemplary embodiment.
  • FIG. 1 shows an augmented reality system with a
  • FIG. 2 shows a further exemplary embodiment of a control element for an augmented reality system according to FIG. 1,
  • FIG. 3 shows a further exemplary embodiment of a control element for an augmented reality system according to FIG. 1,
  • FIG. 4 shows a further exemplary embodiment of a control element for an augmented reality system according to FIG. 1,
  • FIG. 5 shows the augmented reality system according to FIG. 1 in an exemplary manner
  • Schematic diagram, 6 shows a modification of the augmented reality system according to FIG. 5 in an exemplary schematic diagram
  • FIG. 8 shows a further exemplary application scenario for an aforementioned augmented reality system
  • FIG. 10 shows a further exemplary application scenario for an aforementioned augmented reality system.
  • the headset 10 comprises a camera arrangement KAM (see FIGS. 5 and 7). 6) with at least two cameras KAMI and KAM2 and a transparent display 11 (see-through display).
  • the camera arrangement KAM assigned to the display 11 or aligned with it is used to record a real image RB of the surroundings or one of the surroundings seen by a user of the headset 10
  • the real image RB output by the camera arrangement KAM is an input signal to a markerless tracking system 12 which determines the orientation (position / position signal) POS of the real image RB.
  • the augmented reality system also includes a database 14 with virtual
  • Image components or any other source of virtual image components From this database 14 or the other source, the scene generator 15 takes virtual image component VIRT, which is positioned at a specific point so that it can be displayed at this point by means of the transparent display. The superimposition between reality and virtual image component takes place in the eye of the user.
  • the control element 20 comprises a marker M1 and a marker M2 as well as a light source 21 for emitting a light beam 211.
  • the control element 20 further comprises two operating elements B1 and B2 for operating the light source 21 or for triggering the detection of a point or an area that is of the light beam 211 is marked.
  • Fig. 2, Fig. 3 and Fig. 4 show alternative embodiments of the pen-shaped control element 20, which differ from this with respect to the marker. So that includes 2, pin-shaped control element 201, two ring-shaped markers M1 and M2. In the two exemplary embodiments according to FIGS. 3 and 4, the
  • Control element 202 is designed as a ring and the marker, designated by reference number M22, of the pin-shaped control element 202 is designed as a double ring.
  • the marker designated by the reference symbol M31 is designed as a cap and the marker designated by the reference symbol M32 is designed as a ring.
  • 5 shows the augmented reality system 1 in a basic illustration.
  • 5 shows the basic structure of an exemplary embodiment of the control element 20 and of the headset 10.
  • the control element 20 comprises a light source control 25 for controlling the light source 21 as a function of an operation of the control elements B1 and / or B2.
  • the operating element B1 is used to switch the light source 21 on and off, and the operating element B2 is used to select a position that is illuminated by the light source 21 or its light beam 211.
  • An interface can be provided between the control element 20 and the headset 10, via which information about the control of the light source 21 by means of the light source control 25 is fed to a light beam detector 16. For example, be provided that a certain coding and / or a pulse pattern of the
  • Light source control 25 is transmitted to the light beam detection 16 so that it can detect the marking of an object or a position or the like in the area, so that a local position detection module 181 the means of the
  • Light beam 211 marked position LPOS can determine.
  • a global position detection module 182 can also be provided, which interacts with a GPS or a similar positioning system 19, so that the local position LPOS is converted into a global or absolute position GPOS, that is to say a position in
  • Earth coordinates can be converted.
  • a separation module 183 can also be provided, by means of which sections of the real image RB are separated, specifically in such a way that a section is marked by a local position signal LPOS defining the section.
  • the local position identification module 181, the global position identification module 182 and the separation module 183 are operated, for example, by the gesture recognition module 17, with the gestures by means of a hand of a user or by means of the Control element 20 can be executed.
  • the gesture recognition module 17 interacts with the scene generator 15 or the display 11 in such a way that, for example, selection options, menus, lists, menu structures or the like can be displayed by means of the display 11, with certain entries that are shown by means of the display 11 by means of the gesture recognition module 17 , selected and / or selected.
  • FIG. 6 shows a modification of the augmented reality system 1 with a control element 20 ‘and a headset 10‘, the light source 21 being replaced by a light-based range finder 26. This is controlled and evaluated via the remote light source control 25 ‘. The determined distance between the
  • the control element 20 'and a marked object are fed to the headset 10' or a local position identification module 181 ', which determines a marked local position LPOS as a function of the orientation of the control element 20' and the distance detected using the markers M21, M22, M31, M32 .
  • the control element 20 or 20 can be used to link texts or drawings or markings with a real location. If, for example, an athlete performs exercises on a course, he uses the control element 20 or 20 ‘in real space to make a note of which exercises are performed and how. If he carries out his training again in the following week, the athlete can see his exercise instructions shown on the display 11. This information can, for example, optionally
  • the selection to whom the data is made accessible can be made, for example, via the gesture recognition module 17 in connection with the display 11 (and the selection menus represented by this).
  • Objects in real space can also be selected by means of the control element 20 or 20 'and the headset 20 or 20' can be instructed to digitize the geometry, for example to decorate another place with it. If, for example, an object is found in a furniture store, it can be scanned in and placed at home. Conversely, the dimensioning of a room can also be carried out by means of the control element 20 or 20 'in order to digitize it.
  • Another exemplary application of the augmented reality system 1 can consist in creating a shopping list and sharing this information via the interface such as google maps: For example, one user defines the supermarket XY so that another user can make a shopping list sees when he enters the supermarket. They can cross something off the list every time it is added to the shopping cart.
  • FIG. 7 shows a further exemplary scenario for using the control element 20 or 20 'or the augmented reality system 1.
  • the control element 20 also 201, 202, 203
  • 20 'writing or drawing on a surface existing in real space and / or on several surfaces can be made possible.
  • the headset 10 or 10 ‘stores this spatial relationship.
  • control element 20 also 201, 202, 203 or 20 'enables an object, such as an illustrated table, and / or several objects to be selected.
  • object such as an illustrated table, and / or several objects to be selected.
  • the storage of views or an optical measurement carried out by means of the headset 10 is thereby supported.
  • the headset 10 by means of the display 10) requests different corner points for marking (nearest point, most distant point, etc.).
  • control element 20 (also 201, 202, 203) or 20 '- as shown in FIG. 9 - enables the digitization of a selection made by the framing by framing any object.
  • control element 20 (also 201, 202, 203) or 20 '- as shown, for example, in FIG. 10 - enables an object, a document or a file to be selected and a subsequent real projection by means of a touch function similar to a touch pad Space through the display 11 in the headset 10 or 10 '.
  • a touch pad Space through the display 11 in the headset 10 or 10 '.
  • an aircraft 51 or the representation of an aircraft 51 is selected on a tablet 50 and projected into the real room by means of the display 11 of the headset 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Die Erfindung betrifft ein Augmented-Reality-System mit einem Headset und einem Steuerungselement sowie ein Verfahren zum Betrieb eines derartigen Augmented-Reality- Systems. Die Erfindung betrifft zudem ein Steuerungselement eines Augmented-Reality- Systems.

Description

Beschreibung
Augmented-Reality-System
Die Erfindung betrifft ein Augmented-Reality-System (AR-System) mit einem Headset und einem Steuerungselement sowie ein Verfahren zum Betrieb eines derartigen Augmented- Reality-Systems. Die Erfindung betrifft zudem ein Steuerungselement eines Augmented- Reality-Systems.
Ein derartiges Augmented-Reality-System mit einem Headset und einem Steuerungselement offenbart die US 2017/0357333 A1 (incorporated by reference in its entirity). Das in der US 2017/0357333 A1 offenbarte Steuerungselement ist stiftförmig und weist ein längliches Mittelteil auf, an dessen Enden optische Marker vorgesehen sind. Darüber hinaus weist das Steuerungselement eine Status-LED und einen Schalter auf.
Die US 2015/0084855 A1 offenbart ein Headset (head mounted display (HMD)) mit dem Gesten eines Benutzer erkannt werden können. Die US 2006/0227151 A1 offenbart ein System mittels dessen ein virtuelles Objekt mit einem realen Video überlagert werden kann, oder ein realer Raum, in dem ein Arbeiter tätig ist. Ein weiteres AR-System offenbart die US 2007/0184422 A1.
Die DE 102015215613 A1 offenbart ein Verfahren zum Erzeugen eines Augmented-Reality- Bildes, wobei ein reales Bild eines realen Objektes mittels einer Kamera aufgenommen wird, wobei aus dem realen Bild des realen Objektes ein Kantenbild des realen Objektes erzeugt wird, wobei die Position eines virtuellen Bildbestandteils zu dem mittels der Kamera aufgenommenen realen Bild mittels des Kantenbildes bestimmt wird, und wobei der virtuelle Bildbestandteil mit zumindest einem Teil des realen Bildes zu einem Augmented-Reality-Bild kombiniert (und vorteilhafterweise auf einem Display dargestellt) wird.
Es ist Aufgabe der Erfindung, ein eingangs genanntes AR-System zu verbessern bzw.
dessen Funktionalität zu erweitern.
Vorgenannte Aufgabe wird durch ein Steuerungselement, insbesondere ein stiftartiges/ längliches Steuerungselement, insbesondere ein Steuerungselement in Form eines Stiftes gelöst, wobei das Steuerungselement einen ersten Marker und einen zweiten Marker zur Bestimmung der Ausrichtung des Steuerungselementes sowie eine Lichtquelle zum emittieren eines Lichtstrahls umfasst. Das Steuerungselement kann zur Verfolgung bzw. Bestimmung seiner Orientierung auch einen Kreisel, insbesondere entsprechend der Lehre der US 2017/037333 A1 , umfassen. Darüber hinaus ist insbesondere vorgesehen, dass das Steuerungselement eine CPU sowie für die Stromversorgung einen Akku umfasst.
Es kann vorgesehen sein, dass der erste Marker von dem zweiten Marker zu unterscheiden ist. Es kann insbesondere vorgesehen sein, dass der lichtquellenseitige Marker als Ring ausgestaltet ist oder einen Ring umfasst. Der Lichtstrahl kann sichtbares Licht umfassen, der Lichtstrahl kann jedoch auch UV-Licht oder Infrarotlicht umfassen. Die Lichtquelle ist in vorteilhafter Ausgestaltung eine Diode bzw. eine Laserdiode. Der Lichtstrahl kann
individualisiert sein, etwa durch Pulse und/oder eine Codierung. Auf diese Weise kann, wenn die Codierung oder Pulse dem Headset mitgeteilt werden bzw. dem Headset bekannt sind, dieser in besonders geeigneter Weise ein mittels des Lichtstrahls markiertes Objekt identifizieren. In einer weiteren Ausgestaltung der Erfindung weist das Steuerungselement einen Entfernungsmesser auf bzw. ist die die Lichtquelle Teil eines Entfernungsmessers.
In weiterhin vorteilhafter Ausgestaltung der Erfindung weist das Steuerungselement eine Kontur, eine Struktur oder eine Textur oder Ähnliches auf, die eine haptische bzw. manuelle Erkennung der Ausrichtung des Steuerungselementes erlaubt bzw. ermöglicht. In weiterhin vorteilhafter Ausgestaltung der Erfindung weist das Steuerungselement eine Schnittstelle zu einem Headset auf. Die Schnittstelle ist in vorteilhafter Ausgestaltung eine drahtlose Schnitt stelle bzw. eine Schnittstelle für eine drahtlose Kommunikation. In weiterhin vorteilhafter Ausgestaltung der Erfindung weist das Steuerungselement einen oder mehrere
Bedienelemente auf. Diese dienen insbesondere dem Anstellen der Lichtquelle und/oder dem Auslösen des Erkennens ein mittels des Lichtstrahls markierten Bereichs.
Vorgenannte Aufgabe wird zudem durch ein Augmented-Reality-System mit einem Headset gelöst, das ein transparentes Display (Durchsichtdisplay) umfasst, mittels dessen ein virtueller Bildbestandteil darstellbar ist, wobei das Headset eine Kameraanordnung zur Aufnahme eines Bildes der Umgebung des Headsets sowie ein Trackingsystem zur
Bestimmung der Position (und Ausrichtung) des virtuellen Bildbestandteils auf dem transparenten Display in Abhängigkeit des Bildes der realen Umgebung aufweist, und wobei das Augmented-Reality-System ein vorgenanntes Steuerungselement aufweist. Ein Headset im Sinne dieser Offenbarung ist insbesondere auch ein head mounted display (HMD) bzw. eine Datenbrille oder eine AR-Brille. Ein geeignetes Headset im Sinne dieser Offenbarung ist beispielsweise die Hololens® von Microsoft®. Eine Kameraanordnung im Sinne dieser Offenbarung ist insbesondere eine Stereokameraanordnung mit zumindest zwei Kameras. Ein Trackingsystem im Sinne dieser Offenbarung ist insbesondere ein markerloses
Trackingsystem. Es kann vorgesehen sein, dass das Augmented-Reality-System zumindest zwei Steuerungselemente und/oder zumindest zwei Headsets umfasst. Diese können
beispielsweise eine zusammenwirkende Gruppe (mit zwei Benutzern) bilden.
In weiterhin vorteilhafter Ausgestaltung der Erfindung sind das Headset und das Steuerungs element datentechnisch mittels eines, insbesondere drahtlosen, Kommunikationssystems verbunden.
In weiterhin vorteilhafter Ausgestaltung der Erfindung weist das Headset oder das
Augmented-Reality-System ein lokales Positionsbestimmungsmodul zur Erkennung bzw. zur Bestimmung der Position eines mittels des Lichtstrahls markierten Punktes oder Bereiches der Umgebung des Headsets auf.
Vorgenannte Aufgabe wird zudem durch ein Verfahren zum Betrieb eines vorgenannten Augmented-Reality-Systems gelöst, wobei ein Punkt oder ein Bereich der Umgebung des Augmented-Reality-Systems im Sichtfeld des transparenten Displays mittels des Lichtstrahls markiert wird.
In (weiterhin) vorteilhafter Ausgestaltung der Erfindung wird dem markierten Punkt oder Bereich eine lokale Position und/oder eine globale Position zugeordnet. In weiterhin vorteilhafter Ausgestaltung der Erfindung wird der lokalen Position oder der globalen Position eine Funktion zugeordnet. In weiterhin vorteilhafter Ausgestaltung der Erfindung wird der markierte Bereich vermessen und/oder separiert.
Weitere Vorteile und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen. Dabei zeigen:
Fig. 1 ein Ausführungsbeispiel Fig. 1 zeigt ein Augmented-Reality-System mit einem
Headset und einem datentechnisch mit dem Headset gekoppelten stiftförmigen Steuerungselement,
Fig. 2 ein weiteres Ausführungsbeispiel eines Steuerungselementes für ein Augmented- Reality-System gemäß Fig. 1 ,
Fig. 3 ein weiteres Ausführungsbeispiel eines Steuerungselementes für ein Augmented- Reality-System gemäß Fig. 1 ,
Fig. 4 ein weiteres Ausführungsbeispiel eines Steuerungselementes für ein Augmented- Reality-System gemäß Fig. 1 ,
Fig. 5 das Augmented-Reality-System gemäß Fig. 1 in einer beispielhaften
Prinzipdarstellung, Fig. 6 eine Abwandlung des Augmented-Reality-Systems gemäß Fig. 5 in einer beispielhaften Prinzipdarstellung,
Fig. 7 ein beispielhaftes Anwendungsszenario für das Augmented-Reality-System,
Fig. 8 ein weiteres beispielhaftes Anwendungsszenario für ein vorgenanntes Augmented- Reality-System,
Fig. 9 ein weiteres beispielhaftes Anwendungsszenario für ein vorgenanntes vorgenanntes Augmented-Reality-System und
Fig. 10 ein weiteres beispielhaftes Anwendungsszenario für ein vorgenanntes Augmented- Reality-System.
Fig. 1 zeigt ein Augmented-Reality-System 1 mit einem (von einem Benutzer getragenen) Headset 10, und einem datentechnisch mit dem Headset 10 gekoppelten stiftförmigen Steuerungselement 20. Das Headset 10 umfasst eine Kameraanordnung KAM (vgl. Fig. 5 und Fig. 6) mit zumindest zwei Kameras KAMI und KAM2 sowie ein transparentes Display 11 (Durchsichtdisplay). Die dem Display 11 zugeordnete bzw. in Bezug auf dieses ausgerichtete Kameraanordnung KAM dient der Aufnahme eines realen Bildes RB, der von einem Benutzer des Headsets 10 gesehenen Umgebung beziehungsweise eines
entsprechenden Objektes. Das von der Kameraanordnung KAM ausgegebene reale Bild RB ist Eingangssignal in ein markerloses Trackingsystem 12, das die Ausrichtung (Posi tion/Positionssignal) POS des realen Bildes RB bestimmt. Die Ausrichtung
(Position/Positionssignal) POS des realen Bildes RB ist Ausgangssignal des
Trackingsystems 12 und Eingangssignal in einen Szenengenerator 15.
Das Augmented-Reality-System umfasst zudem eine Datenbasis 14 mit virtuellen
Bildbestandteilen oder eine sonstige Quelle virtueller Bildbestandteile. Aus dieser Datenbasis 14 bzw. der sonstigen Quelle entnimmt der Szenengenerator 15 virtuelle Bildbestandteil VIRT, der an einer bestimmten Stelle positioniert wird, so dass er an dieser Stelle mittels des transparenten Displays anzeigbar ist. Die Überlagerung zwischen Realität und virtuellem Bildbestandteil erfolgt dabei im Auge des Benutzers.
Das Steuerungselement 20 umfasst einen Marker M1 und einen Marker M2 sowie eine Lichtquelle 21 zum Aussenden eines Lichtstrahls 211. Das Steuerungselement 20 umfasst weiterhin zwei Bedienelemente B1 und B2 zur Bedienung der Lichtquelle 21 bzw. zur Auslösung der Erkennung eines Punktes oder eines Bereichs, der mittels des Lichtstrahls 211 markiert ist.
Fig. 2, Fig. 3 und Fig. 4 zeigen alternative Ausgestaltungen des stiftförmigen Steuerungs elementes 20, die sich in Bezug auf die Marker von diesem unterscheiden. So umfasst das in Fig. 2 dargestellte stiftförmige Steuerungselement 201 zwei ringförmige Marker M1 und M2. In den beiden Ausführungsbeispielen gemäß Fig. 3 und Fig. 4 weisen die
entsprechenden stiftförmigen Steuerungselemente 202 und 203 unterscheidbare Marker auf, wobei der mit Bezugszeichen M21 bezeichnete Marker des stiftförmigen
Steuerungselementes 202 als Ring und der mit Bezugszeichen M22 bezeichnete Marker des stiftförmigen Steuerungselementes 202 als Doppelring ausgestaltet ist. Bei dem in Fig. 4 dargestellten stiftförmigen Steuerungselement 203 ist mit der mit Bezugszeichen M31 bezeichnete Marker als Kappe ausgestaltet und der mit Bezugszeichen M32 bezeichnete Marker als Ring.
Fig. 5 zeigt das Augmented-Reality-System 1 in einer Prinzipdarstellung. Dabei zeigt Fig. 5 den prinzipiellen Aufbau eines Ausführungsbeispiels des Steuerungselementes 20 sowie des Headsets 10. Das Steuerungselement 20 umfasst eine Lichtquellensteuerung 25 zur Steuerung der Lichtquelle 21 in Abhängigkeit einer Bedienung der Bedienelemente B1 und/oder B2. Dabei dient das Bedienelement B1 in beispielhafter Ausgestaltung dem Ein- und Ausschalten der Lichtquelle 21 und das Bedienelement B2 dem Auswählen einer Position, die mittels der Lichtquelle 21 bzw. dessen Lichtstrahl 211 angestrahlt wird.
Zwischen dem Steuerungselement 20 und dem Headset 10 kann eine Schnittstelle vorgesehen sein, über die Informationen über die Ansteuerung der Lichtquelle 21 mittels der Lichtquellensteuerung 25 einer Lichtstrahlerkennung 16 zugeführt wird. Dabei kann z.B. vorgesehen sein, dass eine bestimmte Codierung und/oder ein Pulsmuster von der
Lichtquellensteuerung 25 an die Lichtstrahlerkennung 16 übermittelt wird, damit diese den zur Markierung eines Objektes oder einer Position oder ähnlichem in der Umgebung erkennen kann, so dass ein lokales Positionserkennungsmodul 181 die mittels des
Lichtstrahls 211 markierte Position LPOS ermitteln kann.
Optional kann auch ein globales Positionserkennungsmodul 182 vorgesehen sein, das mit einem GPS oder einem ähnlichen Ortungssystem 19 zusammenwirkt, so dass die lokale Position LPOS in eine globale oder absolute Position GPOS, also eine Position in
Erdkoordinaten, umgewandelt werden kann.
Es kann auch ein Separationsmodul 183 vorgesehen sein, mittels dessen Ausschnitte aus dem realen Bild RB separiert werden, und zwar derart, dass ein Ausschnitt durch einen den Ausschnitt definierendes lokales Positionssignal LPOS markiert wird. Die Bedienung des lokalen Positionsidentifikationsmoduls 181 , des globalen Positionsidentifikationsmoduls 182 und des Separationsmoduls 183 erfolgt beispielsweise durch das Gestenerkennungsmodul 17, wobei die Gesten mittels einer Hand eines Benutzers oder mittels des Steuerungselementes 20 ausgeführt werden können. Das Gestenerkennungsmodul 17 wirkt mit dem Szenengenerator 15 bzw. dem Display 11 derart zusammen, dass mittels des Displays 11 z.B. Auswahloptionen, Menü, Listen, Menüstrukturen oder ähnliches dargestellt werden können, wobei mittels des Gestenerkennungsmoduls 17 bestimmte Einträge, die mittels des Displays 11 dargestellt werden, ausgewählt werden und/oder angewählt werden.
Fig. 6 zeigt eine Abwandlung des Augmented-Reality-Systems 1 mit einem Steuerungs element 20‘ und einem Headset 10‘, wobei die Lichtquelle 21 durch einen lichtbasierten Entfernungsmesser 26 ersetzt ist. Dieser wird über die abgewandte Lichtquellensteuerung 25‘ angesteuert und ausgewertet. Die ermittelte Entfernung zwischen dem
Steuerungselement 20‘ und einem markierten Objekt wird dem Headset 10‘ bzw. einem lokalen Positionsidentifikationsmodul 181‘ zugeführt, das in Abhängigkeit der anhand der Marker M21 , M22, M31 , M32 erkannten Ausrichtung des Steuerungselementes 20‘ und der Entfernung eine markierte lokale Position LPOS ermittelt.
Das Steuerungselement 20 bzw. 20‘ kann genutzt werden, um Texte oder Zeichnungen oder Markierungen mit einem reellen Ort zu verknüpfen. Führt beispielsweise ein Sportler Übungen in einem Parcour durch, so notiert er sich mit dem Steuerungselement 20 bzw. 20‘ im reellen Raum welche Übungen wie durchgeführt werden. Führt er sein Training in der darauffolgenden Woche erneut durch, so kann der Sportler seine Übungsanweisungen auf dem Display 11 angezeigt sehen. Diese Information kann beispielsweise wahlweise
— nur dem Nutzer,
— seinen ausgewählten Kontakten,
— einem bestimmten Adressaten und/oder
— einem Netzwerk
zugänglich sein bzw. gemacht werden.
Die Auswahl, wem die Daten zugänglich gemacht werden, kann beispielsweise über das Gestenerkennungsmodul 17 in Verbindung mit dem Display 11 (und der mittels diesem dargestellten Auswahlmenüs) erfolgen.
Mittels des Steuerungselementes 20 bzw. 20‘ können auch Objekte im reellen Raum (Möbel oder ähnliches) selektiert und das Headset 20 bzw. 20‘ angewiesen werden, die Geometrie zu digitalisieren, um beispielsweise einen anderen Ort mit ihm zu verzieren. Gefällt z.B. in einem Möbelhaus ein Objekt, so kann dieses eingescannt und zu Hause platziert werden. Andersherum kann auch mittels des Steuerungselementes 20 bzw. 20‘ die Bemaßung eines Raumes durchgeführt werden, um diesen zu digitalisieren. Eine weitere beispielshafte Anwendung des Augmented-Reality-Systems 1 kann darin bestehen, dass eine Einkaufsliste erstellt wird und diese Information über die Schnittstelle wie etwa google maps geteilt wird: So legt ein Benutzer z.B. den Supermarkt XY fest, so dass ein anderer Benutzer eine Einkaufsliste sieht, wenn er den Supermarkt betritt. Dieser kann auf der Liste jedes Mal etwas streichen, wenn es in den Einkaufswagen gelegt wird.
Fig. 7 zeigt ein weiteres beispielhaftes Szenario zur Verwendung des Steuerungselementes 20 bzw. 20‘ bzw. des Augmented-Reality-Systems 1. Dabei kann - wie in Fig. 7 abgebildet - mittels des Steuerungselementes 20 (ebenso 201 , 202, 203) bzw. 20‘ das Schreiben oder Zeichnen auf eine im reellen Raum vorhandene Fläche und/oder auf mehreren Flächen ermöglichst werden. Das Headset 10 bzw. 10‘ speichert diese räumliche Beziehung.
In einem weiteren beispielhaften Szenario gemäß Fig. 8 wird mittels des Steuerungs elementes 20 (ebenso 201 , 202, 203) bzw. 20‘ das Selektieren eines Objekts, wie etwa eines abgebildeten Tisches, und/oder mehrere Objekte ermöglicht. Das Speichern von Ansichten oder eine mittels der Headset 10 vorgenommenen optischen Vermessung wird dadurch unterstützt. So kann z.B. vorgesehen sein, dass das Headset 10 (mittels des Displays 10) verschiedene Eckpunkte zum Markern anfordert (nächstgelegener Punkt, entferntester Punkt, etc.).
Zudem ermöglicht das Steuerungselement 20 (ebenso 201 , 202, 203) bzw. 20‘ - wie in Fig. 9 abgebildet - durch das Einrahmen eines beliebigen Objektes die Digitalisierung einer durch das Einrahmen erfolgten Auswahl.
Darüber hinaus ermöglicht das Steuerungselement 20 (ebenso 201 , 202, 203) bzw. 20‘- wie beispielsweise in Fig. 10 dargestellt - durch Touchfunktion ähnlich einem Touch-Pad das Auswählen eines Objektes, eines Dokuments oder einer Datei und einer anschließenden Projektion im realen Raum durch das Display 11 im Headset 10 bzw. 10‘. So wird in Fig. 10 beispielsweise ein Flugzeug 51 bzw. die Darstellung eines Flugzeugs 51 auf einem Tablet 50 ausgewählt und mittels des Displays 11 des Headsets 10 in den realen Raum projiziert.

Claims

Patentansprüche
1. Steuerungselement (20), insbesondere stiftartiges/längliches Steuerungselement
(20), insbesondere Steuerungselement (20) in Form eines Stiftes, wobei das
Steuerungselement (20) einen ersten Marker (M1) und einen zweiten Marker (M2) zur Bestimmung der Ausrichtung des Steuerungselementes (20) sowie eine Lichtquelle
(21) zum emittieren eines Lichtstrahls (211) umfasst.
2. Steuerungselement (20) nach Anspruch 1 , dadurch gekennzeichnet, dass es eine Schnittstelle zu einem Headset (10) aufweist.
3. Augmented-Reality-System (1) mit einem Headset (10), das ein transparentes
Display (11) umfasst, mittels dessen ein virtueller Bildbestandteil VIRT ARB darstellbar ist, wobei das Headset (10) eine Kameraanordnung KAM zur Aufnahme eines Bildes der Umgebung des Headsets sowie ein Tracking-System (12) zur Bestimmung der Position POS des virtuellen Bildbestandteils VIRT ARB auf dem transparenten Display (11) in Abhängigkeit des Bildes RB der realen Umgebung aufweist, dadurch gekennzeichnet, dass das Augmented-Reality-System (1) ein Steuerungselement (20) gemäß Anspruch 1 oder 2 aufweist.
4. Augmented-Reality-System (1) nach Anspruch 3, dadurch gekennzeichnet, dass das Headset (10) und das Steuerungselement (20) datentechnisch mittels eines, insbesondere drahtlosen, Kommunikationssystems (30) verbunden sind.
5. Augmented-Reality-System (1) nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass das Headset (10) oder das Augmented-Reality-System (1) ein lokales Positions erkennungsmodul (181) zur Erkennung eines mittels des Lichtstrahls (211) markierten Punktes oder Bereiches der Umgebung des Headsets (10) aufweist,
6. Verfahren zum Betrieb eines Augmented-Reality-Systems (1) nach Anspruch 3, 4 oder 5, dadurch gekennzeichnet, dass ein Punkt oder ein Bereich der Umgebung des Augmented-Reality-Systems (10) im Sichtfeld des transparenten Displays (11) mittels des Lichtstrahls (211) markiert wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass dem markierten Punkt oder Bereich eine lokale Position (LPOS) oder eine globale Position (GPOS) zugeordnet wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der lokalen Position (LPOS) oder der globalen Position (GPOS) eine Funktion zugeordnet wird.
9. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der markierte Bereich vermessen und/oder separiert wird.
EP20717153.9A 2019-05-21 2020-04-02 Augmented-reality-system Pending EP3953795A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019207454.5A DE102019207454B4 (de) 2019-05-21 2019-05-21 Augmented-Reality-System
PCT/EP2020/059452 WO2020233883A1 (de) 2019-05-21 2020-04-02 Augmented-reality-system

Publications (1)

Publication Number Publication Date
EP3953795A1 true EP3953795A1 (de) 2022-02-16

Family

ID=70189947

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20717153.9A Pending EP3953795A1 (de) 2019-05-21 2020-04-02 Augmented-reality-system

Country Status (5)

Country Link
US (1) US20220269334A1 (de)
EP (1) EP3953795A1 (de)
CN (1) CN114127664A (de)
DE (1) DE102019207454B4 (de)
WO (1) WO2020233883A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12214272B2 (en) 2021-05-20 2025-02-04 VR Simulations, Inc. Method for generating position signals while using a virtual reality headset

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150339855A1 (en) * 2014-05-20 2015-11-26 International Business Machines Corporation Laser pointer selection for augmented reality devices
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2394257Y (zh) * 1999-07-19 2000-08-30 贾国玺 笔式鼠标
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
CA2561274C (en) 2004-03-26 2015-08-11 Atsushi Takahashi Three-dimensional digital entity magnifying glass system incorporating three-dimensional visual training functions
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US9388046B2 (en) 2011-04-15 2016-07-12 Biogenic Reagents Ventures, Llc Systems and apparatus for production of high-carbon biogenic reagents
JP2014003465A (ja) * 2012-06-19 2014-01-09 Seiko Epson Corp 画像表示装置及びその制御方法
CN103019417B (zh) * 2012-11-28 2016-09-14 沈阳工业大学 一种识别手指挠笔和敲笔动作的电子手写笔及其输入方法
KR102065417B1 (ko) 2013-09-23 2020-02-11 엘지전자 주식회사 웨어러블 이동단말기 및 그 제어방법
DE102015215613A1 (de) 2015-08-17 2017-03-09 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
KR20170055213A (ko) * 2015-11-11 2017-05-19 삼성전자주식회사 비행이 가능한 전자 장치를 이용한 촬영 방법 및 장치
KR20170126294A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
US10152141B1 (en) * 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150339855A1 (en) * 2014-05-20 2015-11-26 International Business Machines Corporation Laser pointer selection for augmented reality devices
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OHAN ODA ET AL: "3D referencing techniques for physical objects in shared augmented reality", MIXED AND AUGMENTED REALITY (ISMAR), 2012 IEEE INTERNATIONAL SYMPOSIUM ON, IEEE, 5 November 2012 (2012-11-05), pages 207 - 215, XP032297095, ISBN: 978-1-4673-4660-3, DOI: 10.1109/ISMAR.2012.6402558 *
See also references of WO2020233883A1 *

Also Published As

Publication number Publication date
DE102019207454B4 (de) 2021-05-12
US20220269334A1 (en) 2022-08-25
CN114127664A (zh) 2022-03-01
DE102019207454A1 (de) 2020-11-26
WO2020233883A1 (de) 2020-11-26

Similar Documents

Publication Publication Date Title
DE102018109463B3 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE102007023640A1 (de) Virtueller Arbeitsplatz
EP3012785B1 (de) Verfahren sowie auswertegerät zur auswertung von signalen einer led-zustandsanzeige
DE112018004395T5 (de) Virtueller zugriff auf ein zugriffsbeschränktes objekt
DE102016210288A1 (de) Bedienvorrichtung mit Eyetrackereinheit und Verfahren zum Kalibrieren einer Eyetrackereinheit einer Bedienvorrichtung
WO2009010195A1 (de) Verfahren und system zur ermittlung der position und orientierung einer kamera relativ zu einem realen objekt
DE102014225222B4 (de) Bestimmung der Position eines HMD relativ zum Kopf des Trägers
WO2016206874A1 (de) Interaktionssystem
EP3012712A1 (de) Virtuelles zeichnen in realer umgebung
WO2020233883A1 (de) Augmented-reality-system
WO2021052660A1 (de) Verfahren und vorrichtung zum verarbeiten eines durch eine kamera aufgenommenen bildes
EP2936937A2 (de) System und verfahren zum auswählen von teilnehmern eines beleuchtungssystems
DE102018206675A1 (de) Verfahren zur Ansteuerung einer Maschine mittels mindestens einer Raumkoordinate als Ansteuergröße sowie Ansteuerungssystem einer Maschine
EP1440416A2 (de) Bedieneinrichtung
EP1756700B1 (de) Verfahren, system und vorrichtung zur körpergesteuerten übertragung von selektierbaren datenelementen an ein endgerät
DE10124834C2 (de) Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens
DE102016106993A1 (de) Steuer- und Konfiguriereinheit sowie Verfahren zum Steuern und Konfigurieren eines Mikroskops
DE102018206676B4 (de) Verfahren zur Interaktion einer Zeigevorrichtung mit einem auf einer Projektionsfläche eines virtuellen Desktops angeordneten Zielpunkts
DE102004046151B4 (de) Vorrichtung zur visuellen Darstellung graphischer Detailinformationen
DE112024001437T5 (de) Datenverarbeitungsvorrichtung, datenverarbeitungssystem und verfahren
DE102020100073A1 (de) Verfahren und System zum Auswählen eines Listeneintrags aus einer Liste
EP4327987A1 (de) System, verfahren, computerprogramm und computerlesbares medium zur erfassung und ausgabe von eigenschaften
DE112021002510T5 (de) Videoanzeigevorrichtung, videoanzeigesystem und videoanzeigeverfahren
DE102017114905A1 (de) Kommunikationsvorrichtung und Bediensystem
CN110826368A (zh) 一种用于数据分析的人脸图像采集方法

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20211111

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230912

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20251121