JP2020518902A - 発光ユーザ入力デバイス - Google Patents

発光ユーザ入力デバイス Download PDF

Info

Publication number
JP2020518902A
JP2020518902A JP2019556946A JP2019556946A JP2020518902A JP 2020518902 A JP2020518902 A JP 2020518902A JP 2019556946 A JP2019556946 A JP 2019556946A JP 2019556946 A JP2019556946 A JP 2019556946A JP 2020518902 A JP2020518902 A JP 2020518902A
Authority
JP
Japan
Prior art keywords
user input
light emitting
input device
light
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019556946A
Other languages
English (en)
Other versions
JP2020518902A5 (ja
JP7231556B2 (ja
Inventor
ジェイムズ エム． パウダーリー，
ジェイムズ エム． パウダーリー，
サバンナ ナイルズ，
サバンナ ナイルズ，
クリストファー デイビッド ネスラデック，
クリストファー デイビッド ネスラデック，
イシオマ オサグベムウェノルー アズ，
イシオマ オサグベムウェノルー アズ，
マーシャル エー． フォンテイン，
マーシャル エー． フォンテイン，
ヘイニー アワド，
ヘイニー アワド，
ウィリアム ウィーラー，
ウィリアム ウィーラー，
ブライアン デイビッド シュワッブ，
ブライアン デイビッド シュワッブ，
ブライアン バックノー，
ブライアン バックノー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020518902A publication Critical patent/JP2020518902A/ja
Publication of JP2020518902A5 publication Critical patent/JP2020518902A5/ja
Priority to JP2023008031A priority Critical patent/JP7335462B2/ja
Application granted granted Critical
Publication of JP7231556B2 publication Critical patent/JP7231556B2/ja
Priority to JP2023132794A priority patent/JP7385078B1/ja
Priority to JP2023180164A priority patent/JP2023179746A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04103—Manufacturing, i.e. details related to manufacturing processes specially suited for touch sensitive devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

発光ユーザ入力デバイスは、ユーザ入力を受け取る（例えば、ユーザの親指から）ように構成される、タッチ感知式部分と、光パターンを出力するように構成される、発光部分とを含むことができる。光パターンは、ユーザ入力デバイスと相互作用するユーザを支援するために使用されることができる。実施例は、多自由度コントローラをエミュレートするステップ、スクロールまたはスワイプアクションを示すステップ、デバイスの近傍のオブジェクトの存在を示すステップ、通知の受信を示すステップ、ユーザ入力デバイスと別のデバイスのペアリングを補助するステップ、またはユーザ入力デバイスの較正を補助するステップを含む。発光ユーザ入力デバイスは、ユーザ入力を、例えば、頭部搭載型ディスプレイデバイス等のウェアラブルデバイスに提供するために使用されることができる。

Description

（関連出願の相互参照）
本願は、２０１７年４月２７日に出願され“ＬＩＧＨＴ−ＥＭＩＴＴＩＮＧ ＵＳＥＲ ＩＮＰＵＴ ＤＥＶＩＣＥ”と題された米国仮出願第６２／４９０，８６３号に対する３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの優先権の利益を主張するものであり、該米国仮出願の開示は、その全体が参照により本明細書中に援用される。
本開示は、仮想現実および拡張現実結像および可視化システムに関し、より具体的には、結像および可視化システムと関連付けられた発光ユーザ入力デバイスに関する。
現代のコンピューティングおよび表示する技術は、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適かつ自然のような感覚で、かつ豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術の生産は、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。
発光ユーザ入力デバイスの実施例が、開示される。ユーザ入力デバイスの実施形態は、入力をＡＲ、ＶＲ、またはＭＲデバイスに提供するために使用されることができる。発光ユーザ入力デバイスはまた、ＡＲ／ＶＲ／ＭＲデバイスと関連付けられたイベントまたはオブジェクトの視覚的情報をユーザまたはユーザの環境内の人々に提供することができる。
発光ユーザ入力デバイスは、ユーザ入力を受け取る（例えば、ユーザの親指から）ように構成される、タッチセンサ式部分と、光パターンを出力するように構成される、発光部分とを含むことができる。光パターンは、ユーザがユーザ入力デバイスと相互作用することを補助するために使用されることができる。実施例は、多自由度コントローラをエミュレートするステップ、スクロールまたはスワイプアクションを示すステップ、デバイスの近傍のオブジェクトの存在を示すステップ、通知の受信を示すステップ、ユーザ入力デバイスの較正を補助するステップ、またはユーザ入力デバイスと別のデバイスのペアリングを補助するステップを含む。発光ユーザ入力デバイスは、ユーザ入力を、例えば、複合現実ディスプレイデバイス等の頭部搭載型ディスプレイシステムに提供するために使用されることができる。
本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。
図２は、ウェアラブルシステムの実施例を図式的に図示する。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。
図５は、導波管によって出力され得る、例示的出射ビームを示す。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、または明視野の生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。
図７は、ウェアラブルシステムの実施例のブロック図である。
図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。
図９は、ウェアラブルシステムの別の実施例のブロック図である。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法の実施例のプロセスフロー図である。
図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。
図１２Ａは、トーテムの実施例の側面および正面（ユーザが面している側）図を図示する。
図１２Ｂは、トーテムの別の実施例の上面図を図示する。
図１３Ａは、トーテムの例示的タッチパッドの断面図を図示する。
図１３Ｂは、タッチスクリーン技術の実施例を図示する。
図１３Ｃおよび１３Ｄは、トーテムの例示的タッチパッドの付加的断面図を図示する。 図１３Ｃおよび１３Ｄは、トーテムの例示的タッチパッドの付加的断面図を図示する。
図１３Ｅは、例示的タッチパッドの底面図を図示する。
図１４Ａは、トーテムの例示的タッチパッドの上面図を図示する。
図１４Ｂは、タッチパッドと関連付けられたＬＥＤの例示的レイアウトの概観を図示する。
図１５は、例示的ＬＥＤレイアウトまたはＬＥＤレイアウトからの光のパターンを図示する。
図１６Ａおよび１６Ｂは、トーテムの光放出の例示的場所または移動パターンを図示する。 図１６Ａおよび１６Ｂは、トーテムの光放出の例示的場所または移動パターンを図示する。
図１７Ａは、トーテムの例示的コンポーネントを図示する、ブロック図である。
図１７Ｂは、別の例示的トーテムのコンポーネントを図示する、側面断面図である。
図１８Ａ−１８Ｄは、トーテムの後光からの光放出に関する場所または移動パターンを構成するための例示的プログラミングインターフェースを図示する。 図１８Ａ−１８Ｄは、トーテムの後光からの光放出に関する場所または移動パターンを構成するための例示的プログラミングインターフェースを図示する。 図１８Ａ−１８Ｄは、トーテムの後光からの光放出に関する場所または移動パターンを構成するための例示的プログラミングインターフェースを図示する。 図１８Ａ−１８Ｄは、トーテムの後光からの光放出に関する場所または移動パターンを構成するための例示的プログラミングインターフェースを図示する。
図１９Ａ−１９Ｃは、トーテムからの光放出の後光を使用したトーテム較正の実施例を図示する。 図１９Ａ−１９Ｃは、トーテムからの光放出の後光を使用したトーテム較正の実施例を図示する。 図１９Ａ−１９Ｃは、トーテムからの光放出の後光を使用したトーテム較正の実施例を図示する。
図１９Ｄおよび１９Ｅは、後光と関連付けられた光パターンを使用したトーテム較正の実施例を図示する。 図１９Ｄおよび１９Ｅは、後光と関連付けられた光パターンを使用したトーテム較正の実施例を図示する。
図２０Ａおよび２０Ｂは、複合現実デバイスと後光を伴うトーテムとの間の無線ペアリングプロセスを示す、実施例を図示する。 図２０Ａおよび２０Ｂは、複合現実デバイスと後光を伴うトーテムとの間の無線ペアリングプロセスを示す、実施例を図示する。
図２０Ｃは、後光とのデバイスペアリングの例示的プロセスを図示する。
図２０Ｄは、後光とのデバイスペアリングの別の例示的プロセスを図示する。
図２１Ａは、トーテムのステータスを示す、実施例を図示する。
図２１Ｂは、電力オンおよびオフプロセスの間の光場所または移動パターンの実施例を図示する。
図２１Ｃは、バッテリ充電ステータスを示す、光場所または移動パターンの実施例を図示する。図２１Ｄは、トーテムがスリープモードに入ったときの例示的光パターンを図示する。
図２１Ｅは、光場所または移動パターンに基づいてトーテムのステータスを示す、例示的プロセスを図示する。
図２２Ａおよび２２Ｂは、ユーザ相互作用のためのキューとして使用される、例示的光場所または移動パターンを図示する。 図２２Ａおよび２２Ｂは、ユーザ相互作用のためのキューとして使用される、例示的光場所または移動パターンを図示する。
図２２Ｃは、光パターンを使用して、利用可能なユーザインターフェース動作のインジケーションを提供する、別の実施例を図示する。
図２３は、アラートとして光パターンを使用して、正しくないまたは不適切なユーザ相互作用を示す、実施例を図示する。
図２４Ａは、スワイプジェスチャのための例示的光パターンを図示する。
図２４Ｂは、タッチジェスチャのための例示的光パターンを図示する。
図２４Ｃは、トーテム上のユーザ相互作用のためのキューを提供する、例示的プロセスを図示する。
図２５Ａは、光導波路の例示的相互作用使用を図示する。
図２５Ｂは、２つの相互作用可能領域を伴うトーテムの例示的相互作用使用を図示する。
図２５Ｃは、トーテムと相互作用するための例示的プロセスを図示する。
図２６Ａおよび２６Ｂは、トーテムを使用して物理的オブジェクトと相互作用する、実施例を図示する。 図２６Ａおよび２６Ｂは、トーテムを使用して物理的オブジェクトと相互作用する、実施例を図示する。
図２７は、６自由度（６ＤＯＦ）トーテムを用いて仮想オブジェクトを移動させる、実施例を図示する。
図２８Ａおよび２８Ｂは、光パターンの場所および移動を介してオブジェクトの情報を提供する、実施例を図示する。 図２８Ａおよび２８Ｂは、光パターンの場所および移動を介してオブジェクトの情報を提供する、実施例を図示する。
図２８Ｃは、光パターンを使用してオブジェクトと関連付けられた情報を提供するための例示的プロセスを図示する。
図２９Ａは、通知の受信を示す、例示的光場所または移動パターンを図示する。
図２９Ｂは、トーテム上の光パターンを使用して通知を提供するための例示的プロセスを図示する。
図３０は、ユーザの環境内の人物にユーザの現在の相互作用を知らせるために使用され得る、例示的光パターンを図示する。
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図していない。
発光ユーザ入力デバイスの概要
タッチセンサ式ユーザ入力デバイスは、スワイプ、タップ、クリック、押下等のユーザ入力をサポートすることができる。例えば、ユーザが、タッチパッドを使用して、ウェブサイトをブラウズするとき、ユーザは、１つの指（例えば、親指）を使用して、左右にスワイプさせ、ウェブページを左右に移動させる、または上下にタップし、ウェブページを上下に移動させることができる。例えば、コンテンツを所望の場所にスナップする、コンテンツをスクロールまたはリサイズする等、より多くのユーザインターフェース機能性を達成するために、タッチセンサ式ユーザ入力デバイスは、多くの場合、複数の指を要求する。例えば、ユーザは、２つの指を使用して、ウェブページを拡大し、１つの指を使用して、ウェブページ内を移動させ得る。しかしながら、タッチパッドが、ウェアラブルデバイス（ＡＲ／ＶＲ／ＭＲウェアラブルディスプレイを含み得る）のためのハンドヘルドユーザ入力デバイスの一部であるとき、ユーザは、それほど多くの指がタッチパッドと相互作用するために利用可能ではない場合がある。例えば、ユーザは、親指を使用して、タッチパッドと相互作用しながら、他の指を使用して、トーテムを保持し得る。その結果、従来のハンドヘルドデバイスのタッチパッドによって達成され得る、ユーザインターフェース機能性のタイプは、有意に減少し得る。
本問題を改善するために、本明細書に説明されるトーテムの実施形態のタッチパッドは、複数の相互作用可能領域に分割されることができ、各領域は、１つ以上のタイプのユーザインターフェース相互作用にマッピングされてもよい。例えば、タッチパッドは、タッチパッドの中心の近傍にある、タッチ表面と、タッチ表面を少なくとも部分的に囲繞する、外側領域とを含んでもよい。外側領域は、ユーザがトーテムと相互作用することを補助する、光パターン（例えば、光の場所、照明、色、および／または移動）を出力するように構成される、光導波路を含んでもよい。光導波路によって出力された光パターンは、光パターンがトーテムの中心タッチセンサ式部分を囲繞するように現れ得るため、時として、本明細書では、「後光」と称され得る。光導波路は、ユーザが、光導波路と相互作用し、光導波路領域を介して、タッチセンサ式入力をトーテムに提供し得るように、タッチセンサの上部にあってもよい。ユーザが、タッチ表面を作動させると、トーテムは、カーソルアクション（例えば、ブラウザ上で前後に移動させる等）をシミュレートし得る。しかしながら、ユーザが、他のタイプユーザインターフェース動作（例えば、ウェブページをスクロールする等）を実施することを所望する場合、ユーザは、光導波路を作動させてもよい。いくつかの実施例では、光導波路は、タッチセンサ式ではなくてもよい。ユーザは、光導波路の近傍の領域（例えば、光導波路によって囲繞され得る、タッチパッド上の領域）を作動させ、トーテムを作動させることができる。
別の実施例として、タッチ表面は、２つの相互作用可能領域に分割されることができ、１つの領域は、ユーザのタッチアクション（例えば、多自由度（ＤＯＦ）指向性Ｄパッドの機能をシミュレートする等）をサポートする一方、別の領域は、ユーザのスワイプアクションをサポートする。２つの相互作用可能領域を伴うタッチ表面は、１つの内側リング（第１の相互作用可能領域として）と、１つの外側リング（第２の相互作用可能領域として）とを伴う、同心リングを含んでもよい。本実施例では、タッチ表面を囲繞する光導波路は、相互作用可能である場合とそうではない場合があるが、ユーザの相互作用に関連する、またはウェアラブルシステムに関連する、視覚的フィードバックを提供することができる。本明細書にさらに説明されるであろうように、相互作用可能領域によってサポートされるユーザ相互作用のタイプは、仮想環境内のイベントまたはユーザが相互作用するオブジェクトに基づいて、動的に変化されてもよい。例えば、外側領域は、ユーザがウェブをブラウズしているとき、Ｄパッドとして使用されてもよい一方、同一領域は、ユーザが仮想ゲームをプレーしているとき、スワイプ相互作用（例えば、巡回スワイプ）をサポートしてもよい。
いくつかの実施形態では、トーテムの光導波路は、ユーザ相互作用のためのキューを提供することができる。例えば、後光が、ユーザに利用可能なユーザ相互作用のタイプおよび場所を知らせる、または現在のユーザ相互作用を示すために使用されることができる。実施例として、光導波路の下の発光ダイオード（ＬＥＤ）は、照光し、ユーザに、ＬＥＤが照光し、ウェアラブルディスプレイ上の仮想要素を選択する、タッチ表面の一部をユーザがタッチまたはタップすることができることを示し得る。ＬＥＤはまた、触覚的フィードバック（例えば、トーテム内の触覚アクチュエータによって提供される）またはオーディオフィードバック（例えば、ウェアラブルデバイスのスピーカによって提供される）と併せて使用され、ユーザ相互作用のインジケーションを提供する、またはユーザ相互作用を誘導してもよい。
トーテムが、ウェアラブルデバイスと併用されるとき、ユーザインターフェース体験は、ユーザを囲繞する３Ｄ環境に拡張されることができる。しかしながら、ウェアラブルディスプレイを通して知覚されるユーザの視野（ＦＯＶ）は、ヒトの眼の自然ＦＯＶより小さい、またはユーザを囲繞する環境全体より小さくあり得る。したがって、最初は、拡張現実ディスプレイのＦＯＶ外であるが、続いて、ウェアラブルディスプレイのＦＯＶの中に移動し得る（例えば、ユーザに対して移動し得る、オブジェクト）、または、続いて、ユーザの身体、頭部、または眼姿勢が変化する場合（ユーザのＦＯＶを変化させるであろう）、知覚可能となり得る、ユーザの環境内の物理的または仮想オブジェクトが、存在し得る。例えば、ゲームのコンテキストでは、ユーザは、ロボットのアバタを見出そうとし得る。ロボットが、ユーザの現在のＦＯＶのすぐ外にある場合、ユーザは、ウェアラブルディスプレイから、ロボットが近傍に存在することのキューを受信し得ない。ユーザが、その頭部を若干移動させる場合、ロボットは、突然、ユーザのＦＯＶに進入し得、これは、ユーザを驚かせ得る。さらに、ウェアラブルディスプレイを通したユーザのＦＯＶが、比較的に小さい場合、ユーザが、その頭部を方向転換させる、またはロボットを直視しない限り、ユーザにとって、ロボットを見出すことは困難であり得る。
ユーザインターフェース体験を改良するために、トーテムが、ユーザのＦＯＶ外のオブジェクトについての情報を提供してもよい。例えば、トーテムは、タッチパッドの外側領域上に、ユーザの現在のＦＯＶ外の対応するオブジェクトに関する視覚的後光（例えば、光導波路を介して放出される）を提供することができる。後光の光場所または移動パターンは、オブジェクトと関連付けられた情報を示すために使用されることができ、例えば、より明るいまたはより大きい後光は、オブジェクトがＦＯＶのより近くにあることを示し得る一方、より暗いまたはより小さい後光は、オブジェクトがＦＯＶからより遠いことを示し得る。同様に、後光の色が、オブジェクトのタイプを示すために使用されてもよい。例えば、競争者アバタ（仮想ゲームにおいて）は、赤色後光と関連付けられてもよい一方、仲間のアバタ（仮想ゲームにおいて）は、緑色後光と関連付けられてもよい。別の実施例として、点滅虹色後光は、システム通知または警告を示してもよい。後光の光パターンは、ユーザの環境内のオブジェクトが変化するにつれて、またはユーザが姿勢を変化させるにつれて、変化してもよい。
加えて、または代替として、後光の光パターンは、プロセスの進行度を示すために使用されてもよい。例えば、トーテムが充電中の間、トーテムは、バッテリの充電のパーセンテージに対応する、後光を表示してもよい。例えば、バッテリが、２５％のみ充電されるとき、トーテムは、後光の１／４（例えば、９０度弧）を表示してもよい。バッテリが、１００％まで充電されると、トーテムは、後光全体を表示してもよい。後光の光場所または移動パターンはまた、ユーザの相互作用のインジケーションをユーザの環境内の人物に提供してもよい。例えば、ユーザが、拡張現実デバイスを使用して、ビデオを記録しているとき、ＬＥＤ後光は、近傍の他者がユーザの記録セッションを偶発的に中断または干渉することがないであろうように、赤色に明滅し、近傍の他者に、ディスプレイが記録モードであることを知らせてもよい。
本明細書に説明されるトーテムの実施形態は、プログラム可能であってもよい。例えば、光パターンの場所または移動は、種々の実施形態では、アプリケーション開発者によって、またはユーザによって、カスタマイズされてもよい。後光は、ユーザが相互作用するアプリケーションのタイプに基づいて、カスタマイズされてもよい（例えば、アプリケーションプログラミングインターフェース（ＡＰＩ）を介して）。実施例として、タッチパッドの光導波路は、ユーザがブラウザを使用しているとき、４方向Ｄパッド（上、下、左、および右ユーザインターフェース動作に対応する）にマッピングされてもよい。別の実施例として、タッチ表面の外側領域は、ユーザがレースゲームをプレーしているとき、３方向Ｄパッドにマッピングされてもよく、３方向Ｄパッドは、左方向転換、右方向転換、および制動に対応してもよい。ユーザはまた、後光の光場所または移動パターンをカスタマイズしてもよい。例えば、ユーザは、後光をオフにする、または電子メール通知の受信と関連付けられた後光の色を変化させることができる。ユーザは、ウェアラブルディスプレイを使用して、またはトーテムを作動させることによって、後光と関連付けられた光パターンをカスタマイズすることができる。トーテム、後光、およびトーテムおよびウェアラブルデバイスを使用したユーザインターフェース相互作用の詳細な実施例は、下記に説明される。
例示的トーテムは、ウェアラブルシステム（または任意のタイプのＡＲ、ＭＲ、またはＶＲデバイス）と併用されるように説明されるが、本明細書に説明される例示的トーテムおよび技法はまた、他のシステムと併用されることができる。例えば、トーテムは、プロジェクタまたはディスプレイ（例えば、テレビまたはコンピュータディスプレイ）、ゲーム用システム、オーディオシステム、モノのインターネット（ＩｏＴ）の接続可能デバイス、または別のコンピューティングデバイスと相互作用するために使用されてもよい。
ウェアラブルシステムの３Ｄディスプレイの実施例
ウェアラブルシステム（本明細書では、拡張現実（ＡＲ）システムとも称される）は、２Ｄまたは３Ｄ仮想画像をユーザに提示するために構成されることができる。画像は、組み合わせまたは同等物における、静止画像、ビデオのフレーム、またはビデオであってもよい。ウェアラブルシステムは、ユーザ相互作用のために、単独で、または組み合わせて、ＶＲ、ＡＲ、またはＭＲ環境を提示し得る、ウェアラブルデバイスを備えてもよい。ウェアラブルデバイスは、例えば、頭部搭載型ディスプレイ（ＨＭＤ）等のウェアラブルディスプレイデバイスを含むことができる。ウェアラブルデバイスはまた、ウェアラブルデバイスのためのデータ処理の一部を取り扱う中央処理ユニット、バッテリ等を備え得る、ベルトパックを含むことができる。いくつかの状況では、ウェアラブルデバイスは、拡張現実デバイス（ＡＲＤ）と同義的に使用されることができる。
図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。
３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって決定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定な結像、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。
ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。
図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含むことができる。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ウェアラブルシステム（ディスプレイ２２０等）の一部は、ユーザの頭部上に装着されてもよい。
図２では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。ウェアラブルシステム２００はまた、ユーザの周囲の環境内の世界を観察する、外向きに面した結像システム４６４（図４に示される）を含むことができる。ウェアラブルシステム１００はまた、ユーザの眼移動を追跡し得る、内向きに面した結像システム４６２（図４に示される）を含むことができる。内向きに面した結像システムは、一方の眼の移動または両方の眼の移動のいずれかを追跡してもよい。内向きに面した結像システムは、フレーム２３０に取り付けられてもよく、内向きに面した結像システムによって入手された画像情報を処理し、例えば、ユーザ２１０の眼の瞳孔直径および／または配向、眼の移動、または眼姿勢を決定し得る、処理モジュール２６０および／または２７０と電気通信してもよい。
実施例として、ウェアラブルシステム２００は、外向きに面した結像システム４６４および／または内向きに面した結像システム４６２を使用して、ユーザの姿勢の画像を入手することができる。姿勢は、ユーザの運動を決定する、またはユーザの画像を合成するために使用されてもよい。外向きに面した結像システム４６４および／または内向きに面した結像システム４６２によって入手された画像は、テレプレゼンスセッションにおいて、第２のユーザに通信され、第２のユーザ環境内でユーザの存在の有形感覚を作成してもよい。
ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において）等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合されることができる（２５０）。
ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面した結像システムおよび／または外向きに面した結像システム内のカメラ）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、および／またはジャイロスコープ等のセンサ（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）から捕捉される、および／またはｂ）場合によっては処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０を使用して入手および／または処理される、データを含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク２６２および／または２６４によって遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。ローカル処理およびデータモジュール２６０、遠隔処理モジュール２７０、および遠隔データリポジトリ２８０はそれぞれ、ネットワークインターフェースを含み、通信リンク２６２、２６４を経由して、通信を提供してもよい。
いくつかの実施形態では、遠隔処理モジュール２７０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて実施され、遠隔モジュールからの完全に自律的な使用を可能にする。
ヒト視覚系は、複雑であって、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動運動（ｖｅｒｇｅｎｃｅ）と遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動運動（すなわち、瞳孔が、相互に向かって、またはそこから離れるように移動し、眼の視線を収束させ、オブジェクトを固視するような瞳孔の回転）は、眼の水晶体の合焦（または「遠近調節」）と緊密に関連付けられる。通常条件下、焦点を１つのオブジェクトから異なる距離における別のオブジェクトに変化させるための眼のレンズの焦点の変化または眼の遠近調節は、「遠近調節−輻輳・開散運動運動反射」として知られる関係下、輻輳・開散運動運動の整合変化を自動的に同一距離に生じさせるであろう。同様に、輻輳・開散運動運動の変化は、通常条件下、遠近調節の整合変化を誘起するであろう。遠近調節と輻輳・開散運動運動との間のより良好な整合を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ−軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ−軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有する、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ−軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態における眼と合焦するように、物理的空間内で湾曲され得ることを理解されたい。理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。
導波管スタックアセンブリ
図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、そのウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。
図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層および／または構造）。
導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂおよび／または複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。
いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、それぞれの対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して、画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。
コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０および／または２７０（図２に図示される）の一部であってもよい。
導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所において出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射および／または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部および／または底部主要表面に配置されてもよく、および／または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料部品であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料部品の表面上および／または内部に形成されてもよい。
図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の上方の導波管４３４ｂから生じる光を光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の上方の導波管４３６ｂから生じる光が次の上方の導波管４３４ｂからの光であった光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に構成され、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、具体的角度において光を出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明される。
いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴または「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差点を用いて眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられることができる（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折させる）。
いくつかの実施形態では、深度平面または被写界深度の数および／または分布は、視認者の眼の瞳孔サイズおよび／または配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。
いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の決定に基づいて、または特定の瞳孔サイズおよび／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。
いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの決定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。
ウェアラブルシステム４００は、世界４７０の一部を結像する、外向きに面した結像システム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、視野（ＦＯＶ）と称され得、結像システム４６４は、時として、ＦＯＶカメラとも称される。視認者による視認または結像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。ウェアラブルシステム４００のいくつかの実装では、ＦＯＲは、ユーザが、その頭部または眼を移動させ、ユーザの周囲（ユーザの正面、背後、上方、下方、または側面）のオブジェクトを見ることができるため、ディスプレイシステム４００のユーザの周囲の立体角の実質的に全てを含んでもよい。外向きに面した結像システム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。
ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面した結像システム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面した結像システム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を決定するために使用されてもよい。内向きに面した結像システム４６６は、ユーザが見ている方向（例えば、眼姿勢）を決定する際に使用するため、またはユーザのバイオメトリック識別（例えば、虹彩識別を介して）のため、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズおよび／または眼姿勢を別個に決定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。いくつかの他の実施形態では、片眼４１０のみの瞳孔直径および／または配向（例えば、対の眼あたり単一カメラのみを使用して）が、決定され、ユーザの両眼に関して類似すると仮定される。内向きに面した結像システム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢および／または気分を決定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ（例えば、加速度計、ジャイロスコープ等）、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を決定してもよい。
ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触覚デバイス、トーテム、スマートフォン、スマートウォッチ、タブレット等、それらの組み合わせ、または同等物を含むことができる。多ＤＯＦコントローラは、コントローラの一部または全部の可能性として考えられる平行移動（例えば、左／右、前／後、または上／下）または回転（例えば、ヨー、ピッチ、またはロール）におけるユーザ入力を感知することができる。ユーザは、例えば、マウスをクリックする、タッチパッドをタップする、タッチスクリーンをスワイプする、容量ボタンにかざすまたはそれをタッチする、キーボードまたはゲームコントローラ（例えば、５方向Ｄパッド）上のキーを押下する、ジョイスティック、ワンド、またはトーテムをオブジェクトに向かって向ける、遠隔制御上のボタンを押下する、またはユーザ入力デバイスとの他の相互作用によって、ユーザ入力デバイス４６６またはその環境内のオブジェクト（例えば、仮想または物理的オブジェクト）と相互作用することができる。ユーザ入力デバイス４６６の作動は、ウェアラブルシステムに、例えば、オブジェクトと関連付けられた仮想ユーザインターフェースメニューを表示する、ゲーム内のユーザのアバタを動画化する等のユーザインターフェース動作を実施させ得る。本明細書に説明されるように、ユーザ入力デバイス４６６は、光を放出するように構成されてもよい。光パターンは、ユーザの環境内のオブジェクトと関連付けられた情報、ユーザ入力デバイス４６６またはウェアラブルデバイスとのユーザの相互作用等を表してもよい。
ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下またはスワイプし、入力をウェアラブルシステム４００に提供（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供）してもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線通信することができる。ユーザ入力デバイス４６６は、本明細書に説明されるトーテムの実施形態を備えてもよい。トーテムは、タッチ表面を含むことができ、これは、ユーザが、軌道に沿ってスワイプする、またはタップすること等によって、トーテムを作動させることを可能にすることができる。
図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が図示されるが、導波管アセンブリ４８０内の他の導波管も同様に機能し得、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビーム形成）。略平行出射ビームは、眼４１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、光抽出光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう。
図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、または明視野の生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、または明視野を生成するために使用されることができる。光学システムは、１つ以上の一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つ以上のＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ−軸）に沿って中継し、第１の軸（例えば、Ｙ−軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂおよび／またはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂおよび／またはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。
中継され、射出瞳が拡張された光は、分散導波管装置から１つ以上の一次平面導波管６３２ｂの中に光学的に結合される。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ−軸）に沿って、光を中継する。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ−軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ−軸に沿って中継および拡張させ、光を水平またはＸ−軸に沿って中継および拡張させる、一次平面導波管６３２ｂにその光を通過させることができる。
光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つ以上の着色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管８を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置する。
例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を独立して２つの軸において屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管８をファイバカンチレバー６４４の第１の機械的共鳴モードの近傍で振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。
２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２−Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。
光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートする。コリメートされた光は、鏡面表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射される。コリメートされた光は、全内部反射（ＴＩＲ）によって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差する。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させる。
ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張される。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入する。
一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬する。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。
伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）し、かつビームを設計される焦点レベルに合致する角度に操向することの両方を行う。
故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴う明視野ディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像明視野を生成するために採用されてもよい。
ウェアラブルシステムの他のコンポーネント
多くの実装では、ウェアラブルシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つ以上の触覚デバイスまたはコンポーネントを含んでもよい。触覚デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触覚デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの触覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触覚デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触覚デバイスまたはコンポーネントは、ユーザによって保持されてもよい。
ウェアラブルシステムは、例えば、１つ以上の物理的オブジェクトを含んでもよく、これは、ユーザによって操作可能であって、ウェアラブルシステムへの入力またはそれとの相互作用を可能にする。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ウェアラブルシステムは、ユーザにトーテムの１つ以上の表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ウェアラブルシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ウェアラブルシステムは、仮想キーボードおよび／または仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカスイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。
本開示のウェアラブルデバイス、ＨＭＤ、ＡＲＤ、およびディスプレイシステムと併用可能な触覚デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
例示的ウェアラブルシステム、環境、およびインターフェース
ウェアラブルシステムは、高被写界深度をレンダリングされた明視野内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。
図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス４６６からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を種々のユーザシステム７２０ａ、７２０ｂから受信するように構成されてもよい。ユーザシステム７２０ａ、７２０ｂは、１つ以上のユーザウェアラブルシステム（例えば、ウェアラブルシステム２００および／またはディスプレイシステム２２０）および／または定常室内システム（例えば、室内カメラ等）を備えることができる。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面した結像システム、外向きに面した結像システム等）を使用して、ユーザの環境の場所および種々の他の属性を決定することができる。本情報はさらに、異なる視点からの画像および／または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラまたは外向きに面した結像システムのカメラ等）によって入手された画像データは、マッピング点のセットに低減されてもよい。
１つ以上のオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識および／またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。
本情報およびマップデータベース内の点集合に基づいて、オブジェクト認識装置７０８ａ−７０８ｎは、環境内のオブジェクトを認識してもよい。例えば、オブジェクト認識装置は、顔、人物、窓、壁、ユーザ入力デバイス、テレビ、ユーザの環境内の他のオブジェクト等を認識することができる。１つ以上のオブジェクト認識装置が、ある特性を伴うオブジェクトのために特殊化されてもよい。例えば、オブジェクト認識装置７０８ａは、顔を認識するために使用されてもよい一方、別のオブジェクト認識装置は、トーテムを認識するために使用されてもよい。
オブジェクト認識は、種々のコンピュータビジョン技法を使用して実施されてもよい。例えば、ウェアラブルシステムは、外向きに面した結像システム４６４（図４に示される）によって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を実施することができる。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、２進数ロバスト不変スケーラブルキーポイント（ＢＲＩＳＫ）、高速網膜キーポイント（ＦＲＥＡＫ）、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ−Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ−ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム等を含む（（例えば、サポートベクトルマシン、ｋ−最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
オブジェクト認識は、加えて、または代替として、種々の機械学習アルゴリズムによって実施されることができる。いったん訓練されると、機械学習アルゴリズムは、ＨＭＤによって記憶されることができる。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ−平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅまたは深層ニューラルネットワーク等）、次元低減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ Ｇｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、基本モデルを生成または記憶することができる。基本モデルは、開始点として使用され、データタイプ（例えば、テレプレゼンスセッション内の特定のユーザ）、データセット（例えば、テレプレゼンスセッション内のユーザの取得される付加的画像のセット）、条件付き状況、または他の変数に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ウェアラブルＨＭＤは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値の使用を含んでもよい。
ウェアラブルシステムはまた、認識されたオブジェクトを意味論情報で補完し、生命をオブジェクトに与えることができる。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットがトーテムであることを認識する場合、ウェアラブルシステムは、トーテムがウェアラブルシステムとペアリングされ得る（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介して）ことの意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つ以上のウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで起こっている場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人以上のユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、位置特定目的のために、トポロジマップを使用してもよい。
図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がＭＲシステム（例えば、ウェアラブルシステム）のユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに居住する友人と散歩に行くことを所望し得る。
ブロック８１０では、ウェアラブルシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、疎点を決定してもよい。疎点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、および／または手のジェスチャ）を決定する際に使用されてもよい。オブジェクト認識装置７０８ａ、７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つ以上のオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。
図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、マップを備え、これは、世界に関するマップデータを含んでもよい。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を決定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定デバイス等）からのデータ、および表面情報を備えてもよい。
疎点表現は、同時位置特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ−ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が構成される内容も見出すように構成されることができる。姿勢は、マップへの取込およびマップからのデータの使用を含む、多くの目標を達成する、構築ブロックであり得る。
一実施形態では、疎点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して、深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点群に対して）かつ要約しやすい入力である。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マップ取込プロセス９２０への入力となる。サブ表面が、トポグラフィマッピング等において、相互に接続し、より大きい表面を形成し得、マップは、点および表面の大規模ハイブリッドとなる。
複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータが、入力され、システムのユーザが、種々の場所で１匹以上のモンスターとモンスターバトルゲームをプレーしていること、モンスターが種々の条件下で（ユーザがモンスターを撃つ場合等）死亡または逃散すること、種々の場所における壁または他のオブジェクト、および同等物を決定し得る。世界マップは、複合現実への別の有用な入力となる、そのようなオブジェクトが相互に相対的である場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる相互作用システムに対して重要な役割を果たす。
ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、行うことを所望する対象に関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム、別のユーザ入力デバイス、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、生じている状況を決定することを補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい）。
手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通して捲る、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的である場合とそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。
眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動運動が、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。
カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の側面に配列される、相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、立体視結像プロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクト追跡を捕捉するようにユーザの正面に配向される、異なる対のカメラとを含むことができる。３つの対のカメラ内のカメラは、外向きに面した結像システム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される、眼追跡カメラ（図４に示される内向きに面した結像システム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つ以上のテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。
図１０は、ウェアラブルシステムへのユーザ入力を決定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、１つのトーテムをソーシャルメディアアプリケーション用、別のトーテムをゲームをプレーするため用等と指定していてもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、ユーザのＦＯＶカメラを通して認識されてもよい、またはセンサ（例えば、触覚グローブ、画像センサ、手追跡デバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。
少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、マップ点のセットであってもよく、それに基づいて、ウェアラブルシステムは、トーテム（またはユーザ）の移動をアクションまたはコマンドに変換する。ブロック１０３０では、ユーザとトーテムの相互作用は、マッピングされる。基準フレーム１０２０に対するユーザの相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を決定する。
例えば、ユーザは、トーテムまたは物理的オブジェクトを往復して移動させ、仮想ページを捲り、次のページに進む、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動させることを示してもよい。別の実施例として、ユーザは、その頭部または眼を移動させ、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見てもよい。特定の実または仮想オブジェクトにおけるユーザの注視が、閾値時間より長い場合、実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動運動が、追跡されることができ、遠近調節／輻輳・開散運動運動モデルが、ユーザの眼の遠近調節状態を決定するために使用されることができ、これは、ユーザが合焦している深度平面に関する情報を提供する。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿った実または仮想オブジェクトを決定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横方向幅を伴わない細い光束を投光するステップまたは実質的横方向幅（例えば、円錐または錐台）を伴う光線を投光するステップを含むことができる。
ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、１つ以上のプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは地球儀等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムまたはシステムの一部の外部に１つ以上のカメラを使用して（例えば、内向きに面した結像システム４６２または外向きに面した結像システム４６４等を使用して）追跡されてもよい。
図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって実施されてもよい。
ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって事前に決定されてもよい。ウェアラブルシステムは、ユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて、特定のＵＩが取り込まれる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を決定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的体勢、頭部姿勢、または眼姿勢の座標を決定してもよい。ＵＩが、手中心である場合、ユーザの手のマップ座標が、決定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して、導出されてもよい。
ブロック１１３０では、ウェアラブルシステムは、データをディスプレイにクラウドから送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、明視野ディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが、作成されると、ウェアラブルシステムは、ブロック１１５０において、単に、さらなる仮想コンテンツを仮想ＵＩ上に生成するユーザからのコマンドを待機してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、それが認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。
ウェアラブルシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明される。
例示的トーテムの概要
図４および７−１０を参照して説明されるように、ユーザは、ユーザ入力デバイス４６６（例えば、トーテム等）を使用して、種々のユーザインターフェース動作をディスプレイ（例えば、ディスプレイ２２０）上で実施することができる。図１２Ａは、トーテム１２００の例示的実施形態を図示し、側面図１２１０および正面（ユーザに面した）１２５０を図示する。トーテム１２００は、単独で、または他のユーザ入力デバイスと組み合わせて、ユーザ入力デバイス４６６（図４に示される）であってもよい。トーテム１２００は、ハンドヘルドであるように定寸および成形されることができる。本明細書に開示される種々の実施形態のうちの１つ以上のものにおけるユーザ入力デバイス（例えば、トーテム等）のさらなる実施例は、２０１７年８月２２日に出願された米国特許出願第１５／６８３，６７７号に示され、かつ説明されており、装飾的外観は、２０１６年８月２２日に出願された米国意匠特許出願第２９／５７５，０３１号のトーテムコントローラと同一または類似する（前述の出願は両方とも、参照することによってその全体として本明細書に組み込まれる）。
図１２Ａに示されるトーテム１２００は、トリガ１２１２と、ホームボタン１２５６と、タッチパッド１２６０とを有する、本体１２１４を含むことができるが、より多いまたはより少ないボタン、トリガ、または特徴が、他の例示的トーテムでは含まれることができる。光導波路１２６４は、タッチパッド１２６０を実質的に囲繞することができる。図１２Ａおよび１２Ｂに示される実施例では、光導波路１２６４は、円形タッチパッド１２６０を実質的に囲繞する、略環状（例えば、円形リング）である。他の実施形態では、タッチパッド１２６０および光導波路１２６４は、異なるように成形されることができる。例えば、タッチパッド１２６０は、多角形形状（例えば、正方形、長方形、六角形等）または卵形であることができ、光導波路は、タッチパッドを実質的に囲繞する、形状（例えば、円形、卵形、多角形等）を有することができる。
トリガ、ホームボタン、およびタッチパッドは、ユーザ入力を受け取ることができる（例えば、それぞれ、引動、押下、またはタッチされることによって）。光導波路１２６４は、照明され、光パターンを表示することができる。いくつかの実施形態では、光導波路１２６４は、タッチセンサ式であって、ユーザ入力を受信することができる。トーテム１２００は、ユーザによって保持されていないとき、基部１２２０に除去可能に取り付けられることができる。基部１２２０は、（例えば、壁ソケットへの）電力接続を含んでもよく、トーテムが基部１２２０に取り付けられると、トーテム１２００を充電するために使用されることができる。
トリガの実施例
トリガ１２１２は、ユーザから外に向いたトーテム本体１２１４の上側部分上に位置することができる。トリガ１２１２は、タッチ表面１２３４と、ユーザ入力を受信し得る、タッチセンサ（図１２Ａには図示せず）とを含むことができる。タッチセンサは、タッチ表面１２３４上（またはその近傍の）ユーザの指およびタッチ表面１２３４上のユーザの指の移動を感知することができる。加えて、または代替として、トリガ１２１２は、ボタン１２３２を含むことができ、これを、ユーザが、押下することができる。ボタン１２３２は、圧力センサを含むことができ、これは、ユーザがボタン１２３２を押下するときを検出することができる。ボタン１２３２は、その静置位置から６〜８ｍｍ押下されてもよい。いくつかの実施形態では、トリガ１２１２は、例えば、選択、戻る、オプション等、複数のボタンを含むことができる。
トリガ１２１２は、例えば、Ａｌｐｓ力センサを使用して実装されてもよい。トリガ１２１２（またはボタン１２３２）はまた、アナログまたはデジタルボタンを使用して実装されることができる。トリガ１２１２は、マイクロプロセッサと関連付けられてもよい。マイクロプロセッサは、トリガ１２１２の種々の機能のために、２つの汎用入力／出力（ＧＰＩＯ）ピンを留保してもよい。
いくつかの実装では、トリガ１２１２は、触覚的フィードバックを提供するように構成されることができる。トリガ１２１２は、例えば、リニア共振アクチュエータ（ＬＲＡ）、偏心回転質量（ＥＲＭ）、ピエゾアクチュエータ等の触覚アクチュエータを含むことができる。例えば、トリガ１２１２は、Ｓ−タイプＬＲＡ（例えば、アナログボタン１２３２上のＳ−タイプＡｌｐｓ触覚等）を採用し、振動を生成することができる。
ユーザは、種々の手のジェスチャを使用して、トリガ１２１２を作動させることができる。例えば、ユーザは、タッチ、スワイプ、タップ、押下等によって、トリガ１２１２を作動させることができる。トリガ１２１２は、豊富なタッチ特徴を提供することができ、種々のユーザインターフェース相互作用が、トリガ１２１２を作動させるために使用される異なる手のジェスチャと関連付けられてもよい。例えば、ユーザは、トリガ１２１２を押下することによって、ＡＲインターフェースとＶＲインターフェースとの間で切り替えることができる。別の実施例として、ユーザは、トリガのタッチ表面１２３４をスワイプすることによって、仮想オブジェクトをユーザのＦＯＶ内外にスワイプすることができる。ユーザインターフェース相互作用はまた、作動の持続時間と関連付けられることができる。トーテム１２００は、押下の持続時間を記録し、押下の持続時間に基づいて、ユーザインターフェース動作を決定することができる。例えば、長持続時間（例えば、３〜５秒等）にわたるトリガ１２１２の押下は、ウェアラブルシステムに、プログラム（例えば、映画等）を終了させ得る一方、トリガの迅速押下は、ウェアラブルシステムに、ユーザの視線方向における仮想オブジェクトを選択させ得る。
トリガは、トーテムの他のコンポーネントまたはユーザの姿勢と併せて作動され、ユーザインターフェース動作を実施してもよい。例えば、ユーザは、トリガ１２１２を押下しながら、タッチパッド１２６０をスワイプし、仮想オブジェクトを移動させてもよい。別の実施例として、ユーザは、トリガ１２１２をその右親指で押下し、その腕を右に移動させ、仮想オブジェクトを右に移動させることができる。
トリガ１２１２はまた、１つ以上のユーザインターフェース動作が利用可能であることのインジケーションをユーザに提供するように構成されることができる。例えば、トリガ１２１２が、長持続時間にわたって押下されると、ウェアラブルシステムは、ユーザが、ゲームの設定を変更することを可能してもよい。現在設定を変更することができることをユーザに示すために、ウェアラブルシステムは、触覚的フィードバック（例えば、振動等）をトリガ１２１２（またはトーテムの本体）上に提供してもよい。ユーザインターフェース動作が利用可能であることのインジケーションを提供することに加え、またはその代替として、触覚的フィードバックはまた、ユーザに、あるジェスチャ（例えば、タップまたは押下等）を使用してトリガ１２１２を作動させたことを知らせるために使用されることができる。
他の実施形態では、トリガ１２１２の上記に説明される機能性の一部または全部は、トーテム１２００の他のボタンまたはタッチセンサ式表面によって実装されることができる。例えば、図１７Ｂを参照して下記に説明されるように、ボタン（バンパとも称される）は、トリガ１２１２（またはホームボタン１２５６）の機能性の一部または全部を実施することができる。
トーテム１２００の他の実施例は、図１７Ａおよび１７Ｂを参照して説明される。
タッチパッドの実施例
トーテムは、ユーザに向かって面したトーテム本体１２１４の上側正面部分上に位置する、タッチパッド１２６０を含むことができる。タッチパッド１２６０は、タッチ表面１２６２と、光導波路１２６４とを含むことができる。いくつかの実施例では、タッチパッド１２６０の構造および／または機能性は、米国特許出願第１５／６８３，６７７号（上記に述べられたように、参照することによってその全体として本明細書に組み込まれる）に説明されるものと実質的に同一または類似してもよい。図示される実施例では、光導波路１２６４は、タッチ表面１２６２を実質的に囲繞する。タッチパッド１２６０は、種々の相互作用可能領域を含むことができる。例えば、ユーザは、タッチ表面１２６２、光導波路１２６２を、単独で、または組み合わせて、作動させることができる。タッチ表面１２６２はさらに、複数の相互作用可能領域を含むことができ、各領域は、ユーザ入力（またはユーザインターフェース動作）のタイプにマッピングされる。
タッチ表面１２６２は、２７ｍｍ〜４０ｍｍの範囲内の直径を伴う、円形表面であってもよい。タッチ表面１２６２はまた、例えば、卵形、長方形、三角形、菱形、不規則的等の他の形状であってもよい。ある実装では、タッチパッド１２６０は、５０ｍｓ未満のトラフィック／パイロット（Ｔ２Ｐ）待ち時間を有してもよい。
タッチ表面１２６２は、光導波路１２６４によって実質的に囲繞されることができる。例えば、種々の実施形態では、光導波路１２６４は、９０度を上回る、１８０度を上回る、２７０度を上回る、または最大３６０度のタッチ表面の周囲の角度距離に対してもよい。光導波路１２６４は、照明され、種々の場所および移動の光パターンを伴う、後光を表示することができる。光導波路１２６４は、個々の離散光源からの照明が融合されるように、タッチパッドの光源１３３０（例えば、ＬＥＤ）によって生成された光を拡散させ、後光を表示することができる。光導波路１２６４は、リング形状に形成される、例えば、プラスチックまたはポリマー材料から形成される、拡散光学要素を備えることができ、これは、光源１３３０からの光をトーテム１２００の視認者に透過（および拡散）させることができる（例えば、図１３Ａ−１４Ａ参照）。光導波路は、透明または半透明であることができる。種々の実施形態では、光導波路１２６４は、拡散器シート、拡散器フィルム、エッチングされた導波管、粒子の層を備える透過性光学要素、不規則的表面、ホログラフ、白色表面、研磨ガラス、ポリテトラフルオロエチレン（ＰＴＦＥまたはＴｅｆｌｏｎ）、乳白ガラス、灰色ガラス、着色ゲル等を備えることができる。光学的に拡散性の材料から成る光導波路の実施形態は、有利には、光導波路が、離散した個々の光源（光導波路が実質的に透明である場合）として現れるのではなく、全体的に実質的に連続した光彩を有するように現れる（全ての光源が照明されるとき）ように、光源１３３０からの光を拡散および散布させ得る。
タッチパッドは、いくつかの赤色、緑色、青色（ＲＧＢ）ＬＥＤ（例えば、６〜２４のＲＧＢ ＬＥＤ等）を含むことができる。後光の光場所または移動パターンは、トーテムまたはウェアラブルシステムの他のコンポーネントとのユーザの相互作用、ウェアラブルシステムと関連付けられた進行度のステータス、ユーザの環境内のオブジェクト等の視覚的インジケーションを提供することができる。例えば、図１３ＣのＬＥＤ１３８３ａまたは図１３ＥのＬＥＤ１３９４ａを参照されたい。
光源は、（加えて、または代替として）電磁スペクトルの非可視部分、例えば、赤外線または紫外線内で照射する、エミッタを含むことができる。そのような実施形態では、ウェアラブルデバイス上のカメラは、対応する非可視スペクトルに敏感であってもよく、これらのエミッタによって表示される非可視光を結像することができる。故に、トーテム１２００およびウェアラブルデバイスは、そのような非可視スペクトルモダリティを介して、情報を交換することができる。例えば、トーテム１２００およびＨＭＤは、非可視スペクトルモダリティを使用して、デバイスペアリング情報を交換することができる。
タッチパッド１２６０は、力覚コンポーネントをタッチ表面１２６２および光導波路１２６４の一部下に含むことができる。力覚コンポーネントは、タッチ表面１２６２または光導波路１２６４を介して、触覚的フィードバックをユーザに提供するための触覚アクチュエータを含むことができる。触覚的フィードバックは、単独で、または視覚的後光と組み合わせて使用され、トーテムまたはユーザの環境内のオブジェクトとのユーザの相互作用のインジケーションを提供することができる。
力覚コンポーネントはまた、タッチパッドのユーザの作動を検出するためのタッチ検出器を含むことができる。力覚コンポーネントは、タフタイプＡｌｐｓ ＬＲＡを使用して実装されてもよい。力覚コンポーネントは、アナログ／デジタルコンバータ（ＡＤＣ）を伴う歪みゲージを含むことができる。
タッチパッド１２６０は、例えば、トラックポイント式ハイブリッド速度制御入力技法、ハイブリッド力および速度技法等のハイブリッド制御技法を採用することができる。タッチパッド１２６０は、ＡＤＣを使用して、そのような入力技法を有効にすることができる。ある実装では、タッチパッドの感度は、５ニュートン未満であってもよい。タッチパッド１２６０の付加的構造実施例は、図１３Ａおよび１４Ｅをさらに参照して説明される。
タッチパッド１２６０は、種々のユーザインターフェース体験のために、豊富なタッチ特徴を提供することができる。例えば、ユーザは、タッチパッド１２６０（単独で、またはトーテムまたはウェアラブルシステムの他のコンポーネントと併せて）を使用して、仮想オブジェクトを移動または配向することができる。タッチパッド１２６０はまた、仮想キーボードとして使用され、テキストを入力することができる。
トーテムの本体の実施例
トーテム１２００の本体１２１４は、懐中電灯（例えば、図１２Ａ参照）の形状であってもよく、本体は、より円錐台状の形状（ユーザの手の中に保持されることをより容易またはより快適にし得る）となるように、トーテムの上部に向かって外向きに角度付けられ得る、伸長シリンダを備える。本体１２１４は、ユーザの指のためのくぼみを含んでもよく、これは、トーテムを把持および保持することを補助し得る。図１２Ｂは、トーテム１２００の別の実施例を図示する、上面図１２７０である。本実施形態では、本体１２１４は、ユーザの掌内により適合する、または表面（例えば、テーブル）上に置かれるとき、より安定し得るように、卵円形形状である。いくつかの実施例では、トーテム１２００の本体１２１４の装飾的外観は、２０１６年８月２２日に出願された米国意匠特許出願第２９／５７５，０３１号（上記に述べられたように、参照することによってその全体として本明細書に組み込まれる）に示され、かつ説明される、トーテムコントローラのものと実質的に同一または類似してもよい。卵形、多角形等の断面を有する、伸長本体等、本体１２１４のための他の形状も、可能性として考えられる。本体１２１４の断面は、トーテム１２００がユーザの左手またはユーザの右手の中に容易に保持され得るように、実質的に対称であってもよい。
本体１２１４は、上側部分１２４２を含むことができ、これは、トリガ１２１２と、タッチパッド１２６０とを含むことができる。本体１２１４はまた、底部部分１２４４を含むことができる。底部部分１２４４は、トーテム１２００が基部１２２０に除去可能に取り付けられ得るように、インターフェースを含んでもよい。例えば、底部部分１２４４は、トーテム１２００が充電されるとき、接続インターフェース１２２２（例えば、ＵＳＢ−Ｃ接続等）を介して、基部１２２０に接続されてもよい。別の実施例として、底部部分１２４４は、基部１２２０を介して、別のコンピューティングデバイス（ホームコンピュータ等）に接続されてもよい。コンピュータに接続されると、ユーザは、適宜、コンピューティングデバイス上のプログラミングインターフェース（図１８Ａ−１８Ｄを参照して下記に説明される）を介して、後光の光場所または移動パターンを構成することができる（タッチパッド１２６０上で）。
タッチパッド１２６０は、トーテム１２００がユーザの手の中に保持されるとき、タッチ表面１２６４および光導波路１２６２がユーザによって容易に視認可能であるように、角度付けられることができる。水平に対するタッチパッド１２６０の角度は、約１０〜６０度の範囲内であることができる。本体１２１４は、そのような角度によって、より円錐台状形状をとることができるということになる。上記に説明されるように、本形状は、トーテム１２００をユーザがその手の中に保持するためにより容易またはより快適にし得る。いくつかの実施形態では、水平に対するタッチパッド１２６０の角度は、約１５〜３０度の範囲内であることができる。トリガ１２１２は、トーテム１２００がユーザの手の中に保持されるとき、ユーザの人差し指で容易に押下可能であるように、タッチパッド１２６０と反対に配置されることができる。
いくつかの実施形態では、底部部分１２４４は、照明式電力インジケータを含むことができる。照明式電力インジケータは、１つ以上のＲＧＢ ＬＥＤを含んでもよい。ＬＥＤ電力インジケータの光場所または移動パターンは、ＬＥＤトーテムに関する残りのバッテリまたはバッテリ充電ステータスに関連する情報を提供するために使用されてもよい。
本体１２１４は、触覚的フィードバックをユーザに提供するように構成されることができる。本体１２１４は、触覚的フィードバックを提供するための触覚アクチュエータ１７６０（図１７Ａ、１７Ｂに示される）を含むことができる。触覚アクチュエータ１７６０は、タフタイプＬＲＡまたはＥＲＭ触覚とともに実装されてもよい。本体１２１４と関連付けられたコンポーネントの詳細は、図１７Ａ、１７Ｂを参照して説明される。
ホームボタンの実施例
トーテム１２００は、ホームボタン１２５６を含むことができる。ホームボタン１２５６は、トーテム１２００の本体１２１４上に位置することができる。ユーザがホームボタン１２５６を作動させると、ウェアラブルシステムは、例えば、アプリケーションまたはディスプレイのメインメニューに戻る／それを開く、プログラムを終了する、アプリケーションを選択する等、種々のユーザインターフェース動作を実施してもよい。いくつかの実施形態では、ユーザがホームボタン１２５６を作動させると、ウェアラブルシステムは、スリープモードに入る、またはそこからウェイクアップする、ディスプレイ上の仮想コンテンツをオンまたはオフにする等してもよい。
ウェアラブルシステムは、ユーザがホームボタン１２５６を作動させる方法に基づいて、動作を実施してもよい。例えば、ユーザが長持続時間にわたってホームボタン１２５６を作動させる場合、ディスプレイは、オフにされてもよい。別の実施例として、ユーザがホームボタン１２５６を２回押下する場合、ディスプレイは、ディスプレイのメインページを提示してもよい一方、ユーザがホームボタンを１回押下する場合、ディスプレイは、ユーザが現在相互作用しているゲームアプリケーションのメインメニューを提示してもよい。他の機能性も、ホームボタン１２５６によって実装されることができ、例えば、ボタンの迅速タップは、アプリケーションランチャーユーザインターフェースを呼び出すことができ、アプリケーション内では、迅速タップは、アプリケーションのメニューを呼び出し得る、または長押下は、アプリケーションを一時停止し、アプリケーションランチャーユーザインターフェースを呼び出し得る。
ホームボタン１２５６は、ＲＧＢ ＬＥＤインジケータを含むことができ、これは、トーテムまたはウェアラブルディスプレイの現在のステータス（オン／オフにされているかどうか等）、トーテムのバッテリステータス、ウェアラブルディスプレイ、またはウェアラブルシステムの他のコンポーネントを示すために使用されることができる。
種々の実施形態では、トーテム１２００は、ホームボタン１２５６およびトリガ１２１２の両方を含む、またはこれらのユーザ入力要素のうちの１つのみ（または図１７Ｂを参照して説明されるバンパ１２６６等の付加的ボタン）を含む。トーテム１２００は、示されるものと異なるように構成または成形されることができる。例えば、ホームボタン１２５６は、トリガの一部として（本体１２１４の一部としてではなく）実装されてもよい。さらに別の実施例として、タッチパッド１２６０またはホームボタン１２５６は、トーテム１２００の充電の進行度に関する視覚的インジケーションを提供することができる。多くの変形例が、可能性として考えられ、付随の図は、例示的実施形態を図示し、本開示の範囲を限定するように意図されない。
基部の実施例
トーテムの本体１２１４を参照して説明されるように、トーテム１２００の本体１２１４は、基部１２２０に除去可能に取り付けられてもよい。基部とトーテムとの間のインターフェースは、充電を可能にする、トーテム内のデータにアクセスする、またはソフトウェア更新等を提供することができる。例えば、基部１２２０は、ユニバーサルシリアルバス（ＵＳＢ）プラグを含むことができ、これは、本体１２１４の底部部分１２４４上のＵＳＢポートに差し込まれることができる。基部１２２０はさらに、トーテムを充電するために、電源コードを使用して電気コンセントに接続されることができる。基部はまた、有線または無線通信チャネルを使用して、パーソナルコンピュータ、テレビ、プロジェクタ等の他のコンピューティングデバイスと接続することができる。
トーテムを作動させる実施例
トーテム１２００は、例えば、タッチ、スワイプ、スクロール、ダイヤル回転、クリック、押下、Ｄパッドエミュレーション等、種々の入力技法をサポートすることができる。いくつかの実施形態では、トーテム１２００は、慣性スワイプをサポートすることができる。例えば、ユーザがタッチパッド１２６０上の軌道に沿ってスワイプすると、仮想オブジェクトは、ユーザの指がスワイプを停止しても、軌道に沿って移動し続け得る。トーテム１２００はまた、例えば、タッチパッド１２６０または光導波路１２６４の水平または垂直縁上のスワイプ等、縁スワイプをサポートすることができる。
ユーザは、種々の手のジェスチャおよび身体姿勢を使用して、トーテム１２００を作動させることができる。例えば、ユーザは、タッチパッド１２６０またはトリガ１２１２をスワイプまたはタッチすることができる。いくつかの実施形態（例えば、実施形態１２１０および１２５０等）では、トーテム１２００は、６ＤOFのユーザの相互作用をサポートすることができる。例えば、ユーザは、トーテム１２００を回転させ、ゲームアバタを回転させることができる。図１７Ａ、１７Ｂを参照してさらに説明されるように、トーテム１２００は、環境センサ１７１０（ＩＭＵ等）を使用して、ユーザの移動を検出することができる。他の実施形態では（例えば、図１２Ｂに示されるトーテム１２００の実施例等）、トーテムは、３ＤＯＦ（６ＤＯＦではなく）をサポートすることができる。これらの実施形態では、トーテムは、ユーザの前後揺、左右揺、および上下揺移動を検出および変換することができるが、ピッチ、ヨー、およびロール移動を検出および変換することができない、またはその逆である。
実施例は、ハンドヘルドデバイスを参照して説明されるが、類似技法はまた、着座およびテーブルトップ制御のために設計されるユーザ入力デバイスに適用されてもよい。
タッチパッドの例示的構造
タッチパッドの断面図
図１３Ａは、トーテム１２００の例示的タッチパッド１２６０の断面図を図示する。例示的タッチパッド１２６０は、図１２Ａおよび１２Ｂを参照して説明されるトーテム１２００の一部であってもよい。タッチパッド１２６０は、３層、すなわち、上部層１３１２と、中央層１３１４と、底部層１３１６とを含むことができる。
底部層１３１６は、印刷回路基板（ＰＣＢ）１３４０を含むことができる。ＰＣＢ１３４０は、光源１３３０（例えば、ＬＥＤ）およびタッチセンサ１３５０等の中央層１３１４上の１つ以上のコンポーネントを機械的に支持し、それに電子的に接続することができる。ＰＣＢ１３４０はまた、アーマチュア１３２０を支持することができる。加えて、または代替として、ＰＣＢ１３４０は、例えば、触覚アクチュエータ（例えば、タッチパッド１２６０、トリガ１２１２、または本体１２１４のためのアクチュエータ等）、マイクロプロセッサ等、トーテムの他のコンポーネントに電子的に接続することができる。
タッチパッド１２６０の中央層１３１４は、タッチセンサ１３５０を含むことができる。タッチセンサ１３５０は、図１２Ａを参照して説明される力覚コンポーネントの実施例であってもよい。タッチセンサ１３５０は、種々のタッチスクリーン技術（例えば、抵抗または容量センサ技術等）を使用して、タッチパッド１２６０のユーザの作動を決定する、または触覚的フィードバックを提供することができる。タッチセンサ１３５０は、タッチ表面１２６２（および光導波路１２６４）に印加される異なるレベルの力を区別し得る、マルチタッチ技術を有効にするように構成されることができる。タッチセンサ１３５０は、３つの直交方向（例えば、ＸＹＺ）における感度を提供することができる。タッチセンサ１３５０によって採用され得る、例示的タッチスクリーン技術は、図１３Ｂに説明される。
図１３Ａでは、ＬＥＤ１３３０は、タッチセンサ１３５０とアーマチュア１３２０との間に位置付けられることができる。中央層１３１４は、６〜１２のＬＥＤを含むことができるが、他の数（例えば、３、１５、１８、２０等）のＬＥＤもまた、可能性として考えられ得る。ＬＥＤは、光導波路の円周の周囲に実質的に均一に位置付けられることができる（例えば、図１３Ｅおよび１４Ａにおける上面図参照）、またはいくつかのＬＥＤは、均一間隔ではなく、相互により近接して位置付けられてもよい。ＬＥＤ１３３０は、単独で、または組み合わせて、単色ＬＥＤ（例えば、青紫色ＬＥＤ等）、２色ＬＥＤ、ＲＧＢ ＬＥＤ（または他の多色ＬＥＤ）、白色ＬＥＤ、有機ＬＥＤ（ＯＬＥＤ）、量子ドットＬＥＤ、赤外線ＬＥＤ、紫外線ＬＥＤ等を備えてもよい。ＬＥＤ１３３０は、（例えば、ＰＣＢボード１３４０上の）マイクロプロセッサによって制御されてもよい。例えば、マイクロプロセッサを使用して、ＲＧＢ ＬＥＤの各色（赤色、緑色、および青色）を独立して調節することによって、広範囲の色（例えば、大色域）が、ＲＧＢ ＬＥＤによって生成され得る。ＬＥＤによって生成された光パターンは、トーテムまたはウェアラブルシステムとのユーザ相互作用と関連付けられ、かつユーザの環境内のオブジェクトと関連付けられることができる。いくつかの実施例では、光パターンは、後光の光場所または移動パターンとも称され得る。
アーマチュア１３２０は、上部層１３１２および中央層１３１４に跨架してもよい。アーマチュア１３２０は、中央層１３１４および上部層１３１２をともに保持することができる。アーマチュアの一部は、ＬＥＤ１３３０の上部部分に触れてもよい。
上部層は、アーマチュア１３２０の一部に加え、光導波路１２６４と、タッチ表面１２６２とを含むことができる。タッチ表面１２６２は、光導波路１２６４によって囲繞されてもよく、タッチセンサ１３５０の上部に着座してもよい。ユーザは、手のジェスチャを使用して、タッチ表面１２６２を作動させることができる。タッチ表面１２６２はまた、触覚的フィードバックをユーザに提供することができる。光導波路１２６４の一部は、タッチセンサ１３５０の上部にオーバーレイされてもよく、ユーザは、適宜、光導波路１２６４を作動させることができる。いくつかの実施形態では、光導波路は、タッチ可能ではない場合がある（例えば、タッチセンサ１３５０が光導波路１２６４の下にないため）。しかしながら、光導波路は、依然として、視覚的または触覚的フィードバックを提供し得る。
光導波路１２６４は、アーマチュア１３２０と上部層１３１２上のタッチ表面１２６２との間にあってもよい。光導波路１２６４は、第１の部分１３６２と、第２の部分１３６４とを含んでもよい。光導波路１２６４の第１の部分１３６２は、ＬＥＤ１３３０の上部にオーバーレイされてもよい。光導波路１２６４は、個々のＬＥＤパッケージより大きい光導波路１２６４の範囲にわたって光を散布させるように、ＬＥＤ１３３０によって生成された光を拡散させることができ、これは、より魅力的視覚的外観を提供し得る。光パターンは、ウェアラブルシステムまたはタッチパッド１２６０とのユーザの相互作用と関連付けられた視覚的フィードバックを提供することができる。光パターンはまた、ユーザの環境内のオブジェクトと関連付けられた情報（ユーザとオブジェクトとの間の相対的位置等）を提供することができる。
光導波路１２６４の第２の部分１３６４は、タッチセンサ１３５０にわたって位置付けられてもよい。例えば、光導波路１２６４は、タッチセンサ１３５０にわたって０．７５ｍｍ〜２ｍｍ差し込まれた状態で位置付けられてもよい。タッチセンサ１３５０の一部は、光導波路１２６４下に延在することができるため、光導波路１２６４は、視覚的および触覚フィードバックを提供することができるだけではなく、また、ユーザによって作動されることができる。指１３１０によって示されるように、ユーザは、例えば、光導波路１２６４をタッチ、タップ、スワイプ、または押下することによって、光導波路１２６４を作動させることができる。故に、ユーザが、光導波路１２６４を作動させると、トーテムは、例えば、光導波路上の照明された「ボタン」または光の「弧」を選択的にタップすること等のユーザインターフェース体験をシミュレートすることができる。
光導波路１２６４は、タッチセンサ１３５０にわたって位置付けられる必要はない。その結果、ユーザは、光導波路１２６４を作動させ、トーテムまたはウェアラブルデバイスと相互作用することが不可能である場合がある。いくつかの実装では、第２の部分１３６４がタッチセンサ１３５０にわたって位置付けられるが、プロセッサ１７７０またはローカル処理およびデータモジュール２６０は、光導波路１２６４上のユーザの入力を認識しないように構成されてもよい。その結果、光導波路１２６４は、視覚的または触覚的フィードバックを提供するために使用されてもよいが、ユーザが光導波路１２６４を作動させるとき、応答性ではなくなり得る。
図１３Ｂは、タッチスクリーン技術の実施例を図示する。これらの実施例では、タッチセンサ１３５０（例えば、１３５０ａ、１３５０ｂ、および１３５０）は、タッチ表面１２６２とＰＣＢ１３４０との間に狭入される。タッチスクリーン技術の実施形態１３６２は、タッチ技術下の力の実施例を図示する。本実施例では、タッチセンサ１３５０ａは、感圧式センサを備えることができ、これは、タッチ表面１２６２上に付与される複数のレベルの力を検出することができる。ある実施形態では、タッチセンサ１３５０はまた、触覚的フィードバックをタッチ表面１２６２に中継するように構成されることができる。
実施例１３６４では、タッチセンサ１３５０ｂは、歪みゲージを備えてもよい。歪みゲージは、タッチ表面１２６２の縁下に位置してもよい。ユーザがタッチ表面１２６２を作動させると、タッチセンサ１３５０ｂは、タッチ表面１２６２の歪みを測定することによって、ユーザのジェスチャ（例えば、押下またはタップジェスチャ）を決定することができる。
実施例１３６６は、補間感力抵抗タッチセンサ技術（ＩＦＳＲ）を図示する。タッチセンサ１３５０ｃは、感力抵抗器を使用することができ、その感度のレベルは、圧力のレベルに応じて変化することができる。故に、タッチセンサ１３５０ｃは、タッチ表面１２６２上に付与される複数のレベルの力を検出し得る。
図１３Ｃおよび１３Ｄは、トーテムの例示的タッチパッドの付加的断面図を図示する。断面図１３８０は、上部カバー１３８１ａと、上部カバー１３８１ａの下の上部筐体１３８１ｂとを示す。上部カバー１３８１ａまたは上部筐体１３８１ｂのいずれかまたはその組み合わせは、図１３Ａに示されるアーマチュア１３２０の一部であってもよい。上部筐体は、接着剤で光導波路１２６４（例えば、光パイプ１３８１ｃ）に取り付けられてもよい。光パイプは、透明または半透明であることができる。種々の実施形態では、光パイプ１３８１ｃは、拡散器シート、拡散器フィルム、エッチングされた導波管、粒子の層を備える透過性光学要素、不規則的表面、ホログラフ、白色表面、接地ガラス、ポリテトラフルオロエチレン（ＰＴＦＥまたはＴｅｆｌｏｎ）、乳白ガラス、灰色ガラス、着色ゲル等を備えることができる。光学的に拡散材料から成る光パイプの実施形態は、有利には、方向１３８４における光出力が、離散した個々のＬＥＤ（光パイプが実質的に透明である場合）として現れるのではなく、全体的に実質的に連続した光彩を有するように現れる（全てのＬＥＤが照明されるとき）ように、ＬＥＤ１３８３ａからの光を拡散および散布させ得る。
上部筐体１３８１ｂはまた、接着剤を使用して、白色Ｍｙｌａｒ１３８１ｃ（または他の反射性シート）に取り付けられることができる。上部筐体は、１つ以上のＬＥＤ１３８３ａを封入することができる。例えば、上部筐体は、ＲＧＢ ＬＥＤを含んでもよく、これは、赤色ＬＥＤ、緑色ＬＥＤ、および青色ＬＥＤのパッケージを含む。したがって、タッチパッドが、１２のＲＧＢ ＬＥＤを含む場合、タッチパッドは、それぞれ、ＲＧＢ ＬＥＤを含む、１２の上部筐体構造を含んでもよい。別の実施例として、上部筐体は、タッチパッドのための全１２のＲＧＢ ＬＥＤを含んでもよい。
上部カバーは、タッチカバー１３８３ｄに隣接する。タッチカバーは、図１３Ａに示されるタッチ表面１２６２の実施形態であってもよい。タッチカバーは、タッチカバー接着剤１３８３ｃを使用して、タッチボード１３８３に取り付けられてもよい。タッチボードは、図１２Ａを参照して説明される力覚コンポーネントの実施形態を含む。図１３Ｄを参照してさらに説明されるように、接着剤スタック１３８６は、タッチボードの一部と上部筐体の一部との間に狭入されてもよい。接着剤スタック１３８６は、タッチボードの一部と上部筐体の上部部分を固定して取り付けるために使用されてもよい。
接着剤スタック１３８６は、２つの層、すなわち、衝撃吸収発泡体パッド（例えば、Ｒｏｇｅｒｓ Ｃｏｒｐ．（Ｒｏｇｅｒｓ， ＣＴ）から利用可能なＰｏｒｏｎ）と、撓曲性かつ接着剤の層とを含んでもよい。Ｐｏｒｏｎパッド１３８７ａの上部部分は、タッチボードの底部部分に取り付けられてもよく、Ｐｏｒｏｎパッドの底部部分は、撓曲性かつ接着剤の層１３８７ｂに取り付けられてもよい。撓曲性かつ接着剤の層は、上部筐体に取り付けられてもよい。Ｐｏｒｏｎパッドは、２つの０．２ｍｍ厚接着剤と、１つの１．００ｍｍ厚接着剤とから成ってもよい。１つの１．００ｍｍ接着剤は、２つの０．２ｍｍ厚接着剤間に位置付けられてもよい。代替として、２つの０．２ｍｍ厚接着剤のうちの一方は、１．００ｍｍ厚接着剤と他方の０．２ｍｍ厚接着剤との間にあってもよい。
図１３Ｃに戻って参照すると、１つ以上のＬＥＤ１３８３ａが、タッチボードに取り付けられてもよい。ＬＥＤは、光を方向１３８２に放出することができる。光は、光パイプに到達してもよく、これは、全内部反射（ＴＩＲ）を通して、光を光出力方向１３８４に透過させることができる。光パイプの底部部分はまた、白色Ｍｙｌａｒの一部に取り付けられることができる。白色Ｍｙｌａｒ（または他の反射性シート）は、ＬＥＤによって放出される光の一部を反射させ、光出力方向１３８４における光出力の量を増加させ得る。光パイプは、光出力が、個々の離散光源ではなく、より角度的に連続した出力として現れるように、ＬＥＤからの光を拡散させ得る。
タッチパッドの底面図
図１３Ｅは、例示的タッチパッドの底面図を図示する。タッチパッド１３９０は、タッチパッド１２６０の実施形態であってもよい。タッチパッド１３９０は、１２のＬＥＤ１３９４ａを含むことができるが、他の数のＬＥＤもまた、可能性として考えられる。１２のＬＥＤ１３９４ａは、本実施例では、円周方向に等しく離間されるが、他の実施例では（図１４Ｂおよび１５を参照して説明される実施例等）、ＬＥＤ間の間隔は、必ずしも、等しくなくてもよい。１２のＬＥＤは、タッチパッドの底部上に位置してもよい。タッチパッドは、ＬＥＤを選択的に照明し、光パターンを作成することができ、これは、後光としてタッチパッドの周囲に現れ得る。
ＬＥＤは、筐体１３９２に取り付けられることができる。筐体は、２つの整合ピン孔と、３つのスナップ隙間１３９４ｅとを有することができる。２つの整合ピン孔は、タッチパッドの直径の反対端上にあってもよい。３つのスナップ隙間は、等しく離間されてもよい。整合ピン孔１３９４ｄおよびスナップ隙間１３９４ｅは、タッチパッドをトーテム本体に関連して配向し、位置付けるために使用されてもよい。スナップ隙間１３９４ｅはまた、タッチパッド１３９０をトーテム本体に固定するために使用されてもよい。
タッチパッド１３９０は、例えば、力撓曲スタック１３９４ｂ等のタッチスクリーン技術を採用することができる。力撓曲スタック１３９４ｂの一部は、タッチボードコンポーネントエリア１３９４ｃの上部にオーバーレイされてもよい。力撓曲スタック１３９４ｂは、単独で、またはタッチセンサ１３５０と組み合わせて、タッチ表面１２６２を含んでもよい。力撓曲スタックは、例えば、押下、スワイプ、タップ、タッチ等、タッチパッド１３９０上のユーザ入力を検出することができる。
ある実施形態では、タッチボードコンポーネントエリアは、ＰＣＢ１３４０を含んでもよい。タッチボードコンポーネントエリアは、力覚コンポーネント（例えば、触覚アクチュエータ等）、マイクロプロセッサ、１つ以上の通信ユニット（例えば、ＡＤＣ等）等を含むことができる。
タッチパッドの上面図
図１４Ａは、トーテムの例示的タッチパッドの上面図を図示する。図１４Ａにおけるタッチパッド１２６０は、アーマチュア１３２０と、光導波路１２６４と、タッチ表面１２６２（さらに、相互作用可能領域１２６２ａおよび１２６２ｂに分割され得る）とを含むことができる。光導波路１２６４は、光源（例えば、ＬＥＤ）１３３０（図１４Ａにおける破線に示される）の上部に位置付けられてもよい。
有利には、本実施形態では、タッチパッド１２６０は、３つの相互作用可能領域、すなわち、光導波路１２６４と、タッチ表面の第１の部分１２６２ａと、タッチ表面の第２の部分１２６２ｂとに分割されることができる。図１２および１３Ａを参照して説明されるように、各相互作用可能領域は、ユーザ相互作用のタイプにマッピングされてもよい。例えば、ユーザは、光導波路１２６４にタッチし、ブラウザ上で前／後に移動させながら、タッチ表面の第２の部分１２６２ｂをスワイプし、ウェブコンテンツを上／下に移動させることができる。ユーザはまた、タッチ表面の第１の部分１２６２ａ上で円形運動においてスワイプし、仮想オブジェクトをユーザのより近く（またはそこからより遠く）に移動させることができる。
本実施例は、３つの相互作用可能領域を含むが、トーテムは、他の実施形態では、より多いまたはより少ない相互作用可能領域を含んでもよい。例えば、タッチ表面を２つの相互作用可能領域（第１の部分１２６２ａおよび第２の部分１２６２ｂに対応する）に分割するのではなく、タッチ表面は、４つの相互作用可能領域に分割されてもよく、各領域は、タッチ表面の象限を占有する。タッチ表面はまた、１つのみの相互作用可能領域を含んでもよい。加えて、または代替として、光導波路１２６４は、例えば、プロセッサ１７７０またはウェアラブルシステムの別のモジュールが、光導波路１２６４からのユーザ入力を認識するようにプログラムされ得ない、またはタッチセンサ１３５０が、光導波路１２６４下まで延在しないため、相互作用可能ではない場合がある。
タッチ領域にマッピングされた相互作用のタイプはまた、ユーザ相互作用のタイプに基づいて、カスタマイズされてもよい。例えば、ユーザが、テレビを鑑賞しているとき、タッチパッドは、４方向Ｄパッド（上、下、左、右）を光導波路１２６４上でシミュレートしてもよい。しかし、ユーザが、ウェブページをブラウズしている場合、光導波路１２６４は、後／前ユーザインターフェース動作をサポートしてもよい。
相互作用可能領域はまた、視覚的または触覚的フィードバックをユーザに提供することができる。例えば、タッチ表面１２６２は、触覚的フィードバックを提供するように構成されることができる一方、光導波路１２６４は、触覚的フィードバックおよび視覚的フィードバックの両方を提供することができる（例えば、ＬＥＤ後光の光場所または移動パターンを介して）。
光源のレイアウト
図１４Ｂは、タッチパッドと関連付けられた光源（例えば、ＬＥＤ）の例示的レイアウトの概要を図示する。図１４Ｂは、タッチパッド１４５０を示し、これは、１２のＬＥＤ（ＬＥＤ０、ＬＥＤ２…ＬＥＤ１１として図示される）を周界上に伴う、可視円形表面１４５２を有する。これらの１２のＬＥＤは、それらが具体的シーケンスで照明されるとき、具体的情報を表すために使用されることができる。例えば、各ＬＥＤは、ビットを割り当てられ、したがって、１２ビットワードをもたらし得る。図２４Ｂ、２０Ａ、および２０Ｂを参照して説明されるように、ウェアラブルデバイスの外向きに面した結像システム４６４は、ＬＥＤの表示シーケンスを捕捉することができる。ウェアラブルデバイスは、次いで、画像を分析し、情報を表示シーケンスから抽出することができる。抽出された情報は、例えば、トーテムとウェアラブルデバイスをペアリングする、トーテムを較正する等のために使用されてもよい。例えば、ＬＥＤ０、３、６、９が、照明されると、ウェアラブルデバイスは、ウェアラブルデバイスとトーテムとの間のペアリングが開始されることを認識し得る。故に、ウェアラブルデバイスは、その環境内の無線（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））デバイスを検索し、任意の新しいデバイス（ＬＥＤと関連付けられたトーテム等）が存在するかどうかを決定し得る。ＬＥＤが、多着ＬＥＤ（例えば、ＲＧＢ ＬＥＤ等）であるとき、ＬＥＤ光パターンによって表される情報の量は、増加し得る（例えば、１２ビットワードを上回る）。例えば、ＬＥＤ６、７、８における青色光は、トーテムがペアリングモードにあることを示し得る一方、ＬＥＤ６、７、８における黄色光は、トーテムが充電モードにあることを示し得る。
いくつかの実施形態では、ＬＥＤは、別個に照明される、複数のグループに分割（例えば、多重化）されてもよい。各グループは、具体的情報を表すために使用されてもよい。図１４Ｂは、４つの例示的グループ（ＭＵＸ０（１４５４ａ）、ＭＵＸ１（１４５４ｂ）、ＭＵＸ２（１４５４ｃ）、およびＭＵＸ３（１４５４ｄ）として図示される）を示し、各グループは、３つのＬＥＤを含む。例えば、ＭＵＸ１のＬＥＤが、照明されると（例えば、ＬＥＤ３、４、５）、ウェアラブルデバイスは、トーテムが現在トーテムの上向き移動を示していることを認識し得る一方、ＭＵＸ０のＬＥＤが、照明されると、ウェアラブルデバイスは、トーテムが左に回転されることを認識し得る等となる。
他の実施形態では、異なる数またはレイアウトの光源または多重化されたグループが、利用されることができ、異なる量の情報（例えば、１２ビットと異なるワード長）は、ＬＥＤの照明されたグループまたはシーケンスによって表されてもよい。
前述のように、図１２Ａを参照すると、光源は、非可視スペクトル内の光（例えば、赤外線または紫外線光）を放出することができる。そのような光は、ウェアラブルデバイスによって捕捉されることができ、非可視スペクトル内の光パターンはまた、トーテムからの情報をウェアラブルデバイスに伝達するために使用されることができる。情報は、トーテムのデバイス情報（例えば、トーテムとウェアラブルデバイスをペアリングするため）、または、例えば、トーテムのステータス（例えば、低バッテリ残量であるかどうか、接続が確立されているかどうか、トーテムと現在ペアリングされているデバイス等）等の他のタイプの情報を含んでもよい。
図１５は、例示的ＬＥＤレイアウトまたはＬＥＤレイアウトからの光のパターンを図示する。本実施例では、ＬＥＤは、基本的に、例えば、北−東−南−西（ＮＥＳＷ）座標系１５９２を参照して設置され、トーテムがユーザの手の中に保持されると、北は、ユーザから外に向き、南は、ユーザに向かって向き、東は、ユーザの右に向かって向き、西は、ユーザの左に向かって向き得る。座標系１５９２は、ある程度、回転されてもよい。例えば、列１５５０内のレイアウトは、基本的に、中立位置を参照して設置され、座標系１５９２は、回転されない。対照的に、列１５７０および１５８０内のレイアウトは、ＮＥＳＷ座標系１５９２に示される基本位置から時計回りに１５度回転される。
ＬＥＤレイアウトは、ユーザ調節可能であってもよい。例えば、トーテム上のタッチパッド（または光導波路）は、機械的に回転可能であってもよい。実施例として、トーテムのＬＥＤレイアウトは、最初に、右利きユーザのために、時計回りに１５度の回転を含んでもよい。しかしながら、左利きユーザが、同一トーテムを使用するとき、左利きユーザは、タッチパッドを反時計回りに３０度回転させ、その親指を使用してタッチパッドとより良好に相互作用することを可能にすることができる。列１５６０および１５８０内の例示的レイアウトは、１２のＬＥＤから成ることができる。これらのＬＥＤは、相互に隣接して設置されることができる。例えば、１２ＬＥＤは、間隔を空けずに、相互の隣に設置され、パターンＩに図示されるように、円形レイアウトを形成することができる。
いくつかの実施形態では、２つの近傍ＬＥＤは、その間に空間を空けて設置されてもよい（列１５５０および１５７０内のパターンによって図示されるように）。空間は、ほぼ１つのＬＥＤ分のサイズであってもよい。例えば、列１５５０および行１５４０に示されるパターンＤは、６つのＬＥＤを含んでもよく、それらは、相互からほぼ同一距離離れて設置される。しかしながら、いくつかの状況では、列１５５０および１５７０内にパターンを生産するために、トーテムは、１つ以上のＬＥＤを選択的にオフにする、または含まなくてもよい。例えば、パターンＤは、１２のＬＥＤ（６つのＬＥＤではなく）を含んでもよく、１２のＬＥＤのうちの６つは、パターンＤ内で照明されなくてもよい。対照的に、ユーザがユーザインターフェース動作を変化させる場合、パターンＤに示されるような６つより多いまたはより少ないＬＥＤが、照明されてもよい。有利には、いくつかの実施形態では、トーテムは、より少ないＬＥＤが使用される（それらの間に間隔を伴う）ため、またはＬＥＤが、所望の照明パターンを達成するように選択的にオフにされ得る（図１５に示されるもの等）ため、バッテリ消費を節約することができる。加えて、照明されるＬＥＤを相互から離間させることによって（物理的に、またはいくつかの中間ＬＥＤを照明しないことのいずれかによって）、ユーザは、あるユーザインターフェース動作を実施するために、その親指を精密な場所に移動させる必要がなくなり得、これは、いくつかの状況では、ユーザ疲労を低減させることができる。
ＬＥＤは、複数のグループに分割されてもよい（また、図１４Ｂを参照して説明される例示的多重化されたグループ参照）。図１５の行１５１０、１５２０、１５３０、および１５４０は、ＬＥＤをグループ化する例示的方法を図示する。例えば、行１５１０内のレイアウトＡおよびＧは、２つのグループのＬＥＤを含み、各グループは、異なる色によって表される。行１５２０内のレイアウトＢおよびＨは、３つのグループを含み、行１５３０内のレイアウトＣ、Ｄ、およびＦは、４つのグループを含み、レイアウトＤおよびＩは、６つのグループを含む。各グループのＬＥＤは、例えば、類似光パターン、ユーザ相互作用に対する類似反応（例えば、全て同時に照光する）等の類似特性を有してもよい。加えて、または代替として、図１４Ｂを参照して説明されるように、ＬＥＤの各グループは、具体的情報を表すために使用されてもよい。例えば、ウェアラブルデバイスは、その外向きに面した結像システムが、パターンＢ内の上弧と関連付けられた１つ以上のＬＥＤが照光していることを捕捉すると、ユーザがビデオ記録モードに入り得ることを決定してもよい。
有利には、ＬＥＤレイアウトは、トーテムの把持方向に整合されてもよい。レイアウトＡ−Ｉ（黒色でハイライトされる）は、そのような実施例である。これらのレイアウトでは、ユーザがトーテムを握持すると、ユーザは、必然的に、その手の有意な調節を伴わずに、ＬＥＤのグループに到達することができる。
ある実装では、ＬＥＤの一部のみが、ユーザ相互作用可能である。ＬＥＤは、ユーザがＬＥＤ（またはＬＥＤと関連付けられた光導波路）を作動させ得る場合、相互作用可能であってもよい。例えば、パターンＥは、４つのＬＥＤグループ、すなわち、上弧、下弧、左弧、および右弧を含み、各グループは、３つのＬＥＤを有する。ユーザは、上および下弧（例えば、これらの弧の上方の光導波路を押下することによって）を作動させることが可能であり得るが、左および右弧を作動させることは不可能である。しかしながら、左および右弧は、依然として、単独で、または上および下弧と組み合わせて、視覚的または触覚的フィードバックを提供することができる。他のレイアウトに適用される類似考慮点は、図１５に示される。
ＬＥＤの物理的位置に加え、またはその代替として、図１５におけるパターンは、ＬＥＤによって照明される光パターンであることができる。例えば、トーテムは、１２のＬＥＤのリングを照明することによって、パターンＥを提示する一方、１２のＬＥＤリング内の１つおきのＬＥＤを照明することによって、パターンＤを提示することができる。別の実施例として、ユーザが、タッチパッドまたは光導波路を回転させるのではなく、トーテムが、ユーザが左利きまたは右利きかどうかに基づいて、後光の場所を調節するようにプログラムされることができる。トーテムは、左利きユーザのために、弧を１時位置に表示するが、右利きユーザのためには、同一弧を１１時位置に表示してもよい。弧は、例えば、ウェブページを上向きに移動させる等、ユーザインターフェース動作と関連付けられてもよい。
ユーザ入力デバイスの多くの実施形態は、トーテム１２００の観点から説明されるが、これは、例証のためであって、ウェアラブルシステム２００と使用可能なユーザ入力デバイスのタイプに関する限定ではない。例えば、他の実施形態では、ディスプレイ画面（またはその変形例）が、照明形状およびパターンをユーザに表示するために使用されてもよい。例えば、これらの実施形態のうちのいくつかでは、スマートフォンが、トーテムとして活用されてもよく、種々の形状およびパターンをその画面上に表示してもよい。いくつかの実施例では、トーテム１２００は、ディスプレイ画面を含むことができ、これは、タッチセンサ式（スマートフォンの表面に類似する）であってもよい。ディスプレイ画面を備える、いくつかのそのような実施形態では、照明式光導波路１２６４の使用は、ディスプレイ画面が本明細書に説明される照明パターンおよび遷移シーケンスを表示するために使用され得るため、随意であってもよい。
光パターンの場所および移動の実施例
図１６Ａおよび１６Ｂは、トーテム（または他のタイプの発光ユーザ入力デバイス）の後光からの光放出の例示的場所または移動パターンを図示する。上記に説明されるように、後光は、タッチパッド領域を囲繞する、トーテムの照明される部分を構成し得る。図１６Ａおよび１６Ｂに示される実施形態に図示されるように、光導波路は、後光が、個々の離散光源ではなく、リングまたはリングの弧状部分として現れるように、個々の光源によって放出される光を実質的に拡散させる。
後光によって投影され得る、光パターンの場所および移動は、例えば、形状、色、明度、位置、サイズ、移動、動画、他の視覚的効果（例えば、明滅または点滅、フェードイン、フェードアウト）等の１つ以上の特性を含むことができる。例えば、図１６Ａは、４つの例示的パターンを図示する。パターン１６１２では、後光は、明るい桃色を２時位置に伴う、薄青色として示される。パターン１６１４における後光は、４つの着色弧、すなわち、黄色、緑色、青色、および赤色を有し、これは、（それぞれ）タッチパッドの上、下、左、および右位置に対応する。パターン１６１６は、濃青色後光を示し、パターン１６１８は、薄青色弧を上部に伴う、濃青色後光を示す。
後光の光場所または移動パターンは、視覚的フィードバックをユーザおよびユーザの環境内の人物に提供することができる。光場所または移動パターンは、例えば、ユーザの環境、ユーザの特性、オブジェクトと関連付けられた情報、プロセス、ウェアラブルシステムのコンポーネント、ウェアラブルシステムとのユーザの相互作用等のコンテキスト情報に基づいて決定されてもよい。
ユーザの環境に基づいて後光を生成する実施例として、トーテム１２００内の環境センサ１７１０（図１７Ａ、１７Ｂを参照して下記に説明される）は、光センサであることができ、これは、ユーザが明または暗環境に存在するかどうかを検出することができる。ユーザが暗環境に存在する場合、トーテム１２００は、後光をより明るい色（白色等）で表示し、ユーザが後光を知覚することに役立つことができる。他方では、ユーザが明環境に存在する場合、トーテム１２００は、より暗い色を表示し、ユーザが後光をユーザの環境内の周囲光から区別することに役立ってもよい。別の実施例として、暗い部屋内では、後光内の光の強度は、暗い環境内で照明される後光を知覚することが容易であるため、減少されてもよい（例えば、「夜間モード」）。逆に言えば、明るい環境（例えば、太陽光下の屋外）では、後光内の光の強度は、後光パターンが明るい環境において可視であるように増加されてもよい。
後光におけるパターンもまた、例えば、ユーザの生理学的データ、人口統計情報（例えば、年齢、場所、職業、選好等）等のユーザの特性に基づくことができる。例えば、ユーザがレースゲームをプレーしているとき、トーテムは、ユーザの運転方向に対応する後光を表示することができる。後光の色は、最初に、赤色であってもよい。しかしながら、ウェアラブルシステム（例えば、トーテムまたはＨＭＤ上の環境センサ等）が、ユーザの心拍数または呼吸数が閾値条件を超えることを検出すると、ウェアラブルシステムは、ユーザが感情的に高揚状態にあることを決定してもよい。故に、ユーザの感情状態を沈めるために、ウェアラブルシステムは、後光の色を赤色から青色に変化させてもよい（薄青色弧が運転方向を図示する、パターン１６１８等）。
オブジェクトと関連付けられた情報は、例えば、オブジェクト、オブジェクトの特性（例えば、機能、タイプ、場所、形状、配向等）等と関連付けられた通知またはアラートを含むことができる。実施例として、オブジェクトは、ＨＭＤによってユーザに表示される、仮想電子メールアプリケーションであってもよい。仮想電子メールアプリケーションによって受信された新しい電子メールが、虹色光パターンをトーテム上に有する後光によって、ユーザに示されてもよい。別の実施例として、後光は、オブジェクトがユーザの環境内で知覚可能であるかどうかのインジケーションであってもよい。例えば、宝探しゲームでは、後光は、宝の場所に対応してもよい。宝がユーザの正面右位置に位置する場合、トーテムは、後光を光導波路の１時の位置に表示してもよい（例えば、パターン１６１２参照）。さらに別の実施例として、オブジェクトがユーザによって相互作用不可能である場合、ウェアラブルシステムは、後光を表示しないように構成されてもよい。
図２０Ａ−２１Ｅを参照して説明されるように、後光はまた、プロセスを誘導する、またはプロセスのステータスを示すために使用されることができる。例えば、ウェアラブルシステムは、トーテムと別のデバイスをペアリングするために、コンピュータビジョンアルゴリズムを適用し、後光の場所を分析することができる。ウェアラブルシステムはまた、コンピュータビジョンアルゴリズムを使用して、光パターンの外観を分析し、ユーザの環境内のトーテムを較正することができる。ペアリングまたは較正ステータスが完了すると、トーテムは、パターン１６１６を表示し、ユーザに、プロセスが完了されたことを示してもよい。
後光はさらに、ウェアラブルシステムのコンポーネントと関連付けられた情報を示すために使用されることができる。例えば、トーテムは、電力をウェアラブルデバイスに提供するために使用される、バッテリパックを位置特定するために使用されてもよい。本実施例では、バッテリパックは、電磁エミッタを含んでもよい一方、トーテムは、電磁センサを含んでもよい。電磁センサは、電磁エミッタによって生成された磁場を検出し、適宜、トーテムとバッテリパックとの間の相対的位置を計算することができる。トーテムによって表示されるような後光は、トーテムとバッテリパックとの間の相対的位置に対応し得る（ユーザがバッテリパックを見出すことに役立つ）。例えば、大弧を３時位置に伴う後光は、バッテリパックがユーザの近傍かつユーザの右にあることを示し得る。しかしながら、小弧を３時位置に伴う後光は、バッテリパックがユーザから遠く離れているが、依然として、ユーザの右にあることを示し得る。別の実施例として、ウェアラブルデバイスの電力が少なくなると、トーテムは、小弧を伴う後光を表示し、バッテリがなくなりそうであることを示してもよい。バッテリパックの観点から説明されるが、ウェアラブルシステムの任意のコンポーネントまたはその他（例えば、ユーザの車の鍵）が、トーテムによって追跡され得る、電磁エミッタを含むことができ、これは、後光を照明し、ユーザがコンポーネントを見出すことを補助する。
後光はまた、ウェアラブルシステムとのユーザの相互作用のインジケーションを提供することができる。有利には、本インジケーションは、ユーザの環境内の人物に、ユーザの現在の相互作用を知らせ得る。例えば、ユーザがビデオを記録しているとき、後光は、赤色でフリッカしてもよい。故に、ユーザの隣の人物には、本フリッカ赤色光パターンが見え、ユーザのビデオ記録体験を中断させるべきではないことを把握することが可能となるであろう。別の実施例として、ユーザが、ゲーム内のあるレベルをクリアすると、後光は、ゲームのレベルと同一色で照光し、ユーザの友人に、ユーザがそのレベルをクリアしたことを示し得る。
視覚的フィードバックに加え、またはその代替として、後光は、ユーザ相互作用を誘導することができる。例えば、後光は、４つの弧（上、下、左、および右）を異なる色（効果１６１４によって図示されるように）で示し、ユーザがトーテムのタッチパッドをＤパッドとして使用することができることを示してもよい。別の実施例として、ユーザがディスプレイ２２０を使用してテレビプログラムを鑑賞している間、トーテムは、図１６Ｂにおける後光パターン１６６２を提示してもよい。パターン１６６２は、赤色弧と、青色弧とを含む。赤色弧および青色弧のための弧長は、約０．２５πであってもよい。しかしながら、ユーザがトーテムを作動させる（トーテムのタッチ表面をタップすること等によって）と、トーテムは、弧のフェードイン効果（図１６Ｂにおけるプロセス１によって図示されるように）を提示してもよい。フェードイン効果の結果、赤色弧および青色弧の長さは、パターン１６６４に示されるように、約０．２５πから０．７５πに増加され得る。赤色および青色弧の明度もまた、フェードイン効果に起因して増加し得る。本増加された明度および弧長は、ユーザに、ユーザがタッチ表面上で左または右にスワイプすることができることのより明確なインジケーションを提供し得る。しかし、トーテムが、ユーザが閾値持続時間にわたってトーテムと相互作用していないことを検出すると、トーテムは、図１６Ｂにおけるプロセス２によって図示されるように、フェードアウト効果を提示してもよい。故に、後光は、パターン１６６４から１６６２に変化される。その結果、弧のサイズおよび弧の明度は、減少するであろう。有利には、弧のサイズおよび弧の明度を低減させることによって、トーテムは、ユーザがトーテムと相互作用していないとき、バッテリ消費を低減させ得る。
いくつかの実施形態では、トーテム１２００は、触覚的、聴覚的、視覚的、または他の効果と併せて、後光を提示し、コンテキスト情報と関連付けられた情報を提供する、またはユーザの相互作用を誘導することができる。
トーテムの他のコンポーネント
図１７Ａおよび１７Ｂは、トーテム１２００の例示的コンポーネントを図示する。例示的トーテム１２００は、図１２Ａおよび１２Ｂを参照して説明されるように、タッチパッド１２６０（タッチ表面１２６２と、光導波路１２６４とを含み得る）と、トリガ１２１２と、トーテム本体１２１４とを含むことができる。光導波路１２６４は、ユーザ相互作用可能領域（例えば、タッチセンサ式）を備えてもよく、少なくとも部分的または完全に、タッチ表面１２６２を囲繞してもよい。トーテム１２００はまた、種々のコンポーネントを含むことができ、そのうちの少なくともいくつかは、トーテムの本体１２１４の内側に配置されてもよい。これらのコンポーネントは、下記にさらに説明され、環境センサ１７１０と、バッテリ１７２０と、近距離通信（ＮＦＣ）インターフェース１７３２と、ネットワークインターフェース１７３４と、触覚アクチュエータ１７６０と、プロセッサ１７７０とを含むことができる。接続インターフェース１２２２は、本体１２１４の底部に配置され、例えば、トーテム１２００を基部に除去可能に取り付けることができる。接続インターフェース１２２２は、電力を提供し、バッテリ１７２０を充電し、通信リンクをトーテムのコンポーネントと外部デバイス（例えば、コンピューティングデバイス）との間に提供するために使用されることができる。
バンパ
トーテム１２００は、図１７Ｂに示される実施例では、トーテムの正面端、トリガ１２１２の上方、かつタッチパッド１２６０の下方に位置する、ボタン１２６６（バンパと称される）を含むことができる。バンパ１２６６は、ユーザがその人差し指を静置するために人間工学的に快適な場所を提供し得る。バンパ１２６６は、例えば、押下可能ボタン、容量タッチセンサ、力覚要素等として実装される、タッチセンサ式表面を備えることができる。
図１７Ｂに示される実施例では、ユーザは、主に、３つの指を使用して、トーテム１２００を作動させることができ、例えば、親指でホームボタン１２５６またはタッチパッド１２６０を作動させ、人差し指でバンパ１２６６を作動させ、中指でトリガ１２１２を作動させる。そのような３つの指によって作動可能なトーテムは、ユーザが、１つの指のみの過剰かつ疲労をもたらす使用を伴わずに（デスクトップコンピュータのためのマウス設定を用いて生じ得るように）、迅速かつ効率的に、ユーザ入力を提供することを可能にすることができる。異なるボタン１２１２、１２５６、１２６６は、例えば、ユーザが、アプリケーション内で作業中である、アプリケーションランチャーをスクロール中である、環境内のオブジェクトを選択中である等かどうかに応じて、異なる機能性を提供することができる。ある場合には、ユーザは、単に、人差し指を使用して、バンパの押下またはトリガの引動間を往復して切り替えてもよい。
バンパ機能性の実施例として、ユーザがアプリケーションを見ている間、バンパをタップすることは、そのアプリケーションのためのオプションメニューを呼び出すことができる一方、バンパの長押下は、環境内の仮想オブジェクトのための操作シーケンスをアクティブ化することができる。例えば、バンパの長保持は、オブジェクトを握持することができ、トーテム１２００をオブジェクトに向かって向けながらのバンパの長押下は、オブジェクトの直接操作をアクティブ化することができる（例えば、オブジェクトを移動または再配向する）。操作シーケンスにおけるバンパのタップ（またはトリガの引動）は、シーケンスを終了させることができる。
環境センサ
環境センサ１７１０は、ユーザの周囲の環境のオブジェクト、刺激、人々、動物、場所、または他の側面を検出するように構成されることができる。環境センサは、画像捕捉デバイス（例えば、カメラ）、マイクロホン、ＩＭＵ、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、ジャイロスコープ、高度計、気圧計、化学センサ、湿度センサ、温度センサ、外部マイクロホン、光センサ（例えば、露光計）、タイミングデバイス（例えば、クロックまたはカレンダ）、またはその任意の組み合わせまたは副次的組み合わせを含んでもよい。いくつかの実施形態では、環境センサはまた、種々の生理学的センサを含んでもよい。これらのセンサは、心拍数、呼吸数、ガルバニック皮膚応答、血圧、脳波状態等のユーザの生理学的パラメータを測定または推定することができる。環境センサはさらに、レーザ、可視光、光の不可視波長、または音（例えば、可聴音、超音波、または他の周波数）等の信号を受信するように構成される、放出デバイスを含んでもよい。いくつかの実施形態では、１つ以上の環境センサ（例えば、カメラまたは光センサ）は、環境の周囲光（例えば、輝度）を測定する（例えば、環境の照明条件を捕捉する）ように構成されてもよい。タッチセンサ、歪みゲージ、縁石検出器、または同等物等の物理的接触センサもまた、環境センサとして含まれてもよい。
環境センサ１７１０によって入手された情報は、トーテム上に表示される後光の光場所または移動パターンを決定するために使用されてもよい。例えば、環境センサは、ＧＰＳセンサまたは電磁センサ（物理的オブジェクトと関連付けられた電磁信号を検出するため）を使用して、ユーザとユーザの環境内の物理的オブジェクトとの間の相対的位置を決定することができる。トーテムは、後光を提示してもよく、その場所は、物理的オブジェクトの場所に対応し得る。例えば、オブジェクトが、ユーザの正面にある場合、トーテムは、後光を光導波路１２６４上の１２時方向に提示することができる。
加えて、または代替として、環境センサ１７１０によって入手された情報は、１つ以上のユーザインターフェース動作のために使用されることができる。例えば、トーテム１２００は、ＩＭＵを使用して、トーテムの６ＤＯＦ移動を検出することができる。例えば、ユーザが、ゲームをプレーしながら、トーテム１２００を回転させると、ユーザによって制御される（およびウェアラブルデバイスを介してユーザに表示される）、アバタ（または他の仮想オブジェクト）は、ＩＭＵによって入手されたデータ移動に基づいて、適宜、回転することができる。トーテム１２００を移動または回転させることに加えて、またはその代替として、ユーザは、入力をタッチパッド１２６０上に提供することができる。例えば、ユーザに向かった、またはそこから離れる、ユーザの親指の移動（例えば、トーテムの長軸に沿って）は、仮想オブジェクトを、ユーザに向かって、またはそこから離れるように移動させることができる。タッチパッド１２６０上でのユーザの親指の横方向における往復移動は、仮想オブジェクトのサイズをスケーリングすることができる（例えば、より大きいサイズからより小さいサイズに、またはその逆に）、またはタッチパッドの周囲のユーザの親指の回転は、仮想オブジェクトを回転させることができる。
本実施例では、環境センサは、トーテム１２００上に位置するが、いくつかの実施形態では、環境センサは、本明細書に説明されるウェアラブルシステムの他のコンポーネントに位置してもよい。例えば、環境センサ（カメラまたは生理学的センサ等）は、ウェアラブルシステム２００（図２に示される）のディスプレイ２２０の一部であってもよい。
バッテリ
バッテリ１７２０は、トーテム１２００のための電力を貯蔵する。トーテムは、プロセッサ１７７０を使用して、バッテリ１７２０の現在のステータスを決定することができる。例えば、プロセッサ１７７０は、バッテリ１７２０内に残っている電力の量、バッテリ１７２０が現在使用されているかどうか、およびバッテリ１７２０の残りの寿命（バッテリ１７２０が交換される必要があろうとき等）を測定および計算することができる。図２１Ａ−２１Ｅにさらに説明されるように、バッテリ１７２０の現在のステータスは、光導波路１２６４、ホームボタン１２５６、トーテム本体１２１４の底部部分１２４４（例えば、図１２Ａに示される）上に位置するＬＥＤ電力インジケータ、またはディスプレイ上に提示される、視覚的フィードバックを介して、可視化されてもよい。
トーテム１２００はまた、プロセッサ１７７０を使用して、トーテムの電力消費レベルを決定することができる。例えば、トーテムは、ある光シグネチャを出力するために要求される推定される電流に基づいて、電力消費を推定することができる。光シグネチャは、プロセス、ステータス、オブジェクト、またはユーザ相互作用のインジケーションと関連付けられた後光のある光場所または移動パターンを含んでもよい。光シグネチャと関連付けられた推定される電流の実施例として、トーテム１２００は、３または６ＤＯＦ較正を実施するために、５．６ｍＡ、ユーザの環境内のオブジェクトを見出す、または方向を示すために、４８ｍＡ、および無線（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））ペアリングを実施するために、５４ｍＡを要求し得る。光シグネチャのために推定される電流の別の実施例として、１４．８５ｍＡの電流が、バッテリが１５％未満であることのインジケーションを提供するために消費され得、２１．６ｍＡがトーテムがスリープモードまたはアイドル状態にあることを示すために使用され得、７２．４ｍＡの電流が、着信通知（例えば、新しいメッセージ等）を提供するために供給され得る。
これらの推定される電流は、単なる実施例である。必要とされる具体的電力の量は、使用されるＬＥＤのタイプ、ＬＥＤの色、後光の光パターンの場所および移動等の種々の要因に依存し得る。例えば、トーテムバッテリ１７２０は、タッチパッド１２６０の全てのＲＧＢ ＬＥＤが、緑色を１００％明度で表示するのではなく、常時、白色を１００％明度で表示するように設定される場合、２時間もより早く消耗され得る。これは、ＲＧＢ ＬＥＤが緑色を表示するとき、ＬＥＤの１／３（例えば、ＲＧＢ ＬＥＤ内の緑色ＬＥＤ）のみが、利用されるが、ＲＧＢ ＬＥＤが白色を表示するとき、ＲＧＢ ＬＥＤ内の全てのＬＥＤが、利用されるためである。
全体的電力消費を低減させるために、ＬＥＤ（特に、相互作用可能なＬＥＤ）は、タッチパッド上のＬＥＤの総数を低減させるように離間されてもよい。例えば、トーテムは、図１５における列１５５０および１５７０に示されるレイアウトを採用してもよい。有利には、いくつかの実施形態では、ＬＥＤを離間させることによって、電力消費は、最大５０％低減され得る。電力消費の具体的低減の量は、ＬＥＤのレイアウトに依存し得る。例えば、図１５におけるパターンＤは、パターンＤが照明されているより少ないＬＥＤを有するため、パターンＡより低い電力消費を有し得る。別の実施例として、電力消費を低減させるために、トーテムは、ＥＤをより低い明度（例えば、＜４０％明度等）で起動することができる。
トーテムは、ユーザが相互作用するオブジェクトに基づいて、電力消費を管理することができる。トーテムは、アクティブユーザインターフェースオプションを有していない、ＬＥＤをオフにすることができる。例えば、トーテムは、図１５に示されるＬＥＤレイアウトＥを使用して、Ｄパッドをシミュレートしてもよい。しかしながら、ゲームの間、下向きボタンは、あるレベルでは、ディスエーブルにされてもよい。故に、トーテムは、下弧を表示しないように構成されてもよい。加えて、または代替として、トーテムは、トーテム、ディスプレイ、またはウェアラブルシステムの他のコンポーネントのステータスに基づいて、電力消費を管理することができる。例えば、トーテムは、ある量の不活動を検出後、後光をオフにすることができる。トーテムは、ＩＭＵによって入手されたトーテムの移動データの量を計算することによって、そのような検出を行うことができる。
いくつかの実施形態では、ウェアラブルシステムは、バッテリパックを含んでもよく、これは、ユーザに取り付けられてもよい（例えば、ユーザの腰部等に）。バッテリパックは、トーテムまたはウェアラブルデバイスに接続され、電力を供給してもよい。バッテリ１７２０は、バッテリパックの一部であってもよい、またはバッテリパックと接続して使用され、電気をトーテム１２００に供給してもよい。
近距離通信（ＮＦＣ）インターフェースおよびネットワークインターフェース
ＮＦＣインターフェース１７３２およびネットワークインターフェース１７３４は、トーテムが、例えば、別のトーテム（または他のユーザ入力デバイス）、ウェアラブルディスプレイ、パーソナルコンピュータ、ヘッドホン、キー、サーバ、または別の物理的オブジェクト等の標的オブジェクトとペアリングまたは通信することを可能にするように構成されることができる。ＮＦＣインターフェース１７３２は、短距離無線通信のために使用されることができる（トーテムが標的オブジェクトから１０ｃｍまたはそれ未満の距離内にあるとき等）。いくつかの実施形態では、ＮＦＣは、ＮＦＣ対応デバイス、例えば、トーテムおよびＨＭＤが、相互に近接して（約１０ｃｍ以内）位置付けられ、情報を無線で交換するときの２つのループアンテナ間の電磁誘導を採用する。本情報の交換は、ＩＳＯ／ＩＥＣ１８０００−３エアインターフェースを経由して、１０６〜４２４Ｋビット／秒に及ぶレートで、１３．５６ＭＨｚの地球規模で利用可能な非ライセンス無線周波数ＩＳＭ帯域内で動作されてもよい。種々の通信プロトコルおよびデータ交換フォーマットが、ＮＦＣのために使用されてもよい。いくつかの非限定的実施例は、ＮＦＣフォーラムおよびＧＳＭＡグループ等によって定義された規格である、ＩＳＯ／ＩＥＣ１４４４３およびＦｅｌｉｃｉａ、ＩＳＯ／ＩＣＥ１８０９２を含む。
ネットワークインターフェース１７３４は、ネットワークを介して、接続を確立し、標的オブジェクトと通信するように構成されることができる。ネットワークは、ＬＡＮ、ＷＡＮ、ピアツーピアネットワーク、無線周波数、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、クラウドベースのネットワーク、または任意の他のタイプの通信ネットワークであってもよい。
例えば、トーテムおよびウェアラブルデバイスは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）低エネルギー（ＢＬＥ）等の無線通信プロトコルを使用して、ペアリングされてもよい。ＢＬＥは、いくつかの実施形態では、ＢＬＥオーディオストリーミングの間、帯域幅を維持することができるため、有利であり得る。図２０Ａ−２０Ｃを参照してさらに説明されるように、種々の技法が、ウェアラブルデバイスとトーテムをペアリングするために使用されてもよい。例えば、ウェアラブルシステムは、外向きに面したカメラによって取得されるトーテムの画像を分析することによって、トーテムによって提示されるある光パターンを検出することができる。光パターンの検出は、ウェアラブルシステムをトリガし、ペアリングプロセスを開始することができる。ペアリングプロセスの間、ユーザは、ダイアログボックスまたはユーザインターフェース（ＵＩ）ウィザードを介して、ウェアラブルディスプレイと相互作用し、トーテム、ウェアラブルディスプレイ、トーテムとウェアラブルディスプレイとの間で共有される情報のタイプ、通信チャネルのタイプ等と関連付けられた設定およびパラメータを規定してもよい。
本実施例では、ＮＦＣインターフェース１７３２およびネットワークインターフェース１７３４は、別個のコンポーネントとして図示されるが、いくつかの実施形態では、ＮＦＣインターフェース１７３２およびネットワークインターフェース１７３４は、同一通信デバイスまたはシステムの一部であってもよい。
触覚アクチュエータ
トーテム１２００は、触覚アクチュエータ１７６０を含むことができる。図１２Ａを参照して説明されるように、触覚アクチュエータ１７６０は、触覚的フィードバックをユーザに提供することができる。１つ以上の触覚アクチュエータ１７６０が、トーテム１２００内に実装されてもよい。触覚アクチュエータは、トリガ１２１２、タッチパッド１２６０、またはトーテム本体１２１４内に位置してもよい。
触覚的フィードバックは、ユーザの相互作用、オブジェクトまたはユーザと関連付けられたコンテキスト情報、トーテムまたはウェアラブルデバイスの他のコンポーネントのステータス等に基づいて、提供されてもよい。
プロセッサ
ハードウェアプロセッサ１７７０は、環境センサ１７１０によって入手されたデータを処理するように構成されることができる。プロセッサ１７７０はまた、ＮＦＣインターフェース１７３２またはネットワークインターフェース１７３４を介して、データを別のデバイス（ウェアラブルディスプレイまたは別のペアリングされるデバイス等）から受信し、そこに送信することができる。プロセッサ１７７０は、これらのデータを分析し、所与の時間における後光の場所または移動パターンを決定することができる。いくつかの実施形態では、プロセッサ１７７０は、別のコンピューティングデバイス（例えば、ウェアラブルデバイス、遠隔サーバ、またはパーソナルコンピュータ等）と協働し、分析してもよい。例えば、プロセッサ１７７０は、環境センサ１７１０を使用して、ユーザの移動を検出してもよい。プロセッサ１７７０は、さらなる分析のために、ユーザの移動データをローカル処理およびデータモジュール２６０または遠隔処理モジュール２７０にパスすることができる。プロセッサ１７７０は、分析の結果をローカル処理およびデータモジュール２６０または遠隔処理モジュール２７０から受信することができる。例えば、プロセッサ１７７０は、ゲーム内の競争者の位置および移動軌道に関する情報を受信してもよい。本情報に基づいて、プロセッサ１７７０は、ＬＥＤに、競争者の位置および移動軌道に対応する後光を表示するための光を放出するように命令することができる。
ハードウェアプロセッサ１７７０は、トーテム１２００のユーザの作動からの種々のユーザ入力を処理することができる。例えば、ハードウェアプロセッサ１７７０は、図１２Ａ−１７Ｂを参照して説明されるように、タッチパッド１２６０、トリガ１２１２、ホームボタン１２５６、バンパ１２６６等上のユーザ入力を処理することができる。実施例として、ハードウェアプロセッサは、タッチセンサからの信号を処理することによって、タッチパッド１２６０上のユーザの手のジェスチャを検出することができる。本明細書に説明されるように、ハードウェアプロセッサ１７７０は、ユーザの入力を処理し、トーテム１２００の他のコンポーネント（例えば、ＬＥＤまたはアクチュエータ１７６０等）に、トーテム１２００のユーザの作動のインジケーションを提供するように命令することができる。
接続インターフェース
図１２Ａを参照して説明されるように、接続インターフェース１２２２は、別のデバイスとの接続を確立するために使用されてもよい。接続は、有線接続であってもよい。例えば、接続インターフェース１２２２は、ＵＳＢコネクタを備えてもよい。接続インターフェース１２２２はまた、例えば、ＵＳＢ−Ｂタイプポート、ＵＳＢ−Ａタイプポート、マイクロＵＳＢ、またはＵＳＢタイプＣポート等のＵＳＢポートを備えてもよい。接続インターフェース１２２２はまた、充電のために電源に接続する電源コードを含むことができる。
図１７Ａおよび１７Ｂに図示される例示的コンポーネントは、非限定的実施例であって、トーテム１２００は、図示されるものより少ないまたはより多いまたは異なるコンポーネントを含むことができる。例えば、トーテム１２００は、ＮＦＣインターフェース１７３２を有していなくてもよい。別の実施例として、トーテム１２００は、光（赤外線光等）を放出するように構成される、光学エミッタ、または磁場（例えば、電磁追跡のために使用される）を生成または感知するように構成される、電磁エミッタ等を含むことができる。さらに別の実施例として、ＮＦＣインターフェース１７３２およびネットワークインターフェース１７３４は、同一通信システムの一部であってもよい。
後光の光パターンの場所および移動を構成する実施例
本明細書に説明される照明される後光は、ウェアラブルシステムのユーザ、開発者、または別のエンティティによってカスタマイズされることができる。例えば、ウェアラブルシステムのユーザは、後光の光パターンの場所および移動と関連付けられた選好を設定することができる。選好は、図１６Ａおよび１６Ｂを参照して説明されるコンテキスト情報と関連付けられてもよい。実施例として、ユーザは、システム通知（低バッテリステータス等）と関連付けられた後光の色を青色に設定する一方、ゲームオブジェクトと関連付けられた色を赤色に設定することができる。ユーザは、単独で、またはトーテムと組み合わせて、ウェアラブルデバイスを介して、その選好を設定することができる。ユーザの選好に基づいて、トーテムは、ユーザがウェアラブルシステムと相互作用するとき、照明される後光を自動的に提示することができる。いくつかの状況では、ユーザは、トーテム（図１２Ａに示されるトリガ１２１２等）を作動させることによって、または姿勢を介して、照明される後光をオフにすることができる。例えば、外向きに面した結像システム４６４は、後光をオフにすることと関連付けられたユーザの手のジェスチャを捕捉することができる。ウェアラブルシステムは、コンピュータビジョンアルゴリズムを使用して、手のジェスチャを外向きに面した結像システムによって入手された画像から認識し、適宜、トーテムに、照明される後光をオフにするように命令することができる。
後光の光パターンの場所および移動はまた、アプリケーションプログラミングインターフェース（ＡＰＩ）を使用して構成されることができる。図１８Ａ−１８Ｄは、後光の光場所または移動パターンを構成するための例示的プログラミングインターフェースを図示する。ＡＰＩは、ユーザまたは開発者によって相互作用され、トーテムの後光の光パターンを設定することができる。図１８Ａは、トーテムの可視化１８０２を含む、ＡＰＩを示す。トーテムの可視化１８０２は、可視化タッチパッド１８０４上に表示される後光１８１０の画像を含む。本実施例では、後光１８１０の長さは、０．２５に設定され、これは、可視化タッチパッド１８０４の上部円周の約４分の１であることができる。後光１８１０の端点は、１２時位置および３時位置である。
プログラミングインターフェース１８００は、アプリケーションバー１８３０を含むことができる。アプリケーションバー１８３０は、後光の光パターンが構成される、アプリケーションのタイプを含むことができる。例えば、図１８Ａでは、プログラミングインターフェース１８００のユーザは、ゲームアプリケーションと関連付けられた光パターンを構成している。ユーザはまた、ウェブアプリケーション、システムアプリケーション、場面（例えば、環境内のオブジェクトの場所等）、ユーザの特性（例えば、ユーザが右利きまたは左利きであるかどうかに基づいて、後光のパターンを関連付ける等）等と関連付けられた光パターンを構成することができる。
プログラミングインターフェース１８００はまた、弧構成タブ１８２０を含むことができる。弧構成タブ１８２０は、後光の形状（例えば、弧、リング等）、サイズ（例えば、角度弧長）、色、視覚的効果、または配向（例えば、Ｎ、Ｓ、Ｅ、またはＷ）を構成するための種々のオプションを含むことができる。視覚的効果は、フェードイン、フェードアウト、点滅、明滅、時計回りまたは反時計回り回転等を含むことができる。例えば、プログラミングインターフェース１８００は、後光１８１０（または後光の一部）とフェードインまたはフェードアウト効果を関連付けることができる。プログラミングインターフェース１８００はまた、後光の弧長、例えば、円周の１／４から円周の３／４に変化させることができる。また、後光１８００の回転（例えば、時計回りから反時計回りに）を変化させる、または後光１８００の場所（例えば、タッチ表面の右上角から右下角に）を変化させることができる。
弧構成タブ１８２０を使用した後光の光場所または移動パターンにおける構成の実施例として、図１８Ｂは、弧の長さが−０．２５に設定されるときの例示的後光１８１２を示す。本実施例では、後光１８１２における弧の長さは、タッチ表面の円周の約３／４である。後光１８１２の端点は、９時位置および６時位置である。
プログラミングインターフェース１８００はまた、図１８Ｃに示される色選択ツール１８３０を含むことができる。色選択ツール１８３０は、検索バー１８３２を含むことができ、プログラミングインターフェースのユーザは、後光の色を入力することができる。後光の色は、ハイパーテキストマークアップ言語（ＨＴＭＬ）色コードのフォーマットで入力されてもよい。色選択ツール１８３０はまた、色調節パネル１８３４を含むことができ、ユーザは、色の飽和、明度、および色相を調節することができる。色選択ツール１８３０はまた、ＲＧＢツール１８３６を含むことができ、これは、ＲＧＢおよび黒色／白色間の相対的比率に基づいて、色を選択することができる。ユーザは、ポインティングデバイス（例えば、マウス）を使用して、色、飽和、明度、色相等を色選択ツールのパネルから選択することができる。
図１８Ｃに示される実施例では、ユーザは、後光１８１４の色を青色に設定している。ユーザはまた、色選択ツール１８３０を使用して、後光１８１４の色を変化させる、または色調節パネル１８３４を使用して、選択された色の飽和、明度、または色相を調節することができる。いくつかの実施形態では、後光の色は、例えば、テーマまたはスタイルシートに基づいて、事前に設定されてもよい。ウェアラブルシステムは、システムデフォルト色に基づいて、またはコンテキスト情報に基づいて、色を事前に設定してもよい。プログラミングインターフェース１８００のユーザは、色選択ツール１８３０を使用して、事前に設定された色を変化または調節することができる。
図１８Ｄは、プログラミングインターフェース１８００の別の部分を図示し、これは、可視化タブ１８４２と、ソースコードタブ１８４４と、パターン調節ツール１８５０とを含む。
パターン調節ツール１８５０は、後光を構成するために使用されることができる。例えば、プログラミングツールのユーザは、弧長、回転、および色と関連付けられたスライダを調節し、後光の種々の視覚的効果を提供することができる。ユーザはまた、ｘ、ｙ、ｚ座標値を後光に設定することによって、後光の位置および回転を調節することができる（変換タブ１８５２に図示されるように）。ユーザはまた、フェードイン／フェードアウト効果等、トーテムと関連付けられた照明および移動効果を調節することができる。
可視化タブ１８４２は、パターン調節ツール１８５０、弧構成タブ１８２０、または色選択ツール１８３０によって作成された後光の１つ以上の効果を可視化するために使用されてもよい。実施例として、可視化タブ１８４２は、トーテムの可視化１８０２と関連付けられてもよい。プログラミングツール１８００のユーザが、可視化タブ１８４２を選択すると、プログラミングツール１８００は、ユーザが、直接、後光への更新の効果を知覚し得るように、トーテムの可視化１８０２を示し得る。
ソースコードタブ１８４４は、トーテムの光パターンの場所および移動と関連付けられたソースコードを含む。例えば、プログラミングツール１８００のユーザが、弧構成タブ１８２０、色選択ツール１８３０、またはパターン調節ツール１８５０を使用して、後光を構成するとき、ソースコードは、ユーザの選択に基づいて、自動的に更新されてもよい。ソースコード（または実行可能ファイルバージョン）は、有線接続（例えば、接続インターフェース１２２２を介して）または無線接続（例えば、ネットワークインターフェース１７３４を介して）を使用して、トーテムに通信されることができる。加えて、または代替として、ソースコード（または実行可能ファイル）は、トーテムまたは頭部搭載型デバイス（例えば、ローカル処理およびデータモジュール２６０等）内に記憶されることができ、これは、アナログ信号を生成し、ＬＥＤ１３３０の光パターンを制御するために使用されることができる。
いくつかの実施形態では、後光は、複数の弧から成ってもよい（図１６Ａにおける例示的後光パターン１６１４参照）。プログラミングツール１８００は、ユーザが、本明細書に説明される技法を使用して、各弧を構成することを可能にすることができる。図１８Ｄに示されるパターン調節ツール１８５０は、単独で、または弧構成タブ１８２０および色選択ツール１８３０と組み合わせて、後光を構成するために使用されることができる。
図１８Ａ−１８Ｄにおける実施例は、後光の光場所または移動パターンを構成することを参照して説明されるが、類似技法はまた、触覚的、聴覚的、視覚的、または他の効果を構成するために使用されることができる。
後光を用いたトーテム較正の実施例
ユーザ入力デバイス（本明細書に説明されるトーテム等）は、エラーを最小限にし、ユーザ相互作用体験を改良するために、較正を要求し得る。例えば、トーテムのＩＭＵは、トーテムのユーザの移動を正確に検出し、それに応答するように較正される必要があり得る。較正は、通常、製造時（例えば、トーテムまたはＩＭＵが製造されるとき）に行われる。製造後較正は、ユーザが、トーテムの製造業者が有するような制御および精密な較正システムを有し得ないため、困難であり得る。しかしながら、ユーザの運動度が変動し得るため、製造後較正を実施することは、ユーザにとって有益であり得る。例えば、あるユーザは、ユーザがそのトーテムを上下揺させるとき、他のユーザより大きい程度までその腕を移動させ得る。加えて、トーテムが異なるユーザに合わせられた可変応答度を有し得るように、カスタマイズされたユーザ体験を提供することが有利であり得る。一部のユーザは、より敏感なトーテム（若干の移動にも応答し得る）を好み得る一方、他のユーザは、あまり敏感ではないトーテム（若干の移動が存在するとき、ユーザインターフェース動作を実施しないように構成され得る）を好み得る。
本明細書に説明されるウェアラブルシステムおよびトーテムは、有利には、ユーザが製造業者の較正システムを使用することを要求せずに、製造後較正をサポートすることができる。トーテムは、後光を表示することができる。ユーザがトーテム１２００を移動させると、ウェアラブルシステムの外向きに面した結像システム４６４は、トーテムの画像および照明される後光を捕捉することができる。外向きに面した結像システム４６４によって捕捉されるような後光の形状は、トーテムの位置および配向に基づいて、異なり得る。ウェアラブルシステムは、オブジェクトオーガナイザ７０８を使用して、後光の形状を識別し、適宜、トーテムの位置および配向を決定することができる。トーテムのＩＭＵを較正するために、例えば、外向きに面した結像システム４６４によって入手された画像に基づいて決定されるようなトーテムの位置および配向が、ＩＭＵによって捕捉された位置および配向と比較されることができる。ウェアラブルシステムは、比較に基づいて、トーテムのＩＭＵを補正することができる。
図１９Ａは、照明される後光を使用したトーテム較正の実施例を図示する。図１９Ａにおける実施例は、トーテム１９００を較正することを参照して説明されるが、これは、例証のためのものであって、限定することを意図するものではない。トーテム１９００は、本実施例では、３自由度を有することができる。３ＤＯＦトーテム１９００は、円形タッチ表面１９６２と、タッチ表面１９６２を囲繞する、円形光導波路１９６４とを含むことができる。光導波路１９６４は、円形後光を表示することができる。３ＤＯＦトーテム１９００は、本明細書に説明されるトーテム１２００の実施例であることができる。故に、タッチ表面１９６２は、タッチ表面１２６２の実施例であることができ、光導波路１２６４は、光導波路１２６４の実施例であることができる。
本例示的図１９Ａでは、トーテムの種々の姿勢（例えば、姿勢１９１０、１９２０、１９３０、および１９４０）が、示される。トーテムの姿勢は、トーテムの配向および位置を含むことができる。例えば、姿勢１９２０は、ユーザがトーテムを下向きに向けていることを示す。姿勢１９３０は、トーテムが右に向けられていることを示し、姿勢１９４０は、トーテムが右上位置に面することを示す。姿勢１９１０は、基点位置であってもよく、これは、トーテムの自然静置位置と関連付けられる。
トーテムのＩＭＵのための較正プロセスの間、ウェアラブルシステムは、その外向きに面した結像システム４６４を使用して、ユーザの環境の画像を捕捉することができる。ユーザの環境の画像は、トーテムの画像を含むことができる。ウェアラブルシステムのオブジェクト認識装置７０８は、コンピュータビジョンアルゴリズムを適用し、捕捉された画像内のトーテムを識別することができる。オブジェクト認識装置７０８はまた、コンピュータビジョンアルゴリズムを適用し、画像内の後光の形状を識別することができる。ウェアラブルシステムは、単独で、またはトーテム本体の画像と組み合わせて、後光の形状に基づいて、トーテムの位置および配向を決定することができる。例えば、ウェアラブルシステムは、基点位置と関連付けられた形状を識別し、基点位置と関連付けられた形状に対する変化を計算することができる。基点位置と関連付けられた形状に対する変化に基づいて、ウェアラブルシステムは、基点位置に基づいて、トーテムの位置および配向の変化を決定することができる。例えば、円形の形状を有する後光は、円形形状に対する法線が、結像カメラに直接向かっていない方向に向いている場合、楕円形の形状に変化され得る。ウェアラブルシステムは、故に、基点位置に対する変化に基づいて、トーテムの現在の位置および配向を決定することができる。
実施例として、光導波路１９６４によって示される照明される後光は、トーテム１９００が基点位置にあるとき（姿勢１９１０によって示されるように）、円形形状を有することができる。加えて、外向きに面した結像システム４６４は、トーテムが基点位置にあるとき、トーテム１９００の本体を知覚し得ない。姿勢１９４０を参照すると、ウェアラブルシステムは、外向きに面した結像システム４６４によって入手された画像に基づいて、トーテムの本体の一部が対角線位置にあることを識別することができる。ウェアラブルシステムはまた、トーテムの姿勢１９４０における照明される後光が、円形形状ではなく、楕円形を有するように現れることを識別することができる。トーテム本体および後光（他の可能性として考えられる情報の中でもとりわけ）の観察に基づいて、ウェアラブルシステムは、トーテムが右に傾斜され、上に面していることを決定することができる。別の実施例として、姿勢１９２０および１９３０における後光の形状は両方とも、楕円形であることができる。しかしながら、姿勢１９３０における後光の長軸は、垂直方向にある（および姿勢１９３０における短軸は、水平方向にある）一方、姿勢１９２０における後光の長軸は、水平方向にある（および姿勢１９２０における長軸は、垂直方向にある）。したがって、ウェアラブルシステムは、姿勢１９３０では、トーテムが水平に位置付けられている（例えば、左または右に面している）ことを決定し、姿勢１９２０では、トーテムが垂直に位置付けられている（例えば、上または下に面している）ことを決定し得る。
基点位置は、ウェアラブルシステムによって定義されてもよい。本実施例では、基点位置は、姿勢１９１０と関連付けられるように定義される。他の実施例では、基点位置は、トーテムの他の姿勢（姿勢１９２０、１９３０、１９４０等）と関連付けられてもよい。本実施例では、後光は、基点位置において円形であるように現れるが、トーテムは、トーテム較正のために、他の光パターンを照明することができ、これを、ウェアラブルシステムは、検出および分析することができる。例えば、トーテムは、正方形形状、三角形（例えば、トーテムのタッチ表面を囲繞する３つの弧を伴う）、重複線分のパターン（例えば、十字形状の弧または「ｘ」形状の弧を有する）等を照明することができる。ある実施形態では、光パターンはまた、複数の色を伴う弧を含んでもよい（例えば、６ＤＯＦトーテム等のより多くの自由度を伴うトーテムを較正するために有用であり得る）。例えば、光パターンが、十字形状の弧を含む場合、トーテムは、図２５Ｂに図示されるように、光パターンを照明することができる。外向きに面した結像システム４６４およびオブジェクト認識装置７０２は、後光の光パターンにかかわらず、類似技法を使用して、トーテムの位置および配向を決定することができる。
ウェアラブルシステムはまた、トーテムの位置および配向に関連するデータをＩＭＵから受信することができる。例えば、ウェアラブルシステムは、トーテム内のジャイロスコープから入手されたデータに基づいて、トーテムの配向を計算することができる。ＩＭＵによって入手された位置および配向データは、トーテムの画像に基づいて計算されるものと比較されることができる。ウェアラブルシステムは、本比較に基づいて、ＩＭＵを較正することができる。例えば、ウェアラブルシステムは、ＩＭＵによって入手されたデータに基づいて、トーテム１９００が姿勢１９４０にあることを決定し得る。しかしながら、ウェアラブルシステムによって観察されるようなトーテム１９００の位置は、実際には、姿勢１９３０にあり得る。故に、ウェアラブルシステムは、ＩＭＵによって観察される位置および配向と姿勢１９３０（外向きに面した結像システム４６４によって観察されるように）を関連付け、ＩＭＵを較正することができる。いくつかの実施形態では、ＩＭＵを較正することに加えて、またはその代替として、ウェアラブルシステムは、較正された（未加工ではなく）読取値を表すように、ＩＭＵ読取値を補正するように、較正変換（例えば、ルックアップテーブル）を記憶してもよい。
較正プロセスを促進するために、後光は、トーテムをある姿勢（例えば、位置または配向）に移動させるようにユーザを誘導するために使用されてもよい。ウェアラブルシステムは、故に、外向きに面した結像システムおよびＩＭＵを使用して、トーテムの位置または配向を入手することができる。図１９Ｂは、トーテム較正の実施例を図示し、光パターンは、ユーザ移動のためのガイドとして使用される。例えば、トーテムは、パターン１９７２、１９７４、１９７６、１９７８を示すことができる。これらのパターンは、図１４Ｂに示されるＭＵＸ２、０、１、４に対応し得る。例えば、ＭＵＸ１におけるＬＥＤ３、ＬＥＤ４、およびＬＥＤ５が、照光し、パターン１９７６を示してもよい。
較正プロセスの間、トーテムは、パターン１９７２を提示し、ユーザに、トーテムを右に移動させるように示し、パターン１９７４を提示し、ユーザに、トーテムを左に移動させるように示す。トーテムがパターン１９７６を提示すると、ユーザは、トーテムを上向きに移動させ得るが、トーテムがパターン１９７８を提示すると、ユーザは、トーテムを下向きに移動させ得る。いったんトーテム（またはＩＭＵ）が較正されると、トーテムは、パターン１９８０を提示することができ、これは、青色一色を示し、円形形状をトーテムのタッチ表面の周囲に形成する。パターン１９８０に加え、またはその代替として、トーテムはまた、他のインジケーションを採用し、トーテム（またはＩＭＵ）が較正されたことを示すことができる。例えば、トーテムは、振動（例えば、アクチュエータ１７６０を介して）または音（例えば、スピーカ２４０を介して）を提供することができる。別の実施例として、トーテムは、フェードインまたはフェードアウト効果、円形後光の一部、または他の視覚的スキーム等の他の視覚的インジケーションを提供することができる。いくつかの実施形態では、トーテム（例えば、プロセッサ１７７０）は、較正が完了されると、ＬＥＤに、照明を停止するように命令することができる。
図１９Ａは、３ＤＯＦトーテム１９００内のＩＭＵを較正することを参照して説明されるが、類似技法はまた、６ＤＯＦトーテムまたは他のタイプのユーザ入力デバイスを較正するために使用されることができる。
図１９Ｃにおけるプロセス１９８２は、較正プロセスの別の実施例を図示する。パターン１９８４ａ、１９８４ｂ、１９８４ｃ、および１９８４ｄは、トーテムが現在較正している、現在の位置／移動を示す。例えば、パターン１９８４ａ（弧を円形タッチパッドの上部に示す）は、トーテムが現在上向き移動と関連付けてそれ自体を較正していることを示し得る一方、パターン１９８４ｂ（弧を円形タッチパッドの底部に示す）は、トーテムが現在下向き移動と関連付けてそれ自体を較正していることを示し得る。別の実施例として、パターン１９８４ｃ（弧を円形タッチパッドの右に示す）は、トーテムが現在右移動に対して較正されていることを示し得、パターン１９８４ｄ（弧を円形タッチパッドの左に示す）は、トーテムが現在左移動に対して較正されていることを示し得る。
いくつかの実施形態では、パターン１９８４ａ、１９８４ｂ、１９８４ｃ、および１９８４ｄは、ユーザ相互作用に起因してトリガされてもよい。例えば、ユーザが、トーテム右に移動させる場合、トーテムは、後光１９８４ｄを表示し、適宜、本右移動と関連付けてトーテムを較正することができる。加えて、または代替として、図１９Ｂを参照して説明されるように、パターン１９８４ａ、１９８４ｂ、１９８４ｃ、および１９８４ｄは、自動的に照光し、トーテムをある姿勢に移動させるようにユーザを誘導することができる。
いったんトーテムが全４つの方向（左、右、上、および下）において較正されると、トーテムは、確認パルスを提示することができる。確認パルスは、パターン１９８６ａおよび１９８６ｂを交互に表示することを含んでもよい。例えば、トーテムは、０．１秒毎に、後光をパターン１９８６ａからパターン１９８６ｂ（およびその逆）に変化させることができる。
図１９Ａおよび１９Ｂは、ＩＭＵを較正することを参照して説明されるが、類似技法はまた、他の環境センサ１７１０を較正するために使用されることができる。
トーテム較正プロセスを通してユーザを誘導することに加え、またはその代替として、類似技法は、具体的オブジェクトとのユーザの相互作用を較正するために使用されることができる。例えば、ユーザがゲームのプレーを開始すると、後光の光場所または移動パターンは、チュートリアルプロセスを通してユーザを誘導するために使用されてもよい。実施例として、トーテムがパターン１９８４ｃを示すとき、ユーザは、トーテムを左に移動させることができ、ディスプレイは、故に、アバタの左移動を示すことができる。ユーザはまた、トーテムの移動と特定のユーザインターフェース動作を関連付けることができる。例えば、ユーザは、アバタが作成された後、そのアバタが走っているアクションにあることを知覚することができる。ユーザは、トーテムを前方に（ユーザから離れるように）移動させ、トーテムの前方移動を走っているアクションと関連付けられるように設定することができる。
いくつかの実施形態では、後光の光場所または移動パターンは、較正のタイプに基づいて、異なり得る。例えば、後光は、ＩＭＵが較正されるとき、青色であってもよい一方、ユーザがゲームのためにトーテムの移動を構成するとき、緑色であってもよい。
トーテム較正の例示的プロセス
図１９Ｄは、後光と関連付けられた光パターンを使用したトーテム較正の例示的プロセス１９９０を図示する。例示的プロセス１９９０は、単独で、またはトーテムと組み合わせて、ウェアラブルシステム（例えば、ローカル処理およびデータモジュール２６０または遠隔処理モジュール２７０等）によって実施されることができる。
図１９Ｄにおける例示的プロセス１９９０のブロック１９９２ａでは、ウェアラブルシステムは、ユーザの環境の画像を受信することができる。画像は、図４に示される外向きに面した結像システム４６４によって入手されてもよい。
ブロック１９９２ｂでは、ウェアラブルシステムは、画像を分析し、画像内のトーテム（または後光）を識別することができる。トーテムは、本体と、光導波路とを含むことができる。光導波路は、後光を表示するように構成されてもよい。ウェアラブルシステムは、図７を参照して説明されるオブジェクト認識装置７０８を使用して、トーテム、トーテムの本体、後光、または光導波路を識別することができる。オブジェクト認識装置７０８は、コンピュータビジョンアルゴリズムを使用して、そのような識別を実施してもよい。
ブロック１９９２ｃでは、ウェアラブルシステムは、トーテムの第１の位置を決定することができる。第１の位置は、基点位置であってもよい。例えば、トーテムの自然静置位置等の基点位置は、ウェアラブルシステムによって事前によって定義されてもよい。基点位置はまた、ユーザによって識別または変化されてもよい。例えば、ユーザは、基点位置を姿勢１９１０と関連付けられた位置となるように定義してもよい。ウェアラブルシステムは、基点位置と関連付けられた後光の第１の光パターンを決定することができる。基点位置と関連付けられたパターンは、ウェアラブルシステムによって事前に記憶されてもよい。いくつかの実施形態では、いったんウェアラブルシステムが基点位置を識別すると、ウェアラブルシステムは、通知をユーザにプロンプトし、ユーザがトーテムを基点位置に保持することを要求し得、ウェアラブルシステムは、適宜、基点位置におけるトーテムの画像を捕捉することができる。
ブロック１９９２ｄでは、ウェアラブルシステムは、少なくとも部分的に、画像の分析に基づいて、後光の第２のパターンを識別することができる。ウェアラブルシステムは、画像を分析し、オブジェクト認識装置７０８を使用して、パターンを識別することができる。
ブロック１９９２ｅでは、ウェアラブルシステムは、第１の位置に関するトーテムの位置および配向に対する第１の変化を決定することができる。例えば、ウェアラブルシステムは、トーテムが更新された位置にあるときの基点位置と関連付けられたパターンおよび外向きに面した結像システムによって入手されたパターンに基づいて、後光のパターンに対する変化を分析する。画像分析に加え、ウェアラブルシステムはまた、較正されていない、ユーザ相互作用または１つ以上の環境センサからのデータ等の他の情報に基づいて、後光の第２のパターンを識別する、またはトーテムの位置および配向に対する第１の変化を計算することができる。例えば、ユーザは、インジケーションを提供し、トーテムの位置および配向に対する変化を示すことができる。インジケーションは、姿勢またはユーザ入力デバイス４６６、例えば、指を正面に向けること等を介して、トーテムがそのオリジナル位置から前方に移動されたことを示すことができる。
ブロック１９９４ａでは、ウェアラブルシステムはまた、トーテムと関連付けられた移動データを較正される必要がある環境センサから受信することができる。ウェアラブルシステムは、ブロック１９９４ｂにおいて、適宜、環境センサから受信されたデータに基づいて、トーテムの位置および配向に対する第２の変化を計算することができる。
ウェアラブルシステムは、第１の変化と第２の変化との間の差異を計算することができる。ブロック１９９２ｆでは、ウェアラブルシステムが、第１の変化と第２の変化との間の相違が閾値条件に達することを決定する場合、ウェアラブルシステムは、ブロック１９９２ｇにおいて、環境センサを較正することができる。そうでなければ、ウェアラブルシステムは、環境センサが較正される必要がないことを決定し、ブロック１９９２ｈに示されるように、インジケーションを提供することができる。インジケーションは、例えば、図１９Ｃに示される確認パルス等の後光パターンのある場所および移動または触覚フィードバックを含んでもよい。加えて、インジケーションは、ディスプレイ２２０、スピーカ等によって提示されてもよい。
いくつかの状況では、ウェアラブルシステムは、トーテムの複数の位置および配向と関連付けられたデータを集めることができ、ウェアラブルシステムは、集められたデータに基づいて、環境センサが較正される必要があるかどうかまたは環境センサが較正されるであろう方法を決定することができる。例えば、ウェアラブルシステムは、トーテムが左および右に移動するとき、ＩＭＵが較正される必要がないが、前／後移動に対して較正される必要があり得ることを決定し得る。しかしながら、前／後移動に関して較正するために、ウェアラブルシステムはまた、左／右移動を検出するために、ＩＭＵを調節する必要があり得る。故に、ウェアラブルシステムは、ＩＭＵがすでに左／右移動を合理的正確度で検出することが可能であっても、前／後移動および左／右移動のために必要とされる調節の量を計算してもよい。
図１９Ｅは、後光と関連付けられた光パターンを使用したトーテム較正の別の例示的プロセス１９９６を図示する。例示的プロセス１９９６は、本明細書に説明されるトーテムまたはウェアラブルシステムによって実施されることができる。
ブロック１９９８ａでは、トーテムは、トーテムの姿勢の第１のインジケーションを提供することができる。例えば、トーテムの光導波路は、光導波路の左側に位置する弧を伴う後光を表示してもよい。本弧は、インジケーションをユーザに提供し、トーテムを左に移動させることができる。いくつかの実施形態では、インジケーションはまた、ウェアラブルディスプレイによって、または触覚または聴覚フィードバックを介して、提供されることができる。
ブロック１９９８ｂでは、トーテムは、姿勢と関連付けられた移動データを入手することができる。例えば、ユーザがトーテムを左に移動させるにつれて、トーテムのＩＭＵは、ユーザの移動を検出し、移動データをプロセッサに通信することができる。
ブロック１９９８ｃでは、トーテムは、移動データに基づいて、較正されることができる。例えば、トーテムは、ＩＭＵによって検出された移動と左運動を関連付けることができる。
ブロック１９９８ｄでは、トーテムが較正されたかどうかを決定することができる。例えば、トーテムのＩＭＵが較正される必要がある場合、トーテムは、トーテムが６ＤＯＦに関して較正されたかどうかを決定することができる。いったんトーテムが較正されると、ブロック１９９８ｆでは、トーテムは、第２のインジケーションを提示し、トーテムが較正されたことを知らせることができる。例えば、トーテムは、点滅緑色後光を光導波路上に示し、トーテムが較正されたことを示すことができる。
較正プロセスが不成功である場合、プロセス１９９６は、ブロック１９９８ａに戻り、較正を繰り返してもよい。
後光を用いたデバイスペアリングの実施例
２つのデバイスが、ペアリングされる（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介して）前に、無線通信リンクを確立するために要求され得る。デバイスがペアリングすると、それらは、例えば、デバイスのユーザまたはデバイス自体のアドレス、名前、およびプロファイル等の情報を共有する、またはその個別のメモリ内に記憶される情報を共有することができる。いったん２つのデバイスがペアリングされると、それらは、共通秘密鍵を共有することができ、これは、将来的情報共有のために、それらが再び繋げられることを可能にすることができる。
デバイスペアリングは、手間がかかり、時として、ユーザに、そのデバイスについての一意の情報を打ち込むことを要求し得る。例えば、ユーザは、そのデバイス（またはユーザの他のデバイス）が近傍のデバイスに関する初期検索を完了後、そのデバイスの情報を手動で入力し得る。デバイスは、ペアリングプロセスのために、ＮＦＣプロトコルを使用して、情報を２つのデバイス間で共有することができるが、ＮＦＣコンポーネントは、多くの場合、比較的に大規模であって、コストがかかる。
ユーザ相互作用を低減または最小限にし、トーテムとウェアラブルデバイスとの間のペアリングプロセスを簡略化するために、トーテムは、光パターンを提示することができ、これは、ペアリングのために分析および使用されることができる。光パターンは、トーテムとウェアラブルデバイスとの間のペアリングのために使用されるメッセージを含むことができる。光パターンは、トーテムのＬＥＤ上に照明された後光によって提示されてもよい。メッセージは、ペアリングプロセスを開始するためのインジケーションを含んでもよい。例えば、光パターンは、トリガメッセージをエンコードすることができ、これは、ウェアラブルデバイスに、近傍のデバイスを検索させる、またはそのデバイス情報を近傍のデバイスにブロードキャストさせることができる。別の実施例として、光パターンは、トーテムのデバイス情報をエンコードすることができる。デバイス情報は、暗号化されてもよい。デバイス情報は、デバイス識別子（ＩＤ）、オペレーティングシステム情報（例えば、オペレーティングシステムバージョン）、ファームウェア情報、ペアリングのために使用される通信チャネルのタイプ（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線チャネル）、トーテムとウェアラブルディスプレイとの間で共有されるデジタル鍵等を含むことができる。ある実装では、デバイスＩＤは、製造業者、販売業者、開発者、または任意の好適なエンティティによって提供または生成されてもよい。デバイス識別子の実施例は、Ａｎｄｒｏｉｄ識別子（ＩＤ）、ｉＰｈｏｎｅ（登録商標）の一意の識別子（ＵＤＩＤ）、ｉＰｈｏｎｅ（登録商標）の広告識別子（ＩＦＡまたはＩＤＦＡ）、クッキーＩＤ、ログインＩＤ、インターネットプロトコル（ＩＰ）アドレス、メディアアクセス制御（ＭＡＣ）アドレス、上記のいずれかのハッシュ、上記のいずれかの組み合わせ、または同等物を含んでもよい。ある場合には、デバイス識別子は、デバイス識別子によって識別されるデバイスの１つ以上のハードウェアおよび／またはソフトウェアパラメータに基づいて導出されてもよい。例えば、デバイス識別子は、デバイスのＩＰアドレス、オペレーティングシステムバージョン、およびロケール設定から導出されてもよい。いくつかの実施形態では、デバイス識別子は、トランザクション、要求、またはネットワークイベントのソースまたは原点を識別するために使用されてもよい。例えば、デバイス識別子は、ユーザ識別子、アカウント識別子、および同等物を含んでもよい。加えて、または代替として、デバイスＩＤは、デバイスを使用するエンティティ（例えば、ユーザ）と関連付けられてもよい。
実施例として、トーテムは、ＬＥＤのリングをその周界上に含んでもよい（例えば、１２のＬＥＤがタッチパッドの周囲の円周方向に配置される）。これらの１２のＬＥＤは、具体的時間的シーケンス、空間シーケンス、またはそれらの組み合わせで照光するとき、あるデバイス情報を表すために使用されることができる。各ＬＥＤは、ビットを割り当てられてもよく、ＬＥＤのリングは、本実施例では、１２ビットワードを表すことができる。ＬＥＤのうちの１つ以上のものは、シーケンスで表示され、ペアリングのために必要な情報を示すことができる。例えば、ＬＥＤ光は、シーケンスで照明され、トーテムのデバイス識別子（ＩＤ）を示すことができる。デバイスＩＤが２であって、数２の２進数表現が１０であると仮定すると、トーテムは、ＬＥＤ０（図１４Ｂに示される）を照光し、２進数数２を表し得る一方、他のＬＥＤ（例えば、ＬＥＤ１−１１）は、照明しない。
ある実装では、１つ以上のＬＥＤ光の色もまた、ペアリングのために使用される情報を表すことができる。例えば、赤色は、トーテムのある製造業者またはモデルを表してもよい一方、ＬＥＤ光の青色は、別の製造業者またはモデルを表してもよい。トーテムはまた、ＬＥＤ光を用いて、トーテムの製造業者とモデルの組み合わせを示すことができる。例えば、トーテムは、ＬＥＤ１を青色で照明する一方、ＬＥＤ３を桃色で照明することによって、製造業者ＡおよびモデルＭを示すことができる。
さらに、各ＬＥＤが、ビットを割り当てられる場合、ＬＥＤの色は、ＬＥＤが表し得る情報の量を拡張させることができる。例えば、１つのＬＥＤが１ビットを割り当てられるのではなく、ある色を伴うＬＥＤが、情報の１単位を割り当てられてもよい。故に、ＬＥＤ光が、９色を照明することができる場合、ＬＥＤは、照明された色に基づいて、数０−９を示すために使用されることができる。例えば、ＬＥＤが照明されないと、ウェアラブルデバイスは、それを０であると解釈することができる一方、紫色は、数１を表し得、緑色は、数２を表し得る等となる。別の実施例として、ＬＥＤはまた、アルファベットで文字を表すことができる（例えば、赤色は、Ａであって、白色は、Ｂである等）。
ウェアラブルデバイスは、ディスプレイおよびカメラ（例えば、外向きに面した結像システム４６４等）と関連付けられてもよい。カメラは、光シーケンスを捕捉し、次いで、それを復調し、自動ペアリングのための使用可能情報を抽出するために使用されることができる。例えば、カメラによって捕捉された画像は、本明細書に説明される種々のコンピュータビジョンアルゴリズムを使用して分析され、後光の光パターンを抽出することができる。光パターンは、数、アルファベット、単語等に変換されてもよく、これは、トーテムのデバイス情報を表すことができる。ウェアラブルデバイスは、次いで、トーテムとのペアリングのために、本デバイス情報を使用することができる。
２つのトーテムもまた、ペアリングされてもよい。例えば、２人の友人が、その個別のウェアラブルデバイスを使用してビデオゲームをプレーする間、そのトーテムをペアリングし、そのゲーム制御を共有することを所望し得る。本実施例では、１人目のウェアラブルデバイスの外向きに面した結像システムは、第２の友人のトーテム上の光シーケンスを取得することができる（その逆も同様である）。１人目のウェアラブルデバイスは、第２の友人のトーテムのデバイス情報を抽出し、ペアリングのために、その情報を第１の友人のトーテムにパスすることができる。いくつかの実装では、トーテムはまた、カメラを有してもよい。したがって、トーテムは、別のトーテムの光パターンの画像を捕捉し、２つのトーテムのペアリングを達成することができる。
別の実施例として、ウェアラブルデバイス（またはＨＭＤ）は、２つのトーテムとペアリングされてもよい。外向きに面した結像システムは、１つのトーテムに関する光パターンの画像を入手することができる。いったんウェアラブルデバイスが１つのトーテムのデバイス情報をその後光から抽出すると、ウェアラブルデバイスは、ペアリングのために、（ウェアラブルデバイスまたは他のトーテムの）デバイス情報を他のトーテムにパスすることができる。
デバイスペアリングに加え、またはその代替として、トーテムによって情報を通信するための類似技法はまた、他のタイプの情報を通信するために使用されることができる。例えば、トーテムは、トーテムによって照明された光パターンを使用して、ユーザのプロファイル情報またはトーテムのステータスをウェアラブルデバイスに通信してもよい。
有利には、いくつかの実施形態では、トーテムの光場所または移動パターンは、トーテムとウェアラブルデバイスとの間または２つのトーテム間の無線ペアリングの進行度を示すために使用されることができる。図２０Ａおよび２０Ｂは、後光を用いた無線（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉＦｉ）ペアリングプロセスを示す、実施例を図示する。これらの２つの図に図示される光パターンは、無線通信（例えば、トーテムまたはデバイスがそのデバイス情報を他のデバイスに無線でブロードキャストする）を介して、または図１４Ｂを参照して説明される光パターンを通して、デバイスペアリングプロセスの進行度を示すために使用されることができる。
図２０Ａは、トーテム２０２０を示し、これは、タッチパッド２０２２と、ディスプレイ領域２０２６とを有することができる。トーテム２０２０は、トーテム１２００の実施例であってもよく、タッチパッド２０２２は、タッチパッド１２６０の実施形態であってもよい。ディスプレイ領域２０２６は、ＬＥＤのリングと、ＬＥＤによって放出される光を拡散させる、光導波路とを含んでもよい。いくつかの実施形態では、ユーザは、ディスプレイ領域２０２６を作動させることができる。
ディスプレイ領域２０２６は、後光２０２４を表示することができる。後光の一部は、濃青色であってもよい。プロセス２０１２に示されるように、トーテムは、濃青色部分の時計回りスピン動画を再生することができる。いったんトーテムがペアリングされると、トーテムは、濃青色後光をパルス動画で提示することができる。動画の実施例は、図２０Ｂを参照して説明される。トーテムは、パターン２０６２を表示することによって、スピン動画を開始してもよい。無線ペアリングが、進行中の間、トーテムは、矢印１、２、および３によって図示されるように、パターン２０６４、２０６６、および２０６８を順次提示することができる。トーテムは、ペアリングが依然として継続中である場合、パターン２０６８後、パターン２０６２を再び再生することができる。ペアリングが正常に完了した場合、トーテムは、パターン２０７０を提示することができ、これは、視覚的インジケーションをユーザに提供することができる。
これらの実施例は、トーテムをペアリングすることを参照して説明されるが、類似技法はまた、他のユーザ入力デバイス４６６またはデバイスとディスプレイまたは照明コンポーネントをペアリングするために使用されることができる。例えば、技法は、スマートウォッチ、スマートフォン、ウェアラブルデバイス、トーテム、タブレット、コンピュータ、テレビ、カメラ、周辺デバイス、家電、または画像認識および処理容量を有する他のデバイスのうちの２つ以上のものをペアリングすることに適用されることができる。スマートフォンとトーテムとの間のペアリングの実施例として、スマートフォンは、そのカメラを使用して、トーテム上の照明パターンを捕捉および分析することができる。別の実施例として、ウェアラブルデバイスは、スマートウォッチとペアリングされてもよく、ウェアラブルデバイスは、スマートウォッチによって表示されるパターン（例えば、スマートウォッチのディスプレイ画面上に）を捕捉および分析することができる。本明細書に説明される技法はさらに、Ｂｌｕｅｔｏｏｔｈ（登録商標）ペアリング、ＷｉＦｉペアリング（例えば、Ｗｉ−Ｆｉ ＤｉｒｅｃｔＴＭ）、または他のタイプの無線ペアリング等の種々のタイプの無線ペアリングに適用されることができる。Ｂｌｕｅｔｏｏｔｈ（登録商標）ペアリングの実施例として、トーテムが発見可能モードにあるとき、トーテムは、光パターンを表示し、発見可能モードにあることを示すことができる。ウェアラブルデバイスは、本光パターンを捕捉し、ウェアラブルデバイスもまた発見可能モードにあるとき、ペアリングを完了することができる。光パターンがトリガメッセージをエンコードするとき、ウェアラブルデバイスは、光パターンの検出に応じて、発見可能モードに自動的に入ることができる。無線ペアリングの実施例として、トーテムは、光パターンを照明し、接続がトーテムに対して行われ得ることを示すことができる。ウェアラブルデバイスは、光パターンの検出に応じて、招待を受信し、トーテムに接続することができる。無線ペアリングのこれらの実施例に加え、ペアリング技法はまた、無線ペアリング以外のペアリングのタイプに適用されることができる。例えば、技法はまた、Ｅｔｈｅｒｎｅｔ（登録商標）接続を介して、自宅のユーザ入力デバイスのグループ間でファイルを共有するために使用されることができる。
後光を用いたデバイスペアリングの例示的プロセス
図２０Ｃは、後光を用いたデバイスペアリングの例示的プロセス２０８０を図示する。ペアリングは、ウェアラブルデバイスと別のデバイス（例えば、トーテム、スマートフォン、テレビ、スマートウォッチ等）との間で行われてもよい。例示的プロセス２０８０は、ＨＭＤと、外向きに面した結像システム４６４とを有する、ウェアラブルデバイスによって実施されることができる。プロセス２０８０は、トーテムと他のデバイス、ＨＭＤ等をペアリングすることを補助するために使用されることができる。
ブロック２０８２では、ウェアラブルデバイスは、ペアリングを確立するための要求をトーテムから受信することができる。例えば、トーテムは、通信を確立するために、信号を近傍のデバイスにブロードキャストすることができる。ウェアラブルデバイスは、ブロードキャスト信号を受信し、信号を通信したトーテムを識別することができる。別の実施例として、要求は、トーテムの光パターン内にエンコードされたトリガメッセージであってもよい。
ブロック２０８４では、ウェアラブルデバイスは、トーテムによって提示される後光の画像を受信することができる。画像は、外向きに面した結像システム４６４によって捕捉されてもよい。図２０Ａおよび２０Ｂを参照して説明されるように、トーテムは、後光を使用して、後光の光場所または移動パターンを介して、ペアリングを確立するために必要とされるデバイス情報を通信することができる。例えば、後光は、デバイス情報を２進数形態にエンコードしてもよい。
ブロック２０８６では、ウェアラブルデバイスは、後光の画像を分析し、デバイス情報を抽出することができる。例えば、ウェアラブルデバイスは、オブジェクト認識装置７０８ｎを使用して、捕捉された画像内の後光を識別することができる。後光がデバイス情報を２進数形態でエンコードする場合、ウェアラブルデバイスは、デバイス情報の２進数表現を１０進数表現またはアルファベット表現に変換することができる。
ブロック２０８８では、抽出されたデバイス情報に基づいて、ウェアラブルデバイスは、トーテムとウェアラブルデバイスをペアリングすることができる。例えば、ウェアラブルデバイスは、トーテムのデバイスＩＤを、ウェアラブルデバイスがその情報を共有し得る、デバイスのホワイトリストに追加してもよい。
随意に、ブロック２０８９では、ウェアラブルデバイスは、ペアリングが成功したことを示すインジケーションをトーテムから受信することができる。インジケーションは、電磁信号であってもよい。加えて、または代替として、トーテムは、ある場所および移動を伴う後光を表示し、ペアリングが完了したことを示すことができる。例えば、トーテムは、円形青色後光のパルス動画を表示することができる。外向きに面した結像システム４６４は、画像内の本後光を捕捉することができる。いったんウェアラブルデバイスが後光の光場所または移動パターンを認識すると、ウェアラブルデバイスは、ペアリングが完了されたことを決定することができる。
いくつかの実施形態では、トーテムはまた、ペアリングが進行中であることの視覚的インジケーションを提供する。例えば、トーテムは、ペアリングの間、回転弧を伴う後光を提示してもよい。回転弧は、トーテムがデバイス情報をウェアラブルデバイスに提供した後、提示されてもよい。
実施例は、ウェアラブルデバイスを参照して本明細書に説明されるが、いくつかの実施形態では、類似技法はまた、別のコンピューティングデバイスに適用されることができる。例えば、例示的プロセス２０８０は、ＡＲ／ＶＲ／ＭＲ特徴を提供するように構成される携帯電話とトーテムをペアリングするために使用されることができる。
図２０Ｄは、後光を用いたデバイスペアリングの別の例示的プロセス２０９０を図示する。ペアリングは、トーテムとコンピューティングデバイスとの間で行われてもよい。コンピューティングデバイスは、ウェアラブルディスプレイと、外向きに面した結像システム４６４とを有する、ウェアラブルデバイス、または他のコンピューティングデバイス（例えば、テレビ、スマートウォッチ、スマートフォン、タブレット、別のトーテム等）であってもよい。例示的プロセス２０９０は、トーテム１２００によって実施されることができる。
ブロック２０９２では、トーテムは、コンピューティングデバイスとのペアリングプロセスを開始することができる。例えば、トーテムは、トーテムとペアリングされ得る、近傍のデバイスを検索することができる。トーテムはまた、信号をブロードキャストし、他のデバイスから受信された信号に対する応答に基づいて、ペアリングのために利用可能なデバイスを識別することができる。ユーザは、トーテムまたはコンピューティングデバイスを作動させ、トーテムにペアリングプロセスを開始させることができる。例えば、ユーザは、長時間周期にわたって、ホームボタン１２５６を押下し、トーテムをペアリングプロセスに入らせることができる。ある実装では、トーテムは、光パターンを提示することができ、これは、トーテムが現在ペアリングモードにあることを示す。光パターンは、コンピューティングデバイスによって捕捉されてもよく、コンピューティングデバイスをトーテムとのペアリングプロセスに入らせることができる。
ブロック２０９４では、トーテムは、ペアリングプロセス２０９４のための情報をエンコードする、第１の光パターンを照明することができる。エンコードされた情報は、トーテムのデバイス情報を含んでもよい。エンコードされた情報はまた、コンピューティングデバイスがトーテムと接続するための鍵を含んでもよい。例えば、コンピューティングデバイスは、キー画像から抽出された光パターンに基づいて、鍵を抽出し、無線チャネルを介して、鍵をトーテムに返信し、ペアリングを達成することができる。いくつかの実施形態では、ブロック２０９２は、随意であってもよい。コンピューティングデバイスは、ブロック２０９４において、第１の光パターンの検出に応じて、ペアリングプロセスを自動的に開始することができる。
ブロック２０９６では、トーテムは、応答をコンピューティングデバイスから受信することができる。応答は、コンピューティングデバイスのデバイス情報であってもよい。いくつかの状況では、応答は、トーテムからのより多くの情報のための要求を含んでもよい。コンピューティングデバイスはまた、トーテムがコンピューティングデバイスと通信するために使用し得る、ネットワーク通信情報（例えば、ネットワークポート、暗号化規格、または通信プロトコル）等の他の情報を応答内に提供することができる。いくつかの状況では、応答はまた、コンピューティングデバイスがトーテムを承認されたデバイスのリストに追加したことのインジケーションを含むことができる。
随意に、ブロック２０９８では、いったんペアリングプロセスが完了されると、トーテムは、第２の光パターンを照明し、ペアリングが成功したことを示すことができる。第２の光パターンは、図２０Ｂに示されるパターン２０７０であってもよい。いくつかの実施形態では、トーテムは、照明を停止し、ペアリングが完了されたことを示すことができる。例示的プロセス２０９０は、トーテムによって実施されるように上記に説明されているが、例示的プロセス２０９０は、別のデバイス（例えば、スマートフォン、スマートウォッチ、コンピュータ等）によっても実施されることができることを理解されたい。
後光の光パターンを使用してオブジェクトのステータスに関するキューを提供する実施例
後光の光パターンの場所および移動は、オブジェクトのステータスを示すためのキューとして使用されることができる。例えば、ある光場所または移動パターンは、ユーザがトーテムをオンまたはオフにしたかどうか、トーテムがスリープモードにあるかどうか、またはトーテムのバッテリ充電ステータスを示すために使用されることができる。非限定的例証的実施例は、下記に説明される。
図２１Ａは、トーテムのステータスを示す、実施例を図示する。プロセス２１１０に示されるように、電源ボタンがオフからオンにされると、トーテムは、後光の一部を提示し、トーテムが完全にオンにされるまで、その部分の残りを徐々に充填することができる。トーテムはまた、電源オンプロセスの間、１サイクルにわたって、後光を時計回りに回転させることができる。
電源ボタンがオンからオフに切り替えられると、トーテムは、（プロセス２１２０に図示されるように）完全後光を提示し、１サイクルにわたって、後光を反時計回りに回転させることができる。トーテムはまた、トーテムが完全に電源オフされるまで（トーテムがもはや後光を提示しないであろうとき）、後光のより多くの部分を徐々に隠蔽することができる。
後光カラーパレットは、ユーザに視覚的に魅力的となるように選択されることができる。異なるカラーパレットが、異なるシステム機能のために使用されることができ、例えば、システムが電源オンにされるときのスタートアップカラーパレット（例えば、図２１Ａにおけるプロセス２１１０参照）およびシステムが電源オフにされるときのシャットダウンカラーパレット（例えば、図２１Ａにおけるプロセス２１２０）である。例えば、スタートアップカラーパレットは、日の出の際に典型的に見られる色を表すことができ、シャットダウンカラーパレットは、日没の際に典型的に見られる色を表すことができる。他のカラーパレットも、他のシステム機能（例えば、図２１Ｃ、２１Ｄに示される充電またはバッテリステータスまたはスリープアイドルモード）のために使用されることができる。カラーパレットは、色、グレースケール、照明レベル等を含むことができる。照明パターンは、トーテム光源（例えば、ＬＥＤ１３８３ａ、１３９４ａ）の明度を制御するために使用される光源コントローラ（タッチボード１３９４ｃ上に配置されるコントローラであり得る）に通信される、照明情報を含むことができる。照明情報は、カラーパレット、ＬＥＤ（ＬＥＤによって生産可能な個々の色を含む）のそれぞれが照明される、タイミング（または変化率）、長さ、および明度レベル等を含むことができる。いくつかのＬＥＤは、付加的または異なる制御機能性、例えば、ＲＧＢＡを含んでもよく、これは、各ピクセルの不透明度を示し、トーテムがアルファ合成を実施することを可能にする（部分的または完全透明度の外観を可能にする）、ＲＧＢのプラスアルファチャネルを含む。照明情報は、トーテムにおいて使用される光源の選択肢に応じて、そのような付加的または異なる制御機能性を含むことができる。
ＲＧＢ ＬＥＤ（例えば、一般に、各色は、０から２５５の２５６の値に設定されることができる）によって表示され得る、膨大な種々のカラーパレットが存在することができる。カラーパレットは、種々の異なる要因、例えば、ユーザ特性、コンテキスト情報、デバイス使用またはステータス、システム機能性等のいずれかに基づいて、本明細書に説明される後光のうちの１つ以上のもののために選択されることができる。
後光照明パターンは、色、陰影、色相等における勾配を含むことができる。例えば、トーテム内の限定数の光源（例えば、１２のＲＧＢ ＬＥＤ）に起因して、着色光源の明度の変動が、所望の勾配（色または強度）を提供するために使用されることができる。勾配は、照明パターンの中間終了またはフェードアウトの視覚的錯覚を提供することができる。勾配は、光源の明度を動的に調節することによって提供されることができる（時変照明パターン）。実施例として、時計の時間に位置付けられる１２のＬＥＤを伴うトーテムに関して、４時から開始し、６時に向かって４５度延在し、勾配が、弧の６時で終了する、照明パターンは、ＬＥＤ１−３、明度０．０、ＬＥＤ４、明度１．０、ＬＥＤ５明度１．０、ＬＥＤ６明度０．５、ＬＥＤ７−１２、明度０．０のように設定されるＬＥＤ明度値を有し得る。
他のシャットダウンプロセスは、ユーザがシャットダウン動作を実施することを所望する（例えば、ウェアラブルデバイス２００をシャットダウン、一時停止、または再開するため）ことを確認するために、トーテムとのユーザ相互作用を伴うことができる。例えば、ウェアラブルシステム２００のディスプレイ２２０は、シャットダウンがユーザによって選択されると、ユーザに、シャットダウンユーザインターフェースを表示することができる。一実施例では、シャットダウンユーザインターフェースは、円形リング（トーテム１２００上の円形光導波路１２６４を示唆する）と、ユーザが、シャットダウン動作を確認するために、その親指をトーテムのタッチパッド１２６０上に移動させるべきであることのテキストインジケーションとを表示する。例えば、ユーザインターフェースは、「円を完成させ、電源をオフする」と表示してもよく、円形リングは、ユーザがその親指（例えば）をタッチパッド１２６０の周囲で時計回りに移動させるべきであることを示す動画を含んでもよい。ユーザがホームボタン１２５６を押下する場合、シャットダウン動作は、中止されてもよく、シャットダウンユーザインターフェースは、フェードアウトしてもよい。
ユーザがシャットダウン動作を完了することを所望する場合、ユーザは、表示される方向に追従し、その親指をタッチパッド１２６０の周囲の円形時計回り経路で移動させることができる。ユーザがそのように行うにつれて、光導波路１２６４は、照明し、親指の運動に追従する弧を作成することができる（および随意に、ディスプレイ２２０は、進行度を円形リングの周囲に示す動画化されたグラフィックを表示することができる）。ユーザの指が完全円を完成する（シャットダウン動作を確認する）場合、触覚「バンプ」が、トーテム１２００によって実施され、ユーザに、シャットダウン動作が開始されたことの触覚的フィードバックを提供することができる（随意に、システム２００は、オーディオ音を出力することができる）。ウェアラブルシステム２００のディスプレイ２２０は、シャットダウン画面をユーザに表示し、シャットダウン動作を開始することができる。トーテム１２００の光導波路１２６４は、シャットダウン照明パターン（例えば、図２１Ｂに示されるように）を表示することができる。
図２１Ｂは、電源オンおよびオフプロセスの間の後光の光場所または移動パターンの実施例を図示する。電源オンプロセスの間、後光パターンは、矢印１および２によって示されるように、パターン２１２２からパターン２１２４、次いで、パターン２１２６に移動することができる。本プロセスの間、後光の弧（色、例えば、黄色で照明されてもよい）は、長さが徐々により長く、色がより明るくなることができる。
他方では、電源オフプロセスの間、後光パターンは、矢印３および４によって示されるように、パターン２１２６から２１２４、次いで、２１２２に移動することができる。本プロセスでは、後光の形状は、完全リングから小弧に徐々に低減することができる。
加えて、または代替として、後光は、トーテムのバッテリ１７２０の充電ステータスを示すように構成されることができ、バッテリの量は、表示されている後光の部分のサイズに対応してもよい。図２１Ｃは、光パターンの場所および移動の実施例を図示し、これは、バッテリ充電ステータスを示す。プロセス２１３２は、バッテリ１７２０が充電されているとき、後光の動画シーケンスを図示する。例えば、後光は、４つの象限に分割されてもよい。各象限は、１つ以上のＬＥＤ光と関連付けられてもよい。トーテムは、各象限内のＬＥＤを照明することによって、全４つの象限を徐々に充填することができる。ある実装では、一度に１つの象限を充填するのではなく、トーテムは、ＬＥＤを徐々に照明し、残りのバッテリのパーセンテージを追跡することができる。例えば、バッテリ残が３０％であるとき、トーテムは、ＬＥＤの３０％を照光することができる。
充電が開始するとき、バッテリが１５％（例えば）を下回る場合、トーテムは、第１の色（例えば、橙色）を伴う後光を４つの象限のうちの１つに提示することができる。いったんバッテリが２５％（例えば）に到達すると、トーテムは、後光の色を第１の色から第２の色（例えば、橙色から緑色）に変化させることができる。バッテリが５０％（例えば）に到達すると、トーテムは、時計回り方向における次の象限と関連付けられた後光の部分を照明することができる（例えば、第２の色で）。トーテムは、トーテムが充電されるにつれて、他の象限のフェードインを継続することができる。バッテリが完全に充電されると、トーテムは、後光を第２の色で提示し、全４つの象限が照明されることができる（プロセス２１３４に示されるように）。
バッテリが消費されている間、後光の形状は、最初に、完全円形であってもよい。トーテムは、プロセス２１３６に図示されるように、電力の量が減少するにつれて、後光を反時計回り方向に徐々にフェードアウトすることができる。いくつかの実施形態では、バッテリ残が１５％（例えば）のみであるとき、トーテムは、後光の残りの部分を第３の色（例えば、赤色）に変え、電力が残っていなくなるまで、パルス動画を再生してもよい（トーテムは、後光のフェードアウト動画を再生することができる）。
後光はまた、トーテムがスリープモードに入ったかどうかを示すために使用されることができる。図２１Ｄは、トーテムがスリープモードに入ったときの例示的後光パターンを図示する。プロセス２１４２に示されるように、閾値時間周期内でユーザ相互作用が検出されなかったため、トーテムがアイドル状態になると、トーテムは、後光を軌跡（例えば、白色軌跡）の形態で提示することができる。トーテムはまた、軌跡を時計回りサイクルで繰り返すことができる。
後光を用いてトーテムのステータスを示す例示的プロセス
図２１Ｅは、光場所または移動パターンに基づいてトーテムのステータスを示す、例示的プロセスを図示する。図２１Ｅにおけるプロセス２１５０は、本明細書に説明されるウェアラブルシステムの１つ以上のコンポーネントによって実施されることができる。例えば、プロセス２１５０は、トーテムまたはウェアラブルデバイスによって実施されることができる。
ブロック２１５２では、ウェアラブルシステムは、トーテムのステータスを決定することができる。トーテムは、後光を表示するように構成される、光源（例えば、ＬＥＤ）のグループを含むことができる。後光は、トーテムのステータスを示すために使用されてもよい。ステータスは、例えば、トーテムが電源オン／オフにされているかどうか、トーテムがスリープモードにあるかどうか、またはバッテリ充電または消費の進行度等のトーテムのバッテリステータスを含んでもよい。
ブロック２１５４では、ウェアラブルシステムは、後光の第１の光パターンにアクセスすることができる。第１の光パターンは、後光のための場所または移動パターンを規定してもよい。第１の光パターンは、トーテムの現在のステータスと関連付けられることができる。例えば、バッテリが、現在少ないとき、後光の光場所または移動パターンは、６時位置の周囲の赤色弧であってもよい。
ブロック２１５６では、ウェアラブルシステムは、ＬＥＤのグループに、第１の光パターンに従って後光を表示するように命令することができる。前の実施例を継続すると、ウェアラブルシステムは、赤色光を照明するための命令を生成し、６時位置の近傍に位置するＬＥＤ（例えば、図１４Ｂに示されるＭＵＸ３におけるＬＥＤ９、ＬＥＤ１０、およびＬＥＤ１１等）に送信することができる。
ウェアラブルシステムは、トーテムのステータスを持続的に監視することができる。随意に、ブロック２１５８では、ウェアラブルシステムは、ステータスに対する更新が存在するかどうかを決定することができる。例えば、トーテムのバッテリがこれまで１５％未満であり得たが、ユーザが、トーテムを充電のために電源に差し込んだ。故に、バッテリの量は、徐々に増加し得る。
随意のブロック２１６０では、更新に応答して、ウェアラブルシステムは、ＬＥＤのグループに、光パターンに従って後光を表示するように命令することができる。第２の光パターンは、更新と関連付けられる。例えば、いったんトーテムが充電モードに入ると、後光の色は、赤色から緑色に変化されてもよい。
本明細書の実施例は、トーテムのステータスを示すことを参照して説明されるが、類似技法はまた、ウェアラブルディスプレイまたはバッテリパック等のトーテムの他のコンポーネントのステータスを示すために使用されることができる。
ユーザ相互作用のためのキューとして光パターンを使用する実施例
デバイスステータスに関する情報を提供することに加え、またはその代替として、後光はまた、現在のユーザ相互作用を示す、またはユーザの相互作用を誘導するためのキューとして使用されることができる。図２２Ａおよび２２Ｂは、ユーザ相互作用のためのキューとして使用される、例示的光場所または移動パターンを図示する。図２２Ａは、後光パターン２２１０および２２２０を表示する。後光パターンは、トーテムのタッチ表面の周囲の光導波路によって表示されてもよい。ユーザは、例えば、その親指２２３０を使用して、タッチ表面を作動させることができる。後光パターン２２１０は、弧２２２２（桃色がかった紫色で照明されてもよい）を光導波路の左側に含むことができる。弧２２２２の長さおよび明度は、ユーザの指と弧２２２２を表示する光導波路の部分との間の距離を反映してもよい。
トーテムとの現在のユーザの相互作用を示す実施例として、ユーザの親指が位置２２１２にあるとき、後光パターン２２１０が、示されてもよい。親指２２３０に最も近い弧２２２２の部分は、最も明るくてもよい。弧の他の部分の明度は、親指２２３０からより遠く離れるにつれて徐々に低減し、最終的に、黒色に遷移してもよい（例えば、対応するＬＥＤは、オフにされる）。本実施例では、ユーザは、スワイプジェスチャを用いて、タッチ表面を作動させることができる。例えば、ユーザは、その親指を左にスワイプすることができる。ユーザがその親指２２３０を弧２２２２に向かって左に移動させるにつれて（矢印２２１４によって図示される）、弧２２２の長さは、円形の半分未満から円形の半分以上に増加し得る。弧２２２２の明度もまた、親指２２３０と弧２２２２との間の低減された距離に起因して、増加することができる。
別の実施例として、図２２Ｂでは、パターン２２５０と関連付けられた後光は、３つの弧２２５２、２２５４、２２５６を含むことができる。弧２２５２は、第１の色（例えば、赤色であってもよい）に対応する第１のパターンで図示され、弧２２５４は、第２の色（例えば、青色であってもよい）に対応する第２のパターンで図示され、弧２２５６は、第３の色（例えば、黄色であってもよい）に対応する第３のパターンで図示される。図１４Ｂを参照すると、弧２２５２は、ＬＥＤ１、ＬＥＤ２、およびＬＥＤ３によって照明されてもよく、弧２２５４は、ＬＥＤ５、ＬＥＤ６、およびＬＥＤ７によって照明されてもよく、弧２２５６は、ＬＥＤ９、ＬＥＤ１０、およびＬＥＤ１１によって照明されてもよい。
パターン２２５０は、３方向Ｄパッドと関連付けられてもよく、各弧は、ユーザインターフェース動作と関連付けられる。例えば、ユーザは、弧２２５２の近傍の領域をタップし、仮想オブジェクトを左に移動させ、弧２２５４の近傍の領域をタップし、仮想オブジェクトを右に移動させることができる。ユーザはまた、弧２２５６の近傍の領域をタップし、仮想オブジェクトを選択または解放することができる。ユーザの親指２２３０が弧の近傍にあるとき、弧の長さは、減少し得る一方、弧の明度は、増加し得る。例えば、ユーザの親指２２３０が弧２２５４の近傍にあるとき、トーテムは、ＬＥＤ５およびＬＥＤ７（図１４Ｂに示される）をオフにし、弧２２５４のサイズを低減させてもよい。後光の光場所または移動パターンに対する本変化は、ユーザが仮想オブジェクトの左移動を開始した（または開始しそうである）ことのインジケーションを提供することができる。ユーザの親指が弧２２５４から離れるように移動すると、トーテムは、ＬＥＤ５およびＬＥＤ７を再照明し、弧２２５４のサイズを増加させてもよい。
トーテムは、例えば、Ｄパッド、タッチデバイス、６ＤＯＦコントローラ等の種々のユーザ入力デバイスの機能をシミュレートすることができる。後光の光場所または移動パターンは、トーテムが現在使用されている、ユーザ入力デバイスのタイプを示す、または利用可能なユーザインターフェース相互作用を示すために使用されることができる。例えば、ユーザが３Ｄディスプレイを使用してウェブページをブラウズしている間、トーテムは、タッチデバイスとして使用されることができ、これは、左／右スワイプジェスチャをサポートする。スワイプジェスチャが利用可能であることのインジケーションをユーザに提供するために、トーテムは、図２２Ａに示されるパターンを表示することができる。
ある実装では、ウェアラブルシステムは、コンテキスト情報に基づいて、好適なユーザ入力デバイス構成を自動的に選択することができる。例えば、ユーザは、３方向Ｄパッドを使用して、仮想オブジェクトをＦＯＶの内外に移動させ、仮想オブジェクトを選択することを所望し得る。故に、ウェアラブルデバイスが、ユーザがその環境内の仮想オブジェクトと相互作用していることを検出すると、ウェアラブルデバイスは、トーテムが３方向Ｄパッドを有効にし、後光パターン２２５０を提示し、ユーザに３方向Ｄパッドが利用可能であることを知らせるように命令することができる。
図２２Ｃは、後光と関連付けられた光パターンを使用して、利用可能なユーザインターフェース動作のインジケーションを提供する、別の実施例を図示する。図２２Ｃにおけるトーテムは、星形形状のＤパッドとしての役割を果たすように構成されることができる。ユーザにトーテムが現在星形形状のＤパッドとして使用されていることを知らせるために、トーテムは、図１４Ｂでは、ＬＥＤ２、ＬＥＤ４、ＬＥＤ６、ＬＥＤ８、ＬＥＤ１０、およびＬＥＤ０を照光してもよい。実施例として、ユーザがウェブページ上のテキストボックスを選択すると、トーテムは、パターン２２６０を提示し、ユーザがテキスト入力のために星形形状のＤパッドを使用することができることを示してもよい。ユーザがＬＥＤの近傍のある領域を作動させると、ＬＥＤは、より明るい色を表示し、ユーザがその領域を作動させていることを示してもよい。例えば、ユーザがＬＥＤ０の近傍の領域を作動させると（パターン２２７０に図示されるように）、トーテムは、ＬＥＤ０に、より明るい光を放出するように命令してもよい。
いくつかの実施形態では、トーテムは、トーテムを使用して、ユーザに、ユーザが誤ったユーザ相互作用を実施していることを知らせる、または正しい／推奨されるユーザ相互作用のインジケーションを提供してもよい。図２３は、光パターンをアラートとして使用して、正しくないまたは不適切なユーザ動作を示す、実施例を図示する。ユーザの親指２２３０は、最初に、タッチ表面上の位置２３１２にあってもよい。タッチ表面は、光導波路によって囲繞されてもよく、これは、後光２２２２を表示することができる。ユーザの親指が、位置２３１２にあるとき、光導波路は、後光パターン２３１０を表示することができる。ユーザは、左にスワイプする（例えば、その親指２２３０を後光２２２２のより近くに移動させる）ことによって、オブジェクトを左に移動させる必要があり得る。しかしながら、ユーザは、実際には、右にスワイプさせ（矢印２２３２によって示されるように）、これは、オブジェクトを左に移動させる所望の動作を実施するためには正しくない方向である。その結果、ユーザの親指は、ここでは、位置２３１４にある。左にスワイプさせ、オブジェクトを適切に移動させる必要があることをユーザにリマインドするために、光導波路は後光パターン２３２０を示してもよく、後光２２２２は、長さがより長く、色がより明るくなるように現れる。これは、ユーザの注意を引き付け、その親指２２３０を正しい方向に移動させることを確実にすることができる。
後光のパターンは、ユーザ相互作用のタイプに応じて変動し得る。図２４Ａおよび２４Ｂは、それぞれ、スワイプジェスチャおよびタッチジェスチャのための例示的パターンを図示する。図２４Ａおよび２４Ｂにおけるタッチパッドは、光導波路を含むことができ、これは、後光を表示する。タッチパッドはまた、タッチ表面を含むことができ、これは、光導波路によって囲繞される。タッチ表面は、スワイプジェスチャまたはタッチジェスチャ等のユーザ入力を受信することができる。
図２４Ａおよび２４Ｂに示される後光は、３つの弧、すなわち、２４２２（第１の色、例えば、赤色で照明される）と、２４２４（第２の色、例えば、青色で照明される）と、２４２６（第３の色、例えば、黄色で照明される）とを有することができる。図１４Ｂを参照すると、弧２４２２は、ＬＥＤ１、ＬＥＤ２、およびＬＥＤ３に対応してもよく、弧２４２４は、ＬＥＤ５、ＬＥＤ６、およびＬＥＤ７に対応してもよく、弧２４２６は、ＬＥＤ９、ＬＥＤ１０、およびＬＥＤ１１に対応してもよい。
ユーザの親指２２３０は、最初に、タッチ表面の位置２４１２にあってもよい。光導波路は、故に、後光のためのパターン２４０２を表示することができる。下向き矢印２４５０によって示されるように、ユーザは、弧２４２６に向かって下向きにスワイプすることができる。例えば、ユーザは、その親指２２３０を位置２４１２から位置２４１４に移動させることができる（矢印１によって示されるように）。ユーザの移動の検出に応じて、トーテムは、パターン２４０４に示されるように、弧２４２２および２４２４のディスプレイを暗化することができる。ユーザはさらに、矢印２によって示されるように、その親指を下向きに移動させることができる。パターン２４０６では、ユーザの親指が位置２４１６に到達すると、トーテムは、弧２４２６の明度および長さを増加させることができる。例えば、ＬＥＤ９、ＬＥＤ１０、およびＬＥＤ１１の明度は、増加することができる。トーテムはまた、ＬＥＤ０およびＬＥＤ８を照明し（第３の色で）、弧２４２６の長さを増加させることができる。トーテムはさらに、ＬＥＤ７を第３の色で照明し（弧２４２４に示されるように第２の色ではなく）、ＬＥＤ１を第３の色で照明することができる（弧２４２２に示されるように第１の色ではなく）。矢印３によって示されるように、ユーザがその親指２２３０をさらに下向きに移動させるにつれて、全てのＬＥＤ（ＬＥＤ１０の反対側にある、ＬＥＤ４を除く）は、光を第３の色で照明し、弧２４２６の拡張を第３の色で示すことができる。他方では、ユーザの親指２２３０が弧２４２６から離れるように移動すると、トーテムは、矢印４、５、および６に従って、パターンを表示してもよい。本シーケンス下では、弧２４２６のサイズは、徐々に収縮し得、他の弧２４２２および２４２４は、徐々にフェードインし得る。
ユーザはまた、図２４Ａでは、タッチジェスチャを用いて、タッチパッドを作動させることができる。図２４Ｂは、ユーザがタッチジェスチャを用いてタッチパッドを作動させるときの後光パターンを図示する。トーテムは、最初に、パターン２４６２に示されるように、３つの弧２４２２、２４２４、および２４２６を表示してもよい。ユーザが黄色弧２４２６に近接する領域にタッチすると、弧２４２６の長さは、増加し得る。パターン２４６４に図示されるように、ユーザが位置２４１８におけるタッチジェスチャを用いてトーテムを作動させると、ＬＥＤ０および８は、照明され（第３の色で）、増加された長さを示してもよい。しかしながら、弧２４２６は、ユーザの親指が同一位置２４１８にあっても、パターン２４０８（スワイプジェスチャに対応し得る）と比較して、他の弧（例えば、弧２４２２および２４２４）を網羅するまで拡張しないであろう。
トーテム上でのユーザ相互作用のためのキューを提供する例示的プロセス
図２４Ｃは、トーテム上でのユーザ相互作用のためのキューを提供する、例示的プロセスを図示する。例示的プロセス２４８０は、例えば、トーテムまたはウェアラブルデバイス等のウェアラブルシステムのコンポーネントによって実施されてもよい。
ブロック２４８２では、ウェアラブルシステムは、コンテキスト情報に基づいて、利用可能なユーザインターフェース動作を識別することができる。例えば、ウェアラブルシステムは、利用可能なユーザ相互作用のタイプを決定し、これらのタイプのユーザ相互作用をトーテムの相互作用可能領域にマッピングすることができる。実施例として、ブラウザは、ユーザが、上／下にスクロールする、ウェブページのサイズを拡大／収縮する、ブラウザ上でアイテムを選択する、およびカーソルをブラウザ内で移動させることを可能にすることができる。ウェアラブルシステムは、カーソル移動およびアイテム選択をトーテムの第１の相互作用可能領域にマッピングすることができ、ユーザは、タッチ表面をスワイプし、カーソルを移動させ、タッチ表面をクリックし、アイテムを選択することができる。ウェアラブルシステムはまた、スクロールおよびリサイズ動作を第２の相互作用可能領域にマッピングすることができる。第２の相互作用可能領域は、第１の相互作用可能領域を囲繞してもよい。第２の相互作用可能領域は、Ｄパッドの機能をシミュレートしてもよく、ユーザは、上／下キーをタップし、ウェブページをスクロールし、左／右キーをタップし、ウェブページをリサイズすることができる。
ブロック２４８４では、ウェアラブルシステムは、利用可能なインターフェース動作と関連付けられた後光の場所または移動パターンを決定することができる。上記の実施例を継続すると、ウェアラブルシステムは、４つの弧を伴う後光を表示し（図２５Ｂに示されるように）、トーテムが、ユーザがＤパッドとして使用し得る、第２の相互作用可能領域を有することを示すことができる。
ブロック２４８６では、ウェアラブルシステムは、光パターンに従って後光を表示するための命令を生成し、トーテムのＬＥＤ（図１４Ｂに示される）に伝送することができる。例えば、後光が４つの弧を有する場合、ウェアラブルシステムは、ＬＥＤ１に、青色を照明し、ＬＥＤ４に、黄色を照明し、ＬＥＤ７に、赤色を照明し、ＬＥＤ１０に、緑色を照明するように命令することができる。
ブロック２４８８では、ウェアラブルシステムは、ユーザ入力をトーテム上で受信することができる。例えば、トーテムは、スワイプジェスチャまたはタッチジェスチャを第１の相互作用可能領域内で検出する、またはタップジェスチャを第２の相互作用可能領域内で検出することができる。いくつかの実施形態では、ユーザ入力はまた、単独で、またはユーザの姿勢（例えば、頭部姿勢または他の身体姿勢）と組み合わせて、トリガ１２１２またはホームボタン１２５６（図１２に示される）等のトーテムの他のコンポーネントを作動させることを含んでもよい。
随意に、ブロック２４９２では、ウェアラブルシステムは、ユーザ入力が正しい入力であるかどうかを決定することができる。ウェアラブルシステムは、ユーザが相互作用するオブジェクトのコンテキスト情報に基づいて、決定を行うことができる。ウェアラブルシステムは、ユーザ入力がオブジェクトによってサポートされるユーザ入力のタイプに属するかどうかを決定することができる。例えば、ビデオ記録アプリケーションは、姿勢を介して、ユーザ入力を可能にすることができる一方、ウェブブラウザは、スワイプおよびタッチジェスチャの組み合わせをサポートすることができる。故に、ユーザがウェブページをブラウズしているとき、ウェアラブルシステムは、ユーザの足の姿勢を変化に基づいて、ユーザインターフェース動作を実施しなくてもよい。別の実施例として、１つのウェブページは、ユーザがウェブコンテンツを視認することを可能にし得るが、ユーザがそのコメントを入力することを可能にし得ない。故に、ユーザが語句をタイプしようとする場合、ウェアラブルシステムは、ウェブページによってサポートされていないため、ユーザの入力が正しい入力であることを決定してもよい。
ユーザ入力が正しい入力ではない場合、随意に、ブロック２４９４では、ウェアラブルシステムは、ユーザの入力が正しくないことのインジケーションを提供することができる。インジケーションは、視覚的、聴覚的、触覚的、または他のフィードバックの形態で提供されてもよい。例えば、トーテムは、より明るい色を正しい入力と関連付けられた相互作用可能領域の近傍に提供することによって、正しい入力を強調することができる。別の実施例として、トーテムは、トーテムの本体内の触覚アクチュエータを介して、振動を提供してもよい。さらに別の実施例として、ウェアラブルシステムは、ＨＭＤを介して、またはスピーカを介して、アラートメッセージを提供することができる。
ユーザ入力が正しい入力である場合、ブロック２４９６では、ウェアラブルシステムは、光パターンの場所および移動を更新し、ユーザ入力を反映することができる。例えば、ユーザが、トーテムのタッチ表面の左側をタップする場合、トーテムは、ユーザのタップの近傍のＬＥＤを照光してもよい。いくつかの実施形態では、いったんトーテムがユーザの入力を受信すると、トーテムは、ブロック２４９２および２４９４に加え、またはその代替として、後光と関連付けられた光パターンの置換および移動を更新し、ユーザ入力を反映することができる。
トーテムを使用した仮想オブジェクトとの例示的相互作用
トーテムは、複数の相互作用可能領域を含むことができ、各相互作用可能領域は、ユーザ相互作用の１つ以上のタイプまたはユーザ入力デバイスのタイプにマッピングされることができる。図１２Ａおよび１３Ａを参照して説明されるように、いくつかの実施形態では、トーテムは、例えば、スワイプジェスチャ等のタッチイベントおよびジェスチャをサポートし得る、タッチ表面を構成する、第１の相互作用可能領域と、光導波路を構成する、第２の相互作用可能領域とを有する。光導波路は、タッチパッドの周囲の４つの点において、またはそれぞれ異なる色を有する４つの弧を用いて、後光を照明することができる。本照明パターンは、光導波路がＤパッドとして使用されることを示すことができる。例えば、ユーザは、照明点上をタップまたは押下し、仮想オブジェクトを移動させることができる。同一ユーザジェスチャは、ジェスチャが光導波路またはタッチ表面（例えば、タッチパッドの主要中心エリア内）に適用されるかどうかに応じて、異なるユーザインターフェース動作を実施させることができる。例えば、ユーザが光導波路をタップすると、ユーザは、仮想オブジェクトを移動させ得るが、ユーザがタッチ表面をタップと、ユーザは、仮想オブジェクトを選択し得る。
図２５Ａは、光導波路の例示的相互作用使用を図示する。図２５Ａにおけるトーテム２５０２は、本明細書に説明されるトーテム１２００の実施例であってもよい。トーテム２５０２は、タッチパッド２５０６を含むことができ、タッチ表面と、タッチ表面を実質的に囲繞し得る、光導波路とを含むことができる。光導波路は、光（例えば、光導波路下のＬＥＤによって放出される）を拡散させ、後光を示すことができ、これは、後光の１つ以上の弧を含んでもよい。図２５Ａにおける実施例では、後光は、タッチ表面の周囲の４つの領域において照明される、４つの弧２５０４ａ、２５０４ｂ、２５０４ｃ、および２５０４ｄを含むことができる。光導波路は、ユーザ入力を受信するように、相互作用可能であることができる（例えば、ユーザは、光導波路の一部を押下し得る）。例えば、光導波路は、Ｄパッドの機能をシミュレートすることができる。光導波路は、上キー２５０８ａと、右キー２５０８ｃと、下キー２５０８ｄと、左キー２５０８ｂとを含むことができる。トーテムは、視覚的インジケーションをこれらのキーの場所上に提供することができる。例えば、弧２５０４ａは、上キー２５０８ａに対応することができ、弧２５０４ｂは、左キー２５０８ｂに対応することができ、弧２５０４ｃは、右キー２５０８ｃに対応することができ、弧２５０４ｄは、下キー２５０８ｄに対応することができる。
ユーザは、個別のキーの近傍の領域を作動させ、これらのキーに関連するユーザインターフェース機能を実施することができる。例えば、ユーザは、領域２５１８ａを作動させ、上キー２５０８ａを作動させ、領域２５１８ｂを作動させ、左キー２５０８ｂを作動させ、領域２５１８ｃを作動させ、右キー２５０８ｃを作動させ、領域２５１８ｄを作動させ、下キー２５０８ｄを作動させることができる。
光導波路を作動させる実施例として、ユーザは、光導波路を作動させることによって、仮想オブジェクトをそのＦＯＶの内外に移動させることができる。図２５Ａにおける場面２５００は、ＦＯＶ２５５０およびＦＯＲ２５０２内の仮想オブジェクトと相互作用する実施例を図式的に図示する。図４を参照して説明されるように、ＦＯＲは、ウェアラブルシステムを介してユーザによって知覚されることが可能なユーザの周囲の環境の一部を含むことができる。ＦＯＲ２５０２は、仮想オブジェクトのグループ（例えば、２５１０、２５２０、２５３０、２５４２、および２５４４）を含むことができ、これは、ディスプレイ２２０を介してユーザによって知覚されることができる。ＦＯＲ２５０２内において、ユーザが所与の時間に知覚する、世界の部分は、ＦＯＶ２５５０と称され得る（例えば、ＦＯＶ２５５０は、ユーザが現在見ているＦＯＲの部分を包含し得る）。場面２５００では、ＦＯＶ２５５０は、破線２５５２によって図式的に図示される。ディスプレイのユーザは、オブジェクト２５４２、オブジェクト２５４４、およびオブジェクト２５３０の一部等のＦＯＶ２５５０内の複数のオブジェクトを知覚することができる。ＦＯＶ２５５０は、例えば、スタックされた導波管アセンブリ４８０（図４）または平面導波管６００（図６）等のディスプレイを通して見るときのユーザによって知覚可能な立体角に対応してもよい。ユーザの姿勢（例えば、頭部姿勢または眼姿勢）が変化するにつれて、ＦＯＶ２５５０は、対応して変化し、ＦＯＶ２５５０内のオブジェクトもまた、変化し得る。例えば、仮想オブジェクト２５１０は、最初に、ユーザのＦＯＶ２５５０外にある。ユーザが仮想オブジェクト２５１０を見ている場合、仮想オブジェクト２５１０は、ユーザのＦＯＶ２５５０の中に移動し得、仮想オブジェクト２５３０は、ユーザのＦＯＶ２５５０外に移動し得る。
ユーザは、その身体姿勢を変化させずに、光導波路を作動させ、仮想オブジェクトをＦＯＶ２５５０の内外に移動させることができる。例えば、ユーザは、キー２５０８ｂを作動させ、仮想オブジェクトをＦＯＶ２５５０内で左に移動させることができる。故に、仮想オブジェクト２５３０は、全体的にＦＯＶ２５５０の中に移動され得る。別の実施例として、ユーザは、キー２５０８ｃを作動させ、仮想オブジェクトを右に移動させることができ、その結果、仮想オブジェクト２５１０は、ＦＯＶ２５５０の中に移動され得、仮想オブジェクト２５３０は、ＦＯＶ外に移動され得る。
加えて、または代替として、ウェアラブルシステムは、ユーザの視線方向または仮想オブジェクトの場所に基づいて、焦点インジケータをＦＯＶ２５５０内の仮想オブジェクトに割り当てることができる。例えば、ウェアラブルシステムは、焦点インジケータをユーザの視線方向と交差する仮想オブジェクトまたはＦＯＶの中心に最も近い仮想オブジェクトに割り当てることができる。焦点インジケータは、背光（例えば、仮想オブジェクトの周囲の）、色、知覚されるサイズまたは深度の変化（例えば、選択されると、仮想オブジェクトをより近くにおよび／またはより大きく現れさせる）、または他の視覚的効果を備えることができ、これは、ユーザの注意を引き付ける。焦点インジケータはまた、振動、鳴動、ビープ等の可聴または触覚的効果を含むことができる。例えば、ウェアラブルシステムは、最初に、焦点インジケータを仮想オブジェクト２５４４に割り当ててもよい。ユーザが、領域２５１８ｃをタップすると、ユーザは、キー２５０８ｃを作動させることができる。故に、ウェアラブルシステムは、仮想オブジェクトを右に移動させ、焦点インジケータをオブジェクト２５４４からオブジェクト２５４２に移すことができ、ウェアラブルシステムは、オブジェクト２５１０をユーザのＦＯＶ２５５０の中に移動させる一方、オブジェクト２５３０をユーザのＦＯＶ外に移動させることができる。
図２５Ｂは、２つの相互作用可能領域を伴うトーテムの例示的相互作用使用を図示する。図２５Ａを参照して説明されるように、トーテム２５０２は、タッチ表面２５０６と、光導波路とを含むことができる。光導波路は、図２５Ａを参照して説明されるように、Ｄパッドの機能をシミュレートすることができ、４つの弧２５１４ａ、２５１４ｂ、２５１４ｃ、および２５１４ｄを有する後光を表示することができ、各弧は、異なる色を有する。
ユーザは、光導波路またはタッチ表面２５０６を作動させ、トーテムを作動させることができる。例えば、ブラウザウィンドウでは、ユーザは、タッチ表面２５０６を作動させ、カーソルを移動させることができる。タッチ表面２５０６上の左スワイプは、戻る機能にマッピングされることができる一方、タッチ表面２５０６上の前方スワイプは、ブラウザページに関する進む機能にマッピングされることができる。６時位置（弧２５１４ｄで照明される）におけるタップ（位置２５１８によって図示される）は、ブラウザを下にスクロールさせることができ、１２時位置（弧２５１４ａで照明される）におけるタップは、ブラウザを上にスクロールさせることができる。６時位置または１２時位置における保持は、ページを迅速にスクロールすることができる。
トーテムは、ユーザがトーテムを作動させると、視覚的フィードバックを提供することができる。例えば、ユーザが弧２５１４ｄの近傍の６時位置をタップすると、トーテムは、弧２５１４ｄの明度を増加させることができる。触覚的フィードバックが、ユーザがタッチ表面２５０６または光導波路を作動させたかどうかを区別するために使用されることができる。例えば、ユーザが光導波路をタップすると、タッチパッド下のアクチュエータは、アクティブ化され、振動を提供してもよい。
図２５Ｃは、トーテムと相互作用するための例示的プロセスを図示する。プロセス２５７０は、本明細書に説明されるウェアラブルシステム（トーテムまたはウェアラブルデバイス等）によって実施されてもよい。
ブロック２５７２では、ウェアラブルシステムは、ユーザ入力をトーテム上で受信することができる。ユーザ入力は、スワイプ、タップ、タッチ、押下等の手のジェスチャを含んでもよい。トーテムは、複数の相互作用可能領域を備えることができる。例えば、トーテムは、タッチパッドを含むことができ、これは、タッチ表面と、光導波路とを含むことができ、両方とも、相互作用可能であってもよい。
ブロック２５７４では、ウェアラブルシステムは、ユーザ入力と関連付けられた相互作用可能領域を複数の相互作用可能領域から決定することができる。例えば、トーテムのタッチセンサ１３５０は、ユーザが光導波路またはタッチ表面を作動したかどうかを決定することができる。タッチセンサ１３５０はまた、トーテムを作動させるために使用されるユーザのジェスチャを検出することができる。例えば、タッチセンサは、ユーザがスワイプジェスチャまたはタップジェスチャを使用してトーテムを作動させたかどうかを検出することができる。
ブロック２５７６では、ウェアラブルシステムは、相互作用可能領域内で検出されたユーザ入力と関連付けられた光パターンにアクセスすることができる。図２４Ａおよび２４Ｂを参照して説明されるように、光パターンは、ユーザ入力のタイプ（例えば、タッチジェスチャ対タップジェスチャ）に基づいて、異なり得る。光パターンはまた、作動される相互作用可能領域に応じて、異なり得る。例えば、ユーザがタッチ表面を作動させる場合、光パターンは、図２４Ａに図示されるものであってもよいが、ユーザが光導波路を作動させる場合、光パターンは、図２４Ｂに示されるものを含んでもよい。
ブロック２５７８では、ウェアラブルシステムは、トーテムの光源（例えば、ＬＥＤ）に、光パターンを備える後光を提示するように命令することができる。例えば、ウェアラブルシステムは、照光すべきＬＥＤ、ＬＥＤの明度、ＬＥＤの色、ＬＥＤによって放出される光と関連付けられた移動パターン等に関する命令を提供することができる。
トーテムを使用した物理的オブジェクトとの例示的相互作用
図２６Ａおよび２６Ｂは、トーテムを使用して物理的オブジェクトと相互作用する実施例を図示する。図２６Ａは、物理的環境２６００の実施例を図示し、これは、ユーザの自宅の居間であってもよい。環境２６００は、例えば、テレビ（ＴＶ）５１１０、物理的遠隔制御５１２０（時として、単に、遠隔と称される）、ＴＶスタンド５１３０、および窓５１４０等の物理的オブジェクトを有する。ユーザは、物理的オブジェクトを知覚し、物理的オブジェクトと相互作用することができる。例えば、ユーザは、ＴＶ５１１０を鑑賞し、遠隔５１２０を使用して、ＴＶを制御してもよい。ユーザは、遠隔５１２０を制御し、ＴＶ５１１０をオン／オフにする、またはＴＶ５１１０のチャネルまたは音量を変化させることができる。
ユーザはまた、トーテム２６０２を使用して、ＴＶ５１１０と相互作用することができる。トーテム２６０２は、トーテム１２００の実施形態であることができ、これは、複数の相互作用可能領域を含むことができる。トーテム２６０２は、ＴＶ５１１０または遠隔５１２０とペアリングされ、遠隔５１２０の機能をシミュレートしてもよい。遠隔５１２０の機能は、トーテムのタッチパッド、トリガ、またはホームボタンと関連付けられた１つ以上の相互作用可能領域にマッピングされてもよい。タッチパッドは、タッチ表面２６３４と、光導波路２６３０とを含むことができ、タッチ表面２６３４および光導波路２６３０は、異なるタイプのユーザ相互作用にマッピングされてもよい。例えば、タッチ表面２６３４は、スワイプジェスチャを介して、チャネルを切り替えるために使用されることができる。光導波路２６３０は、タップジェスチャを介して、音量または早送り／巻き戻しを調節するためのＤパッドとして使用されることができる。
図２６Ｂでは、光導波路は、４つの弧、すなわち、弧２６３２ａ（第１の色、例えば、青色であってもよい）と、弧２６３２ｂ（第２の色、例えば、黄色であってもよい）と、弧２６３２ｃ（第３の色、例えば、赤色であってもよい）と、弧２６３２ｄ（第４の色、例えば、緑色であってもよい）とを有する、後光のための光パターン２６２２を示すことができる。弧は、ｘ−形状を形成するように位置付けられる。矢印１によって図示されるように、ユーザ２６０２が光導波路上の弧２６３２ｃの近傍の領域にタッチすると、ユーザは、ＴＶ５１１０上で再生されているプログラムを早送りすることができる。トーテムは、パターン２６２４を示し、ユーザが弧２６３２ｃの近傍をタップしたことを示すことができる。弧２６３２ｃは、より明るくかつより長く現れる一方、他の弧２６３２ａ、２６３２ｂ、および２６３２ｄは、パターン２６２４において隠蔽される。
ユーザはまた、右にスワイプすることによって（矢印２によって図示されるように）、次のチャネルに変化させることができる。トーテムは、光パターン２６２６を照明し、ユーザが、タップジェスチャではなく、スワイプジェスチャによって、トーテムを作動させたことを示すことができる。ユーザ２６０２の指がパターン２６２６および２６２４においてほぼ同一位置にあっても、これらの２つの状況において照明される光パターンは、トーテムを作動させるために使用されるジェスチャが異なるため、異なる。例えば、弧２６３２ｃの明度および長さは、増加したが、他の弧２６３２ａ、２６３２ｂ、および２６３２ｄは、パターン２６２６において隠蔽されない。むしろ、トーテムは、単に、他の弧の明度を低減させる。
図２６Ａおよび２６Ｂを参照して説明される実施例は、いくつかの実施形態では、ウェアラブルデバイスを伴わずに説明されるが、ユーザは、ウェアラブルデバイスを装着している間、トーテムを使用して物理的オブジェクトを制御することができる。例えば、ユーザは、ウェアラブルデバイスを通して、物理的オブジェクトを知覚し、ウェアラブルデバイスによって投影された仮想オブジェクトを知覚することができる。ユーザは、トーテムを使用して、物理的オブジェクトおよび仮想オブジェクトと相互作用することができる。
トーテムを用いた例示的６ＤＯＦユーザ体験
図２７は、多ＤＯＦ（例えば、３ＤＯＦまたは６ＤＯＦ）トーテムを用いて仮想オブジェクトを移動させる、実施例を図示する。ユーザは、前／後（前後揺）、上／下（上下揺）、または左／右（左右揺）に移動させることによって、トーテムの位置を変化させることができる。ユーザはまた、側方に傾ける（ロール）、前後に傾ける（ピッチ）、または左および右に方向転換する（ヨー）ことによって、トーテムの配向を変化させることができる。トーテムの位置および配向を変化させることによって、ユーザは、種々のインターフェース動作を仮想オブジェクト上で実施することができる（例えば、移動または回転させること等によって）。
ユーザは、トーテム２６０２を使用して、仮想オブジェクトを選択することによって、仮想オブジェクトを保持および移動させ、トーテム２６０２を物理的に移動させることによって、仮想オブジェクトを移動させてもよい。例えば、トーテム２６０２は、最初に、第１の位置５１００ａにあってもよい。ユーザ５３００は、トーテム５０４を作動させることによって（例えば、トーテム上のタッチセンサ式パッドを作動させることによって）、第１の位置５１００ｂに位置する標的仮想オブジェクト５４００を選択してもよい。標的仮想オブジェクト５４００は、ウェアラブルシステムによって表示および移動され得る、任意のタイプの仮想オブジェクトであることができる。例えば、仮想オブジェクトは、ウェアラブルシステムによって表示される、アバタ、ユーザインターフェース要素（例えば、仮想ディスプレイ）、または任意のタイプのグラフィカル要素であってもよい。ユーザ５３００は、トーテム２６０２を軌道５５００ａに沿って移動させることによって、標的仮想オブジェクトを第１の位置５１００ｂから第２の位置５２００ｂに軌道５５００ｂに沿って移動させることができる。
別の実施例として、仮想オブジェクト５４００を５１００ｂから５２００ｂに移動させる代わりに、ユーザ５３００は、仮想オブジェクト５４００を自身により近づけることを所望し得る。故に、ユーザは、トーテムを自身のより近くに移動させ、仮想オブジェクト５４００をより近づけることができる。
さらに別の実施例として、トーテム２６０２は、位置５２００ａにあってもよい。ユーザは、トーテムを時計回りに１８０度回転させることができ、仮想オブジェクト５４００は、故に、位置５２００ｂにおいて１８０度回転されることができる。
トーテムは、ある光パターンを放出し、ユーザ相互作用のタイプを示すことができる。例えば、ＬＥＤのリングは、ユーザがトーテムを移動させるとき、青色で照光する一方、ユーザがトーテムを回転させるとき、緑色で照光してもよい。別の実施例として、トーテムの光移動パターンは、トーテムの回転に対応してもよい。例えば、光パターンは、弧を含んでもよい。ユーザがトーテムを回転させるにつれて、弧はまた、ユーザの回転の方向に回転することができる。
トーテム上での装飾的かつ情報的視覚的フィードバックの実施例
いくつかのウェアラブルデバイスは、限定されたＦＯＶを有し得る。有利には、いくつかの実施形態では、トーテムは、トーテムによって照明される光パターンを使用して、ＦＯＶ外のオブジェクトと関連付けられた情報を提供することができる。
図２８Ａおよび２８Ｂは、光パターンの場所および移動を介してオブジェクトの情報を提供する、実施例を図示する。図２８Ａは、人物のＦＯＶ２８２０と、ＦＯＲ２８１０とを図示する。ＦＯＲ２８１０は、あるグループのオブジェクト（例えば、オブジェクト２８１２、２８２２、６０５０ｂ、６０５０ｃ）を含有することができ、これは、ウェアラブルシステムを装着しているユーザによって知覚されることができる。ＦＯＶ２８２０は、複数のオブジェクト（例えば、オブジェクト６０５０、２８２２）を含有することができる。ＦＯＶは、ウェアラブルシステムのサイズまたは光学特性、例えば、それを通して光がユーザの正面の実世界からユーザの眼に通過する、頭部搭載型ディスプレイの透明ウィンドウまたはレンズの有効開口サイズに依存し得る。いくつかの実施形態では、ユーザ６１００の姿勢（例えば、頭部姿勢、身体姿勢、および／または眼姿勢）が変化するにつれて、ＦＯＶ２８２０は、対応して変化することができ、ＦＯＶ２８２０内のオブジェクトもまた、変化し得る。本明細書に説明されるように、ウェアラブルシステムは、ＦＯＲ２８１０内のオブジェクトおよびＦＯＶ２８２０内のオブジェクトを監視または結像する、カメラ等のセンサを含んでもよい。そのような実施形態では、ウェアラブルシステムは、ユーザのＦＯＶ２８２０内で生じている、またはユーザのＦＯＶ外であるが、ＦＯＲ２８１０内で生じている、気付かれていないオブジェクトまたはイベントをユーザにアラートしてもよい（例えば、トーテム上の光パターンを介して）。いくつかの実施形態では、ウェアラブルシステムはまた、ユーザ６１００が注意を向けている対象または注意を向けていない対象を区別することができる。
ＦＯＶまたはＦＯＲ内のオブジェクトは、仮想または物理的オブジェクトであってもよい。仮想オブジェクトは、例えば、コマンドを入力するための端末、ファイルまたはディレクトリにアクセスするためのファイルマネージャ、アイコン、メニュー、オーディオまたはビデオストリーミングのためのアプリケーション、オペレーティングシステムからの通知等、例えば、オペレーティングシステムオブジェクトを含んでもよい。仮想オブジェクトはまた、例えば、アバタ、ゲーム内の仮想オブジェクト、グラフィックまたは画像等、アプリケーション内のオブジェクトを含んでもよい。いくつかの仮想オブジェクトは、オペレーティングシステムオブジェクトおよびアプリケーション内のオブジェクトの両方であることができる。ウェアラブルシステムは、頭部搭載型ディスプレイの透明光学を通して視認される、仮想要素を既存の物理的オブジェクトに追加し、それによって、物理的オブジェクトとのユーザ相互作用を可能にすることができる。例えば、ウェアラブルシステムは、部屋内の医療モニタと関連付けられた仮想メニューを追加してもよく、仮想メニューは、ユーザに、ウェアラブルシステムを使用して、医療撮像機器または投薬制御をオンにするまたは調節するオプションを与えてもよい。故に、ウェアラブルシステムは、ユーザの環境内のオブジェクトに加え、付加的仮想画像コンテンツを装着者に提示してもよい。
トーテムは、光パターンの場所および移動を介して、ＦＯＶ外のオブジェクトの情報を提供することができる。光パターンの場所および移動は、例えば、トーテムまたはウェアラブルデバイス等のウェアラブルシステムの種々のコンポーネントによって計算および決定されることができる。ウェアラブルシステムは、ユーザまたはオブジェクトと関連付けられたコンテキスト情報を使用して、光パターンを決定することができる。例えば、ウェアラブルシステムは、例えば、オブジェクトの場所（ユーザまたはユーザのＦＯＶに対するオブジェクトの近接度を含む）、オブジェクトの緊急度、オブジェクトのタイプ（例えば、オブジェクトが相互作用可能であるかどうか、オブジェクトによってサポートされる相互作用のタイプ、オブジェクトが物理的または仮想であるかどうか等）、オブジェクトの性質（例えば、競争者のアバタ対友人のアバタ等）、情報の量（例えば、通知の数等）、ユーザの選好等の要因を採用することができる。図２８Ｂにおける場面２８３４に示されるように、オブジェクト２８４０が場面２８３２よりユーザ６１００から遠いため、トーテム２５０２上の後光２８４４は、後光２８４２（より大きい角度範囲を有する）より小さくなるように現れてもよい（例えば、より短い角度範囲を有する）。別の実施例として、後光は、後光と関連付けられたオブジェクトが、より緊急である、またはユーザのＦＯＶにより近いため、より大きくかつより明るい外観を有してもよい。
ウェアラブルシステムは、関連付けられたオブジェクトの特性に基づいて、色を背光に割り当ててもよい。例えば、ウェアラブルシステムは、オブジェクト６０５０ｂが赤色と関連付けられるため、赤色を背光６０５１ｂに割り当ててもよい。同様に、ウェアラブルシステムは、それがオペレーティングシステムオブジェクトであって、ウェアラブルシステムが青色を全てのオペレーティングシステムオブジェクトに割り当てるため、青色をオブジェクト６０５１ａに割り当ててもよい。
ウェアラブルシステムは、関連付けられたオブジェクトの特性に基づいて、色を後光に割り当ててもよい。例えば、ウェアラブルシステムは、オブジェクト２８４０が緑色と関連付けられるため、緑色を後光２８４２および２８４４に割り当ててもよい。同様に、ウェアラブルシステムは、それがオペレーティングシステムオブジェクトであって、ウェアラブルシステムが赤色を全てのオペレーティングシステムオブジェクトに割り当てるため、赤色をオブジェクト６０５０ｂに割り当ててもよい。その結果、オペレーティングシステムオブジェクト（オブジェクト６０５０ｂを含む）と関連付けられた後光は、赤色であってもよい。
後光の外観は、後光と関連付けられたオブジェクトの変化に基づいて、経時的に変化してもよい。例えば、後光は、後光と関連付けられたオブジェクトがより多くのメッセージを受信するにつれて、より濃く成長してもよい。別の実施例として、後光２８４４は、オブジェクト２８４０がユーザのより近くに移動するにつれて、より大きく（またはより明るく）なってもよい、またはオブジェクト２８４０がユーザから離れるように移動するにつれて、より小さく（またはより暗く）成長してもよい。後光の位置もまた、オブジェクトが移動するにつれて変化してもよい。例えば、図２８Ａでは、ウェアラブルシステムは、最初に、オブジェクト６０５０ｂがユーザ６１００の左にあるため、オブジェクト６０５０ｂと関連付けられた後光をトーテムの光導波路の左側に示してもよい。しかし、オブジェクト６０５０ｂがユーザ６１００の右側に移動すると、ウェアラブルシステムは、後光の位置をトーテムの光導波路の右側に更新することができる。
視覚的背光の外観もまた、ユーザの姿勢の変化に基づいて、変化してもよい。例えば、図２８Ａを参照すると、ユーザ６１００が左に方向転換するにつれて、オブジェクト６０５０ｂは、ユーザのＦＯＶにより近づき得る一方、オブジェクト６０５０ｃは、ユーザのＦＯＶからより離れ得る。その結果、オブジェクト６０５０ｂと関連付けられた後光は、より明るく（またはより大きく）なり得る。
いくつかの状況では、ＦＯＲ２８１０およびＦＯＶ２８２０は、ユーザに直接見えない、不可視オブジェクトを含むことができる。例えば、宝探しゲームは、隠された宝（例えば、破線に図示されるオブジェクト２８１２、２８２２）をユーザのＦＯＲ２８１０内に含んでもよい。宝は、ゲームオブジェクト内に埋め込まれ得るため、直接ユーザに可視ではない場合がある。しかしながら、ユーザは、ゲーム内の仮想ツール（例えば、仮想シャベル等）を使用して、隠蔽されたオブジェクトを露見させることができる。別の実施例として、ユーザの物理的車の鍵が、紙の山の下にあり得、ユーザは、物理的車の鍵をユーザのＦＯＶ内で知覚することが不可能である場合がある。後光が、隠蔽された車の鍵の場所のインジケーションを提供するために使用されることができる。例えば、後光の弧のサイズおよび場所は、車の鍵とトーテムとの間の相対的距離および配向を示すことができる。車の鍵の場所は、ユーザの環境のマッピング（例えば、以前に外向きに面した結像システムによって入手された画像に基づいて）に基づいて決定されてもよい、または鍵が無線または無線通信能力を装備する場合、トーテム（または他のウェアラブルシステムのコンポーネント）と車の鍵との間の無線通信に基づいて決定されてもよい。
さらに別の実施例として、オブジェクト（例えば、オブジェクト６０５０ａ）は、ユーザの視覚的ＦＯＲ外にあり得るが、それにもかかわらず、潜在的に、ウェアラブルデバイスまたはトーテム上のセンサ（例えば、電磁センサ、無線周波数センサ、無線信号の検出と関連付けられたセンサ、または別の環境センサ）によって知覚され得る。例えば、オブジェクト６０５０ａは、オブジェクト６０５０ａがユーザによって視覚的に知覚不可能であるようなユーザの環境内の壁の背後にあり得る。しかしながら、ウェアラブルデバイスまたはトーテムは、オブジェクト６０５０ａと通信し得る、センサを含んでもよい。
トーテムは、光パターンを介して、不可視オブジェクトの情報を提供することができる。光パターンの場所および移動は、不可視オブジェクトまたはユーザと関連付けられたコンテキスト情報に基づくことができる。例えば、光導波路上の光パターンの場所および移動は、ユーザがある方向を見る、またはそこに移動するように指向する、コンパスとして作用することができる。別の実施例として、光パターンは、ユーザの環境内の不可視オブジェクトのマップを提供してもよい。例えば、トーテムは、３０度赤色弧を１時位置で照明し、車の鍵の方向がユーザの正面右であることを示す一方、９０度緑色弧を６時位置で照明し、ユーザの携帯電話がユーザの背後にあることを示すことができる。赤色弧および緑色弧はまた、車の鍵および携帯電話の近接度を示すために使用されることができる。例えば、携帯電話は、車の鍵よりユーザに近く、その結果、緑色弧は、赤色弧より大きい。ユーザが移動するにつれて、光パターンの場所（または移動）もまた、変化することができる。例えば、ユーザが前方に移動するにつれて、緑色弧のサイズは、減少し得る一方、赤色弧のサイズは、増加し得る。
ある実装では、ウェアラブルシステムは、ユーザの物理的または仮想環境のマッピングを提示してもよく、これは、不可視オブジェクトの場所を示すことができる。例えば、ＨＭＤは、仮想マップを提示することができ、これは、ユーザが発見し得る、ゲーム内オブジェクトを示す。別の実施例として、ＨＭＤは、ＡＲ／ＭＲコンテンツとして、隠蔽された物理的車の鍵（または仮想オブジェクト）の焦点インジケータまたは他のタイプの視覚的インジケーションを提供することができる。ユーザが環境内を動き回るにつれて、焦点インジケータの外観（例えば、サイズおよびユーザからの相対的方向）は、変化してもよい。いくつかの状況では、ＨＭＤは、不可視オブジェクトまでのルートを提示することができる。ＨＭＤによって提示されるマップは、トーテム上の後光と組み合わせられ、ユーザを不可視オブジェクトまで誘導してもよい。
いくつかの実施形態では、トーテムは、後光を提示することができ、これは、複数のオブジェクトと関連付けられた情報を含む。例えば、ユーザ６１００は、赤色オブジェクト６０５０ｂをその左に有し、不可視オブジェクト２８１２をその背後に有し得る。トーテムは、後光を提示することができ、これは、赤色弧を光導波路の左側に有し、銀色弧を光導波路の底部に有し、赤色弧は、赤色オブジェクト６０５０ｂに対応し、銀色弧は、不可視オブジェクト２８１２に対応する。
光パターンを使用して、オブジェクトの情報を提供することに加え、またはその代替として、ディスプレイはまた、ＦＯＶ外または不可視である、オブジェクトの情報を提供するように構成されることができる。例えば、ディスプレイは、ユーザの現在のＦＯＶ外の対応するオブジェクトのための視覚的背光を表示することができる。視覚的背光の一部は、ディスプレイのユーザのＦＯＶの縁上に設置されることができる。背光の場所は、オブジェクトのコンテキスト情報に基づくことができる。
視覚的背光に加え、ウェアラブルシステムはまた、ユーザに、触覚的または聴覚的効果を使用して、オブジェクトを知らせることができる。例えば、複合現実ゲームでは、ウェアラブルシステムは、ユーザに、トーテム上の振動を通して、接近する競争者を通知してもよい。ウェアラブルシステムは、競争者がユーザに近接するとき、強振動を提供してもよい。別の実施例では、ウェアラブルシステムは、可聴音を使用して、仮想オブジェクトの位置情報を提供してもよい。ウェアラブルシステムはまた、高音を使用してユーザに、近傍の仮想競争者をアラームしてもよい。触覚的、聴覚的、または視覚的フィードバックが、ユーザに周囲オブジェクトを知らせることと組み合わせて、またはその代替として使用されることができる。
図２８Ｃは、光パターンを使用してオブジェクトと関連付けられた情報を提供するための例示的プロセスを図示する。プロセス２８７０は、本明細書に説明されるウェアラブルシステム（トーテムまたはウェアラブルデバイス等）によって実施されることができる。
ブロック２８７２では、ウェアラブルシステムは、ユーザの環境内のオブジェクトを識別することができる。オブジェクトは、物理的または仮想オブジェクトであってもよい。オブジェクトは、ユーザのＦＯＲ内であるが、ユーザのＦＯＶ外にあってもよい。オブジェクトはまた、ユーザのビューから隠蔽されてもよい。例えば、オブジェクトは、別のオブジェクト（例えば、壁）の背後にあってもよい、またはあるユーザインターフェース相互作用を用いてのみ可視となってもよい（例えば、ユーザがゲーム内のあるレベルをクリアするとき）。
ブロック２８７４では、ウェアラブルシステムは、オブジェクトと関連付けられたコンテキスト情報にアクセスすることができる。コンテキスト情報は、ブロック２８７４に示されるように、オブジェクトと関連付けられた光パターンの移動および場所を決定するために使用されてもよい。例えば、光パターンを有する後光の明度は、オブジェクトの近接度または緊急度に基づいて決定されてもよい。後光の色はまた、オブジェクトの色に合致してもよい。
ブロック２８７８では、ウェアラブルシステムは、トーテムのＬＥＤに、光パターンに従って照明するように命令することができる。例えば、命令は、照光すべきＬＥＤ、ＬＥＤの明度、ＬＥＤの色、ＬＥＤによって放出される光と関連付けられた移動パターン等を含んでもよい。
図２９Ａは、通知の受信を示す、例示的光場所または移動パターンを図示する。パターン２９１２および２９１４は、虹色パターンを含む。トーテムは、虹色軌跡を時計回りサイクルで表示し（プロセス２９２０によって示されるように）、通知を提供することができる。通知は、例えば、電子メールアプリケーション、ゲーム、ビデオアプリケーション等の仮想オブジェクトと関連付けられてもよい。通知はまた、ウェアラブルデバイスのオペレーティングシステムと関連付けられてもよい。一例示的通知は、ウェアラブルデバイスのオペレーティングシステムからのエラーメッセージであってもよい。加えて、または代替として、通知は、物理的オブジェクトと関連付けられてもよい。例えば、虹色パターン２９１２および２９１４は、ユーザの台所内のコーヒーマシンが淹出を終了したことを示し得る。
トーテムは、閾値条件に到達するまで、虹色軌跡を繰り返すことができる。閾値条件は、持続時間、ユーザ相互作用（例えば、トリガ１２１２の作動等）、または他のコンテキスト情報に基づいてもよい。
図２９Ｂは、トーテム上の光パターンを使用して通知を提供するための例示的プロセスを図示する。例示的プロセス２９７０は、本明細書に説明されるウェアラブルシステム（トーテムまたはウェアラブルデバイス等）によって実施されることができる。
ブロック２９７２では、ウェアラブルシステムは、仮想オブジェクトのステータスを決定することができる。例えば、ステータスは、仮想オブジェクトが新しい情報を受信したかどうか（例えば、新しいメッセージ）、仮想オブジェクトがアイドル状態であるかどうか、仮想オブジェクトが問題にぶつかったかどうか等を含んでもよい。
随意に、ブロック２９７４では、トーテムは、少なくとも部分的に、ステータスに基づいて、アラートを生成することができる。例えば、仮想オブジェクトは、メッセンジャアプリケーションであってもよい。仮想オブジェクトが新しいメッセージをユーザの友人から受信すると、ウェアラブルシステムは、アラートを生成し、新しいメッセージが到着したことを示すことができる。
ブロック２９７６では、ウェアラブルシステムは、仮想オブジェクトのステータス（または随意に、アラート）と関連付けられた光パターンにアクセスすることができる。場所または移動パターンは、例えば、アラートの重要性、アラートの緊急度、仮想オブジェクトの場所、仮想オブジェクトのタイプ等の仮想オブジェクト（またはアラート）と関連付けられたコンテキスト情報に基づいて決定されてもよい。
ブロック２９７８では、ウェアラブルシステムは、トーテムのＬＥＤに、光パターンに従って照明するように命令することができる。例えば、ウェアラブルシステムは、照光すべきＬＥＤ、ＬＥＤの明度、ＬＥＤの色、ＬＥＤによって放出される光と関連付けられた移動パターン等に関する命令を提供することができる。
ＦＯＶ外のオブジェクトに関する情報を提供することに加え、またはその代替として、光パターンはまた、必ずしも、ＦＯＶ外にないオブジェクトの情報を提供するために使用されることができる。例えば、ユーザがゲーム内のあるレベルをクリアすると、トーテムは、後光を照光してもよく、これは、ゲームと同一色を有する。別の実施例として、図２９Ａを参照すると、通知と関連付けられた仮想アプリケーションは、ＦＯＶ内にあってもよい。ユーザは、例えば、メッセージを構成することによって、電子メールアプリケーションと相互作用する一方、新しい電子メールが到着したことの通知を受信してもよい。
トーテムは、ユーザの現在の相互作用の視覚的フィードバックをユーザまたはユーザの環境の別の人物に提供することができる。例えば、ユーザがそのＨＭＤでビデオを記録しているとき、トーテムは、明滅赤色光パターンを照明し、ＨＭＤが記録モードであることをユーザに知らせ、近傍の他者に示すことができる。
図３０は、ユーザの環境内の人物にユーザの現在の相互作用を知らせるために使用され得る、例示的光パターンを図示する。例えば、ユーザがテレプレゼンスセッション中であるとき、トーテムは、光導波路を介して、光パターン３０００（例えば、時計回り移動を伴う緑色後光）を照明することができる。光パターン３０００は、ユーザの環境内の人々に、ユーザがテレプレゼンス中であることを知らせることができる。これは、他の人々がユーザに近づきすぎないようにすることに役立ち、それによって、他の人々がユーザのテレプレゼンスセッションを中断させることを防止し得る。光パターンに加え、またはその代替として、例えば、触覚的、聴覚的、ビデオフィードバック等の他のタイプのフィードバックもまた、ウェアラブルシステムのユーザの現在の相互作用を示すために使用されることができる。
付加的側面
第１の側面では、システムであって、ユーザ入力デバイスの発光アセンブリであって、環境内のオブジェクトの情報を提供するために、複数の光パターンを照明するように構成される、発光アセンブリと、発光アセンブリに通信可能に結合され、ユーザの環境内のオブジェクトを識別し、オブジェクトと関連付けられたコンテキスト情報にアクセスし、少なくとも部分的に、コンテキスト情報に基づいて、発光アセンブリによって照明された光パターンの特性を決定し、発光アセンブリに、光パターンに従って照明するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、システム。
第２の側面では、オブジェクトは、物理的オブジェクトまたは仮想オブジェクトのうちの少なくとも１つを含む、側面１に記載のシステム。
第３の側面では、仮想オブジェクトのステータスは、ユーザによる仮想オブジェクトとの現在の相互作用、仮想オブジェクトが新しい情報を受信したかどうか、仮想オブジェクトがアイドル状態であるかどうか、または仮想オブジェクトがエラー状態であるかどうかのうちの少なくとも１つを含む、側面２に記載のシステム。
第４の側面では、光パターンの特性は、明度、位置、形状、サイズ、または色のうちの少なくとも１つを含む、側面１−３のいずれか１項に記載のシステム。
第５の側面では、オブジェクトと関連付けられたコンテキスト情報は、オブジェクトの場所、オブジェクトの緊急度、オブジェクトのタイプ、オブジェクトの性質、オブジェクトと関連付けられた情報の量、またはユーザの選好のうちの少なくとも１つを含む、側面１−４のいずれか１項に記載のシステム。
第６の側面では、システムはさらに、ウェアラブルディスプレイデバイスを備え、オブジェクトは、ユーザのビューから不可視である、またはウェアラブルディスプレイデバイスのビューの外側にあって、ハードウェアプロセッサは、光パターンのサイズ、形状、または色のうちの少なくとも１つを決定し、オブジェクトを位置特定するためのキューをユーザに提供するようにプログラムされる、側面１−５のいずれか１項に記載のシステム。
第７の側面では、オブジェクトは、仮想コンテンツをユーザに提示するためのウェアラブルシステムのコンポーネントであって、光パターンは、ウェアラブルシステムのコンポーネントのステータスを示す、側面１−６のいずれか１項に記載のシステム。
第８の側面では、コンポーネントは、ユーザ入力デバイス、ウェアラブルディスプレイデバイス、またはバッテリパックのうちの少なくとも１つを含む、側面７に記載のシステム。
第９の側面では、ステータスは、バッテリステータス、電力充電ステータス、ウェアラブルディスプレイデバイスとユーザ入力デバイスとの間の無線ペアリングステータス、ユーザ入力デバイスの較正プロセスのステータス、またはウェアラブルディスプレイデバイスのステータスのうちの少なくとも１つを含む、側面１−８のいずれか１項に記載のシステム。
第１０の側面では、光パターンは、オブジェクトと関連付けられたアラートまたは情報をエンコードする、側面１−９のいずれか１項に記載のシステム。
第１１の側面では、ステータスは、ユーザによるオブジェクトとの現在の相互作用、オブジェクトが新しい情報を受信したかどうか、オブジェクトがアイドル状態にあるかどうか、またはオブジェクトがエラー状態にあるかどうかのうちの少なくとも１つを含む、側面１−１０のいずれか１項に記載のシステム。
第１２の側面では、光パターンの特性は、アプリケーションプログラミングインターフェースを介して、ユーザによって構成可能である、側面１−１１のいずれか１項に記載のシステム。
第１３の側面では、発光ユーザ入力デバイスであって、ユーザ入力を受け取るように構成される、タッチコンポーネントと、複数の光パターンを出力するように構成される、発光アセンブリであって、少なくとも部分的に、タッチコンポーネントを囲繞する、発光アセンブリと、タッチコンポーネントおよび発光アセンブリに通信可能に結合され、コンテキスト情報に基づいて、タッチコンポーネントによってサポートされるユーザインターフェース動作を識別し、ユーザインターフェース動作と関連付けられた第１の光パターンを決定し、第１の光パターンを有する後光を表示するための命令を生成し、発光アセンブリに伝送し、ユーザ入力をタッチコンポーネント上で受信し、後光を第２の光パターンで更新し、ユーザ入力を反映するようにプログラムされる、ハードウェアプロセッサとを備える、発光ユーザ入力デバイス。
第１４の側面では、コンテキスト情報は、ユーザの環境、発光ユーザ入力デバイスによってサポートされる入力のタイプ、ハンドヘルドユーザ入力デバイスが相互作用するように構成される、オブジェクトと関連付けられた情報、またはハンドヘルドユーザ入力デバイスと関連付けられたウェアラブルデバイスの特性のうちの少なくとも１つを含む、側面１３に記載の発光ユーザ入力デバイス。
第１５の側面では、発光アセンブリは、光導波路と、ＬＥＤのリングとを備える、側面１３または１４に記載の発光ユーザ入力デバイス。
第１６の側面では、発光アセンブリは、複数のユーザ入力を受け取るように構成され、ハードウェアプロセッサはさらに、少なくとも部分的に、光導波路を作動させることによってサポートされる複数のユーザ入力に基づいて、後光を表示するようにプログラムされる、側面１３−１５のいずれか１項に記載の発光ユーザ入力デバイス。
第１７の側面では、ユーザ入力は、スワイプ、タップ、押下、またはタッチジェスチャのうちの少なくとも１つを含む、側面１３−１６のいずれか１項に記載の発光ユーザ入力デバイス。
第１８の側面では、発光ユーザ入力デバイスは、トーテム、スマートウォッチ、またはスマートフォンのうちの少なくとも１つを含む、側面１３−１７のいずれか１項に記載の発光ユーザ入力デバイス。
第１９の側面では、第１の光パターンは、ユーザに、ユーザインターフェース動作が発光ユーザ入力デバイスによってサポートされることのキューを提供する、側面１３−１８のいずれか１項に記載の発光ユーザ入力デバイス。
第２０の側面では、ハードウェアプロセッサはさらに、コンテキスト情報に基づいて、受信されたユーザ入力が不適切であるかどうかを決定するようにプログラムされ、第２の光パターンは、受信されたユーザ入力が不適切であることの決定に応答して、受信されたユーザ入力が不適切であることの視覚的アラートを提供する、側面１３−１９のいずれか１項に記載の発光ユーザ入力デバイス。
第２１の側面では、後光の少なくとも一部は、第１の光パターンと比較して、第２の光パターンにおいてより明るいまたはより大きいように現れる、側面１３−２０のいずれか１項に記載の発光ユーザ入力デバイス。
第２２の側面では、複数の光パターンの特性は、アプリケーションプログラミングインターフェースを介して、ユーザによって構成可能である、側面１３−２１のいずれか１項に記載の発光ユーザ入力デバイス。
第２３の側面では、特性は、弧の場所または移動パターン、色、明度、形状、またはサイズのうちの少なくとも１つを含む、側面２２に記載の発光ユーザ入力デバイス。
第２４の側面では、第２の光パターンは、ユーザ入力に応答して、バッテリステータス、電力充電ステータス、ハンドヘルドユーザ入力デバイスと別のコンピューティングデバイスとの間の無線ペアリングステータス、またはハンドヘルドユーザ入力デバイスがアイドル状態であるかどうかのうちの少なくとも１つを示す、側面１３−２３のいずれか１項に記載の発光ユーザ入力デバイス。
第２５の側面では、方法であって、ハードウェアプロセッサの制御下で、コンテキスト情報に基づいて、発光ユーザ入力デバイスによってサポートされるユーザ入力のタイプを識別するステップであって、発光ユーザ入力デバイスは、複数の光パターンを照明するための第１の要素と、ユーザ入力を受信するための第２の要素とを備える、ステップと、サポートされるユーザ入力のタイプと関連付けられた第１の光パターンを決定するステップと、第１の光パターンを有する後光を照明するための命令を生成し、第１の要素に伝送するステップと、発光ユーザ入力デバイス上のユーザ入力に基づいて、第２の光パターンを決定するステップと、ユーザ入力に応答して、後光を第２の光パターンに更新するステップとを含む、方法。
第２６の側面では、第１の要素はさらに、別のユーザ入力を受信するように構成され、第１の光パターンを決定するためのユーザ入力のタイプは、第１の要素によってサポートされる他のユーザ入力と関連付けられる、側面２５に記載の方法。側面２５および２６は、「第１の要素」および「第２の要素」を用いるが、単語「要素」は、単語「部分」によって代用されてもよく、これらの２つの側面における単語「要素」は、発光ユーザ入力デバイスの個々のコンポーネントまたはサブコンポーネントまたはコンポーネント（サブコンポーネント）の組み合わせを含むことができる。
第２７の側面では、コンテキスト情報は、ユーザの環境、発光ユーザ入力デバイスによってサポートされる入力のタイプ、ハンドヘルドユーザ入力デバイスが相互作用するように構成される、オブジェクトと関連付けられた情報、またはハンドヘルドユーザ入力デバイスと関連付けられたウェアラブルデバイスの特性のうちの少なくとも１つを含む、側面２５または２６に記載の方法。
第２８の側面では、ユーザ入力のタイプは、スワイプ、タップ、押下、またはタッチ入力のうちの少なくとも１つを含む、側面２５−２７のいずれか１項に記載の方法。
第２９の側面では、第１の光パターンは、ユーザに、ユーザ入力のタイプが発光ユーザ入力デバイスによってサポートされることのキューを提供する、側面２５−２８のいずれか１項に記載の方法。
第３０の側面では、コンテキスト情報に基づいて、発光ユーザ入力デバイスによって受信されたユーザ入力が不適切であるかどうかを決定するステップをさらに含み、第２の光パターンは、ユーザ入力が不適切であることの決定に応答して、ユーザ入力が不適切であることの視覚的アラートを提供する、側面２５−２９のいずれか１項に記載の方法。
第３１の側面では、後光の少なくとも一部は、第１の光パターンと比較して、第２の光パターンにおいてより明るいまたはより大きいように現れる、側面２５−３０のいずれか１項に記載の方法。
第３２の側面では、発光ユーザ入力デバイスであって、ユーザ入力を受信するように構成される、複数の相互作用可能領域であって、複数の相互作用可能領域の少なくとも１つの相互作用可能領域は、発光ユーザ入力デバイスの発光アセンブリの一部を構成する、複数の相互作用可能領域と、発光ユーザ入力デバイスのユーザの作動を検出し、ユーザの作動に対応する、複数の相互作用可能領域の中の相互作用可能領域を決定し、少なくとも、作動のタイプおよび作動と関連付けられた相互作用領域に基づいて、ユーザの作動をユーザインターフェース動作を実施するためのユーザ入力に変換し、ユーザ入力に応答して、発光アセンブリに、光パターンを照明するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、発光ユーザ入力デバイス。
第３３の側面では、発光ユーザ入力デバイスはさらに、タッチ表面を備え、発光アセンブリは、光導波路を備え、複数の相互作用可能領域は、光導波路と関連付けられた第１の相互作用可能領域と、タッチ表面と関連付けられた第２の相互作用可能領域とを備える、側面３２に記載の発光ユーザ入力デバイス。
第３４の側面では、ユーザが第１の相互作用可能領域を作動させたことの検出に応答して、ハードウェアプロセッサは、発光アセンブリに、第１の相互作用可能領域内のユーザ入力と関連付けられた第１の光パターンを照明させるようにプログラムされ、ユーザが第２の相互作用可能領域を作動させたことの検出に応答して、ハードウェアプロセッサは、発光アセンブリに、第２の相互作用可能領域内のユーザ入力と関連付けられた第２の光パターンを照明させるようにプログラムされる、側面３３に記載の発光ユーザ入力デバイス。
第３５の側面では、光パターンは、少なくとも部分的に、発光ユーザ入力デバイスと関連付けられたコンテキスト情報に基づいて決定される、側面３２−３４のいずれか１項に記載の発光ユーザ入力デバイス。
第３６の側面では、ユーザの作動は、スワイプ、タップ、押下、またはタッチジェスチャのうちの少なくとも１つを含む、側面３２−３５のいずれか１項に記載の発光ユーザ入力デバイス。
第３７の側面では、光パターンは、ある色、ある弧長、またはある視覚的効果を有する、弧状領域を含む、側面３２−３６のいずれか１項に記載の発光ユーザ入力デバイス。
第３８の側面では、ハードウェアプロセッサはさらに、ユーザ入力に基づいて、ウェアラブルデバイスと通信し、ウェアラブルデバイスに、ユーザインターフェース動作を実施させるようにプログラムされる、側面３２−３７のいずれか１項に記載の発光ユーザ入力デバイス。
第３９の側面では、方法であって、ハードウェアプロセッサの制御下で、発光ユーザ入力デバイスのユーザの作動を検出するステップであって、発光ユーザ入力デバイスは、複数の相互作用可能領域を備える、ステップと、ユーザの作動に対応する、複数の相互作用可能領域の中の相互作用可能領域を決定するステップと、少なくとも、作動のタイプおよび作動と関連付けられた相互作用領域に基づいて、ユーザの作動をユーザインターフェース動作を実施するためのユーザ入力に変換するステップと、ユーザ入力に応答して、発光ユーザ入力デバイスの発光アセンブリに、光パターンを照明させるステップとを含む、方法。
第４０の側面では、複数の相互作用可能領域は、第１のタイプのユーザ入力をサポートする、第１の相互作用可能領域と、第２のタイプのユーザ入力をサポートする、第２の相互作用可能領域とを備える、側面３９に記載の方法。
第４１の側面では、ユーザが第１の相互作用可能領域を作動させたことの検出に応答して、ハードウェアプロセッサは、発光アセンブリに、第１の相互作用可能領域内のユーザ入力と関連付けられた第１の光パターンを照明させるようにプログラムされ、ユーザが第２の相互作用可能領域を作動させたことの検出に応答して、ハードウェアプロセッサは、発光アセンブリに、第２の相互作用可能領域内のユーザ入力と関連付けられた第２の光パターンを照明させるようにプログラムされる、側面４０に記載の方法。
第４２の側面では、第１のタイプのユーザ入力または第２のタイプのユーザ入力のうちの少なくとも１つは、ウェアラブルシステムとのユーザの相互作用と関連付けられたコンテキスト情報に依存し、コンテキスト情報は、ユーザが相互作用しているアプリケーションのタイプ、複数の相互作用可能領域によってサポートされる利用可能なユーザ入力、またはユーザの仮想環境のうちの少なくとも１つを含む、側面４０または４１に記載の方法。
第４３の側面では、発光ユーザ入力デバイスは、１つ以上の相互作用可能領域に分割される、タッチ表面を備える、側面３９−４２のいずれか１項に記載の方法。
第４４の側面では、光パターンは、少なくとも部分的に、発光ユーザ入力デバイスと関連付けられたコンテキスト情報に基づいて決定される、側面３９−４３のいずれか１項に記載の方法。
第４５の側面では、複数の相互作用可能領域は、発光ユーザ入力デバイスの発光アセンブリを構成する、側面３９−４４のいずれか１項に記載の方法。
第４６の側面では、ユーザの作動は、スワイプ、タップ、押下、またはタッチジェスチャのうちの少なくとも１つを含む、側面３９−４５のいずれか１項に記載の方法。
第４７の側面では、光パターンは、ある色、ある弧長、またはある視覚的効果を有する、弧状領域を含む、側面３９−４６のいずれか１項に記載の方法。
第４８の側面では、発光ユーザ入力デバイスを較正するためのシステムであって、環境を結像するように構成される、外向きに面した結像システムと、光パターンを照明するように構成される、発光ユーザ入力デバイスと、外向きに面した結像システムおよび発光ユーザ入力デバイスと通信し、第１の姿勢から第２の姿勢への発光ユーザ入力デバイスの移動と関連付けられた発光ユーザ入力デバイスのセンサによって入手された第１の移動データにアクセスし、発光ユーザ入力デバイスの第１の画像を決定し、第１の画像は、発光ユーザ入力デバイスの第１の姿勢に対応する光パターンを含み、外向きに面した結像システムによって入手された発光ユーザ入力デバイスの第２の画像を決定し、第２の画像は、発光ユーザ入力デバイスの第２の姿勢に対応する光パターンを含み、外向きに面した結像システムによって入手された発光ユーザ入力デバイスの第２の画像を決定し、第２の画像は、発光ユーザ入力デバイスの第２の姿勢に対応する光パターンを含み、第２の画像を分析し、発光ユーザ入力デバイスの移動と関連付けられた第２の移動データを計算し、第１の移動データと第２の移動データとの間の相違を検出し、相違が閾値条件に達することの決定に応答して、発光ユーザ入力デバイスのセンサを較正させるようにプログラムされる、ハードウェアプロセッサとを備える、システム。
第４９の側面では、第１の姿勢から第２の姿勢への発光ユーザ入力デバイスの移動は、発光ユーザ入力デバイスの位置または配向のうちの少なくとも１つの変化を含む、側面４８に記載のシステム。
第５０の側面では、第１の姿勢または第２の姿勢は、発光ユーザ入力デバイスの基点位置に対応する、側面４８または４９に記載のシステム。
第５１の側面では、光パターンは、発光ユーザ入力デバイスのタッチ可能部分を囲繞する複数の発光ダイオードによって照明される後光と関連付けられる、側面４８−５０のいずれか１項に記載のシステム。
第５２の側面では、第２の移動データを計算するために、ハードウェアプロセッサは、第１の画像および第２の画像内の後光の形状の変化を計算するようにプログラムされる、側面４８−５１のいずれか１項に記載のシステム。
第５３の側面では、発光ユーザ入力デバイスは、拡張現実デバイスとの相互作用のためのトーテムである、側面４８−５２のいずれか１項に記載のシステム。
第５４の側面では、センサは、トーテムの慣性測定ユニット（ＩＭＵ）の一部であって、センサは、ユーザの移動に対するトーテムの応答性またはユーザの移動とＩＭＵの測定との間のマッピングのうちの少なくとも１つを調節することによって較正される、側面５３に記載のシステム。
第５５の側面では、トーテムはさらに、視覚的インジケーションをユーザに提供し、発光ユーザ入力デバイスを第１の姿勢から第２の姿勢に移動させるように構成される、側面５３または５４に記載のシステム。
第５６の側面では、トーテムは、３自由度を有する、側面５３−５５のいずれか１項に記載のシステム。
第５７の側面では、ハードウェアプロセッサは、コンピュータビジョンアルゴリズムを適用し、第１の画像および第２の画像を分析し、第１の画像および第２の画像内の光パターンを識別するようにプログラムされる、側面４８−５６のいずれか１項に記載のシステム。
第５８の側面では、発光ユーザ入力デバイスは、発光ユーザ入力デバイスの較正が完了されたことの決定に応答して、別の光パターンを照明することができる、側面４８−５７のいずれか１項に記載のシステム。
第５９の側面では、ハードウェアプロセッサは、較正のタイプを決定するようにプログラムされ、発光ユーザ入力デバイスによって照明される光パターンは、較正のタイプに対応する、発光ユーザ入力デバイスによって照明される光パターンは、較正のタイプに対応する、側面４８−５８のいずれか１項に記載のシステム。
第６０の側面では、発光ユーザ入力デバイスを較正する方法であって、ハードウェアプロセッサの制御下で、ある姿勢における発光ユーザ入力デバイスの移動データを受信するステップであって、移動データは、発光ユーザ入力デバイスのセンサによって入手される、ステップと、姿勢における発光ユーザ入力デバイスの画像を受信するステップと、画像を分析し、発光ユーザ入力デバイスによって照明される光パターンの形状を識別するステップと、移動データに基づいて、姿勢における発光ユーザ入力デバイスの第１の位置または第１の配向のうちの少なくとも１つを計算するステップと、光パターンの形状に基づいて、姿勢における発光ユーザ入力デバイスの第２の位置または第２の配向のうちの少なくとも１つを計算するステップと、第１の位置と第２の位置または第１の配向と第２の配向との間の相違を決定するステップと、相違が閾値条件に達することの決定に応答して、発光ユーザ入力デバイスのセンサを較正するステップとを含む、方法。
第６１の側面では、第１の位置、第１の配向、第２の位置、または第２の配向は、基点姿勢を参照して計算される、側面６０に記載の方法。
第６２の側面では、画像内の光パターンの形状は、卵形である一方、基点姿勢における光パターンの形状は、円形である、側面６０または６１に記載の方法。
第６３の側面では、光パターンの位置または移動パターンのうちの少なくとも１つは、較正されているセンサのタイプに対応する、側面６０−６２のいずれか１項に記載の方法。
第６４の側面では、較正が成功したことの決定に応答して、視覚的、聴覚的、または触覚的フィードバックのうちの少なくとも１つを提供するステップをさらに含む、側面６０−６３のいずれか１項に記載の方法。
第６５の側面では、センサを較正するステップは、ユーザの移動に対するセンサの応答性またはユーザの移動とセンサの測定との間のマッピングのうちの少なくとも１つを調節するステップを含む、側面６０に記載の方法。
第６６の側面では、発光ユーザ入力デバイスを較正するためのシステムであって、環境を結像するように構成される、外向きに面した結像システムと、外向きに面した結像システムと通信し、環境の画像を受信し、画像を分析し、発光ユーザ入力デバイスを識別し、発光ユーザ入力デバイスの第１の姿勢および照明される後光の光パターンの第１の外観を決定し、少なくとも部分的に、画像の分析に基づいて、照明される後光の光パターンの第２の外観を識別し、発光ユーザ入力デバイスの姿勢に対する第１の変化を決定し、発光ユーザ入力デバイスによって測定された発光ユーザ入力デバイスの移動データを受信し、少なくとも部分的に、画像の分析に基づいて、発光ユーザ入力デバイスの姿勢に対する第２の変化を計算し、第１の変化と第２の変化との間の差異を計算し、差異が閾値に達するかどうかを決定し、差異が閾値条件を超えたことの決定に応答して、発光ユーザ入力デバイスのセンサを較正するようにプログラムされる、ハードウェアプロセッサとを備える、システム。
第６７の側面では、発光ユーザ入力デバイスの姿勢は、発光ユーザ入力デバイスの位置および配向を含む、側面６６に記載のシステム。
第６８の側面では、発光ユーザ入力デバイスは、トーテム、スマートウォッチ、またはスマートフォンのうちの少なくとも１つを含み、センサは、ＩＭＵである、側面６６または６７に記載のシステム。
第６９の側面では、差異が閾値を超えないことの決定に応答して、ハードウェアプロセッサは、センサが較正されていることのインジケーションを提供するようにプログラムされる、側面６６−６８のいずれか１項に記載のシステム。
第７０の側面では、インジケーションは、発光ユーザ入力デバイス上の視覚的、聴覚的、または触覚的フィードバックを含む、側面６６−６９のいずれか１項に記載のシステム。
第７１の側面では、第１の位置は、発光ユーザ入力デバイスの基点位置である、側面６６−７０のいずれか１項に記載のシステム。
第７２の側面では、発光ユーザ入力デバイスはさらに、ユーザ入力デバイスを第１の姿勢および第２の姿勢を含む姿勢に位置付けるように、発光ユーザ入力デバイスのユーザを誘導するための一連の光パターンを照明するように構成される、側面６６−７１のいずれか１項に記載のシステム。
第７３の側面では、少なくとも部分的に、画像の分析に基づいて、発光ユーザ入力デバイスの姿勢に対する第２の変化を計算するために、ハードウェアプロセッサは、第１の外観における光パターンの形状に対する第２の外観における光パターンの形状の変形を決定するようにプログラムされる、側面６６−７２のいずれか１項に記載のシステム。
第７４の側面では、発光ユーザ入力デバイスは、仮想コンテンツを拡張現実、仮想現実、または複合現実環境内に提示するためのウェアラブルディスプレイをさらに備える、ウェアラブルシステムの一部である、側面６６−７３のいずれか１項に記載のシステム。
第７５の側面では、センサを較正するために、ハードウェアプロセッサは、ユーザの移動に対するセンサの応答性またはユーザの移動とセンサの測定との間のマッピングのうちの少なくとも１つを調節するようにプログラムされる、側面６６に記載のシステム。
第７６の側面では、発光ユーザ入力デバイスを較正するための方法であって、発光アセンブリと、ハードウェアプロセッサとを備える、発光ユーザ入力デバイスの制御下で、発光ユーザ入力デバイスの第１の姿勢を決定するステップと、発光アセンブリに、発光ユーザ入力デバイスを第２の姿勢に移動させるようにユーザを誘導するための第１の光パターンを照明させるステップと、発光ユーザ入力デバイスが第２の姿勢に移動されたことの決定に応答して、発光ユーザ入力デバイスの姿勢データを入手するステップと、少なくとも部分的に、姿勢データに基づいて、発光ユーザ入力デバイスを較正するステップと、ユーザに、較正プロセスが完了されたことのインジケーションを提供するステップとを含む、方法。
第７７の側面では、第１の姿勢を決定するステップは、少なくとも部分的に、発光ユーザ入力デバイスの慣性測定ユニット（ＩＭＵ）から入手されたデータに基づく、側面７６に記載の方法。
第７８の側面では、インジケーションは、聴覚的、視覚的、または触覚的インジケーションのうちの少なくとも１つを含む、側面７６−７７のいずれか１項に記載の方法。
第７９の側面では、インジケーションは、第２の光パターンを含む、側面７６−７８のいずれか１項に記載の方法。
第８０の側面では、姿勢データは、発光ユーザ入力デバイスの位置または配向データのうちの少なくとも１つを含む、側面７６−７９のいずれか１項に記載の方法。
第８１の側面では、発光ユーザ入力デバイスの姿勢データは、発光ユーザ入力デバイスが複数の姿勢にあるときに入手されたデータを含む、側面７６−８０のいずれか１項に記載の方法。
第８２の側面では、発光アセンブリに、較正プロセスの開始を示す第３の光パターンを照明させるステップをさらに含む、側面７６−８１のいずれか１項に記載の方法。
第８３の側面では、発光ユーザ入力デバイスを較正するためのシステムであって、発光ユーザ入力デバイスの移動データを入手するように構成される、１つ以上のセンサと、複数の光パターンを出力するように構成される、発光ユーザ入力デバイスの発光アセンブリと、発光ユーザ入力デバイスをある姿勢に位置付けるための第１のインジケーションをユーザに提供し、姿勢への発光ユーザ入力デバイスの移動データを入手し、少なくとも部分的に、移動データに基づいて、発光ユーザ入力デバイスを較正し、ユーザに、較正プロセスが完了されたことのインジケーションを提供するようにプログラムされる、ハードウェアプロセッサとを備える、システム。
第８４の側面では、第１のインジケーションは、光パターンを含み、その場所、移動、または組み合わせは、ユーザに、発光ユーザ入力デバイスを姿勢に移動させるためのガイドを提供する、側面８３に記載のシステム。
第８５の側面では、発光ユーザ入力デバイスは、拡張または複合現実環境と相互作用するためのウェアラブルシステムの一部であって、第１のインジケーションは、ユーザによって位置付けられるべきトーテムの姿勢を示す、ウェアラブルシステムの頭部搭載型ディスプレイによって提供される、仮想画像を含む、側面８３または８４に記載のシステム。
第８６の側面では、ハードウェアプロセッサはさらに、発光ユーザ入力デバイスが較正されていることの決定に応答して、発光ユーザ入力デバイスが較正されていることを知らせる第２のインジケーションを提供する、または発光ユーザ入力デバイスが較正されていないことの決定に応答して、発光ユーザ入力デバイスの較正を継続するようにプログラムされる、側面８３−８５のいずれか１項に記載のシステム。
第８７の側面では、ハードウェアプロセッサはさらに、発光ユーザ入力デバイスのための較正プロセスを開始するための開始条件を検出するようにプログラムされる、側面８３−８６のいずれか１項に記載のシステム。
第８８の側面では、発光ユーザ入力デバイスを較正するために、ハードウェアプロセッサは、姿勢における発光ユーザ入力デバイスを含む画像にアクセスし、移動データおよび画像を分析し、移動データから計算されたものと画像から決定されたものとの間の発光ユーザ入力デバイスの位置または配向のうちの少なくとも１つの相違を識別するようにプログラムされる、側面８３−８７のいずれか１項に記載のシステム。
第８９の側面では、発光ユーザ入力デバイスは、タッチ表面を備える、トーテムを備え、発光アセンブリは、タッチ表面に隣接して位置付けられる、側面８３−８８のいずれか１項に記載のシステム。
第９０の側面では、発光ユーザ入力デバイスをペアリングするためのウェアラブルデバイスであって、環境を結像するように構成される、外向きに面した結像システムと、外向きに面した結像システムと通信し、外向きに面した結像システムによって入手された画像を受信し、画像は、発光ユーザ入力デバイスによって照明された光パターンを含み、ウェアラブルデバイスとペアリングされるべき発光ユーザ入力デバイスを識別し、画像を分析し、発光ユーザ入力デバイスとウェアラブルデバイスのペアリングと関連付けられた情報をエンコードする、光パターンを識別し、発光ユーザ入力デバイスとウェアラブルデバイスをペアリングするために、光パターン内にエンコードされた情報を抽出し、少なくとも部分的に、抽出された情報に基づいて、発光ユーザ入力デバイスとウェアラブルデバイスをペアリングするようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルデバイス。
第９１の側面では、ハードウェアプロセッサはさらに、発光ユーザ入力デバイスとウェアラブルデバイスとの間のペアリングが成功したかどうかを決定し、ペアリングが成功したことの決定に応答して、発光ユーザ入力デバイスに、ペアリング成功を示す別の光パターンを照明するように命令するようにプログラムされる、側面９０に記載のウェアラブルデバイス。
第９２の側面では、ハードウェアプロセッサはさらに、ペアリングが成功したことの決定に応答して、無線接続を介して、発光ユーザ入力デバイスと通信するようにプログラムされる、側面９０または９１に記載のウェアラブルデバイス。
第９３の側面では、無線接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を含む、側面９２に記載のウェアラブルデバイス。
第９４の側面では、光パターンによってエンコードされる情報は、発光ユーザ入力デバイスのデバイス情報を含む、側面９０−９３のいずれか１項に記載のウェアラブルデバイス。
第９５の側面では、光パターンは、情報を２進数形態でエンコードする、側面９０−９４のいずれか１項に記載のウェアラブルデバイス。
第９６の側面では、光パターンは、ペアリングと関連付けられた情報をエンコードする、１つ以上の色を含む、側面９０−９５のいずれか１項に記載のウェアラブルデバイス。
第９７の側面では、光パターンの一部は、電磁スペクトルの非可視部分内の光を含む、側面９０−９６のいずれか１項に記載のウェアラブルデバイス。
第９８の側面では、ウェアラブルデバイスは、仮想コンテンツを複合現実環境内に提示するための頭部搭載型ディスプレイを備え、外向きに面した結像システムは、頭部搭載型ディスプレイに搭載されるカメラを備える、側面９０−９７のいずれか１項に記載のウェアラブルシステム。
第９９の側面では、発光ユーザ入力デバイスをペアリングするための方法であって、ハードウェアプロセッサの制御下で、ペアリングプロセスを発光ユーザ入力デバイスと電子デバイスとの間で開始するステップと、カメラによって入手された画像にアクセスするステップであって、画像は、発光ユーザ入力デバイスによって照明された光パターンを含む、ステップと、電子デバイスとペアリングされるべき発光ユーザ入力デバイスを識別するステップと、画像を分析し、発光ユーザ入力デバイスと電子デバイスのペアリングと関連付けられた情報をエンコードする、光パターンを識別するステップと、発光ユーザ入力デバイスと電子デバイスをペアリングするために、光パターン内にエンコードされた情報を抽出するステップと、少なくとも部分的に、抽出された情報に基づいて、発光ユーザ入力デバイスと電子デバイスをペアリングするステップとを含む、方法。
第１００の側面では、電子デバイスは、仮想コンテンツを複合現実環境内に提示するためのウェアラブルシステムのコンポーネントを含む、側面９９に記載の方法。
第１０１の側面では、電子デバイスは、別のユーザ入力デバイスまたは頭部搭載型ディスプレイを含む、側面１００に記載の方法。
第１０２の側面では、ペアリングプロセスが成功したことの決定に応答して、発光ユーザ入力デバイスと電子デバイスとの間の無線接続を確立するステップをさらに含む、側面９９−１０１のいずれか１項に記載の方法。
第１０３の側面では、光パターンによってエンコードされる情報は、発光ユーザ入力デバイスのデバイス情報を含み、デバイス情報は、デバイス識別子、発光ユーザ入力デバイスに関する識別情報、または発光ユーザ入力デバイスと電子デバイスをペアリングするためのキーのうちの少なくとも１つを含む、側面９９−１０２のいずれか１項に記載の方法。
第１０４の側面では、光パターンは、情報を２進数形態でエンコードする、側面１０３に記載の方法。
第１０５の側面では、光パターンは、ペアリングプロセスの情報をエンコードする、１つ以上の色を含む、側面９９−１０４のいずれか１項に記載の方法。
第１０６の側面では、光パターンの一部は、電磁スペクトルの非可視部分内の光を含む、側面９９−１０５のいずれか１項に記載の方法。
第１０７の側面では、発光ユーザ入力デバイスをペアリングするためのシステムであって、光パターンを出力するように構成される、複数の発光ダイオード（ＬＥＤ）と、電子デバイスとのペアリングプロセスを開始し、複数のＬＥＤの１つ以上のＬＥＤに、ペアリングプロセスに関する情報をエンコードする第１の光パターンを照明させ、電子デバイスが正常にペアリングされたことの決定に応答して、ペアリングが成功したことを示す第２の光パターンを照明するようにプログラムされる、ハードウェアプロセッサとを備える、システム。
第１０８の側面では、第１の光パターンは、ユーザ入力デバイスと関連付けられたデバイス情報または他のコンピューティングデバイスにペアリングプロセスを開始させるトリガメッセージのうちの少なくとも１つをエンコードする、側面１０７に記載のシステム。
第１０９の側面では、ハードウェアプロセッサは、ペアリングプロセスの間、応答を電子デバイスから受信し、複数のＬＥＤの第２の１つ以上のＬＥＤに、応答に対する返信における返信メッセージをエンコードする、第３の光パターンを照明させるようにプログラムされる、側面１０７または１０８に記載のシステム。
第１１０の側面では、複数のＬＥＤの１つ以上のＬＥＤの照明は、ペアリングプロセスの情報を２進数形態でエンコードする、側面１０７−１０９のいずれか１項に記載のシステム。
第１１１の側面では、１つ以上のＬＥＤの照明と関連付けられた色は、ペアリングプロセスの情報をエンコードする、側面１０７−１１０のいずれか１項に記載のシステム。
第１１２の側面では、第１の光パターンまたは第２の光パターンの一部は、電磁スペクトルの非可視部分内の光を含む、側面１０７−１１１のいずれか１項に記載のシステム。
第１１３の側面では、方法であって、複数の光パターンを照明するための発光アセンブリを備える、第１の電子デバイスのハードウェアプロセッサの制御下で、第１の電子デバイスと第２の電子デバイスとの間の通信を開始するステップと、第１の電子デバイスに、通信のためのメッセージをエンコードする、光パターンを照明させるステップと、応答を第２の電子デバイスから受信するステップと、少なくとも部分的に、第２の電子デバイスからの応答に基づいて、インジケーションを第１の電子デバイスのユーザに提供させるステップとを含む、方法。
第１１４の側面では、通信は、第１の電子デバイスと第２の電子デバイスとの間のペアリングプロセスを含む、側面１１３に記載の方法。
第１１５の側面では、第１の光パターンは、ユーザ入力デバイスと関連付けられたデバイス情報または他のコンピューティングデバイスにペアリングプロセスを開始させるトリガメッセージのうちの少なくとも１つをエンコードする、側面１１４に記載の方法。
第１１６の側面では、インジケーションは、第１の電子デバイスおよび第２の電子デバイスが正常にペアリングされたことの決定に応答して、第１の電子デバイスと第２の電子デバイスとの間のペアリングが完了されたことを示す、第１の電子デバイスによって照明される第２の光パターンを含む、側面１１４または１１５に記載の方法。
第１１７の側面では、インジケーションは、応答に対する返信における返信メッセージをエンコードする、第１の電子デバイスによって照明される第３の光パターンを含む、側面１１３−１１６のいずれか１項に記載の方法。
第１１８の側面では、第１の光パターンは、情報をメッセージ内に２進数形態でエンコードする、側面１１３−１１７のいずれか１項に記載の方法。
第１１９の側面では、光パターンは、通信のメッセージをさらにエンコードする、１つ以上の色を含む、側面１１３−１１８のいずれか１項に記載の方法。
第１２０の側面では、発光ユーザ入力デバイスであって、ユーザ入力を受信するように構成される、タッチパッドアセンブリであって、タッチパッドアセンブリは、タッチ表面と、タッチ表面に結合される、タッチセンサであって、タッチセンサの少なくとも一部は、タッチ表面下にあって、タッチ表面の作動を検出するように構成される、タッチセンサと、光学拡散要素および複数の光照明要素を備える、発光アセンブリであって、タッチセンサおよびタッチ表面に結合され、複数の光パターンを表示するように構成される、発光アセンブリと、発光アセンブリおよびタッチセンサに結合される、印刷回路基板とを備える、タッチパッドアセンブリと、タッチパッドアセンブリを支持するための本体とを備える、発光ユーザ入力デバイス。
第１２１の側面では、光学拡散要素の少なくとも一部は、タッチセンサ上にオーバーレイされ、タッチセンサはさらに、光学拡散要素の作動を検出するように構成される、側面１２０に記載の発光ユーザ入力デバイス。
第１２２の側面では、光学拡散要素は、光導波路を備える、側面１２０または１２１に記載の発光ユーザ入力デバイス。
第１２３の側面では、光学拡散要素は、タッチ表面を実質的に囲繞する、側面１２０−１２２のいずれか１項に記載の発光ユーザ入力デバイス。
第１２４の側面では、タッチパッドアセンブリはさらに、発光アセンブリ、タッチ表面、およびタッチセンサを保持するためのアーマチュアを備える、側面１２０−１２３のいずれか１項に記載の発光ユーザ入力デバイス。
第１２５の側面では、複数の光照明要素は、発光ダイオードを備える、側面１２０−１２４のいずれか１項に記載の発光ユーザ入力デバイス。
第１２６の側面では、複合現実コンテンツを提示するように構成されるウェアラブルデバイスとの無線接続を確立するように構成される、接続インターフェースをさらに備える、側面１２０−１２５のいずれか１項に記載の発光ユーザ入力デバイス。
第１２７の側面では、本体は、タッチパッドアセンブリを支持するための、上側部分と、基部に除去可能に搭載されるように構成される、底部部分とを有する、側面１２０−１２６のいずれか１項に記載の発光ユーザ入力デバイス。
第１２８の側面では、本体はさらに、ユーザ相互作用のために、トリガ、バンパ、またはホームボタンのうちの少なくとも１つを含む、側面１２０−１２７のいずれか１項に記載の発光ユーザ入力デバイス。
第１２９の側面では、複数の光照明要素の照明を制御するようにプログラムされる、ハードウェアプロセッサをさらに備える、側面１２０−１２８のいずれか１項に記載の発光ユーザ入力デバイス。
第１３０の側面では、発光ユーザ入力デバイスであって、外部タッチ表面を備える、本体と、２つ以上のセンサであって、そのうちの少なくとも１つは、タッチ表面の下に位置付けられ、タッチ表面に印加されるタッチ入力を検出するように構成される、タッチセンサを備える、２つ以上のセンサと、タッチ表面の下に位置付けられる、複数の発光ダイオード（ＬＥＤ）と、データを２つ以上のセンサから受信し、２つ以上のセンサのうちの少なくとも１つから受信されたデータに基づいて、複数のＬＥＤのうちの１つ以上のものをアクティブ化するようにプログラムされる、ハードウェアプロセッサとを備える、発光ユーザ入力デバイス。
第１３１の側面では、複数のＬＥＤのうちの１つ以上のものに隣接して位置付けられる、１つ以上の光学コンポーネントをさらに備え、１つ以上の光学コンポーネントは、そこに隣接して位置付けられる１つ以上のＬＥＤによって放出される光を拡散させるように構成される、側面１３０に記載の発光ユーザ入力デバイス。
第１３２の側面では、１つ以上の光学コンポーネントは、タッチ表面の下に位置付けられる、側面１３１に記載の発光ユーザ入力デバイス。
第１３３の側面では、１つ以上の光学コンポーネントは、タッチ表面と並んで位置付けられる、側面１３１または１３２に記載の発光ユーザ入力デバイス。
第１３４の側面では、１つ以上の光学コンポーネントは、少なくとも１つの光導波路を含む、側面１３１−１３３のいずれか１項に記載の発光ユーザ入力デバイス。
第１３５の側面では、複数のＬＥＤは、タッチ表面の下にリング状に配列される、側面１３０−１３４のいずれか１項に記載の発光ユーザ入力デバイス。
第１３６の側面では、タッチ表面は、円形である、側面１３０−１３５のいずれか１項に記載の発光ユーザ入力デバイス。
第１３７の側面では、タッチ表面は、直径２７ｍｍ〜４０ｍｍを伴う、円形表面である、側面１３６に記載の発光ユーザ入力デバイス。
第１３８の側面では、本体はさらに、発光ユーザ入力デバイスのユーザの手の中に保持されるように構成される、伸長部分を備える、側面１３０−１３７のいずれか１項に記載の発光ユーザ入力デバイス。
第１３９の側面では、本体はさらに、伸長部分に対して角付けられた上側部分を備える、側面１３８に記載の発光ユーザ入力デバイス。
第１４０の側面では、タッチ表面は、本体の上側部分の一部として含まれる、側面１３９に記載の発光ユーザ入力デバイス。
第１４１の側面では、ボタンをさらに備え、２つ以上のセンサは、ボタンの作動を検出するように構成される、圧力センサを備える、側面１３０−１４０のいずれか１項に記載の発光ユーザ入力デバイス。
第１４２の側面では、２つ以上のセンサは、慣性測定ユニット（ＩＭＵ）を備える、側面１３０−１４１のいずれか１項に記載の発光ユーザ入力デバイス。
第１４３の側面では、ネットワークを経由して他の電子デバイスとの通信を確立するように構成される、通信インターフェースをさらに備える、側面１３０−１４２のいずれか１項に記載の発光ユーザ入力デバイス。
第１４４の側面では、ハードウェアプロセッサはさらに、ネットワークを経由して他の電子デバイスから受信されたメッセージに基づいて、複数のＬＥＤのうちの１つ以上のものをアクティブ化するようにプログラムされる、側面１４３に記載の発光ユーザ入力デバイス。
第１４５の側面では、他の電子デバイスは、拡張現実（ＡＲ）システムのコンポーネントを含む、側面１４３または１４４に記載の発光ユーザ入力デバイス。
第１４６の側面では、発光ユーザ入力デバイスを較正するためのウェアラブルシステムであって、環境を結像するように構成される、外向きに面した結像システムと、光パターンを照明するように構成される、発光ユーザ入力デバイスと、第１の姿勢から第２の姿勢への発光ユーザ入力デバイスの移動と関連付けられた第１の移動データを入手し、発光ユーザ入力デバイスの第１の画像を外向きに面した結像システムから受信し、第１の画像は、光パターンの第１の画像を含み、発光ユーザ入力デバイスの第１の姿勢に対応し、発光ユーザ入力デバイスの第２の画像にアクセスし、第２の画像は、光パターンの第２の画像を含み、発光ユーザ入力デバイスの第２の姿勢に対応し、第１の画像および第２の画像を分析し、発光ユーザ入力デバイスの移動と関連付けられた第２の移動データを計算し、第１の移動データと第２の移動データとの間の相違を検出し、相違が閾値条件に達することの決定に応答して、発光ユーザ入力デバイスを較正するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第１４７の側面では、第１の姿勢および第２の姿勢は、発光ユーザ入力デバイスの位置および配向を含む、側面１４６に記載のウェアラブルシステム。
第１４８の側面では、第１の姿勢または第２の姿勢は、発光ユーザ入力デバイスの基点位置に対応する、側面１４６−１４７のいずれか１項に記載のウェアラブルシステム。
第１４９の側面では、光パターンは、後光と関連付けられ、第２の移動データを計算するために、ハードウェアプロセッサは、第１の画像および第２の画像内の後光の形状の変化を計算するようにプログラムされる、側面１４６−１４８のいずれか１項に記載のウェアラブルシステム。
第１５０の側面では、発光ユーザ入力デバイスは、トーテム、スマートフォン、またはスマートウォッチを含む、側面１４６−１４９のいずれか１項に記載のウェアラブルシステム。
第１５１の側面では、発光ユーザ入力デバイスを較正するために、ハードウェアプロセッサは、トーテムの慣性測定ユニット（ＩＭＵ）を較正するようにプログラムされる、側面１５０に記載のウェアラブルシステム。
第１５２の側面では、光パターンは、発光ユーザ入力デバイスのユーザに、発光ユーザ入力デバイスを第１の姿勢から第２の姿勢に移動させるためのインジケーションを提供する、側面１５０または１５１に記載のウェアラブルシステム。
第１５３の側面では、ハードウェアプロセッサは、コンピュータビジョンアルゴリズムを適用し、第１の画像および第２の画像を分析するようにプログラムされる、側面１４６−１５２のいずれか１項に記載のウェアラブルシステム。
第１５４の側面では、外向きに面した結像システムは、仮想コンテンツをユーザに提示するように構成される、ウェアラブルデバイスの一部である、側面１４６−１５３のいずれか１項に記載のウェアラブルシステム。
第１５５の側面では、発光ユーザ入力デバイスは、発光ユーザ入力デバイスの較正が完了されたことの決定に応答して、別の光パターンを照明することができる、側面１４６−１５４のいずれか１項に記載のウェアラブルシステム。
第１５６の側面では、発光ユーザ入力デバイスを較正するためのウェアラブルシステムであって、環境を結像するように構成される、外向きに面した結像システムと、環境の画像を受信し、画像を分析し、発光ユーザ入力デバイスを識別し、発光ユーザ入力デバイスの第１の位置および照明される後光の第１の光パターンを決定し、少なくとも部分的に、画像の分析に基づいて、照明される後光の第２の光パターンを識別し、発光ユーザ入力デバイスの位置および配向に対する第１の変化を決定し、発光ユーザ入力デバイスの環境センサによって測定された発光ユーザ入力デバイスの移動データを受信し、発光ユーザ入力デバイスの位置および配向に対する第２の変化を計算し、第１の変化と第２の変化との間の差異を計算し、差異が閾値に達するかどうかを決定し、差異が閾値条件を超えることの決定に応答して、発光ユーザ入力デバイスの環境センサを較正するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第１５７の側面では、発光ユーザ入力デバイスは、トーテム、スマートウォッチ、またはスマートフォンのうちの少なくとも１つを含み、環境センサは、ＩＭＵを含む、側面１５６に記載のウェアラブルシステム。
第１５８の側面では、差異が閾値を超えないことの決定に応答して、ハードウェアプロセッサは、環境センサが較正されていることのインジケーションを提供するようにプログラムされる、側面１５６または１５７に記載のウェアラブルシステム。
第１５９の側面では、インジケーションは、発光ユーザ入力デバイス上の視覚的または触覚的フィードバックを含む、側面１５８に記載のウェアラブルシステム。
第１６０の側面では、第１の位置は、発光ユーザ入力デバイスの基点位置である、側面１５６−１５９のいずれか１項に記載のウェアラブルシステム。
第１６１の側面では、発光ユーザ入力デバイスを較正するためのウェアラブルシステムであって、発光ユーザ入力デバイスであって、発光デバイスの移動データを入手するように構成される、センサと、光パターンを出力するように構成される、発光部分と、発光ユーザ入力デバイスをある姿勢に位置付けるための第１のインジケーションを提供し、姿勢と関連付けられた発光ユーザ入力デバイスの移動データを入手し、移動データに基づいて、発光ユーザ入力デバイスを較正するようにプログラムされる、ハードウェアプロセッサとを備える、発光ユーザ入力デバイスを備える、ウェアラブルシステム。
第１６２の側面では、ハードウェアプロセッサはさらに、発光ユーザ入力デバイスが較正されていることの決定に応答して、発光ユーザ入力デバイスが較正されていることを知らせる第２のインジケーションを提供する、または発光ユーザ入力デバイスが較正されていないことの決定に応答して、発光ユーザ入力デバイスの較正を継続するようにプログラムされる、側面１６１に記載のウェアラブルシステム。
第１６３の側面では、第１または第２のインジケーションは、視覚的、聴覚的、または触覚的フィードバックのうちの少なくとも１つを含む、側面１６１または１６２に記載のウェアラブルシステム。
第１６４の側面では、ウェアラブルデバイスであって、環境を結像するように構成される、外向きに面した結像システムと、光パターンを照明するように構成される、発光ユーザ入力デバイスを識別し、ウェアラブルデバイスと発光ユーザ入力デバイスとの間の無線接続を確立し、発光ユーザ入力デバイスの画像を受光し、画像は、発光ユーザ入力デバイスと関連付けられたデバイス情報をエンコードする、照明された光パターンを含み、照明された光パターンの画像を分析し、発光ユーザ入力デバイスと関連付けられたデバイス情報を抽出し、発光ユーザ入力デバイスとウェアラブルデバイスをペアリングするようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルデバイス。
第１６５の側面では、ハードウェアプロセッサはさらに、発光ユーザ入力デバイスとウェアラブルデバイスとの間のペアリングが成功したかどうかを決定し、ペアリングが成功したことの決定に応答して、発光ユーザ入力デバイスに、ペアリング成功を示す別の光パターンを照明するように命令するように構成される、側面１６４に記載のウェアラブルデバイス。
第１６６の側面では、無線接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を含む、側面１６４または１６５に記載のウェアラブルデバイス。
第１６７の側面では、発光ユーザ入力デバイスは、光パターンを出力するように構成される、ＬＥＤを備え、個別のＬＥＤの照明は、デバイス情報を２進数形態で表す、側面１６４−１６６のいずれか１項に記載のウェアラブルデバイス。
第１６８の側面では、発光ユーザ入力デバイスであって、光パターンを出力するように構成される、複数の発光ダイオード（ＬＥＤ）と、ウェアラブルデバイスとのペアリングプロセスを開始し、ペアリングプロセスのための情報をエンコードする、第１の光パターンを照明し、ペアリングプロセスに関する応答をウェアラブルデバイスから受信し、コンピューティングデバイスが正常にペアリングされたことの決定に応答して、ペアリングが成功したことを示す、第２の光パターンを照明するようにプログラムされる、ハードウェアプロセッサとを備える、発光ユーザ入力デバイス。
第１６９の側面では、第１の光パターンは、ユーザ入力デバイスと関連付けられたデバイス情報または他のコンピューティングデバイスにペアリングプロセスを開始させるトリガメッセージのうちの少なくとも１つをエンコードする、側面１６８に記載の発光ユーザ入力デバイス。
第１７０の側面では、ウェアラブルデバイスからの応答は、発光ユーザ入力デバイスのさらなる情報に関する要求を含み、ハードウェアプロセッサは、要求への応答に対する返信における返信メッセージをエンコードする、第３の光パターンを照明するようにプログラムされる、側面１６８または１６９に記載の発光ユーザ入力デバイス。
第１７１の側面では、ハンドヘルドユーザ入力デバイスであって、光パターンを出力するように構成される、発光部分と、ハンドヘルドユーザ入力デバイスのステータスを決定し、ステータスと関連付けられた第１の光パターンにアクセスし、発光部分に、第１の光パターンに従って後光を表示するように命令し、ハンドヘルドユーザ入力デバイスのステータスへの更新を決定し、更新に応答して、発光部分に、第２の光パターンに従って後光を表示するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ハンドヘルドユーザ入力デバイス。
第１７２の側面では、ハンドヘルドユーザ入力デバイスはさらに、バッテリを備え、ステータスは、バッテリステータス、電力充電ステータス、ハンドヘルドユーザ入力デバイスと別のコンピューティングデバイスとの間の無線ペアリングステータス、またはハンドヘルドユーザ入力デバイスがアイドル状態であるかどうかのうちの少なくとも１つを含む、側面１７１に記載のハンドヘルドユーザ入力デバイス。
第１７３の側面では、発光部分は、光導波路と、発光ダイオード（ＬＥＤ）のリングとを備える、側面１７１または１７２に記載のハンドヘルドユーザ入力デバイス。
第１７４の側面では、ウェアラブルシステムのコンポーネントのステータスを提供するためのウェアラブルシステムであって、光パターンを出力するように構成される、発光部分を備える、ハンドヘルドユーザ入力デバイスと、ウェアラブルディスプレイと、バッテリパックとを備える、ウェアラブルデバイスと、ウェアラブルデバイスのステータスを決定し、ステータスと関連付けられた第１の光パターンにアクセスし、ハンドヘルドユーザ入力デバイスの発光部分に、第１の光パターンに従って後光を表示するように命令し、ウェアラブルデバイスのステータスに対する更新を決定し、更新に応答して、ハンドヘルドユーザ入力デバイスの発光部分に、第２の光パターンに従って後光を表示するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第１７５の側面では、ステータスは、バッテリステータス、電力充電ステータス、ウェアラブルデバイスとハンドヘルドユーザ入力デバイスとの間の無線ペアリングステータス、またはウェアラブルディスプレイのステータスのうちの少なくとも１つを含む、側面１７４に記載のウェアラブルシステム。
第１７６の側面では、ハンドヘルドユーザ入力デバイスであって、ユーザ入力を受け取るように構成される、タッチパッドと、光パターンを出力するように構成される、発光部分であって、タッチパッドを少なくとも部分的に囲繞する、発光部分と、コンテキスト情報に基づいて、タッチパッドと関連付けられた利用可能なユーザインターフェース動作を識別し、利用可能なユーザインターフェース動作と関連付けられた光パターンを決定し、光パターンに従って後光を表示するための命令を生成し、発光部分に伝送し、ユーザ入力をタッチパッド上で受信し、光パターンの場所または移動を更新し、ユーザ入力を反映するようにプログラムされる、ハードウェアプロセッサとを備える、ハンドヘルドユーザ入力デバイス。
第１７７の側面では、コンテキスト情報は、ハンドヘルドユーザ入力デバイスの環境、ハンドヘルドユーザ入力デバイスと関連付けられた利用可能な入力、ハンドヘルドユーザ入力デバイスが相互作用するように構成される、オブジェクトと関連付けられた情報、またはハンドヘルドユーザ入力デバイスとペアリングされるウェアラブルデバイスの特性のうちの少なくとも１つを含む、側面１７６に記載のハンドヘルドユーザ入力デバイス。
第１７８の側面では、発光部分は、光導波路と、ＬＥＤのリングとを備える、側面１７６または１７７に記載のハンドヘルドユーザ入力デバイス。
第１７９の側面では、発光部分は、ユーザ入力を受け取るように構成され、ハードウェアプロセッサはさらに、少なくとも部分的に、光導波路と関連付けられたユーザ入力に基づいて、後光を表示するようにプログラムされる、側面１７６−１７８のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１８０の側面では、ユーザ入力は、スワイプ、タップ、押下、またはタッチのうちの少なくとも１つを含み、ユーザ入力デバイスは、トーテム、スマートウォッチ、またはスマートフォンのうちの少なくとも１つを含む、側面１７６−１７９のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１８１の側面では、ハードウェアプロセッサはさらに、受信されたユーザ入力が不適切であるかどうかを決定し、ユーザ入力が不適切であることの決定に応答して、光パターンを更新し、ユーザ入力が不適切であることを反映するように構成される、側面１７６−１８０のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１８２の側面では、光パターンの場所または移動を更新し、ユーザ入力を反映するために、プロセッサは、光パターンの色を更新する、光パターンの形状を更新する、光パターンのサイズまたは長さを更新する、または光パターンの視覚的効果を更新するようにプログラムされる、側面１７６−１８１のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１８３の側面では、ハンドヘルドユーザ入力デバイスであって、光パターンを出力するように構成される、発光部分であって、タッチパッドを少なくとも部分的に囲繞する、発光部分と、ユーザ入力を受信するように構成される、複数の相互作用可能領域と、複数の相互作用可能領域の中の相互作用可能領域内のユーザ入力を検出し、相互作用可能領域内で検出されたユーザ入力と関連付けられた光パターンにアクセスし、発光部分に、光パターンを含む後光を提示するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ハンドヘルドユーザ入力デバイス。
第１８４の側面では、ハンドヘルドユーザ入力デバイスはさらに、タッチ表面を備え、発光部分はさらに、光導波路を備え、複数の相互作用可能領域は、光導波路と関連付けられた第１の相互作用可能領域と、タッチ表面と関連付けられた第２の相互作用可能領域とを備える、側面１８３に記載のハンドヘルドユーザ入力デバイス。
第１８５の側面では、ユーザ入力が第１の相互作用可能領域内にあることの検出に応答して、ハードウェアプロセッサは、第１の相互作用可能領域内のユーザ入力と関連付けられた光パターンの第１の場所または移動にアクセスするようにプログラムされ、ユーザ入力が第２の相互作用可能領域内にあることの検出に応答して、ハードウェアプロセッサは、第２の相互作用可能領域内のユーザ入力と関連付けられた光パターンの第２の場所または移動にアクセスようにプログラムされる、側面１８４に記載のハンドヘルドユーザ入力デバイス。
第１８６の側面では、光パターンは、少なくとも部分的に、ハンドヘルドユーザ入力デバイスと関連付けられたコンテキスト情報に基づいて決定される、側面１８３−１８５のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１８７の側面では、ユーザ入力は、スワイプ、タップ、押下、またはタッチのうちの少なくとも１つを含む、側面１８３−１８６のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１８８の側面では、後光は、ある色、ある弧長、またはある視覚的効果を有する、弧状領域を含む、側面１８３−１８７のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１８９の側面では、ハードウェアプロセッサはさらに、複数の相互作用可能領域の中の相互作用可能領域内の付加的ユーザ入力を検出し、付加的ユーザ入力の検出に応答して、後光を更新するようにプログラムされる、側面１８３−１８８のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１９０の側面では、ハンドヘルドユーザ入力デバイスであって、光パターンを出力するように構成される、発光部分と、ユーザの環境内のオブジェクトを識別し、オブジェクトと関連付けられたコンテキスト情報にアクセスし、少なくとも部分的に、コンテキスト情報に基づいて、光パターンの場所または移動を決定し、発光部分に、光パターンに従って照明するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ハンドヘルドユーザ入力デバイス。
第１９１の側面では、オブジェクトは、物理的オブジェクトまたは仮想オブジェクトのうちの少なくとも１つを含む、側面１９０に記載のハンドヘルドユーザ入力デバイス。
第１９２の側面では、光パターンの場所または移動は、後光の明度、位置、形状、サイズ、または色のうちの少なくとも１つを含む、側面１９０または１９１に記載のハンドヘルドユーザ入力デバイス。
第１９３の側面では、オブジェクトと関連付けられたコンテキスト情報は、オブジェクトの場所、オブジェクトの緊急度、オブジェクトのタイプ、オブジェクトの性質、オブジェクトと関連付けられた情報の量、またはユーザの選好のうちの少なくとも１つを含む、側面１９０−１９２のいずれか１項に記載のハンドヘルドユーザ入力デバイス。
第１９４の側面では、ウェアラブルシステムのコンポーネントのステータスを提供するためのウェアラブルシステムであって、光パターンを出力するように構成される、発光部分を備える、ハンドヘルドユーザ入力デバイスと、仮想コンテンツをユーザに提示するように構成される、ウェアラブルデバイスと、ユーザの環境内のオブジェクトを識別し、オブジェクトと関連付けられたコンテキスト情報にアクセスし、少なくとも部分的に、コンテキスト情報に基づいて、光パターンの場所または移動を決定し、ハンドヘルドユーザ入力デバイスの発光部分に、光パターンに従って照明するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第１９５の側面では、コンテキスト情報は、少なくとも部分的に、ウェアラブルデバイスまたはハンドヘルドユーザ入力デバイスの環境センサによって入手されたデータに基づいて決定される、側面１９４に記載のウェアラブルシステム。
第１９６の側面では、光パターンは、色、形状、サイズまたは長さ、または視覚的効果を含む、側面１９０−１９３のいずれか１項に記載のハンドヘルドユーザ入力デバイスまたは側面１９４−１９５のいずれか１項に記載のウェアラブルシステム。
第１９７の側面では、ハンドヘルドユーザ入力デバイスであって、光パターンを出力するように構成される、発光部分と、ユーザの環境内の仮想オブジェクトを識別し、仮想オブジェクトのステータスを決定し、少なくとも部分的に、仮想オブジェクトのステータスに基づいて、光パターンの場所または移動を決定し、発光部分に、ステータスを示す光パターンに従って照明するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ハンドヘルドユーザ入力デバイス。
第１９８の側面では、ハードウェアプロセッサはさらに、仮想オブジェクトのステータスを示すアラートを生成するようにプログラムされ、アラートは、光パターン内にエンコードされる、側面１９７に記載のハンドヘルドユーザ入力デバイス。
第１９９の側面では、仮想オブジェクトのステータスは、ユーザによる仮想オブジェクトとの現在の相互作用、仮想オブジェクトが新しい情報を受信したかどうか、仮想オブジェクトがアイドル状態であるかどうか、または仮想オブジェクトがエラー状態であるかどうかのうちの少なくとも１つを含む、側面１９７または１９８に記載のハンドヘルドユーザ入力デバイス。
第２００の側面では、ウェアラブルシステムのコンポーネントのステータスを提供するためのウェアラブルシステムであって、光パターンを出力するように構成される、発光部分を備える、ハンドヘルドユーザ入力デバイスと、ユーザの環境内の仮想オブジェクトを識別し、仮想オブジェクトのステータスを決定し、少なくとも部分的に、仮想オブジェクトのステータスに基づいて、光パターンの場所または移動を決定し、発光部分に、ステータスを示す光パターンに従って照明するように命令するようにプログラムされる、ハードウェアプロセッサとを備える、ウェアラブルシステム。
第２０１の側面では、ハンドヘルドユーザ入力デバイスの光パターンの場所または移動を構成するためのシステムであって、光パターンの場所または移動と関連付けられた入力をハンドヘルドユーザ入力デバイス上で受信し、ハンドヘルドユーザ入力デバイスは、光パターンを出力するように構成される、発光部分を備え、光パターンの場所または移動の可視化をハンドヘルドユーザ入力デバイスの視覚的表現上に提供し、ハンドヘルドユーザ入力デバイスと関連付けられた命令を更新し、光パターンの場所または移動を反映するように構成される、プログラミングユーザインターフェースを備える、システム。
第２０２の側面では、光パターンは、色、長さ、形状、視覚的効果、または発光部分に対する位置と関連付けられる、側面２０１に記載のシステム。
第２０３の側面では、視覚的効果は、フェードイン、フェードアウト、明滅、点滅、回転、色の変化、形状の変化、長さの変化、または発光部分に対する位置の変化を含む、側面２０２に記載のシステム。
第２０４の側面では、プログラミングユーザインターフェースはさらに、可視化タブ、ソースコードタブ、またはパターン調節ツールを表示するように構成される、側面２０１−２０３のいずれか１項に記載のシステム。
第２０５の側面では、頭部搭載型ディスプレイシステムであって、ハンドヘルドユーザ入力デバイスであって、ユーザ入力を受け取るように構成される、タッチパッドと、複数の光パターンから第１の光パターンを出力するように構成される、発光部分であって、タッチパッドを少なくとも部分的に囲繞する発光部分とを備える、ハンドヘルドユーザ入力デバイスと、仮想画像を頭部搭載型ディスプレイシステムのユーザに提示するように構成される、頭部搭載型ディスプレイとを備える、頭部搭載型ディスプレイシステム。
第２０６の側面では、頭部搭載型ディスプレイは、明視野ディスプレイまたは仮想画像を複数の深度平面に提示するように構成されるディスプレイを含む、側面２０５に記載の頭部搭載型ディスプレイシステム。
第２０７の側面では、ハンドヘルドユーザ入力デバイスは、（１）タッチパッドを介して受信されたユーザ入力、（２）発光部分のタッチセンサ式部分から受信されたユーザ入力、（３）コンテキスト情報、または（４）頭部搭載型ディスプレイからの通信のうちの１つ以上のものに応答して、第１の光パターンを複数の光パターンからの第２の光パターンに変化させるように構成される、側面２０５または２０６に記載の頭部搭載型ディスプレイシステム。
側面１４６−２０７を参照して説明される発光部分は、個々に、または組み合わせて、光導波路、ＬＥＤ、またはユーザ入力デバイスの他のコンポーネントを含んでもよく、これは、光パターンの照明を促進する。側面１−１２８は、語句「発光アセンブリ」を使用するが、これらの側面はまた、代わりに、「発光部分」を用いてもよい。
付加的考慮点
本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされる、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み得、各フレームは、数百万のピクセルを有し、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態が、ある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つ以上の実施形態に対していかようにも要求されること、または１つ以上の実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「〜を含む（ｉｎｃｌｕｄｉｎｇ）」、「〜を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。
本明細書で使用されるように、項目のリスト「〜のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図されない。
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (129)

  1. システムであって、
    ユーザ入力デバイスの発光アセンブリであって、前記発光アセンブリは、環境内のオブジェクトの情報を提供するために、複数の光パターンを照明するように構成される、発光アセンブリと、
    前記発光アセンブリに通信可能に結合されたハードウェアプロセッサであって、
    ユーザの環境内のオブジェクトを識別することと、
    前記オブジェクトと関連付けられたコンテキスト情報にアクセスすることと、
    少なくとも部分的に、前記コンテキスト情報に基づいて、前記発光アセンブリによって照明された光パターンの特性を決定することと、
    前記発光アセンブリに、前記光パターンに従って照明するように命令することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、システム。
  2. 前記オブジェクトは、物理的オブジェクトまたは仮想オブジェクトのうちの少なくとも１つを含む、請求項１に記載のシステム。
  3. 前記仮想オブジェクトのステータスは、ユーザによる前記仮想オブジェクトとの現在の相互作用、前記仮想オブジェクトが新しい情報を受信したかどうか、前記仮想オブジェクトがアイドル状態であるかどうか、または前記仮想オブジェクトがエラー状態であるかどうかのうちの少なくとも１つを含む、請求項２に記載のシステム。
  4. 前記光パターンの特性は、明度、位置、形状、サイズ、または色のうちの少なくとも１つを含む、請求項１に記載のシステム。
  5. 前記オブジェクトと関連付けられた前記コンテキスト情報は、前記オブジェクトの場所、前記オブジェクトの緊急度、前記オブジェクトのタイプ、前記オブジェクトの性質、前記オブジェクトと関連付けられた情報の量、または前記ユーザの選好のうちの少なくとも１つを含む、請求項１に記載のシステム。
  6. 前記システムはさらに、ウェアラブルディスプレイデバイスを備え、前記オブジェクトは、ユーザのビューから不可視である、または前記ウェアラブルディスプレイデバイスを介して外側にあり、前記ハードウェアプロセッサは、前記光パターンのサイズ、形状、または色のうちの少なくとも１つを決定し、前記オブジェクトを位置特定するためのキューをユーザに提供するようにプログラムされる、請求項１に記載のシステム。
  7. オブジェクトは、仮想コンテンツをユーザに提示するためのウェアラブルシステムのコンポーネントであり、前記光パターンは、前記ウェアラブルシステムのコンポーネントのステータスを示す、請求項１に記載のシステム。
  8. 前記コンポーネントは、前記ユーザ入力デバイス、ウェアラブルディスプレイデバイス、またはバッテリパックのうちの少なくとも１つを含む、請求項７に記載のシステム。
  9. 前記ステータスは、バッテリステータス、電力充電ステータス、前記ウェアラブルディスプレイデバイスと前記ユーザ入力デバイスとの間の無線ペアリングステータス、前記ユーザ入力デバイスの較正プロセスのステータス、または前記ウェアラブルディスプレイデバイスのステータスのうちの少なくとも１つを含む、請求項１に記載のシステム。
  10. 前記光パターンは、前記オブジェクトと関連付けられたアラートまたは情報をエンコードする、請求項１に記載のシステム。
  11. 前記ステータスは、
    ユーザによる前記オブジェクトとの現在の相互作用、
    前記オブジェクトが新しい情報を受信したかどうか、
    前記オブジェクトがアイドル状態にあるかどうか、または
    前記オブジェクトがエラー状態にあるかどうか
    のうちの少なくとも１つを含む、請求項１に記載のシステム。
  12. 前記光パターンの特性は、アプリケーションプログラミングインターフェースを介して、ユーザによって構成可能である、請求項１に記載のシステム。
  13. 発光ユーザ入力デバイスであって、
    ユーザ入力を受け取るように構成されるタッチコンポーネントと、
    複数の光パターンを出力するように構成される発光アセンブリであって、前記発光アセンブリは、少なくとも部分的に、前記タッチコンポーネントを囲繞する、発光アセンブリと、
    前記タッチコンポーネントおよび前記発光アセンブリに通信可能に結合されたハードウェアプロセッサであって、
    コンテキスト情報に基づいて、前記タッチコンポーネントによってサポートされるユーザインターフェース動作を識別することと、
    前記ユーザインターフェース動作と関連付けられた第１の光パターンを決定することと、
    前記第１の光パターンを有する後光を表示するための命令を生成し、前記発光アセンブリに伝送することと、
    ユーザ入力を前記タッチコンポーネント上で受信することと、
    前記後光を第２の光パターンで更新し、前記ユーザ入力を反映することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、発光ユーザ入力デバイス。
  14. 前記コンテキスト情報は、
    前記ユーザの環境、前記発光ユーザ入力デバイスによってサポートされる入力のタイプ、
    前記ハンドヘルドユーザ入力デバイスが相互作用するように構成されるオブジェクトと関連付けられた情報、または
    前記ハンドヘルドユーザ入力デバイスと関連付けられたウェアラブルデバイスの特性
    のうちの少なくとも１つを含む、請求項１３に記載の発光ユーザ入力デバイス。
  15. 前記発光アセンブリは、光導波路と、ＬＥＤのリングとを備える、請求項１３に記載の発光ユーザ入力デバイス。
  16. 前記発光アセンブリは、複数のユーザ入力を受け取るように構成され、前記ハードウェアプロセッサはさらに、少なくとも部分的に、前記光導波路を作動させることによってサポートされる前記複数のユーザ入力に基づいて、後光を表示するようにプログラムされる、請求項１３に記載の発光ユーザ入力デバイス。
  17. 前記ユーザ入力は、スワイプ、タップ、押下、またはタッチジェスチャのうちの少なくとも１つを含む、請求項１３に記載の発光ユーザ入力デバイス。
  18. 前記発光ユーザ入力デバイスは、トーテム、スマートウォッチ、またはスマートフォンのうちの少なくとも１つを含む、請求項１３に記載の発光ユーザ入力デバイス。
  19. 前記第１の光パターンは、ユーザに、前記ユーザインターフェース動作が前記発光ユーザ入力デバイスによってサポートされることのキューを提供する、請求項１３に記載の発光ユーザ入力デバイス。
  20. 前記ハードウェアプロセッサはさらに、
    前記コンテキスト情報に基づいて、前記受信されたユーザ入力が不適切なであるかどうかを決定する
    ようにプログラムされ、
    前記第２の光パターンは、前記受信されたユーザ入力が不適切であることの決定に応答して、前記受信されたユーザ入力が不適切であることの視覚的アラートを提供する、請求項１３に記載の発光ユーザ入力デバイス。
  21. 前記後光の少なくとも一部は、前記第１の光パターンと比較して、前記第２の光パターンにおいてより明るいまたはより大きいように現れる、請求項１３に記載の発光ユーザ入力デバイス。
  22. 前記複数の光パターンの特性は、アプリケーションプログラミングインターフェースを介して、ユーザによって構成可能である、請求項１３に記載の発光ユーザ入力デバイス。
  23. 前記特性は、弧の場所または移動パターン、色、明度、形状、またはサイズのうちの少なくとも１つを含む、請求項２２に記載の発光ユーザ入力デバイス。
  24. 前記第２の光パターンは、前記ユーザ入力に応答して、バッテリステータス、電力充電ステータス、前記ハンドヘルドユーザ入力デバイスと別のコンピューティングデバイスとの間の無線ペアリングステータス、または前記ハンドヘルドユーザ入力デバイスがアイドル状態であるかどうかのうちの少なくとも１つを示す、請求項１３に記載の発光ユーザ入力デバイス。
  25. 方法であって、
    ハードウェアプロセッサの制御下で、
    コンテキスト情報に基づいて、発光ユーザ入力デバイスによってサポートされるユーザ入力のタイプを識別することであって、前記発光ユーザ入力デバイスは、複数の光パターンを照明するための第１の要素と、ユーザ入力を受信するための第２の要素とを備える、ことと、
    前記サポートされるユーザ入力のタイプと関連付けられた第１の光パターンを決定することと、
    前記第１の光パターンを有する後光を照明するための命令を生成し、前記第１の要素に伝送することと、
    前記発光ユーザ入力デバイス上のユーザ入力に基づいて、第２の光パターンを決定することと、
    前記ユーザ入力に応答して、前記後光を前記第２の光パターンに更新することと
    を含む、方法。
  26. 前記第１の要素はさらに、別のユーザ入力を受信するように構成され、前記第１の光パターンを決定するための前記ユーザ入力のタイプは、前記第１の要素によってサポートされる他のユーザ入力と関連付けられる、請求項２５に記載の方法。
  27. 前記コンテキスト情報は、
    前記ユーザの環境、前記発光ユーザ入力デバイスによってサポートされる入力のタイプ、
    前記ハンドヘルドユーザ入力デバイスが相互作用するように構成されるオブジェクトと関連付けられた情報、または
    前記ハンドヘルドユーザ入力デバイスと関連付けられたウェアラブルデバイスの特性
    のうちの少なくとも１つを含む、請求項２５に記載の方法。
  28. 前記ユーザ入力のタイプは、スワイプ、タップ、押下、またはタッチ入力のうちの少なくとも１つを含む、請求項２５に記載の方法。
  29. 前記第１の光パターンは、ユーザに、前記ユーザ入力のタイプが前記発光ユーザ入力デバイスによってサポートされることのキューを提供する、請求項２５に記載の方法。
  30. 前記コンテキスト情報に基づいて、前記発光ユーザ入力デバイスによって受信されたユーザ入力が不適切であるかどうかを決定すること
    をさらに含み、
    前記第２の光パターンは、前記ユーザ入力が不適切であることの決定に応答して、前記ユーザ入力が不適切であることの視覚的アラートを提供する、請求項２５に記載の方法。
  31. 前記後光の少なくとも一部は、前記第１の光パターンと比較して、前記第２の光パターンにおいてより明るいまたはより大きいように現れる、請求項２５に記載の方法。
  32. 発光ユーザ入力デバイスであって、
    ユーザ入力を受信するように構成される複数の相互作用可能領域であって、前記複数の相互作用可能領域の少なくとも１つの相互作用可能領域は、前記発光ユーザ入力デバイスの発光アセンブリの一部を含む、複数の相互作用可能領域と、
    ハードウェアプロセッサであって、
    前記発光ユーザ入力デバイスのユーザの作動を検出することと、
    ユーザの作動に対応する前記複数の相互作用可能領域の中の相互作用可能領域を決定することと、
    少なくとも、前記作動のタイプおよび前記作動と関連付けられた前記相互作用領域に基づいて、前記ユーザの作動をユーザインターフェース動作を実施するためのユーザ入力に変換することと、
    前記ユーザ入力に応答して、前記発光アセンブリに、光パターンを照明するように命令することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、発光ユーザ入力デバイス。
  33. 前記発光ユーザ入力デバイスはさらに、タッチ表面を備え、前記発光アセンブリは、光導波路を備え、前記複数の相互作用可能領域は、前記光導波路と関連付けられた第１の相互作用可能領域と、前記タッチ表面と関連付けられた第２の相互作用可能領域とを備える、請求項３２に記載の発光ユーザ入力デバイス。
  34. 前記ユーザが前記第１の相互作用可能領域を作動させたことの検出に応答して、前記ハードウェアプロセッサは、前記発光アセンブリに、前記第１の相互作用可能領域内の前記ユーザ入力と関連付けられた第１の光パターンを照明させるようにプログラムされ、前記ユーザが前記第２の相互作用可能領域を作動させたことの検出に応答して、前記ハードウェアプロセッサは、前記発光アセンブリに、前記第２の相互作用可能領域内の前記ユーザ入力と関連付けられた第２の光パターンを照明させるようにプログラムされる、請求項３３に記載の発光ユーザ入力デバイス。
  35. 前記光パターンは、少なくとも部分的に、前記発光ユーザ入力デバイスと関連付けられたコンテキスト情報に基づいて決定される、請求項３２に記載の発光ユーザ入力デバイス。
  36. 前記ユーザの作動は、スワイプ、タップ、押下、またはタッチジェスチャのうちの少なくとも１つを含む、請求項３２に記載の発光ユーザ入力デバイス。
  37. 前記光パターンは、色、弧長、または視覚的効果を有する弧状領域を含む、請求項３２に記載の発光ユーザ入力デバイス。
  38. 前記ハードウェアプロセッサはさらに、前記ユーザ入力に基づいて、ウェアラブルデバイスと通信し、前記ウェアラブルデバイスに、ユーザインターフェース動作を実施させるようにプログラムされる、請求項３２に記載の発光ユーザ入力デバイス。
  39. 方法であって、
    ハードウェアプロセッサの制御下で、
    発光ユーザ入力デバイスのユーザの作動を検出することであって、前記発光ユーザ入力デバイスは、複数の相互作用可能領域を備える、ことと、
    ユーザの作動に対応する前記複数の相互作用可能領域の中の相互作用可能領域を決定することと、
    少なくとも、前記作動のタイプおよび前記作動と関連付けられた前記相互作用領域に基づいて、前記ユーザの作動をユーザインターフェース動作を実施するためのユーザ入力に変換することと、
    前記ユーザ入力に応答して、発光ユーザ入力デバイスの発光アセンブリに、光パターンを照明させることと
    を含む、方法。
  40. 前記複数の相互作用可能領域は、第１のタイプのユーザ入力をサポートする第１の相互作用可能領域と、第２のタイプのユーザ入力をサポートする第２の相互作用可能領域とを備える、請求項３９に記載の方法。
  41. 前記ユーザが前記第１の相互作用可能領域を作動させたことの検出に応答して、前記ハードウェアプロセッサは、前記発光アセンブリに、前記第１の相互作用可能領域内の前記ユーザ入力と関連付けられた第１の光パターンを照明させるようにプログラムされ、前記ユーザが前記第２の相互作用可能領域を作動させたことの検出に応答して、前記ハードウェアプロセッサは、前記発光アセンブリに、前記第２の相互作用可能領域内の前記ユーザ入力と関連付けられた第２の光パターンを照明させるようにプログラムされる、請求項４０に記載の方法。
  42. 前記第１のタイプのユーザ入力または前記第２のタイプのユーザ入力のうちの少なくとも１つは、ウェアラブルシステムとのユーザの相互作用と関連付けられたコンテキスト情報に依存し、前記コンテキスト情報は、ユーザが相互作用しているアプリケーションのタイプ、前記複数の相互作用可能領域によってサポートされる利用可能なユーザ入力、または前記ユーザの仮想環境のうちの少なくとも１つを含む、請求項４０に記載の方法。
  43. 前記発光ユーザ入力デバイスは、１つ以上の相互作用可能領域に分割されるタッチ表面を備える、請求項３９に記載の方法。
  44. 前記光パターンは、少なくとも部分的に、前記発光ユーザ入力デバイスと関連付けられたコンテキスト情報に基づいて決定される、請求項３９に記載の方法。
  45. 前記複数の相互作用可能領域は、前記発光ユーザ入力デバイスの発光アセンブリを含む、請求項３９に記載の方法。
  46. 前記ユーザの作動は、スワイプ、タップ、押下、またはタッチジェスチャのうちの少なくとも１つを含む、請求項３９に記載の方法。
  47. 前記光パターンは、色、弧長、または視覚的効果を有する弧状領域を含む、請求項３９に記載の方法。
  48. 発光ユーザ入力デバイスを較正するためのシステムであって、前記システムは、
    環境を結像するように構成される外向きに面した結像システムと、
    光パターンを照明するように構成される発光ユーザ入力デバイスと、
    前記外向きに面した結像システムおよび前記発光ユーザ入力デバイスと通信するハードウェアプロセッサであって、
    第１の姿勢から第２の姿勢への前記発光ユーザ入力デバイスの移動と関連付けられた前記発光ユーザ入力デバイスのセンサによって入手された第１の移動データにアクセスすることと、
    前記発光ユーザ入力デバイスの第１の画像を決定することであって、前記第１の画像は、前記発光ユーザ入力デバイスの前記第１の姿勢に対応する光パターンを含む、ことと、
    前記外向きに面した結像システムによって入手された前記発光ユーザ入力デバイスの第２の画像を決定することであって、前記第２の画像は、前記発光ユーザ入力デバイスの前記第２の姿勢に対応する光パターンを含む、ことと、
    前記第２の画像を分析し、前記発光ユーザ入力デバイスの移動と関連付けられた第２の移動データを計算することと、
    前記第１の移動データと前記第２の移動データとの間の相違を検出することと、
    前記相違が閾値条件に達することの決定に応答して、前記発光ユーザ入力デバイスのセンサを較正させることと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、システム。
  49. 前記第１の姿勢から前記第２の姿勢への前記発光ユーザ入力デバイスの移動は、前記発光ユーザ入力デバイスの位置または配向のうちの少なくとも１つの変化を含む、請求項４８に記載のシステム。
  50. 前記第１の姿勢または前記第２の姿勢は、前記発光ユーザ入力デバイスの基点位置に対応する、請求項４８に記載のシステム。
  51. 前記光パターンは、前記発光ユーザ入力デバイスのタッチ可能部分を囲繞する複数の発光ダイオードによって照明される後光と関連付けられる、請求項４８に記載のシステム。
  52. 前記第２の移動データを計算するために、前記ハードウェアプロセッサは、前記第１の画像および前記第２の画像内の後光の形状の変化を計算するようにプログラムされる、請求項４８に記載のシステム。
  53. 前記発光ユーザ入力デバイスは、拡張現実デバイスとの相互作用のためのトーテムである、請求項４８に記載のシステム。
  54. 前記センサは、前記トーテムの慣性測定ユニット（ＩＭＵ）の一部であり、前記センサは、ユーザの移動に対する前記トーテムの応答性または前記ユーザの移動と前記ＩＭＵの測定との間のマッピングのうちの少なくとも１つを調節することによって較正される、請求項５３に記載のシステム。
  55. 前記トーテムはさらに、視覚的インジケーションをユーザに提供し、前記発光ユーザ入力デバイスを前記第１の姿勢から前記第２の姿勢に移動させるように構成される、請求項５３に記載のシステム。
  56. 前記トーテムは、３自由度を有する、請求項５３に記載のシステム。
  57. 前記ハードウェアプロセッサは、コンピュータビジョンアルゴリズムを適用し、前記第１の画像および前記第２の画像を分析し、前記第１の画像および前記第２の画像内の光パターンを識別するようにプログラムされる、請求項４８に記載のシステム。
  58. 前記発光ユーザ入力デバイスは、前記発光ユーザ入力デバイスの較正が完了されたことの決定に応答して、別の光パターンを照明することができる、請求項４８に記載のシステム。
  59. 前記ハードウェアプロセッサは、前記較正のタイプを決定するようにプログラムされ、前記発光ユーザ入力デバイスによって照明される光パターンは、前記較正のタイプに対応する、請求項４８に記載のシステム。
  60. 発光ユーザ入力デバイスを較正する方法であって、前記方法は、
    ハードウェアプロセッサの制御下で、
    ある姿勢における発光ユーザ入力デバイスの移動データを受信することであって、前記移動データは、前記発光ユーザ入力デバイスのセンサによって入手される、ことと、
    前記ある姿勢における前記発光ユーザ入力デバイスの画像を受信することと、
    前記画像を分析し、前記発光ユーザ入力デバイスによって照明される光パターンの形状を識別することと、
    前記移動データに基づいて、前記ある姿勢における前記発光ユーザ入力デバイスの第１の位置または第１の配向のうちの少なくとも１つを計算することと、
    前記光パターンの形状に基づいて、前記ある姿勢における前記発光ユーザ入力デバイスの第２の位置または第２の配向のうちの少なくとも１つを計算することと、
    前記第１の位置と前記第２の位置または前記第１の配向と前記第２の配向との間の相違を決定することと、
    前記相違が閾値条件に達することの決定に応答して、前記発光ユーザ入力デバイスのセンサを較正することと
    を含む、方法。
  61. 前記第１の位置、前記第１の配向、前記第２の位置、または前記第２の配向は、基点姿勢を参照して計算される、請求項６０に記載の方法。
  62. 前記画像内の前記光パターンの形状は、卵形である一方、前記基点姿勢における前記光パターンの形状は、円形である、請求項６０に記載の方法。
  63. 前記光パターンの位置または移動パターンのうちの少なくとも１つは、前記較正されているセンサのタイプに対応する、請求項６０に記載の方法。
  64. 前記較正が成功したことの決定に応答して、視覚的、聴覚的、または触覚的フィードバックのうちの少なくとも１つを提供することをさらに含む、請求項６０に記載の方法。
  65. 前記センサを較正することは、ユーザの移動に対する前記センサの応答性または前記ユーザの移動と前記センサの測定との間のマッピングのうちの少なくとも１つを調節することを含む、請求項６０に記載の方法。
  66. 発光ユーザ入力デバイスを較正するためのシステムであって、前記システムは、
    環境を結像するように構成される外向きに面した結像システムと、
    前記外向きに面した結像システムと通信するハードウェアプロセッサであって、
    前記環境の画像を受信することと、
    前記画像を分析し、発光ユーザ入力デバイスを識別することと、
    前記発光ユーザ入力デバイスの第１の姿勢および照明される後光の光パターンの第１の外観を決定することと、
    少なくとも部分的に、前記画像の分析に基づいて、前記照明される後光の光パターンの第２の外観を識別することと、
    前記発光ユーザ入力デバイスの姿勢に対する第１の変化を決定することと、
    前記発光ユーザ入力デバイスによって測定された前記発光ユーザ入力デバイスの移動データを受信することと、
    少なくとも部分的に、前記画像の分析に基づいて、前記発光ユーザ入力デバイスの姿勢に対する第２の変化を計算することと、
    前記第１の変化と前記第２の変化との間の差異を計算し、前記差異が閾値に達するかどうかを決定することと、
    前記差異が前記閾値条件を超えたことの決定に応答して、前記発光ユーザ入力デバイスのセンサを較正することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、システム。
  67. 前記発光ユーザ入力デバイスの姿勢は、前記発光ユーザ入力デバイスの位置および配向を含む、請求項６６に記載のシステム。
  68. 前記発光ユーザ入力デバイスは、トーテム、スマートウォッチ、またはスマートフォンのうちの少なくとも１つを含み、前記センサは、ＩＭＵである、請求項６６に記載のシステム。
  69. 前記差異が前記閾値を超えないことの決定に応答して、前記ハードウェアプロセッサは、前記センサが較正されていることのインジケーションを提供するようにプログラムされる、請求項６６に記載のシステム。
  70. 前記インジケーションは、前記発光ユーザ入力デバイス上の視覚的、聴覚的、または触覚的フィードバックを含む、請求項６９に記載のシステム。
  71. 前記第１の位置は、前記発光ユーザ入力デバイスの基点位置である、請求項６６に記載のシステム。
  72. 前記発光ユーザ入力デバイスはさらに、前記ユーザ入力デバイスを前記第１の姿勢および前記第２の姿勢を含む姿勢に位置付けるように、前記発光ユーザ入力デバイスのユーザを誘導するための一連の光パターンを照明するように構成される、請求項６６に記載のシステム。
  73. 少なくとも部分的に、前記画像の分析に基づいて、前記発光ユーザ入力デバイスの姿勢に対する第２の変化を計算するために、前記ハードウェアプロセッサは、前記第１の外観における前記光パターンの形状に対する前記第２の外観における前記光パターンの形状の変形を決定するようにプログラムされる、請求項６６に記載のシステム。
  74. 前記発光ユーザ入力デバイスは、仮想コンテンツを拡張現実、仮想現実、または複合現実環境内に提示するためのウェアラブルディスプレイをさらに備えるウェアラブルシステムの一部である、請求項６６に記載のシステム。
  75. 前記センサを較正するために、前記ハードウェアプロセッサは、ユーザの移動に対する前記センサの応答性または前記ユーザの移動と前記センサの測定との間のマッピングのうちの少なくとも１つを調節するようにプログラムされる、請求項６６に記載のシステム。
  76. 発光ユーザ入力デバイスを較正するための方法であって、前記方法は、
    発光アセンブリと、ハードウェアプロセッサとを備える発光ユーザ入力デバイスの制御下で、
    前記発光ユーザ入力デバイスの第１の姿勢を決定することと、
    前記発光アセンブリに、前記発光ユーザ入力デバイスを第２の姿勢に移動させるようにユーザを誘導するための第１の光パターンを照明させることと、
    前記発光ユーザ入力デバイスが前記第２の姿勢に移動されたことの決定に応答して、
    前記発光ユーザ入力デバイスの姿勢データを入手することと、
    少なくとも部分的に、前記姿勢データに基づいて、前記発光ユーザ入力デバイスを較正することと、
    ユーザに、前記較正プロセスが完了されたことのインジケーションを提供することと
    を含む、方法。
  77. 前記第１の姿勢を決定することは、少なくとも部分的に、前記発光ユーザ入力デバイスの慣性測定ユニット（ＩＭＵ）から入手されたデータに基づく、請求項７６に記載の方法。
  78. 前記インジケーションは、聴覚的、視覚的、または触覚的インジケーションのうちの少なくとも１つを含む、請求項７６に記載の方法。
  79. 前記インジケーションは、第２の光パターンを含む、請求項７６に記載の方法。
  80. 前記姿勢データは、前記発光ユーザ入力デバイスの位置または配向データのうちの少なくとも１つを含む、請求項７６に記載の方法。
  81. 前記発光ユーザ入力デバイスの姿勢データは、前記発光ユーザ入力デバイスが複数の姿勢にあるときに入手されたデータを含む、請求項７６に記載の方法。
  82. 前記発光アセンブリに、較正プロセスの開始を示す第３の光パターンを照明させることをさらに含む、請求項７６に記載の方法。
  83. 発光ユーザ入力デバイスを較正するためのシステムであって、前記システムは、
    前記発光ユーザ入力デバイスの移動データを入手するように構成される１つ以上のセンサと、
    複数の光パターンを出力するように構成される前記発光ユーザ入力デバイスの発光アセンブリと、
    ハードウェアプロセッサであって、
    前記発光ユーザ入力デバイスをある姿勢に位置付けるための第１のインジケーションをユーザに提供することと、
    前記ある姿勢への前記発光ユーザ入力デバイスの移動データを入手することと、
    少なくとも部分的に、前記移動データに基づいて、前記発光ユーザ入力デバイスを較正することと、
    ユーザに、前記較正プロセスが完了されたことのインジケーションを提供することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、システム。
  84. 前記第１のインジケーションは、光パターンを含み、その場所、移動、または組み合わせは、ユーザに、前記発光ユーザ入力デバイスを前記ある姿勢に移動させるためのガイドを提供する、請求項８３に記載のシステム。
  85. 前記発光ユーザ入力デバイスは、拡張または複合現実環境と相互作用するためのウェアラブルシステムの一部であり、前記第１のインジケーションは、ユーザによって位置付けられるべき前記トーテムの姿勢を示す前記ウェアラブルシステムの頭部搭載型ディスプレイによって提供される仮想画像を含む、請求項８３に記載のシステム。
  86. 前記ハードウェアプロセッサはさらに、
    前記発光ユーザ入力デバイスが較正されていることの決定に応答して、前記発光ユーザ入力デバイスが較正されていることを知らせる第２のインジケーションを提供する、または
    前記発光ユーザ入力デバイスが較正されていないことの決定に応答して、前記発光ユーザ入力デバイスの較正を継続する
    ようにプログラムされる、請求項８３に記載のシステム。
  87. 前記ハードウェアプロセッサはさらに、前記発光ユーザ入力デバイスのための較正プロセスを開始するための開始条件を検出するようにプログラムされる、請求項８３に記載のシステム。
  88. 前記発光ユーザ入力デバイスを較正するために、前記ハードウェアプロセッサは、前記ある姿勢における前記発光ユーザ入力デバイスを含む画像にアクセスし、前記移動データおよび前記画像を分析し、前記移動データから計算されたものと前記画像から決定されたものとの間の前記発光ユーザ入力デバイスの位置または配向のうちの少なくとも１つの相違を識別するようにプログラムされる、請求項８３に記載のシステム。
  89. 前記発光ユーザ入力デバイスは、タッチ表面を備えるトーテムを備え、前記発光アセンブリは、前記タッチ表面に隣接して位置付けられる、請求項８３に記載のシステム。
  90. 発光ユーザ入力デバイスをペアリングするためのウェアラブルデバイスであって、前記ウェアラブルデバイスは、
    環境を結像するように構成される外向きに面した結像システムと、
    前記外向きに面した結像システムと通信するハードウェアプロセッサであって、
    前記外向きに面した結像システムによって入手された画像を受信することであって、前記画像は、発光ユーザ入力デバイスによって照明された光パターンを含む、ことと、
    前記ウェアラブルデバイスとペアリングされるべき発光ユーザ入力デバイスを識別することと、
    前記画像を分析し、前記発光ユーザ入力デバイスとウェアラブルデバイスのペアリングと関連付けられた情報をエンコードする前記光パターンを識別することと、
    前記発光ユーザ入力デバイスと前記ウェアラブルデバイスをペアリングするために、前記光パターン内にエンコードされた情報を抽出することと、
    少なくとも部分的に、前記抽出された情報に基づいて、前記発光ユーザ入力デバイスとウェアラブルデバイスをペアリングすることと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、ウェアラブルデバイス。
  91. 前記ハードウェアプロセッサはさらに、
    前記発光ユーザ入力デバイスと前記ウェアラブルデバイスとの間のペアリングが成功したかどうかを決定することと、
    前記ペアリングが成功したことの決定に応答して、前記発光ユーザ入力デバイスに、ペアリング成功を示す別の光パターンを照明するように命令することと
    を行うようにプログラムされる、請求項９０に記載のウェアラブルデバイス。
  92. 前記ハードウェアプロセッサはさらに、前記ペアリングが成功したことの決定に応答して、無線接続を介して、前記発光ユーザ入力デバイスと通信するようにプログラムされる、請求項９０に記載のウェアラブルデバイス。
  93. 前記無線接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を含む、請求項９２に記載のウェアラブルデバイス。
  94. 前記光パターンによってエンコードされる情報は、前記発光ユーザ入力デバイスのデバイス情報を含む、請求項９０に記載のウェアラブルデバイス。
  95. 前記光パターンは、前記情報を２進数形態でエンコードする、請求項９０に記載のウェアラブルデバイス。
  96. 前記光パターンは、前記ペアリングと関連付けられた情報をエンコードする１つ以上の色を含む、請求項９０に記載のウェアラブルデバイス。
  97. 前記光パターンの一部は、電磁スペクトルの非可視部分内の光を含む、請求項９０に記載のウェアラブルデバイス。
  98. 前記ウェアラブルデバイスは、仮想コンテンツを複合現実環境内に提示するための頭部搭載型ディスプレイを備え、外向きに面した結像システムは、前記頭部搭載型ディスプレイに搭載されるカメラを備える、請求項９０に記載のウェアラブルシステム。
  99. 発光ユーザ入力デバイスをペアリングするための方法であって、前記方法は、
    ハードウェアプロセッサの制御下で、
    ペアリングプロセスを発光ユーザ入力デバイスと電子デバイスとの間で開始することと、
    カメラによって入手された画像にアクセスすることであって、前記画像は、前記発光ユーザ入力デバイスによって照明された光パターンを含む、ことと、
    前記電子デバイスとペアリングされるべき前記発光ユーザ入力デバイスを識別することと、
    前記画像を分析し、前記発光ユーザ入力デバイスと前記電子デバイスのペアリングと関連付けられた情報をエンコードする前記光パターンを識別することと、
    前記発光ユーザ入力デバイスと前記電子デバイスをペアリングするために、前記光パターン内にエンコードされた情報を抽出することと、
    少なくとも部分的に、前記抽出された情報に基づいて、前記発光ユーザ入力デバイスと前記電子デバイスをペアリングすることと
    を含む、方法。
  100. 前記電子デバイスは、仮想コンテンツを複合現実環境内に提示するためのウェアラブルシステムのコンポーネントを含む、請求項９９に記載の方法。
  101. 前記電子デバイスは、別のユーザ入力デバイスまたは頭部搭載型ディスプレイを含む、請求項１００に記載の方法。
  102. 前記ペアリングプロセスが成功したことの決定に応答して、前記発光ユーザ入力デバイスと前記電子デバイスとの間の無線接続を確立することをさらに含む、請求項９９に記載の方法。
  103. 前記光パターンによってエンコードされる情報は、前記発光ユーザ入力デバイスのデバイス情報を含み、前記デバイス情報は、デバイス識別子、前記発光ユーザ入力デバイスに関する識別情報、または前記発光ユーザ入力デバイスと前記電子デバイスをペアリングするためのキーのうちの少なくとも１つを含む、請求項９９に記載の方法。
  104. 前記光パターンは、前記情報を２進数形態でエンコードする、請求項１０３に記載の方法。
  105. 前記光パターンは、前記ペアリングプロセスの情報をエンコードする１つ以上の色を含む、請求項９９に記載の方法。
  106. 前記光パターンの一部は、電磁スペクトルの非可視部分内の光を含む、請求項９９に記載の方法。
  107. 発光ユーザ入力デバイスをペアリングするためのシステムであって、前記システムは、
    光パターンを出力するように構成される複数の発光ダイオード（ＬＥＤ）と、
    ハードウェアプロセッサであって、
    電子デバイスとのペアリングプロセスを開始することと、
    前記複数のＬＥＤの１つ以上のＬＥＤに、前記ペアリングプロセスに関する情報をエンコードする第１の光パターンを照明させることと、
    前記電子デバイスが正常にペアリングされたことの決定に応答して、前記ペアリングが成功したことを示す第２の光パターンを照明することと
    を行うようにプログラムされる、ハードウェアプロセッサと
    を備える、システム。
  108. 前記第１の光パターンは、前記ユーザ入力デバイスと関連付けられたデバイス情報または他のコンピューティングデバイスにペアリングプロセスを開始させるトリガメッセージのうちの少なくとも１つをエンコードする、請求項１０７に記載のシステム。
  109. 前記ハードウェアプロセッサは、
    前記ペアリングプロセスの間、応答を前記電子デバイスから受信することと、
    前記複数のＬＥＤの第２の１つ以上のＬＥＤに、前記応答に対する返信における返信メッセージをエンコードする第３の光パターンを照明させることと
    を行うようにプログラムされる、請求項１０７に記載のシステム。
  110. 前記複数のＬＥＤの１つ以上のＬＥＤの照明は、前記ペアリングプロセスの情報を２進数形態でエンコードする、請求項１０７に記載のシステム。
  111. 前記１つ以上のＬＥＤの照明と関連付けられた色は、前記ペアリングプロセスの情報をエンコードする、請求項１０７に記載のシステム。
  112. 前記第１の光パターンまたは前記第２の光パターンの一部は、電磁スペクトルの非可視部分内の光を含む、請求項１０７に記載のシステム。
  113. 方法であって、
    複数の光パターンを照明するための発光アセンブリを備える第１の電子デバイスのハードウェアプロセッサの制御下で、
    前記第１の電子デバイスと第２の電子デバイスとの間の通信を開始することと、
    前記第１の電子デバイスに、前記通信のためのメッセージをエンコードする光パターンを照明させることと、
    応答を前記第２の電子デバイスから受信することと、
    少なくとも部分的に、前記第２の電子デバイスからの応答に基づいて、インジケーションを前記第１の電子デバイスのユーザに提供させることと
    を含む、方法。
  114. 前記通信は、前記第１の電子デバイスと前記第２の電子デバイスとの間のペアリングプロセスを含む、請求項１１３に記載の方法。
  115. 前記第１の光パターンは、前記ユーザ入力デバイスと関連付けられたデバイス情報または他のコンピューティングデバイスにペアリングプロセスを開始させるトリガメッセージのうちの少なくとも１つをエンコードする、請求項１１４に記載の方法。
  116. 前記インジケーションは、前記第１の電子デバイスおよび前記第２の電子デバイスが正常にペアリングされたことの決定に応答して、前記第１の電子デバイスと前記第２の電子デバイスとの間のペアリングが完了されたことを示す前記第１の電子デバイスによって照明される第２の光パターンを含む、請求項１１４に記載の方法。
  117. 前記インジケーションは、前記応答に対する返信における返信メッセージをエンコードする前記第１の電子デバイスによって照明される第３の光パターンを含む、請求項１１３に記載の方法。
  118. 前記第１の光パターンは、情報を前記メッセージ内に２進数形態でエンコードする、請求項１１３に記載の方法。
  119. 前記光パターンは、前記通信のメッセージをさらにエンコードする１つ以上の色を含む、請求項１１３に記載の方法。
  120. 発光ユーザ入力デバイスであって、
    ユーザ入力を受信するように構成されるタッチパッドアセンブリであって、前記タッチパッドアセンブリは、
    タッチ表面と、
    前記タッチ表面に結合されるタッチセンサであって、前記タッチセンサの少なくとも一部は、前記タッチ表面の下にあり、前記タッチ表面の作動を検出するように構成される、タッチセンサと、
    光学拡散要素および複数の光照明要素を備える発光アセンブリであって、前記発光アセンブリは、前記タッチセンサおよび前記タッチ表面に結合され、複数の光パターンを表示するように構成される、発光アセンブリと、
    前記発光アセンブリおよび前記タッチセンサに結合される印刷回路基板と、
    を備える、タッチパッドアセンブリと、
    前記タッチパッドアセンブリを支持するための本体と
    を備える、発光ユーザ入力デバイス。
  121. 前記光学拡散要素の少なくとも一部は、前記タッチセンサ上にオーバーレイされ、前記タッチセンサはさらに、前記光学拡散要素の作動を検出するように構成される、請求項１２０に記載の発光ユーザ入力デバイス。
  122. 前記光学拡散要素は、光導波路を備える、請求項１２０に記載の発光ユーザ入力デバイス。
  123. 前記光学拡散要素は、前記タッチ表面を実質的に囲繞する、請求項１２０に記載の発光ユーザ入力デバイス。
  124. 前記タッチパッドアセンブリはさらに、前記発光アセンブリ、前記タッチ表面、および前記タッチセンサを保持するためのアーマチュアを備える、請求項１２０に記載の発光ユーザ入力デバイス。
  125. 前記複数の光照明要素は、発光ダイオードを備える、請求項１２０に記載の発光ユーザ入力デバイス。
  126. 複合現実コンテンツを提示するように構成されたウェアラブルデバイスとの無線接続を確立するように構成される接続インターフェースをさらに備える、請求項１２０に記載の発光ユーザ入力デバイス。
  127. 前記本体は、前記タッチパッドアセンブリを支持するための上側部分と、基部に除去可能に搭載されるように構成される底部部分とを有する、請求項１２０に記載の発光ユーザ入力デバイス。
  128. 前記本体はさらに、ユーザ相互作用のために、トリガ、バンパ、またはホームボタンのうちの少なくとも１つを含む、請求項１２０に記載の発光ユーザ入力デバイス。
  129. 前記複数の光照明要素の照明を制御するようにプログラムされるハードウェアプロセッサをさらに備える、請求項１２０に記載の発光ユーザ入力デバイス。
JP2019556946A 2017-04-27 2018-04-27 発光ユーザ入力デバイス Active JP7231556B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023008031A JP7335462B2 (ja) 2017-04-27 2023-01-23 発光ユーザ入力デバイス
JP2023132794A JP7385078B1 (ja) 2017-04-27 2023-08-17 発光ユーザ入力デバイス
JP2023180164A JP2023179746A (ja) 2017-04-27 2023-10-19 発光ユーザ入力デバイス

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762490863P 2017-04-27 2017-04-27
US62/490,863 2017-04-27
PCT/US2018/029988 WO2018201067A1 (en) 2017-04-27 2018-04-27 Light-emitting user input device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023008031A Division JP7335462B2 (ja) 2017-04-27 2023-01-23 発光ユーザ入力デバイス

Publications (3)

Publication Number Publication Date
JP2020518902A true JP2020518902A (ja) 2020-06-25
JP2020518902A5 JP2020518902A5 (ja) 2021-05-27
JP7231556B2 JP7231556B2 (ja) 2023-03-01

Family

ID=63916641

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019556946A Active JP7231556B2 (ja) 2017-04-27 2018-04-27 発光ユーザ入力デバイス
JP2023008031A Active JP7335462B2 (ja) 2017-04-27 2023-01-23 発光ユーザ入力デバイス
JP2023132794A Active JP7385078B1 (ja) 2017-04-27 2023-08-17 発光ユーザ入力デバイス
JP2023180164A Pending JP2023179746A (ja) 2017-04-27 2023-10-19 発光ユーザ入力デバイス

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2023008031A Active JP7335462B2 (ja) 2017-04-27 2023-01-23 発光ユーザ入力デバイス
JP2023132794A Active JP7385078B1 (ja) 2017-04-27 2023-08-17 発光ユーザ入力デバイス
JP2023180164A Pending JP2023179746A (ja) 2017-04-27 2023-10-19 発光ユーザ入力デバイス

Country Status (9)

Country Link
US (5) US11163416B2 (ja)
EP (3) EP3616040B1 (ja)
JP (4) JP7231556B2 (ja)
KR (1) KR102472428B1 (ja)
CN (2) CN110832439B (ja)
AU (1) AU2018258679B2 (ja)
CA (1) CA3059209A1 (ja)
IL (2) IL270146B2 (ja)
WO (1) WO2018201067A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022149989A (ja) * 2021-03-25 2022-10-07 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD831652S1 (en) * 2015-08-20 2018-10-23 Brunswick Corporation Animated responsive display on a joystick
WO2017093996A1 (en) * 2015-12-02 2017-06-08 Hisep Technology Ltd. Directionally awareness of wireless sensor nodes
CN117198277A (zh) 2016-08-12 2023-12-08 奇跃公司 单词流注释
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US11163416B2 (en) 2017-04-27 2021-11-02 Magic Leap, Inc. Light-emitting user input device for calibration or pairing
US10621751B2 (en) * 2017-06-16 2020-04-14 Seiko Epson Corporation Information processing device and computer program
US10365710B2 (en) * 2017-06-23 2019-07-30 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
US10976811B2 (en) * 2017-08-11 2021-04-13 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and reflected light
US10970425B2 (en) 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
EP4212222A1 (en) 2018-03-07 2023-07-19 Magic Leap, Inc. Visual tracking of peripheral devices
US11042226B2 (en) * 2018-04-02 2021-06-22 Microsoft Technology Licensing, Llc Constellation-based augmentation of mouse form-factor for virtual reality applications
US10318811B1 (en) * 2018-04-22 2019-06-11 Bubbler International Llc Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects
US10866634B2 (en) 2018-06-19 2020-12-15 Sony Interactive Entertainment Inc. Eye tracking system with holographic film decoder
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10761618B2 (en) * 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
WO2020028826A1 (en) 2018-08-02 2020-02-06 Firefly Dimension, Inc. System and method for human interaction with virtual objects
US11287526B2 (en) * 2018-11-21 2022-03-29 Microsoft Technology Licensing, Llc Locating spatialized sounds nodes for echolocation using unsupervised machine learning
WO2020116529A1 (ja) * 2018-12-07 2020-06-11 株式会社ソニー・インタラクティブエンタテインメント 発光制御装置、操作デバイス、発光制御方法及びプログラム
CN113164813A (zh) * 2018-12-07 2021-07-23 索尼互动娱乐股份有限公司 输入设备
US11107390B2 (en) * 2018-12-21 2021-08-31 Johnson Controls Technology Company Display device with halo
CN112809709B (zh) * 2019-01-25 2022-12-02 北京妙趣伙伴科技有限公司 机器人及其操作系统、控制装置、控制方法及存储介质
TWI725574B (zh) * 2019-02-22 2021-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及眼球追蹤游標的顯示方法
US10838486B2 (en) * 2019-02-28 2020-11-17 Microsoft Technology Licensing, Llc Virtual reality controller
USD914722S1 (en) * 2019-04-25 2021-03-30 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11210932B2 (en) * 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices
US11086398B2 (en) * 2019-06-07 2021-08-10 Microsoft Technology Licensing, Llc Haptic rendering
GB2584721B (en) * 2019-06-13 2023-05-10 Yoto Ltd An interactive apparatus
KR102570009B1 (ko) * 2019-07-31 2023-08-23 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치
US10931002B1 (en) 2019-09-23 2021-02-23 Disney Enterprises, Inc. Light transmitting wearable device with transparent and translucent components
US11861802B2 (en) 2019-11-11 2024-01-02 Spin Master Ltd. Augmented reality system
WO2021108327A1 (en) * 2019-11-26 2021-06-03 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
JP2021086586A (ja) * 2019-11-29 2021-06-03 キヤノン株式会社 表示制御装置及びその制御方法
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021171915A1 (ja) * 2020-02-28 2021-09-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ スマート窓装置、映像表示方法及びプログラム
CN113384870B (zh) * 2020-03-13 2023-11-03 致伸科技股份有限公司 摇杆模块
WO2022170223A1 (en) * 2021-02-08 2022-08-11 Multinarity Ltd User interactions in extended reality
US11573644B2 (en) * 2020-04-21 2023-02-07 Hyundai Mobis Co., Ltd. Apparatus and method for recognizing gesture
US11582409B2 (en) * 2020-06-29 2023-02-14 Snap Inc. Visual-inertial tracking using rolling shutter cameras
USD938988S1 (en) * 2020-06-30 2021-12-21 Spotify Ab Display screen with graphical user interface
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
JP7545564B2 (ja) 2020-07-15 2024-09-04 マジック リープ， インコーポレイテッド 非球面角膜モデルを使用した眼追跡
EP4181993A4 (en) 2020-07-16 2024-08-07 Ventec Life Systems Inc SYSTEM AND METHOD FOR CONCENTRATION OF GAS
US11931689B2 (en) 2020-07-16 2024-03-19 Ventec Life Systems, Inc. System and method for concentrating gas
US11320896B2 (en) * 2020-08-03 2022-05-03 Facebook Technologies, Llc. Systems and methods for object tracking using fused data
US11520152B1 (en) * 2020-08-06 2022-12-06 Apple Inc. Head-mounted display systems with gaze tracker alignment monitoring
US11467403B2 (en) * 2020-08-20 2022-10-11 Htc Corporation Operating method and electronic system
WO2022086002A1 (en) * 2020-10-20 2022-04-28 Samsung Electronics Co., Ltd. Waveguide structure with segmented diffractive optical elements and near-eye display apparatus employing the same
WO2022093219A1 (en) * 2020-10-28 2022-05-05 Hewlett-Packard Development Company, L.P. Virtual reality headset with physical object representation
US11461991B2 (en) * 2020-12-30 2022-10-04 Imagine Technologies, Inc. Method of developing a database of controllable objects in an environment
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4059582A1 (en) * 2021-03-16 2022-09-21 UDU ApS Mobile handheld gaming controller
US11838991B2 (en) * 2021-05-26 2023-12-05 Microsoft Technology Licensing, Llc Peer-to-peer communication via smart wearables
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230062244A1 (en) * 2021-09-01 2023-03-02 Qualcomm Incorporated Extended reality control of smart devices
CN114019031B (zh) * 2021-09-13 2023-10-13 上海工程技术大学 力触觉系统主端操作机构及力触觉核电装备运维装置
JP2023042612A (ja) * 2021-09-15 2023-03-28 オムロン株式会社 遊技機用操作ボタンおよびこれを備えた遊技機用操作デッキ
WO2023064342A1 (en) * 2021-10-12 2023-04-20 Tandem Diabetes Care, Inc. Systems and method of pairing an infusion pump with a remote control device
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US12026325B2 (en) 2022-08-17 2024-07-02 Apple Inc. Handheld input devices with sleeves
US12079442B2 (en) 2022-09-30 2024-09-03 Sightful Computers Ltd Presenting extended reality content in different physical environments
WO2024112911A1 (en) * 2022-11-23 2024-05-30 Meta Platforms Technologies, Llc Arrangements of illumination sources within and outside of a digit-occluded region of a top cover of a handheld controller to assist with positional tracking of the controller by an artificial-reality system, and systems and methods of use thereof
US20240233207A1 (en) * 2023-01-05 2024-07-11 Dell Products L.P. Aggregated color palette generation based on user context and machine learning
CN117440554B (zh) * 2023-12-20 2024-04-02 深圳市正远科技有限公司 基于数字化实现led光源的场景建模方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008521136A (ja) * 2004-11-17 2008-06-19 アトルア テクノロジーズ インコーポレイテッド 入力システム及び電子システム構成方法
JP2008541222A (ja) * 2005-06-02 2008-11-20 サムスン エレクトロニクス カンパニー リミテッド ユーザ命令を３次元的に入力可能な電子装置
JP2010015535A (ja) * 2008-06-02 2010-01-21 Sony Corp 入力装置、制御システム、ハンドヘルド装置及び校正方法
JP2011024613A (ja) * 2009-07-21 2011-02-10 Sony Computer Entertainment Inc ゲーム装置
JP2013515999A (ja) * 2009-12-24 2013-05-09 株式会社ソニー・コンピュータエンタテインメント 無線デバイスのペアリング及びグルーピング方法
JP2015072582A (ja) * 2013-10-02 2015-04-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、及び、ポインティング装置用プログラム
US20160062489A1 (en) * 2014-09-01 2016-03-03 Yinbo Li Multi-surface controller
WO2017048519A1 (en) * 2015-09-16 2017-03-23 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment
JP2017511082A (ja) * 2014-01-31 2017-04-13 ユースクエア ソフト インコーポレーテッド 移植可能なプロセッシングとアプリケーション実行の装置および方法

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5704151A (en) * 1995-03-24 1998-01-06 James Paul West Portable battery-powered safety lock
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
USD432131S (en) 1999-12-17 2000-10-17 Microsoft Corporation Track ball and glow ring for a computer input device
WO2001056007A1 (en) * 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
JP4292927B2 (ja) 2003-09-16 2009-07-08 カシオ計算機株式会社 ペン型データ入力装置及び該プログラム
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US20060181521A1 (en) * 2005-02-14 2006-08-17 Atrua Technologies, Inc. Systems for dynamically illuminating touch sensors
US7548230B2 (en) * 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
KR100538572B1 (ko) * 2005-06-14 2005-12-23 (주)멜파스 시각적 입력 피드백을 포함하는 사용자 접촉 기반의 디지털기기 제어 장치 및 방법
USD567243S1 (en) 2005-08-17 2008-04-22 Nintendo Co., Ltd. Controller for electronic game machine
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
USD565668S1 (en) 2005-12-15 2008-04-01 Microsoft Corporation Portion of a gaming input device having an illuminated region
USD563480S1 (en) 2005-12-15 2008-03-04 Microsoft Corporation Portion of a gaming input device having an illuminated region
USD567287S1 (en) 2006-03-28 2008-04-22 Anand International Pen
DE102006037545B4 (de) * 2006-08-10 2015-05-28 Ferton Holding S.A. Bedienelement und Verfahren zur Eingabe von Werten an einem medizinischen Gerät
GB0711355D0 (en) 2007-06-12 2007-07-25 Saitek P L C Video game controller
US20090002218A1 (en) 2007-06-28 2009-01-01 Matsushita Electric Industrial Co., Ltd. Direction and holding-style invariant, symmetric design, touch and button based remote user interaction device
USD589515S1 (en) 2007-10-17 2009-03-31 Zeenote, Inc. Wireless handheld controller
USD611477S1 (en) 2007-10-17 2010-03-09 Zeemote, Inc. Wireless handheld controller
JP4626671B2 (ja) 2008-04-24 2011-02-09 ソニー株式会社 入力装置及び制御システム
TWI360068B (en) 2008-05-30 2012-03-11 Asustek Comp Inc Pointing device and method for determining rotatio
US20100019468A1 (en) * 2008-06-21 2010-01-28 Price L Jay Apparatus, system and method for accessing the engine compartment of a vehicle
USD587713S1 (en) 2008-07-11 2009-03-03 Sutton Sales Llc Controller for electronic game machine
USD594066S1 (en) 2008-07-25 2009-06-09 Sony Computer Entertainment Inc. Hand held game controller
US8138938B2 (en) 2008-10-28 2012-03-20 The Boeing Company Hand-held positioning interface for spatial query
US8982063B2 (en) * 2010-02-25 2015-03-17 Blackberry Limited Optical naviagation module having a metallic illumination ring
USD638841S1 (en) 2010-09-18 2011-05-31 Ailive Inc. Game controller
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CA2822978C (en) 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
USD665461S1 (en) 2011-06-07 2012-08-14 Microsoft Corporation Game controller
USD658184S1 (en) 2011-06-13 2012-04-24 Hon Hai Precision Industry Co., Ltd. Controlling handle
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
US20130104085A1 (en) 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
RU2017115669A (ru) 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
USD698358S1 (en) 2012-05-03 2014-01-28 Apem, Inc. Handheld controller
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
USD675644S1 (en) 2012-07-17 2013-02-05 Nike, Inc. Display screen with animated user interface
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
US10444845B2 (en) * 2012-12-21 2019-10-15 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose
IL293789B2 (en) 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
USD725040S1 (en) 2013-03-15 2015-03-24 Microsoft Corporation Connector
EP2797313A1 (en) * 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
EP3054693B1 (en) * 2013-10-02 2019-12-25 Samsung Electronics Co., Ltd Image display apparatus and pointing method for same
IL302408B2 (en) 2013-10-16 2024-09-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
USD749044S1 (en) 2013-10-17 2016-02-09 Microsoft Mobile Oy Charger
US9111076B2 (en) * 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
USD740369S1 (en) 2013-12-26 2015-10-06 Lg Electronics Inc. Controller for electronic learning device
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
CN106461955B (zh) 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN110308561A (zh) 2014-03-14 2019-10-08 索尼互动娱乐股份有限公司 用于头戴式显示器(hmd)的方法和系统
US9495801B2 (en) * 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
USD755761S1 (en) 2014-08-13 2016-05-10 Comcast Cable Communications, Llc Electronic housing with illuminated region
USD769876S1 (en) 2014-08-29 2016-10-25 Apple Inc. Component for electronic device
US10534447B2 (en) 2014-09-01 2020-01-14 Yinbo Li Multi-surface controller
WO2016036711A1 (en) * 2014-09-01 2016-03-10 Cleverpet Llc Animal interaction device, system, and method
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US10265043B2 (en) * 2014-10-14 2019-04-23 M3Dicine Ip Pty Ltd Systems, devices, and methods for capturing and outputting data regarding a bodily characteristic
USD753095S1 (en) 2014-12-11 2016-04-05 Comcast Cable Communications, Llc Remote and base with illuminated region
WO2016104922A1 (ko) 2014-12-24 2016-06-30 전자부품연구원 웨어러블 전자기기
JP2016162368A (ja) 2015-03-04 2016-09-05 ソニー株式会社 制御装置、制御方法、およびプログラム
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US10412173B2 (en) * 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
USD763359S1 (en) 2015-05-29 2016-08-09 Vtech Electronics, Ltd. Game controller
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
CN105975082B (zh) * 2016-05-27 2019-01-15 北京小鸟看看科技有限公司 一种应用于虚拟现实头戴设备的手柄控制器
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
USD797743S1 (en) 2016-08-22 2017-09-19 Magic Leap, Inc. Totem controller
IL307594A (en) 2016-08-22 2023-12-01 Magic Leap Inc Virtual, augmented and mixed reality systems and methods
US10764053B2 (en) * 2016-09-26 2020-09-01 Snap Inc. Systems and methods for device pairing with optical codes
US10444987B2 (en) 2016-12-19 2019-10-15 Microsoft Technology Licensing, Llc Facilitating selection of holographic keyboard keys
US11163416B2 (en) 2017-04-27 2021-11-02 Magic Leap, Inc. Light-emitting user input device for calibration or pairing
USD844608S1 (en) 2017-04-28 2019-04-02 Facebook Technologies, Llc Electronic input device
USD828337S1 (en) 2017-06-20 2018-09-11 Yinbo Li Multi-surface controller
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD884700S1 (en) 2018-08-30 2020-05-19 Shenzhen Grandsun Electronic Co., Ltd. Remote controller

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008521136A (ja) * 2004-11-17 2008-06-19 アトルア テクノロジーズ インコーポレイテッド 入力システム及び電子システム構成方法
JP2008541222A (ja) * 2005-06-02 2008-11-20 サムスン エレクトロニクス カンパニー リミテッド ユーザ命令を３次元的に入力可能な電子装置
JP2010015535A (ja) * 2008-06-02 2010-01-21 Sony Corp 入力装置、制御システム、ハンドヘルド装置及び校正方法
JP2011024613A (ja) * 2009-07-21 2011-02-10 Sony Computer Entertainment Inc ゲーム装置
JP2013515999A (ja) * 2009-12-24 2013-05-09 株式会社ソニー・コンピュータエンタテインメント 無線デバイスのペアリング及びグルーピング方法
JP2015072582A (ja) * 2013-10-02 2015-04-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、及び、ポインティング装置用プログラム
JP2017511082A (ja) * 2014-01-31 2017-04-13 ユースクエア ソフト インコーポレーテッド 移植可能なプロセッシングとアプリケーション実行の装置および方法
US20160062489A1 (en) * 2014-09-01 2016-03-03 Yinbo Li Multi-surface controller
WO2017048519A1 (en) * 2015-09-16 2017-03-23 Google Inc. Touchscreen hover detection in an augmented and/or virtual reality environment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022149989A (ja) * 2021-03-25 2022-10-07 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス
JP7311550B2 (ja) 2021-03-25 2023-07-19 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス

Also Published As

Publication number Publication date
IL270146B1 (en) 2024-03-01
US20180314406A1 (en) 2018-11-01
CN110832439A (zh) 2020-02-21
EP3616040B1 (en) 2022-09-28
EP4141623A1 (en) 2023-03-01
IL310727A (en) 2024-04-01
CN117311494A (zh) 2023-12-29
US12067209B2 (en) 2024-08-20
US11112932B2 (en) 2021-09-07
JP7231556B2 (ja) 2023-03-01
US11573677B2 (en) 2023-02-07
KR20200003391A (ko) 2020-01-09
EP3616040A4 (en) 2020-12-23
JP7335462B2 (ja) 2023-08-29
EP3616040A1 (en) 2020-03-04
US20240201823A1 (en) 2024-06-20
JP2023169895A (ja) 2023-11-30
WO2018201067A1 (en) 2018-11-01
JP7385078B1 (ja) 2023-11-21
IL270146B2 (en) 2024-07-01
US11163416B2 (en) 2021-11-02
US20230221831A1 (en) 2023-07-13
AU2018258679A1 (en) 2019-11-07
CA3059209A1 (en) 2018-11-01
JP2023052570A (ja) 2023-04-11
IL270146A (en) 2019-12-31
EP4414951A2 (en) 2024-08-14
KR102472428B1 (ko) 2022-11-30
EP4141623B1 (en) 2024-05-29
US20180314416A1 (en) 2018-11-01
AU2018258679B2 (en) 2022-03-31
JP2023179746A (ja) 2023-12-19
CN110832439B (zh) 2023-09-29
US20220019333A1 (en) 2022-01-20

Similar Documents

Publication Publication Date Title
JP7335462B2 (ja) 発光ユーザ入力デバイス
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
JP7186913B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
JP7546659B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
KR102413561B1 (ko) 혼합 현실 환경의 가상 사용자 입력 콘트롤들
JP7118007B2 (ja) 視野周辺の視覚的背光

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230216

R150 Certificate of patent or registration of utility model

Ref document number: 7231556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150