CN109791446A - 使用虚拟射线控制对象 - Google Patents

使用虚拟射线控制对象 Download PDF

Info

Publication number
CN109791446A
CN109791446A CN201780051828.1A CN201780051828A CN109791446A CN 109791446 A CN109791446 A CN 109791446A CN 201780051828 A CN201780051828 A CN 201780051828A CN 109791446 A CN109791446 A CN 109791446A
Authority
CN
China
Prior art keywords
hand
held controller
control
user
controllable pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780051828.1A
Other languages
English (en)
Inventor
杰夫·格利克森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LEWA
Reavire Inc
Original Assignee
LEWA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LEWA filed Critical LEWA
Publication of CN109791446A publication Critical patent/CN109791446A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

用于控制对象(150，154)的技术包括手持式控制器(120)，其提供用于生成虚拟射线(130)的输出。虚拟射线具有位置和方向。基于来自周围空间中的传感器(140a‑140c)的输入，测量虚拟射线的位置作为手持式控制器的位置。当用户移动和/或旋转手持式控制器时，虚拟射线扫过空间，与各个对象交会。当虚拟射线与身份和位置已知的可控对象的位置交会时，手持式控制器识别该对象并从用户接收用于控制该对象的遥控器输入。使用手持式控制器，用户可以控制空间中具有已知身份和位置的任何可控对象，并且可以控制虚拟对象和物理对象。

Description

使用虚拟射线控制对象
相关申请的交叉引用
本申请要求以下在先提交的临时专利申请的优先权：
于2016年8月23日提交、名称为“SECURE HUB FOR DISPATCH OF RIGHTS ANDVERIFICATION OF IDENTITY，USING A UNIFORM AUTHENTICATION METHOD WITH MULTI-FACTOR VARIABLE AUTHENTICATION STRENGTH”、申请号为62/378,486的美国临时申请；
于2016年8月23日提交的题为“VIRTUAL SENSITIVE COMPARTMENTED INFORMATIONFACILITY”、申请号为62/378,494的美国临时申请；
于2016年8月23日提交的题为“UNIVERSAL CONTROLLER FOR REAL AND VIRTUALOBJECTS IN THREE DIMENSIONAL SPACE”、申请号为62/378,498的美国临时申请；
于2016年9月20日提交的、题为“SYSTEM FOR AUGMENTED REALITY REFERENCED TOA COMNON COORDINATE SYSTEM IN REAL THREE-DIMENSIONAL SPACE，INCLUDINGMETHODFOR CONTROL AND MOVEMENT OF VIRTUAL OBJECTS BETWEEN SEPARATE PHYSICALSPACES”、申请号为62/397,226的美国临时申请；以及
于2017年4月27日提交的题为“COEXTENSIVE REAUTY SYSTEM”、申请号为62/491,048的美国临时申请。
上面列出的每个临时专利申请的内容和教导通过引用整体并入本文。
背景技术
遥控器是许多消费电子设备和电器的重要组成部分。红外(IR)遥控器是几乎所有电视机、蓝光盘播放器、音频系统或其他电子娱乐产品的标准设备。为了使用IR遥控器，用户将遥控器指向设备并按下按钮。遥控器将用户的按钮按压转换为IR信号，该IR信号在空中行进并入射在设备中的IR探测器上。该设备将检测到的IR信号转换为对应的命令，设备执行该命令以实现所需的状态或设置改变。
一些消费性设备使用射频(RF)遥控器。RF遥控器将用户按钮按压转换为RF通信信号，该RF信号在空中行进并入射在支持RF的设备内的天线上。设备内的电路对RF信号进行解码，将其转译为命令，并实施命令以实现所需的改变。
各种通用遥控器在本领域中也是已知的。用户可以通过输入代码对通用遥控器进行编程，该代码标识要控制的设备的品牌和型号。当用户按下按钮时，通用遥控器(例如，从机载数据库)获取针对输入的设备品牌和型号的命令，并继续实施该控制命令。IR和RF通用遥控器都是已知的，并且有一些通用遥控器结合了IR和RF技术。
遥控器的其他已知解决方案包括智能家居软件门户和语音激活系统。而且，可以将应用下载到传统的智能电话，使智能电话能够用作遥控器。
发明内容
遗憾的是，遥控器趋于快速增加，并且普通家庭包括许多遥控器，从而它们数量庞大而难以进行管理。一些遥控器很少被使用。其他遥控器经常被放错位置。通用遥控器可以有助于减少家庭中遥控器的数量，但是对于一些人来说，它们可能难以编程和使用。
与遥控器的现有解决方案相比，一种用于控制对象的改进技术包括提供用于生成虚拟射线的输出的手持式控制器。虚拟射线具有位置和方向。基于来自周围空间中的传感器的输入，测量虚拟射线的位置作为手持式控制器的位置。当用户移动和/或旋转手持式控制器时，虚拟射线扫过空间，与各个对象交会。当虚拟射线与身份和位置已知的可控对象的位置交会时，手持式控制器识别该对象并从用户接收用于控制该对象的遥控器输入。使用手持式控制器，用户可以控制空间中具有已知身份和位置的任何可控对象。
有利地，单个手持式控制器可以代替许多单独的遥控器，为各种设备和家电提供单个控制范例。该控制范例实现了许多便利和优点，并且可扩展到虚拟对象以及物理对象。
在一些示例中，测量手持式控制器的位置包括从手持式控制器发送无线信号。无线信号在空间中传播并遇到多个天线，这些天线处理无线信号以产生相应的输出。处理该输出以得到手持式控制器的位置。
在一些示例中，手持式控制器包括点击捕获特征，由此用户可以点击按钮来捕获虚拟射线当前在空间内交会的任何对象的身份。在身份被捕获的情况下，用户可以自由地将手持式控制器重新定向到任何舒适的角度并选择和控制任何捕获的对象，即使手持式控制器可能不再指向任何捕获的对象。
在一些示例中，手持式控制器存储先前控制的对象的历史。用户可以从历史中选择可控对象并向该对象发送控制指令，而无需将手持式控制器指向对象，或甚至无需手持式控制器位于同一房间中。
在一些示例中，可控对象的控制位置被建立为3D空间中的用户定义区域。控制位置可以与对象的部分或全部交会，或者它可以以用户定义的方式与对象偏移。
用户可以通过训练过程建立可控对象的用户定义位置。在一些示例中，训练过程可以包括将手持式控制器指向空间中的多个训练位置中对象的期望控制位置，并将期望控制位置识别为从训练位置延伸的虚拟射线的交会区域。在其他示例中，训练过程包括使手持式控制器触及期望的控制位置，以将控制位置建立为手持式控制器的当前位置。在一些示例中，例如，训练可以包括通过针对对象的顶点进行训练来在二维或三维空间中定义范围，使得整个范围变为控制位置。在其他示例中，训练可以包括识别多个不同区域，其中任何不同区域提供对象的控制位置。
在一些示例中，可控对象是虚拟对象。例如，手持式控制器可以与3D头戴式视图器通信操作，该3D头戴式视图器在周围空间中的已知位置处将虚拟对象显示成全息图。当使用3D头戴式视图器时，用户可以操作手持式控制器来选择和操纵通过3D头戴式视图器可见的全息图。在一些示例中，与3D头戴式视图器通信操作的手持式控制器提供全息指示设备，用户可操作该全息指示设备来选择和操纵通过3D头戴式视图器可见的全息图。
某些实施例涉及一种使用手持式控制器在三维(3D)空间中控制对象的方法。该方法包括存储将多个可控对象与该可控对象在3D空间中的相应控制位置相关联的对象数据库。每个控制位置表示3D空间中的相应区域，手持式控制器可以指向该区域以控制相应的可控对象。该方法还包括测量手持式控制器在3D空间中的位置，以及测量手持式控制器在3D空间中的取向。该方法还包括将手持式控制器的测量位置与手持式控制器的测量取向相结合以构造虚拟射线，该虚拟射线具有位于手持式控制器的测量位置处的原点和基于手持式控制器的测量取向的方向。响应于手持式控制器指向使得虚拟射线与对象数据库中的可控对象的控制位置交会，该方法还包括(i)由手持式控制器接收用户输入以控制可控对象，以及(ii)从手持式控制器发送控制指令以基于用户输入控制可控对象。
其他实施例涉及一种用于控制对象的手持式控制器。手持式控制器包括用户接口、无线通信接口和测量电路，该测量电路被配置为测量手持式控制器在3D(三维)空间中的取向。手持式控制器还包括一组处理器和存储器。该组处理器和存储器一起形成控制电路，该控制电路被构造和布置成：指示测量电路产生手持式控制器的取向的测量结果；以及指示无线接口向多个传感器发送无线信号，该无线信号包括携带手持式控制器的取向的测量结果的信号，以便(i)能够基于多个传感器接收到的无线信号来测量手持式控制器的位置，以及(ii)生成虚拟射线，每个虚拟射线具有位于手持式控制器的相应测量位置处的原点和基于手持式控制器的相应测量取向的方向。控制电路还被构造和布置成：识别与虚拟射线中的一条虚拟射线交会的可控对象，以及指示无线接口发送用于控制所识别的可控对象的控制指令。
提供前述发明内容是出于说明的目的，以帮助读者容易地掌握本文给出的示例特征；然而，前述发明内容并非旨在阐述必需的元件或以任何方式限制本发明的实施例。应当理解，上述特征可以以任何具有技术意义的方式组合，并且所有这种组合旨在在本文中被公开，而不管是否明确地标识这种组合。
附图说明
根据如附图所示的对本发明的特定实施例的以下描述，上述特征和优点和其它特征和优点将会是显而易见的，贯穿不同视图，相同的附图标记表示相同或相似的部件。附图不一定按比例绘制，相反，重点在于说明各个实施例的原理。
图1是可实施改进技术的实施例的示例环境的俯视平面图。
图2是可以结合图1的电子环境使用的示例电子部件的框图。
图3是示手持式控制器的正视图；
图4是图3的示例手持式控制器的某些电子特征的框图。
图5A和图5B是图3和图4的手持式控制器的视图，描绘了使用手持式控制器来选择电视。
图6A和图6B是图3和图4的手持式控制器的视图，描绘了使用手持式控制器来选择多个对象中的一个对象。
图7A-图7C示出了针对特定控制位置来训练手持式控制器的各种示例方面。
图8示出了针对空间中的特定范围来训练手持式控制器的示例布置的正视图。
图9示出了用于训练手持式控制器将控制位置识别为多个不同区域的布置的向上视图。
图10示出了与图3和图4的手持式控制器适配使用的传统电子设备的正视图。
图11是图1的环境的俯视平面图，在该环境中用户佩戴3D头戴式视图器并使用手持式控制器来控制全息图。
图12示出了图1的环境的一部分，其中用户使用手持式控制器来选择和操纵全息图。
图13是设计成刀外观的示例手持式控制器的侧视图。
图14是设计成枪外观的示例手持式控制器的侧视图。
图15是示出了控制3D空间中的对象的示例方法的流程图。
具体实施方式
现在将描述本发明的实施例。应当理解，这些实施例是作为示例提供的，以说明本发明的某些特征和原理，但是本发明不限于所描述的特定实施例。
用于控制对象的改进技术包括手持式控制器，其与相隔的服务器通信以生成虚拟射线。当虚拟射线与身份和位置已知的可控对象的位置交会时，手持式控制器识别该对象并从用户接收用于控制该对象的遥控器输入。使用手持式控制器，用户可以控制空间中具有已知身份和位置的任何可控对象。在一些示例中，可控对象是虚拟对象，并且手持式控制器用作全息指示器设备。
图1示出可实施这里的改进技术的实施例的示例环境100。这里，用户110位于3D(三维)物理空间112中并且操作手持式控制器120以控制物理空间112中的对象。例如，这样的对象可以包括电视机150、扬声器152(例如，152a-152d)和蓝光盘播放器154。手持式控制器120包括用于测量其自身在3D空间112中的取向的测量电路。手持式控制器120还包括无线接口，用于使用诸如Wi-Fi(IEEE 802.11)和/或蓝牙信号之类的无线信号与服务器装置160通信。
放置在物理空间112中的相应位置处的传感器140(例如，140a-140c)检测手持式控制器120的存在，并提供检测信息作为输出。使用有线连接或无线连接，来自传感器140的输出耦合到服务器装置160，该服务器装置160被配置为处理输出并根据其来测量手持式控制器120在物理空间112中的3D位置。
如图所示，服务器装置160包括地图数据162、对象数据库164和射线跟踪器166。地图数据162描述物理空间112的物理特征，诸如墙壁、地板、天花板、家具、楼梯、门、窗等的位置、尺寸和取向。地图数据162可以根据任何适当的3D坐标系表达这些特征的位置。对象数据库164存储关于物理空间112中的可控对象(例如，电视机150、扬声器152和蓝光盘播放器154)的信息。例如，这样的信息可以包括每个可控对象的唯一标识符、该可控对象的别名(昵称)、用于利用手持式控制器120控制对象的用户接口屏幕库、用于改变对象的状态和/或设置的一组控制指令和对应的代码、以及任何其他需要的或相关的信息。对象数据库164还可以存储与每个对象相关的控制位置，该控制位置可以根据如上所述的同一3D坐标系来表达。如本文所使用的，“控制位置”是针对可控对象定义的在3D空间112中的物理范围，并且手持式控制器120可以指向该物理范围来控制可控对象。
在示例操作中，用户110将手持式控制器120指向物理空间112中的某处。当用户110移动并旋转手持式控制器120时，手持式控制器120中的测量电路生成新的取向测量结果122，并且向服务器装置160发送(例如，经由无线信号)新的测量结果。同时，传感器140检测(例如，经由路径142a-142c)手持式控制器120的存在，生成输出，并向服务器装置160发送它们的输出。服务器装置160接收来自传感器140的输出，并生成手持式控制器120在3D空间112中的位置的更新测量结果。然后，服务器装置160中的射线跟踪器166通过将从手持式控制器120接收的取向测量结果与对应的位置测量结果组合，生成虚拟射线。每个虚拟射线130具有：“原点”，该原点可以是手持式控制器120的测量位置；以及对应的“方向”，该方向基于同时测量的手持式控制器120的取向。在一些示例中，服务器160可以将来自测量电路的输出调整已知角度，使得虚拟射线130的方向始终平行于手持式控制器120延伸，这类似于可以从传统IR遥控器的末端延伸IR射束的方式。然而，应当理解，虚拟射线本质上是非物理射线，而是参照3D空间112的几何实体。例如，每个虚拟射线130的原点是具有一组坐标的3D空间中的点。每个虚拟射线130的方向是在3D坐标系中相对于该组坐标形成的角度。
当用户120移动并旋转手持式控制器120时，虚拟射线130扫过物理空间112并与各种对象的位置交会。当虚拟射线130与对象数据库164中列出的可控对象的控制位置交会时，服务器装置160检测到交会并且使用例如无线信号将交会内容124发送回手持式控制器120。
例如，交会内容124可以包括与交会对象相关联地存储在对象数据库164中的某些信息，如唯一名称和/或别名。交会内容124还可以包括用于控制交会对象的控制集、用于与交会对象交互的用户接口屏幕、和/或其他信息。
手持式控制器120接收交会内容124并向用户110提醒交会对象。例如，手持式控制器120在触摸屏上显示交会对象的标识符。然后，用户110可以与手持式控制器120交互，以提供用于控制交会对象的用户输入。例如，手持式控制器120经由触摸屏和/或物理按钮或其他控件来接收用户输入，并发送用于控制交会对象的指令。在一些示例中，手持式控制器120例如使用Wi-Fi信号或蓝牙信号直接向交会对象发送指令。在其他示例中，手持式控制器120向服务器装置160发送指令，该服务器装置160又向交会对象发送指令以实现用户指定的状态和/或设置的改变。
在示例中，传感器140实现为天线的形式，该天线检测从手持式控制器120以及附近的其他无线设备发出的Wi-Fi(IEEE 802.11)信号。响应于天线检测到诸如Wi-Fi分组之类的无线信号，天线向服务器装置160发送关于检测的信息，该服务器装置160处理该信息以及来自其他天线的类似检测信息以定位无线信号的源。在2017年3月7日提交的题为“CONTROLLING ACCESS TO A COMPUTER NETWORK USING MEASURED DEVICE LOCATION”的申请号为15/452,451的美国专利申请中描述了这种方法的示例，该申请通过引用并入本文。使用所并入的文献中公开的方法，服务器装置160能够在一厘米的精度内测量手持式控制器120的位置。应当理解，天线可以用于使用各种技术来定位对象，并且本发明不限于所并入的文献中公开的特定技术。而且，除了天线之外，在各种实施例中还可以使用传感器，如相机、声波换能器等。
使用所并入的文献中描述的方法(和类似方法)，手持式控制器120发送的每个Wi-Fi分组可以用作相应位置测量的基础，只要手持式控制器120在足够多数量的天线(通常是三个或更多天线)的范围内。此外，用作测量位置的基础的相同Wi-Fi分组可以携带取向信息122，用于传达手持式控制器120的取向。
用于生成虚拟射线130的位置和取向测量结果涉及相同时间点或几乎相同的时间点。然而，应当理解，不需要严格的同时性，只要对取向进行采样与发射分组之间的任何时间差足够小，在人的角度来看可以忽略不计即可。对应的取向和位置的测量结果在本文中被认为是同时的，只要它们在时间上相差小于几毫秒即可。
如上所述，当虚拟射线130与对象的控制位置交会时，服务器装置160检测到可控对象。可控对象的控制位置可以是二维区域或三维区域。例如，电视机150的控制位置可以是二维的，这是因为用户110不太可能想要从侧面控制电视机150。然而，扬声器152的控制位置可以是三维的，这是因为用户110更有可能想要从多个角度控制扬声器。对象的控制位置通常与用户110在控制对象时看到的对象的可视表面或体积一致。然而，这不是严格要求的，这是因为用户110可能希望控制位置偏离被控制对象。例如，灯(未示出)的控制位置可以设置为与放置灯的桌子一致。实际上，可以非常灵活地放置控制位置，并且考虑用户便利性，而且控制位置也不必与被控制对象的物理位置相关。
沿着相同的线，一些对象的控制位置可以在空间上与这些对象的电子控制器的位置相分离。例如，扬声器152的控制位置可以对应于它们在空间中的物理体积，即使扬声器152可以由位于其他地方的放大器控制。在示例中，用户110可以将手持式控制器120指向任何扬声器152以调高或调低音量。如该示例所示，可以以多个不同区域的形式来提供对象的控制位置，这是因为用户110可以通过指向它们中的任何一个来控制所有四个扬声器的音量。
虽然本文已经将某些活动归于手持式控制器120，并且已经将其他活动归于服务器装置160，但是应当理解，这些活动可以由任一个或两者执行。例如，手持式控制器120，而不是服务器装置160，可以存储地图162和/或对象数据库164。为了测量手持式控制器120的位置，服务器装置160可以仅用作用于对来自传感器140的输出进行预处理的枢纽，并且预处理结果被发送到可以产生位置测量结果的手持式控制器120。然而，可以通过避免在手持式控制器120中永久存储地图或对象信息来实现更好的安全性。
图2更详细地示出了服务器装置160和相关组件的示例。这里，服务器装置160包括LPS(本地定位服务)基站210、存储库(vault)设备220、应用服务器230和交换机/路由器240。在各种示例中，这些组件可以单独提供，作为单个集成单元提供，或者作为物理单元的任何组合提供。
LPS基站210从传感器(例如，天线)140接收输入，并根据其生成手持式控制器120的位置、以及附近的其他Wi-Fi设备的位置。在示例中，LPS基站210使用设备发射的作为其正常通信的一部分的无线分组(例如，以太网Wi-Fi分组)来测量设备位置。LPS基站210维护在传感器140的范围内的安全区212的3D地图。安全区212定义了相对于物理空间112的区域，在该区域中允许与交换机/路由器240进行Wi-Fi通信。在示例中，由LPS基站210接收的分组仅当来源于被确认位于安全区212内的设备时，才允许这些分组被传送到交换机/路由器240。可以在上面并入的申请号为15/452,451的美国专利申请中找到使用天线和LPS基站210的位置测量的进一步细节。
存储库设备220是用于存储和分派权限的安全枢纽。这些权限可以包括用于访问特定内容的内容权限、用于与另一方建立通信的通信权限、以及用于对特定设备或元件执行动作的动作权限。例如，存储库设备220可以安全地存储地图数据162和对象数据库164或其部分，并且可以使用内容权限和/或通信权限来安全地控制该地图和对象数据的发放。存储库设备220的进一步细节可以在2016年11月9日提交的题为“VAULT APPLIANCE FORIDENTITY VERIFICATION AND SECURE DISPATCH OF RIGHTS”的申请号为15/347,551的美国专利申请中找到，该申请的内容和教导通过引用并入本文。
LPS基站210和存储库设备220的特征提高了安全性并提供了其他益处，但除非另有说明，否则它们的具体细节应被视为是可选的。
应用服务器230是被配置为运行软件应用(例如，应用232)的计算机化设备。应用服务器230可以实现为通用计算机或专用系统，例如游戏枢纽。
交换机/路由器240可以具有传统设计。例如，交换机/路由器240具有LAN(局域网)端口，用于连接到LPS基站210、存储库设备220和应用服务器230，以及用于在整个物理空间112中分配有线LAN170。交换机/路由器240还可以具有WAN(广域网)端口，用于连接到WAN/互联网250。在一些示例中，交换机/路由器240仅是有线设备，而无线服务由LPS基站210例如使用一个或多个天线执行。在其他示例中，交换机/路由器240直接支持有线通信和无线通信两者。
使用WAN端口，交换机/路由器240可以连接到一个或多个公共服务器260。这些可以包括在线商店(例如，用于购买软件、购买游戏、下载用于可控对象的控制软件等)和各种服务器以支持基于存储库的通信。例如，交换机/路由器240还支持通过WAN/互联网250与其他用户的类似配置的网络进行通信，以支持跨不同本地网络和位置的多玩家游戏或其他应用。
尽管没有具体示出，但是应当理解，LPS基站210、存储库设备220和应用服务器230均包括它们自己的处理电路和存储器。每个存储器可以存储指令，当由相应的处理电路运行时，该指令使处理电路执行如本文所述的各种过程和活动。除非另外说明，否则应当理解，归于服务器装置160的任何活动可以由所包括的任何组件执行，或者由这些组件的任何组合执行。
在示例中，手持式控制器120是在并入的申请号为15/347,551的美国专利申请中描述的类型的存储库网络元件。而且，可控物理对象可以是存储库网络元件或设备，即，向存储库设备220登记且符合存储库协议的元件或设备。作为存储库元件，手持式控制器120仅在安全区212内操作。例如，服务器装置160可以被配置为当无法确认手持式控制器120的位置位于安全区212内时，忽略从手持式控制器120接收的任何分组。
在一些示例中，存储库协议可以允许手持式控制器120在其他存储库网络上使用。例如，用户110可以将手持式控制器120带到(不同的物理空间中的)不同的存储库网络，并且可以在另一空间中使用手持式控制器120用于有限的目的。
图3示出了手持式控制器120的示例物理布置。手持式控制器120的控件和接口的示例如下所指示：
·触摸屏310：可编程触摸屏。
·常用动作动态背光垫(Backlit Pad)312：所选对象的最常见动作的控件。
·左侧多功能按钮320a：选择/导航按钮。
·右侧多功能按钮320b：选择/导航按钮。
·窄视场相机330：用于照片、视频、地图或游戏的光纤光管或其他窄视场相机。
·自拍相机332：可用于生物认证和识别。
·通信扬声器340：电话或其他音频功能的扬声器。
·麦克风342：用于语音命令、语音ID(认证/识别)、电话和/或其他音频用途。
·齐平接触(Flush Contact)本地接口350：交互式视频游戏设备接口。
·指纹传感器360：生物认证和识别输入。
图3中所示的物理布置旨在是说明性的。例如，手持式控制器120可以包括附加的按钮、控件和接口。备选地，它可以包括更少的按钮、控件和接口，或者与所示的按钮、控件和接口不同的按钮、控件和接口。
在一些示例中，用户110需要在使用手持式控制器120之前向其认证。自拍相机332、麦克风342和指纹传感器360支持各种形式的生物认证。而且，在一些示例中，手持式控制器120可以支持多个用户，每个用户在使用之前需要向手持式控制器120认证。
图4示出了手持式控制器120的附加组件的示例布置，该手持式控制器120可以包括以下各项：
·无线接口410：Wi-Fi接口和/或蓝牙接口。
·用户接口420：支持图3中所示的触摸屏310以及各种按钮和控件的硬件和软件。
·测量电路430：取向测量电路，例如惯性测量单元(IMU)，
用于测量手持式控制器120的取向。
·加速度计440：用于测量手持式控制器120的加速度。加速计可以设置为测量电路430的一部分或单独设置。
·处理器450：一个或多个微处理器和/或微控制器、以及用于执行数据处理的相关处理硬件。
·存储器460：非易失性存储器，例如一个或多个ROM(只读存储器)闪存驱动器和/或磁盘驱动器，以及易失性存储器，例如RAM(随机存取存储器)。
·电池470：为手持式控制器120供电的电池。可以是可充电的或一次性的。
处理器450和存储器460一起形成控制电路，该控制电路被构造和布置为执行本文所描述的各种方法和功能。此外，存储器460包括以可执行指令形式实现的各种软件结构。当可执行指令由处理器450运行时，使处理器450执行软件结构的操作。
在一些示例中，加速度计440提供用于测量手持式控制器120的位置变化的本地机制。处理器450可以从加速度计接收输出，并且在改变无线接口420发送分组的速率时应用该输出。例如，处理器450可以响应于检测到手持式控制器120的移动的增加而指示无线接口410增加其发送分组的速率。同样地，处理器450可以响应于检测到手持式控制器120的移动的降低而指示无线接口410降低其发送分组的速率。以较高速率发送分组允许服务器装置160在手持式控制器120快速移动时更好地跟踪手持式控制器120的位置。当手持式控制器120不移动或缓慢移动时，以较低速率发送分组节省了电力(电池寿命)。为触发位置测量而发送的分组可以具有空的或几乎为空的负载。在希望获得新的位置测量结果的任何时刻，手持式控制器120可以发送这样的“定位符分组”。
在一些示例中，电池470是可充电电池，并且手持式控制器120还包括充电连接器(未示出)。根据一些变型，手持式控制器120可以设置有充电器(未示出)。充电器可以用于对手持式控制器120充电和将其保持在直立取向两者的双重目的。在一些示例中，手持式控制器120检测到其放置在充电器中并继续将测量电路430校准到直立位置。
在一些示例中，存储器460存储由手持式控制器120控制的先前对象的历史462。用户110可以浏览历史并选择先前控制的对象，向同一对象发出新的控制指令。因此，历史462提供了一种控制对象的方式，而不必将手持式控制器120指向对象，或者甚至不必在同一房间中。
图5A和图5B示出了物理空间112中的可控对象的示例检测。在图5A中，用户已将手持式控制器120指向电视机150(图1)，使得虚拟射线130与电视机150的控制位置交会。如图5B所示，手持式控制器120在触摸屏310上显示标识交会元件(“电视”）的屏幕元素510。例如，服务器装置160访问对象数据库164中的对象的控制位置，并检测到虚拟射线130与电视机150的控制位置的交会。然后，服务器装置160指示手持式控制器120在触摸屏310上显示交会组件的标识符(在这种情况下为别名)。然后，用户110可以点击屏幕元素510以选择电视机150，并继续操作用户接口控件以建立电视机150的期望设置。例如，当用户输入命令时，手持式控制器120向电视机150发送编码版的命令，该电视机150接收编码的命令，对它们进行解码，并继续以实现指定的设置。在示例中，手持式控制器120例如根据存储库网络协议在发送到电视机150的任何通信中使用滚动加密密钥。由于该示例中的电视机150也是存储库网络设备或元件，因此其遵照存储库协议操作并且包括用于对其从手持式控制器120接收的编码指令进行解密的必要密钥。
在一些示例中，手持式控制器120包括点击捕获特征520，用户可以通过按下手持式控制器120上的按钮(例如，左侧多功能按钮320a(如图所示))或任何按钮或控件来调用该特征。用户110在将手持式控制器120指向电视机150的同时(即，在虚拟射线130与针对电视机150定义的控制位置交会的同时)调用点击捕获特征520。在被调用之后，点击捕获特征520捕获并保持对电视机的检测，这允许用户110不再将手持式控制器120指向电视机150。而是，用户110可以将手持式控制器120定向在任何舒适或方便的角度，并继续输入用于控制电视机150的用户输入。因此，点击捕获特征520将用手持式控制器120进行指向所提供的特异性与能够在不继续指向的情况下控制对象的舒适性相结合。
图6A和图6B示出了物理空间112中的可控对象的多个检测的示例。在图6A中，用手持式控制器120进行指向使得虚拟射线130与三个不同元件(即，电视机150、放大器620和低音炮630)交会。检测如前所述进行，但是这次检测到所有三个对象，这是因为虚拟射线130与它们中的所有三个对象的控制位置都交会。
在图6B中，手持式控制器120在触摸屏310上显示标识交会元件的屏幕元素610(“电视”、“放大器”和“低音炮”)。如上所述，用户110可以操作触摸屏310以选择任何显示对象并提供用于控制所选对象的用户输入。如果用户110在指向所有三个对象的同时调用点击捕获特征520，则手持式控制器120捕获并保持对所有三个对象的检测，使得用户可以选择期望的对象并从任何舒适的角度输入用于建立其设置的用户输入。
在一些示例中，服务器装置160可以在检测与虚拟射线130交会的对象时应用地图信息162。例如，服务器装置160可以过滤掉从手持式控制器120的有利位置看的已知隐藏对象，例如墙壁后面的对象、不同的房间中的对象等。这种过滤可以有助于避免向用户110呈现与用户当前位置不太可能相关的选项。根据一些变型，是否过滤掉当前不可见的对象可以是基于每个对象分配的属性，这是因为可能期望保留该选项以控制当前不可见的某些对象。
图7A-图7C示出了用户110可以采用的用于建立可控对象710的控制位置的各种技术。在图7A中，用户110例如通过操作适当的控件将手持式控制器120置于训练模式，并将手持式控制器120指向对象710。对于该示例，假设对象710是向存储库网络登记过但没有指定控制位置的可控对象。
在训练模式中，手持式控制器120可以显示由窄视场相机330(图3)捕获的图像。优选地，相机330安装在手持式控制器120中，使得其光轴730与虚拟射线130的方向对准。例如，光轴730和虚拟射线130布置成是平行的。在一些示例中，光轴730和虚拟射线130可以是共线的。在任一种布置中，相机330的视场中心紧密地对应于虚拟射线130在对象上的可视化交会点。手持式控制器120可以显示十字准线722以允许精确定心。当指向对象710时，手持式控制器120可以将该模式下的特定按钮按压解释为登记虚拟射线130的当前值(例如，其位置和方向)的指令。
单个有利位置通常不足以标识可控对象的控制位置。例如，图7A中的虚拟射线130的值仅指示对象710的控制位置沿虚拟射线130位于某处。至少还需要一个其他有利位置。
在图7B中，用户110从不同的有利位置观察对象710并且登记虚拟射线的三个值130a、130b和130c。虚拟射线130a、130b和130c的交会点唯一地标识对象710的位置。
在图7B中，用户仅用手持式控制器120触摸对象710或对象710的一部分。用户110可以按下按钮以标识触摸，或者手持式控制器120可以例如通过监测加速度计440的输出来自动检测触摸。可以将接触点710a视为手持式控制器120在接触时的位置。例如，在检测到接触时，处理器450可以通过接收用户按钮按压或通过监测加速度计440来指示无线接口410发送定位符分组。
在将对象的控制位置简单地视为空间中的点的情况下，服务器装置160可以为该“点”赋予某个默认大小，例如几平方厘米，以便不需要过度努力就可以将手持式控制器120瞄准控制位置。在其他示例中，不单独使用该点，而是使用多个点之一来定义对象的控制位置。
图8示出了范围训练的示例，用户110可以使用范围训练来标识对象810的控制位置。这里，对象810具有矩形棱柱的形状，具有八个顶点，包括四个前顶点820a-820d和四个后顶点830a-830d。使用多个有利位置和/或触摸训练(图7B和/或图7C)，用户110可以针对八个顶点中的每个顶点或它们的任何子集来训练手持式控制器120。用户110还可以针对非顶点的其他点进行训练。然后，系统(手持式控制器120和服务器装置160)生成对象810的控制位置，作为包括所有训练后顶点的最小凸范围。当使用范围训练时，训练后的点不必具有任何有限大小，这是因为训练后的点一起用于形成形状。
应该理解，对象810的控制位置可以是二维的，或者可以是三维的。例如，如果对象810是放置在墙壁上的平板电视，则将其位置训练为3D范围可能没什么益处，这是因为用户110在控制它时可能总是在对象的前面。在这种情况下，2-D平面区域可能就足够了(例如，使用阴影线所示)。备选地，如果对象810是位于房间中心的人造壁炉，则将对象810训练为3D范围可以提供更好的结果，这是因为3D范围允许用户110容易地从任何角度将手持式控制器120指向控制位置。
图9示出了关联点训练的示例。所描绘的视图是天花板的视图(向上看)。天花板可以具有嵌入式灯910a-910d和吊扇920。在该示例中假设灯910a-910d和吊扇920具有相应的电子控制器(未示出)，其是存储库网络元件或设备。
但是对于吊扇920的存在，使用范围训练来建立灯910a-910d的控制位置可能是有意义的，这是因为单个矩形可以包含所有四个灯。用户110可以简单地将手持式控制器120直接指向上方并按下点击捕获按钮，而不需要特别仔细地瞄准。然而，对灯910a-910d使用范围训练会引起歧义，手持式控制器120是指向灯910a-910d还是指向吊扇920。
为了避免选择对象时的歧义，用户110可以对灯910a-910d采用关联点训练。这样的训练单独训练每个灯，但将这些灯定义为组的一部分。可以使用任何上述方法(多个有利位置、触摸或各个灯的范围)来训练出各个灯的位置。然后，对象数据库164将灯910a-910d与所有训练后位置相关联，使得手持式控制器120指向任何训练后位置都将使用户能够一起控制所有灯910a-910d。
尽管本文已经基于虚拟射线130与对象的控制位置的精确交会描述了对可控对象的检测，但是应当理解，本文的实施例还可以包括近似交会。例如，即使虚拟射线130没有精确地与对象的控制位置交会，手持式控制器120也可以显示对象(如图5B中所示)。因此，系统可以允许指向误差，特别是在对象之间很少或没有歧义的情况下。系统还可以随时间学习用户习惯，并且当习惯指示用户通常做出特定选择时避免向用户呈现多个对象选项。
图10示出了使用手持式控制器120来控制非固有地是存储库设备或元件的对象的示例布置。例如，对象1010是不标配存储库网络支持的老式电视。然而，电视1010仍具有IR(红外)检测器1020，用于从传统IR遥控器接收遥控命令。
这里，提供适配器1030来作为兼容存储库网络的设备或元件。例如，适配器1030使用无线接口与存储库网络通信，并且包括IR源1032，适配器1030可以附接到电视1010，位于IR检测器1020前方。对象数据库162存储关于适配器1030的信息，其可以包括用于控制电视1010的指令。用户110将适配器1030的控制位置定义为例如包围电视1010的主体的立方体。然后，与任何兼容存储库网络的对象一样，用户110能够使用手持式控制器120指向并控制电视1010。适配器1030从手持式控制器120接收命令，IR源1032将这些命令转换为电视1010中的IR检测器1020可以接收的IR信号，使得电视1010改变其设置，这与电视1010响应其本机IR遥控时一样。
手持式控制器120提供编程者可以以各种原先且有用的方式利用的平台。例如，窄视场相机330能够精确地对物理空间绘图和表征物理空间。用户110可以在物理空间112中行走，将相机330指向墙壁、天花板、地板、家具等。通过将来自相机的图像与取向和位置信息组合，服务器装置160可以生成物理空间112的精确地图。
由于手持式控制器120具有控制物理空间中的任何可控对象的能力，因此可以开发软件应用来控制不同可控对象之间的活动。例如，用户110可以将手持式控制器120指向一个对象，例如第一计算机，并将指示器拖动到另一对象，例如第二计算机。手持式控制器120可以显示上下文相关的菜单，这使得用户110能够选择适当的动作，例如，将某些文件从第一计算机传送到第二计算机、在计算机之间建立网络连接等。作为另一示例，用户110可以将手持式控制器120指向一个计算机并拖动到电子相框，使得存储在计算机上的图片显示在电子相框上。实际上，使用手持式控制器120控制可控对象之间的动作存在几乎无限种可能。
图11示出了手持式控制器120的另一应用，这次是用于控制虚拟对象。在该示例中，用户佩戴3D头戴式视图器1110，如增强现实(AR)头戴式视图器或混合现实(MR)头戴式视图器。AAR头戴式视图器的一个示例是谷歌眼镜(Google Glass)，MR头戴式视图器的一个示例是微软全息眼镜(Microsoft HoloLens)。3D头戴式视图器1110能够生成3D图像。例如，3D头戴式视图器1110包括位于用户眼睛前方的一对透明或半透明显示元件(每只眼睛一个显示元件)。3D头戴式视图器1110还包括一个或多个相机，其扫描本地环境以识别用户周围的特征。3D头戴式视图器内的计算机生成左眼和右眼的虚拟图像，当用户110观看时，这些虚拟图像显示为物理空间中的3D对象。这些虚拟对象在本文中被称为“全息图”，并且示出了两个全息图1120和1130。在用户110看来，全息图1120和1130可以在物理空间112中具有固定位置，并且当用户移动时保持适当的透视和大小，看起来好像它们是自然环境的一部分。在示例中，3D头戴式视图器1110与手持式控制器120配对，使得两者可以在不受可能在附近操作的其他3D头戴式视图器或其他手持式控制器的干扰的情况下进行通信。
在示例中，全息图1120和1130是被输入在对象数据库164中并具有相应控制位置的可控对象。在虚拟对象的情况下，控制位置可以是由软件(例如，由游戏或其他应用)赋予的，而不是由用户110训练出的。而且，虚拟对象的控制位置可以随时间改变，例如，因为可以允许虚拟对象在空间112内移动。
用户110可以以与用户选择物理对象的方式几乎相同的方式来选择虚拟对象，即，通过将手持式控制器120指向虚拟对象的明显位置。当虚拟射线130与虚拟对象的控制位置交会时，虚拟对象的标识符出现在触摸屏310上。备选地，通常显示在触摸屏310上的元素由3D头戴式视图器1110来显示(或者，它们在这两个位置都显示)。然后，用户110可以使用手持式控制器120上的控件和/或通过3D头戴式视图器1110可见的控件与虚拟对象交互。
可以理解，使用手持式控制器120来控制虚拟对象开启了通向创新性应用的新途径。图12中示出了一个这样的应用。
图12示出了将手持式控制器120作为虚拟对象的指示器设备的示例使用。在此情况下使用的手持式控制器120可以被视为一种全息指示器或“全息鼠标”。
在所示的示例中，用户110将手持式控制器120操作为全息鼠标以与全息图1210交互。全息图1210可以是传统全息图或全息图标，用户可以激活该全息图或全息图标以执行定义的操作。3D头戴式视图器1110对全息图1210进行投影以出现在环境112中的相应位置处。在示例中，3D头戴式视图器1110将虚拟射线130投影为用户110的可见特征，并沿虚拟射线130的长度将全息光标1220(示出为“X”)投影在某处。
在示例中，当手持式控制器120用作全息鼠标时，手持式控制器120向用户提供对特定控件的访问。这些控件可以使用软控件(经由触摸屏310或通过3D头戴式视图器1110)、通过使用物理按钮或控件(例如，图3中所示的那些)或使用其某种组合来实现。全息控件的示例可包括以下各项：
·D-垫(D-Pad)：方向垫。根据使用情况，在一维模式或二维模式中使用。在一维模式中，D-垫可以定义沿虚拟射线130到全息光标1220的距离。例如，在该模式下操作D-垫使全息光标1220沿方向1230移动，即沿虚拟射线130前后移动。在二维模式中，D-垫可以与点击捕获特征520(图5)结合使用，以在二维平面周围移动全息光标1220。
·选择按钮：选择按钮用于选择和取消选择对象。
·切平面按钮：用于定义切平面。切平面与虚拟射线130正交。箭头1240示出了示例切平面。在示例中，3D头戴式视图器1110被配置为从用户视图隐藏用户110和切平面1240之间的虚拟内容。与切平面1240交会的全息图变得可见并且是当前可选择的。切平面后面的全息图通常也是可见的，但通常是不可选择的。
·旋转按钮：用户110可以旋转单个全息图，使得全息图根据用户需要来适配物理空间，或者使得用户能够看到全息图的特定部分。用户110可能希望旋转全息图的集合，使得用户可以更好地看到该集合。
·元数据按钮：元数据按钮是对典型Windows OS(操作系统)鼠标右键的3D模拟。通过在全息图上具有元数据控制点可以实现类似的效果。
以下是当将手持式控制器120用作全息鼠标时手持式控制器120的常见用途的示例：
·选择对象：全息光标1220沿着虚拟射线130放置在(真实的或虚拟的)第一对象上。当光标1220经过全息图标时，使该图标进入焦点。如果在该图标在焦点中时用户按下选择按钮，则焦点变得粘滞。这意味着在光标1220离开对象之后图标将保持在焦点中。
·选择对象集合：通过创建边界框来选择对象集合。
·在集合中添加或从集合中删除对象：这里，任意对象集合在粘滞焦点中。然后，用户110可能希望将粘滞焦点添加到另外一个或多个对象或从其删除粘滞焦点。在WindowsOS中，按下并按住控制键，同时进行选择以使得能够在集合中添加或删除一个或多个图标。如果键盘可用，则此方法继续有用。然而，由于用户110可能没有可用的键盘，因此需要另一选项。元数据按钮引出功能选项和元数据的下拉列表。其中一个选项标记为“控件”。当再次按下元数据按钮时，原来的控件选项现在标记为“释放控件”。这提供了添加和删除图标的熟悉体验，而不需要添加额外按钮或另外的物理接口。
·移动选择内容：用户110通常出于两个不同的原因希望在3D空间中移动图标。第一个原因是重新定位图标。第二个原因是移动一组图标，以便可以选择一个图标用于用户操作。在Windows OS中，该第二个概念不是必需的，因为图标都位于用户同样可见的2D平面上。在3D空间中，可能需要移动图标，以便用户可以区分它们。在示例中，通过按下D-垫来执行移动选择内容。除非已按下切片按钮，否则D-垫是一维的。选择内容(即，在粘滞焦点中的图标)将以与选择时的距离相等的距离跳到虚拟射线130。然后，通过移动手持式控制器120，选择内容将在3D空间中跟随虚拟射线130。使用D-垫将使选择内容沿着虚拟射线130的路径移动得更近或更远。再次按下选择将停止移动过程，选择内容中的对象将保持在粘滞焦点中。
·旋转选择内容：用户通过首先按下并按住旋转按钮来使选择内容旋转。当旋转按钮降下时，手持式控制器120在3D空间中的旋转控制选择内容的旋转。在按下旋转按钮时，手持式控制器120不需要指向选择内容。由于手腕不能在所有方向上自由旋转360度，因此用户可能必须按下旋转释放几次以实现选择内容的期望取向。取决于用户或应用的要求，鼠标旋转度数与选择内容旋转度数之比是灵活的。
·放置选择内容：因为移动全息图有两个原因，所以将全息图放置在新位置通常不是自动的。如果用户110在没有放置选择内容的情况下将粘滞焦点从选择内容上移除，则选择内容弹回到其原始位置。用户通过使用元数据按钮并在下拉菜单中选择该放置选择内容来放置该选择。
·切平面：切平面是一种在3D空间中搜索对象的方法。用户按下切平面按钮。用户用手持式控制器120进行指向以选择虚拟射线130的方向。在光标1220的点处创建与虚拟射线130正交的切平面1240。用户还使用D-垫来确定切平面1240沿着虚拟射线130与用户的距离。当用户对切平面1240的放置感到满意时，用户按下切平面按钮以锁定平面。如果没有做出选择，则切平面1240与所有图标(全息图)交互。如果进行了选择，则切平面1240仅与选择内容中的对象交互。切平面1240的行为如下：不显示切平面1240和用户之间的图标；用亮焦点或增强焦点显示与切平面1240交会的图标；切片屏幕后面的图标离焦；在切平面被锁定之后，用户可以将手持式控制器120指向切平面上的选择内容或者在二维模式下使用D-垫在平面范围上控制光标。
·启动：这与在Windows OS中打开文件或启动应用同义。可以是双击选择按钮，以与标准鼠标保持一致。
·改变视图：用户可以将选择内容的视图从一组图标的3D表示改变为其他格式。这可以通过按下元数据按钮来实现。鼠标不需要指向选择内容来进行动作。用户从选项列表中选择不同的视图。当被选择时，显示相应的视图。示例包括标记列表(非常类似于文件名的标准窗口)以及平面上的全息图网格。
将手持式控制器120应用于虚拟内容创造了在游戏上使用手持式控制器120的机会。例如，手持式控制器120可以被提供为混合现实游戏中的游戏控制器。当与AR或MR头戴式视图器一起使用时，用户能够通过头戴式视图器看到手持式控制器120，这是因为头戴式视图器是透明的。
为了提升更真实的游戏体验，手持式控制器120可以实现成模拟刀(图13)或模拟枪(图14)的形式。以这种方式，当在玩游戏期间用作刀时，手持式控制器120a将对用户显现为刀。同样地，当在玩游戏期间用作枪时，手持式控制器120b将对用户显现为枪。应当理解，可以产生手持式控制器的许多不同的实体实施例，并且这样的实施例可以包括针对特定用例定制的按钮和其他控件。
图15示出了可以结合环境100执行的示例方法1500。方法1500通常例如由手持式控制器120和服务器装置160中包含的软件构造来执行。可按任何适当方式对方法1500的各个动作进行排序。因此，实施例可被构造为在实施例中按与所示出的顺序不同的顺序执行动作，其可包括同时执行一些动作。
在1510处，存储对象数据库164，其将多个可控对象(例如，对象150、152、154)与该可控对象在3D空间112中的相应控制位置相关联。每个控制位置表示3D空间112中的相应区域，手持式控制器120可以指向该区域以控制相应的可控对象。
在1520处，测量手持式控制器120在3D空间112中的位置。例如，手持式控制器120发射穿过空间112到达传感器140的Wi-Fi分组，传感器140检测分组并生成输出，输出被转发到控制电路160。控制电路160处理输出以生成手持式控制器120的位置的测量结果。
在1530处，测量手持式控制器120在3D空间112中的取向。例如，手持式控制器120包括测量电路430，该测量电路430测量手持式控制器120的取向。
在1540处，将手持式控制器120的测量位置与手持式控制器120的测量取向组合以构造虚拟射线130，该虚拟射线具有位于手持式控制器120的测量位置处的原点和基于手持式控制器120的测量取向的方向。
在1550处，响应于手持式控制器120指向使得虚拟射线130与对象数据库164中的可控对象的控制位置交会，(i)手持式控制器120接收用户输入以控制可控对象，并且(ii)从手持式控制器120发送控制指令，以基于用户输入控制可控对象。
已经描述了用于控制对象的改进技术。该技术包括手持式控制器120，其提供用于生成虚拟射线130的输出。虚拟射线130具有位置和方向。基于来自周围空间112中的传感器140的输入，测量虚拟射线130的位置作为手持式控制器130的位置。当用户110移动和/或旋转手持式控制器120时，虚拟射线130扫过空间，与各个对象交会。当虚拟射线130与身份和位置已知的可控对象的位置交会时，手持式控制器130识别该对象并从用户110接收用于控制该对象的遥控器输入。使用手持式控制器120，用户可以控制空间中具有已知身份和位置的任何可控对象，并且可以控制虚拟对象和物理对象。
已描述了特定实施例，可进行多个备选实施例或变化。例如，手持式控制器120已被描述为存储库网络元件。然而，这仅是示例，这是因为可以在不涉及存储库网络的情况下使用手持式控制器120。
此外，虽然参照具体实施例示出并描述了多个特征，但是这些特征可被包括并且据此被包括在所公开的实施例和它们的变型中的任何一个中。因此，应理解，包括结合任何实施例所公开的特征，作为任何其他实施例的变型。
另外，该改进或其部分可被实施为包括一个或多个非暂时性计算机可读存储介质的计算机程序产品，诸如磁盘、磁带、致密盘、DVD、光盘、闪存驱动器、固态驱动器、SD(安全数字)芯片或设备、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等(以示例的方式示出为图15中的介质1560)。可使用任意数量的计算机可读介质。介质可被编码有指令，其中，当在手持式控制器120和/或服务器装置160的一个或多个计算机或其他处理器上执行时，所述指令执行本文描述的一个或多个处理。这种介质可被视为制品或机器，并且可从一个机器传输到另一个机器。
如贯穿本文档所使用的，词语“包括”、“包含”、“含有”和“具有”意在以开放式方式阐述事物的特定项、步骤、元件或方面。此外，如这里所使用的，除非进行了相反的特定陈述，否则词语“集合/集”表示事物中的一个或多个。这是不管短语“…集合”跟随单数对象还是复数对象并且不管其结合单数动词还是复数动词的情况。另外，虽然诸如“第一”、“第二”、“第三”等的序数表达可在此被用作形容词，但是这种序数表达用于标识目的，并且除非特定指出，否则不意在暗示任何顺序或次序。因此，例如，“第二”事件可在“第一”事件之前或之后发生，或者即使第一事件从未发生，第二事件也可发生。另外，在本文特定元件、特征或动作的标识是“第一”的情况下，这种元件、特征或动作不应被解释为要求还必须存在“第二”或其他这种元件、特征或动作。相反，“第一”项可以是唯一的。虽然本文公开了特定实施例，但是应理解，仅通过示例的方式提供这些实施例，并且本发明不限于这些具体实施例。
因此，本领域技术人员将理解，可在不脱离本发明的范围的情况下，对这里公开的实施例进行形式和细节上的各种改变。
权利要求书(按照条约第19条的修改)
1.一种使用手持式控制器在三维3D空间中控制对象的方法，所述方法包括：
存储将多个可控对象与所述可控对象在所述3D空间中的相应控制位置相关联的对象数据库，每个控制位置表示所述3D空间中的相应区域，所述手持式控制器能够指向所述相应区域以控制相应可控对象；
测量所述手持式控制器在所述3D空间中的位置；
测量所述手持式控制器在所述3D空间中的取向；
将所述手持式控制器的测量位置与所述手持式控制器的测量取向相结合以构造虚拟射线，所述虚拟射线具有位于所述手持式控制器的测量位置处的原点和基于所述手持式控制器的测量取向的方向；以及
响应于所述手持式控制器指向使得所述虚拟射线与所述对象数据库中的可控对象的控制位置交会，(i)由所述手持式控制器接收用户输入以控制所述可控对象，并且(ii)从所述手持式控制器发送控制指令以基于所述用户输入控制所述可控对象，
其中，所述方法还包括：
存储描述所述3D空间的物理特征的地图信息；以及
由所述手持式控制器显示控制位置与所述虚拟射线交会的对象集合的标识符，
其中，当显示所述标识符时，所述方法还包括过滤掉如下对象的标识符，所述对象的控制位置与所述虚拟射线交会、但是所述地图信息指示从所述手持式控制器的有利位置看所述对象被隐藏。
2.根据权利要求1所述的方法，其中，测量所述手持式控制器的位置包括：
所述手持式控制器发送无线信号，所述无线信号在空间传播并遇到多个天线，每个天线处理所述无线信号以产生相应输出；以及
处理来自所述多个天线的输出以生成所述手持式控制器在所述3D空间中的位置。
3.根据权利要求2所述的方法，还包括：
当所述虚拟射线与所述可控对象的控制位置交会时，由所述手持式控制器从所述手持式控制器的用户接收捕获命令，所述捕获命令指示所述手持式控制器捕获所述可控对象的身份并启用使用所述手持式控制器对所述可控对象的后续控制，而不管在接收到所述捕获命令后所述手持式控制器指向何处，
此后当所述虚拟射线不再与所述可控对象的控制位置交会时，所述手持式控制器接收用于控制所述可控对象的用户输入并发送控制指令以控制所述可控对象。
4.根据权利要求3所述的方法，还包括，响应于所述虚拟射线与所述对象数据库中标识的多个所述可控对象的控制位置交会：
由所述手持式控制器显示针对所述多个可控对象定义的指示符的列表；以及
当所述虚拟射线与所述多个可控对象的控制位置交会时，由所述手持式控制器接收另一捕获命令，所述另一捕获命令指示所述手持式控制器捕获所述多个可控对象的指示符的列表并启用对所述多个可控对象中的任何可控对象的后续控制，而不管在接收到所述另一捕获命令之后所述手持式控制器指向何处，
此后当所述虚拟射线不再与所选可控对象的控制位置交会时，所述手持式控制器接收用于选择所述多个可控对象中的一个可控对象和控制所选择的可控对象的用户输入。
5.根据权利要求3所述的方法，还包括：
(A)存储所述手持式控制器先前控制的可控对象的历史；
(B)由所述手持式控制器接收用户输入以控制从所述历史中选择的可控对象；以及
(C)从所述手持式控制器发送用于控制所选择的可控对象的控制指令，
其中，动作(B)和(C)在所述虚拟射线不与所选择的可控对象的控制位置交会的情况下执行。
6.根据权利要求3所述的方法，还包括在所述3D空间中的用户定义区域处建立特定可控对象的控制位置，所述特定可控对象的控制位置提供所述手持式控制器为了控制所述特定可控对象而指向的位置。
7.根据权利要求6所述的方法，其中，所述特定可控对象电连接到电子控制器，所述电子控制器占据所述3D空间中的位置，以及所述特定可控对象的控制位置不与所述电子控制器的位置交会。
8.根据权利要求6所述的方法，其中，建立所述特定可控对象的控制位置包括所述手持式控制器执行训练过程以将所述特定可控对象在所述3D空间中的控制位置与所述特定可控对象相关联。
9.根据权利要求8所述的方法，其中，执行所述训练过程包括：
由所述手持式控制器接收用户对所述特定可控对象的选择以进行训练；
当所述手持式控制器从所述3D空间中的多个不同位置指向所述特定可控对象的控制位置时，由所述手持式控制器获取所述虚拟射线的值；以及
计算所述特定可控对象的控制位置，作为所获取的所述虚拟射线的值在所述3D空间中的交会区域。
10.根据权利要求8所述的方法，其中，执行所述训练过程包括：
由所述手持式控制器接收用户对所述特定可控对象的选择以进行训练；以及
在所述手持式控制器物理上位于所述特定可控对象的控制位置的情况下，由所述手持式控制器接收用户输入，所述用户输入指示所述手持式控制器将其在所述3D空间中的当前位置赋予作为所述特定可控对象的控制位置。
11.根据权利要求8所述的方法，其中，所述特定可控对象的控制位置在空间中的特定区域上延伸，以及执行所述训练过程包括：
由所述手持式控制器获取空间中所述特定区域的多个顶点在所述3D空间中的位置；以及
将所述控制位置的3D区域计算为包含所述多个顶点的最小凸形状。
12.根据权利要求8所述的方法，其中，所述特定可控对象的控制位置包括在所述3D空间中的相应位置处的多个不同区域，以及执行所述训练过程包括：
由所述手持式控制器获取所述多个不同区域中的每个区域在所述3D空间中的位置；以及
将所获取的所述不同区域的3D位置聚合为所述特定可控对象的控制位置，使得所述可控对象的控制位置在3D空间中对应于所述多个不同区域中的任何区域。
13.一种使用手持式控制器在三维3D空间中控制对象的方法，所述方法包括：
存储将多个可控对象与所述可控对象在所述3D空间中的相应控制位置相关联的对象数据库，每个控制位置表示所述3D空间中的相应区域，所述手持式控制器能够指向所述相应区域以控制相应可控对象；
测量所述手持式控制器在所述3D空间中的位置；
测量所述手持式控制器在所述3D空间中的取向；
将所述手持式控制器的测量位置与所述手持式控制器的测量取向相结合以构造虚拟射线，所述虚拟射线具有位于所述手持式控制器的测量位置处的原点和基于所述手持式控制器的测量取向的方向；以及
响应于所述手持式控制器指向使得所述虚拟射线与所述对象数据库中的可控对象的控制位置交会，(i)所述手持式控制器接收用户输入以控制所述可控对象，并且(ii)从所述手持式控制器发送控制指令以基于所述用户输入控制所述可控对象，
其中，所述对象数据库存储虚拟可控对象在所述3D空间中的控制位置，以及所述方法还包括：
在所述手持式控制器和3D头戴式视图器之间建立电子通信，所述3D头戴式视图器被配置为将所述虚拟可控对象呈现为全息图；以及
响应于所述手持式控制器指向使得所述虚拟射线与所述虚拟可控对象的控制位置交会，由所述手持式控制器接受用于控制所述虚拟可控对象的用户输入。
14.根据权利要求13所述的方法，还包括：
向所述3D头戴式视图器发送所述虚拟射线的值，以使所述3D头戴式视图器能够呈现被投影为沿着所述虚拟射线显现的全息光标。
15.根据权利要求14所述的方法，还包括：
由所述手持式控制器接收用户输入，以调整由所述3D头戴式视图器呈现的所述全息光标沿所述虚拟射线的深度。
16.根据权利要求14所述的方法，还包括：
由所述手持式控制器接收用户输入，以选择所述全息光标指向的全思图。
17.根据权利要求16所述的方法，还包括：
由所述手持式控制器接收用户输入，以旋转所选择的全息图。
18.根据权利要求16所述的方法，还包括：
由所述手持式控制器接收用户输入，以移动所选择的全息图。
19.根据权利要求16所述的方法，还包括：
由所述手持式控制器接收用户输入，以显示用于与所选择的全息图交互的选项的列表。
20.根据权利要求16所述的方法，还包括：
由所述手持式控制器接收用户输入，以生成与所述虚拟射线正交的切平面，所述切平面使所述手持式控制器能够基于全息图相对于所述切平面的位置来选择所述全息图。
21.根据权利要求1所述的方法，其中，由所述手持式控制器120内的测量电路来测量所述手持式控制器的取向，以及由与所述手持式控制器分开的服务器装置来测量所述手持式控制器的位置。
22.一种用于控制对象的手持式控制器，所述手持式控制器包括：
用户接口；
无线通信接口；
测量电路，被配置为测量所述手持式控制器在三维3D空间中的取向；
一组处理器；以及
存储器，
所述一组处理器和存储器一起形成控制电路，所述控制电路被构造和布置成：
指示所述测量电路产生所述手持式控制器的取向的测量结果；
指示所述无线接口向多个传感器发送无线信号，所述无线信号包括携带所述手持式控制器的取向的测量结果的信号，以便(i)能够基于所述多个传感器接收到的所述无线信号来测量所述手持式控制器的位置，以及(ii)生成虚拟射线，每个虚拟射线具有位于所述手持式控制器的相应测量位置处的原点和基于所述手持式控制器的相应测量取向的方向；
识别与所述虚拟射线中的一条虚拟射线交会的可控对象；以及
指示所述无线接口发送用于控制所识别的可控对象的控制指令，
其中，被构造和布置为发送所述无线信号的控制电路还被构造和布置为发送一组无线分组，所述一组无线分组中的每个无线分组既(i)用作所述手持式控制器的相应位置测量的基础又(ii)包括在发送相应无线分组的若干毫秒内进行的对所述手持式控制器的取向的相应测量。
23.根据权利要求22所述的手持式控制器，还包括一组加速度计，其中，所述控制电路还被构造和布置成：
基于来自所述一组加速度计的输出改变所述无线接口被指示发送无线分组的速率，对于较高的加速度水平，所述速率增大，对于较低的加速度水平，所述速率减小。
24.根据权利要求23所述的手持式控制器，其中，所述手持式控制器具有类似于(i)枪和(ii)刀中的一个的外观。
说明或声明(按照条约第19条的修改)
权利要求1：
现在，修改后的权利要求1在技术特征“过滤掉如下对象的标识符，所述对象的控制位置与所述虚拟射线交会、但是所述地图信息指示从所述手持式控制器的有利位置看所述对象被隐藏”中使用了“地图信息”。
D1(US 2011/0312311 A1)未描述此特征。实际上，D1描述了长距离操作但看起来忽略了障碍物(参见D1的图5、第[0007]段、第[0020]段、第[0024]段和第[0063]段)。
权利要求13：
D1未描述或暗示如修改后的权利要求13中所记载的那样来控制虚拟对象，而仅仅是控制物理对象。参见D1的第[0045]段，这一段提供了可控设备的以下示例：“移动设备、计算设备、通信设备、娱乐设备、控制机构、机器、设备、机器人、车辆、飞行设备、水上设备、潜水设备等”。因此，看起来，D1没有公开对虚拟对象的控制。
D2(US2013/0328762 A1)描述了用真实的控制器设备204来控制虚拟对象的方法，例如通过使用操纵杆206来控制虚拟直升机202的运动(D2的第[0070]段)。但是D2并未描述如修改后的权利要求13中记载的“响应于所述手持式控制器指向使得所述虚拟射线与所述对象数据库中的可控对象的控制位置交会”来控制任何虚拟对象。因此，D1和D2没有公开使用虚拟射线来控制虚拟对象。权利要求14-21从属于修改后的权利要求13，因此也不同于D1和D2。
权利要求22：
修改后的权利要求22记载了：一组无线分组中的每个无线分组“既(i)用作所述手持式控制器的相应位置测量的基础又(ii)包括在发送相应无线分组的若干毫秒内进行的对所述手持式控制器的取向的相应测量”。D1从未描述以分组发送信息，更不必提通过使用用作位置测量的基础的分组提供对应取向信息来确保位置测量和取向测量的一致。
结论：
基于提交的修改和陈述，申请人尊敬地认为权利要求1-24满足PCT第33条2款和PCT第33条3款的新颖性和创造性的条件。

Claims (24)

1.一种使用手持式控制器在三维3D空间中控制对象的方法，所述方法包括：
存储将多个可控对象与所述可控对象在所述3D空间中的相应控制位置相关联的对象数据库，每个控制位置表示所述3D空间中的相应区域，所述手持式控制器能够指向所述相应区域以控制相应可控对象；
测量所述手持式控制器在所述3D空间中的位置；
测量所述手持式控制器在所述3D空间中的取向；
将所述手持式控制器的测量位置与所述手持式控制器的测量取向相结合以构造虚拟射线，所述虚拟射线具有位于所述手持式控制器的测量位置处的原点和基于所述手持式控制器的测量取向的方向；以及
响应于所述手持式控制器指向使得所述虚拟射线与所述对象数据库中的可控对象的控制位置交会，(i)由所述手持式控制器接收用户输入以控制所述可控对象，并且(ii)从所述手持式控制器发送控制指令以基于所述用户输入控制所述可控对象。
2.根据权利要求1所述的方法，其中，测量所述手持式控制器的位置包括：
所述手持式控制器发送无线信号，所述无线信号在空间传播并遇到多个天线，每个天线处理所述无线信号以产生相应输出；以及
处理来自所述多个天线的输出以生成所述手持式控制器在所述3D空间中的位置。
3.根据权利要求2所述的方法，还包括：
当所述虚拟射线与所述可控对象的控制位置交会时，由所述手持式控制器从所述用户接收捕获命令，所述捕获命令指示所述手持式控制器捕获所述可控对象的身份并启用使用所述手持式控制器对所述可控对象的后续控制，而不管在接收到所述捕获命令后所述手持式控制器指向何处，
此后当所述虚拟射线不再与所述可控对象的控制位置交会时，所述手持式控制器接收用于控制所述可控对象的用户输入并发送控制指令以控制所述可控对象。
4.根据权利要求3所述的方法，还包括，响应于所述虚拟射线与所述对象数据库中标识的多个所述可控对象的控制位置交会：
由所述手持式控制器显示针对所述多个可控对象定义的指示符的列表；以及
当所述虚拟射线与所述多个可控对象的控制位置交会时，由所述手持式控制器接收另一捕获命令，所述另一捕获命令指示所述手持式控制器捕获所述多个可控对象的指示符的列表并启用对所述多个可控对象中的任何可控对象的后续控制，而不管在接收到所述另一捕获命令之后所述手持式控制器指向何处，
此后当所述虚拟射线不再与所选可控对象的控制位置交会时，所述手持式控制器接收用于选择所述多个可控对象中的一个可控对象和控制所选择的可控对象的用户输入。
5.根据权利要求3所述的方法，还包括：
(A)存储所述手持式控制器先前控制的可控对象的历史；
(B)由所述手持式控制器接收用户输入以控制从所述历史中选择的可控对象；以及
(C)从所述手持式控制器发送用于控制所选择的可控对象的控制指令，
其中，动作(B)和(C)在所述虚拟射线不与所选择的可控对象的控制位置交会的情况下执行。
6.根据权利要求3所述的方法，还包括在所述3D空间中的用户定义区域处建立特定可控对象的控制位置，所述特定可控对象的控制位置提供所述手持式控制器为了控制所述特定可控对象而指向的位置。
7.根据权利要求6所述的方法，其中，所述特定可控对象电连接到电子控制器，所述电子控制器占据所述3D空间中的位置，以及所述特定可控对象的控制位置不与所述电子控制器的位置交会。
8.根据权利要求6所述的方法，其中，建立所述特定可控对象的控制位置包括所述手持式控制器执行训练过程以将所述特定可控对象在所述3D空间中的控制位置与所述特定可控对象相关联。
9.根据权利要求8所述的方法，其中，执行所述训练过程包括：
由所述手持式控制器接收用户对所述特定可控对象的选择以进行训练；
当所述手持式控制器从所述3D空间中的多个不同位置指向所述特定可控对象的控制位置时，由所述手持式控制器获取所述虚拟射线的值；以及
计算所述特定可控对象的控制位置，作为所获取的所述虚拟射线的值在所述3D空间中的交会区域。
10.根据权利要求8所述的方法，其中，执行所述训练过程包括：
由所述手持式控制器接收用户对所述特定可控对象的选择以进行训练；以及
在所述手持式控制器物理上位于所述特定可控对象的控制位置的情况下，由所述手持式控制器接收用户输入，所述用户输入指示所述手持式控制器将其在所述3D空间中的当前位置赋予作为所述特定可控对象的控制位置。
11.根据权利要求8所述的方法，其中，所述特定可控对象的控制位置在空间中的特定区域上延伸，以及执行所述训练过程包括：
由所述手持式控制器获取空间中所述特定区域的多个顶点在所述3D空间中的位置；以及
将所述控制位置的3D区域计算为包含所述多个顶点的最小凸形状。
12.根据权利要求8所述的方法，其中，所述特定可控对象的控制位置包括在所述3D空间中的相应位置处的多个不同区域，以及执行所述训练过程包括：
由所述手持式控制器获取所述多个不同区域中的每个区域在所述3D空间中的位置；以及
将所获取的所述不同区域的3D位置聚合为所述特定可控对象的控制位置，使得所述可控对象的控制位置在3D空间中对应于所述多个不同区域中的任何区域。
13.根据权利要求3所述的方法，其中，所述对象数据库存储虚拟可控对象在所述3D空间中的控制位置，以及所述方法还包括：
在所述手持式控制器和3D头戴式视图器之间建立电子通信，所述3D头戴式视图器被配置为将所述虚拟可控对象呈现为全息图；以及
响应于所述手持式控制器指向使得所述虚拟射线与所述虚拟可控对象的控制位置交会，由所述手持式控制器接受用于控制所述虚拟可控对象的用户输入。
14.根据权利要求13所述的方法，还包括：
向所述3D头戴式视图器发送所述虚拟射线的值，以使所述3D头戴式视图器能够呈现被投影为沿着所述虚拟射线显现的全息光标。
15.根据权利要求14所述的方法，还包括：
由所述手持式控制器接收用户输入，以调整由所述3D头戴式视图器呈现的所述全息光标沿所述虚拟射线的深度。
16.根据权利要求14所述的方法，还包括：
由所述手持式控制器接收用户输入，以选择所述全息光标指向的全思图。
17.根据权利要求16所述的方法，还包括：
由所述手持式控制器接收用户输入，以旋转所选择的全息图。
18.根据权利要求16所述的方法，还包括：
由所述手持式控制器接收用户输入，以移动所选择的全息图。
19.根据权利要求16所述的方法，还包括：
由所述手持式控制器接收用户输入，以显示用于与所选择的全息图交互的选项的列表。
20.根据权利要求16所述的方法，还包括：
由所述手持式控制器接收用户输入，以生成与所述虚拟射线正交的切平面，所述切平面使所述手持式控制器能够基于全息图相对于所述切平面的位置来选择所述全息图。
21.根据权利要求1所述的方法，其中，由所述手持式控制器120内的测量电路来测量所述手持式控制器的取向，以及由与所述手持式控制器分开的服务器装置来测量所述手持式控制器的位置。
22.一种用于控制对象的手持式控制器，所述手持式控制器包括：
用户接口；
无线通信接口；
测量电路，被配置为测量所述手持式控制器在三维3D空间中的取向；
一组处理器；以及
存储器，
所述一组处理器和存储器一起形成控制电路，所述控制电路被构造和布置成：
指示所述测量电路产生所述手持式控制器的取向的测量结果；
指示所述无线接口向多个传感器发送无线信号，所述无线信号包括携带所述手持式控制器的取向的测量结果的信号，以便(i)能够基于所述多个传感器接收到的所述无线信号来测量所述手持式控制器的位置，以及(ii)生成虚拟射线，每个虚拟射线具有位于所述手持式控制器的相应测量位置处的原点和基于所述手持式控制器的相应测量取向的方向；
识别与所述虚拟射线中的一条虚拟射线交会的可控对象；以及
指示所述无线接口发送用于控制所识别的可控对象的控制指令。
23.根据权利要求22所述的手持式控制器，还包括一组加速度计，其中，所述控制电路还被构造和布置成：
基于来自所述一组加速度计的输出改变所述无线接口被指示发送无线分组的速率，对于较高的加速度水平，所述速率增大，对于较低的加速度水平，所述速率减小。
24.根据权利要求23所述的手持式控制器，其中，所述手持式控制器具有类似于(i)枪和(ii)刀中的一个的外观。
CN201780051828.1A 2016-08-23 2017-08-16 使用虚拟射线控制对象 Pending CN109791446A (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201662378498P 2016-08-23 2016-08-23
US201662378486P 2016-08-23 2016-08-23
US201662378494P 2016-08-23 2016-08-23
US62/378,498 2016-08-23
US62/378,486 2016-08-23
US62/378,494 2016-08-23
US201662397226P 2016-09-20 2016-09-20
US62/397,226 2016-09-20
US201762491048P 2017-04-27 2017-04-27
US62/491,048 2017-04-27
US15/655,489 2017-07-20
US15/655,489 US11269480B2 (en) 2016-08-23 2017-07-20 Controlling objects using virtual rays
PCT/US2017/047154 WO2018038997A1 (en) 2016-08-23 2017-08-16 Controlling objects using virtual rays

Publications (1)

Publication Number Publication Date
CN109791446A true CN109791446A (zh) 2019-05-21

Family

ID=59506377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780051828.1A Pending CN109791446A (zh) 2016-08-23 2017-08-16 使用虚拟射线控制对象

Country Status (4)

Country Link
US (3) US11269480B2 (zh)
JP (1) JP2019532444A (zh)
CN (1) CN109791446A (zh)
WO (2) WO2018038834A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348198A (zh) * 2019-06-21 2019-10-18 华为技术有限公司 仿真对象的身份识别方法、相关装置及系统
CN110717993A (zh) * 2019-10-12 2020-01-21 西安维度视界科技有限公司 一种分体式ar眼镜系统的交互方法、系统及介质
US11726587B2 (en) 2021-11-03 2023-08-15 Htc Corporation Virtual image display system and pointing direction control method of control device thereof

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10987573B2 (en) 2016-10-11 2021-04-27 Valve Corporation Virtual reality hand gesture generation
US11625898B2 (en) * 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US10307669B2 (en) 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US10843068B2 (en) * 2017-01-18 2020-11-24 Xvisio Technology Corp. 6DoF inside-out tracking game controller
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
US11054272B2 (en) * 2017-05-11 2021-07-06 Disney Enterprises, Inc. Physical navigation guided via story-based augmented and/or mixed reality experiences
JP6832794B2 (ja) * 2017-06-05 2021-02-24 ルネサスエレクトロニクス株式会社 無線通信システム
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
EP3489882A1 (en) * 2017-11-27 2019-05-29 Nokia Technologies Oy An apparatus and associated methods for communication between users experiencing virtual reality
KR102028036B1 (ko) * 2018-01-18 2019-11-04 주식회사 뉴냅스 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램
US11513589B2 (en) 2018-03-05 2022-11-29 Reavire, Inc. Maintaining localization and orientation of electronic headset after loss of slam tracking
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
US11212277B1 (en) * 2018-07-02 2021-12-28 Knwn Technologies, Inc. System and method for securing, perfecting and accelerating biometric identification via holographic environmental data
EP3599538B1 (en) * 2018-07-24 2023-07-19 Nokia Technologies Oy Method and apparatus for adding interactive objects to a virtual reality environment
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US10939236B1 (en) 2018-11-30 2021-03-02 Snap Inc. Position service to determine relative position to map features
US10921878B2 (en) * 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
EP3680753B1 (en) * 2019-01-09 2022-01-05 Nokia Technologies Oy An apparatus and associated methods for presentation of a virtual reality space
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US11189097B2 (en) * 2019-06-14 2021-11-30 In It Vr, Llc Simulated reality transition element location
US11288868B2 (en) 2019-07-26 2022-03-29 Foretell Studios, LLC Simulated reality adaptive user space
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
EP3825792A1 (de) * 2019-11-21 2021-05-26 Deutsche Telekom AG Verfahren zur steuerung wenigstens eines aktuators eines smart-home-systems und/oder zur generierung und/oder übertragung wenigstens einer steuerungsnachricht zu dem wenigstens einen aktuator des smart-home-systems unter verwendung einer bedienvorrichtung, system, verwendung einer bedienvorrichtung, einer sensoreinrichtung oder einer steuerungseinrichtung, computerprogramm und computerlesbares medium
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11340695B2 (en) * 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
US11660528B2 (en) 2020-03-12 2023-05-30 Reavire, Inc. Populating virtual objects in physical environments
US11181975B2 (en) * 2020-03-12 2021-11-23 International Business Machines Corporation Field of view movement variation-based security profile assignment to physical assets at a location
US20210304515A1 (en) * 2020-03-26 2021-09-30 Wormhole Labs, Inc. Systems and Methods of User Controlled Viewing of Non-User Avatars
JP2023068212A (ja) * 2020-03-31 2023-05-17 株式会社Ｎｔｔドコモ 情報処理システム
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11335068B2 (en) * 2020-07-27 2022-05-17 Facebook Technologies, Llc. Systems and methods for user interaction with artificial reality environments
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11593994B2 (en) * 2020-11-05 2023-02-28 Kyndryl, Inc. Creating working boundaries in a multi-user environment
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
JP6989199B1 (ja) * 2021-10-06 2022-01-05 クラスター株式会社 情報処理装置
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11783555B2 (en) * 2021-11-16 2023-10-10 Peer Inc System and method for transferring content from one virtual environment to another
KR102513444B1 (ko) * 2021-11-25 2023-03-24 한국과학기술원 스마트 홈 시스템에서 객체 등록을 지원하는 방법 및 장치
WO2024030393A1 (en) * 2022-07-31 2024-02-08 Walker Stanley A platform agnostic system for spatially synchronization of physical and virtual locations
US20240054737A1 (en) * 2022-08-11 2024-02-15 Peer Inc Systems and method for enhanced portal systems in augmented reality virtual environments
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110312311A1 (en) * 2010-06-16 2011-12-22 Qualcomm Incorporated Methods and apparatuses for gesture based remote control
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device

Family Cites Families (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717406A (en) * 1995-06-07 1998-02-10 Sanconix Inc. Enhanced position calculation
WO1998017172A2 (en) * 1996-10-24 1998-04-30 Massachusetts Institute Of Technology Patient monitoring finger ring sensor
US6249680B1 (en) * 1997-01-08 2001-06-19 U.S. Wireless Corporation Radio transmitter location finding in CDMA wireless communication systems
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US5999208A (en) * 1998-07-15 1999-12-07 Lucent Technologies Inc. System for implementing multiple simultaneous meetings in a virtual reality mixed media meeting room
JP2001258082A (ja) 2000-03-09 2001-09-21 Seiko Epson Corp リモコンシステム
US6505275B1 (en) 2000-07-24 2003-01-07 Sun Microsystems, Inc. Method for scalable memory efficient thread-local object allocation
JP2002157606A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体
US7095422B2 (en) * 2002-01-23 2006-08-22 Michihiko Shouji Image processing system, image processing apparatus, and display apparatus
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
AU2003217819B2 (en) 2002-03-01 2008-04-03 Extreme Networks, Inc. Location aware data network
US20030235172A1 (en) * 2002-06-24 2003-12-25 Intel Corporation Asset tracking methods and apparatus
US20040080412A1 (en) * 2002-10-26 2004-04-29 Smith Mark T. Location requests by a network device
JP2004253869A (ja) * 2003-02-18 2004-09-09 Sharp Corp 遠隔制御装置
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US7042391B2 (en) * 2003-12-12 2006-05-09 Xerox Corporation Mobile device and method for determining location of mobile device
US7667700B1 (en) * 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
JP2005354543A (ja) * 2004-06-14 2005-12-22 Sanyo Electric Co Ltd リモコン装置
EP1779344A4 (en) * 2004-07-29 2009-08-19 Motiva Llc SYSTEM FOR MEASURING HUMAN MOVEMENT
US7817014B2 (en) * 2004-07-30 2010-10-19 Reva Systems Corporation Scheduling in an RFID system having a coordinated RFID tag reader array
US20060143292A1 (en) * 2004-12-28 2006-06-29 Taubenheim David B Location-based network access
WO2007022587A1 (en) * 2005-08-26 2007-03-01 Bruce Joy Distributed 3d environment framework
JP4516042B2 (ja) * 2006-03-27 2010-08-04 株式会社東芝 機器操作装置および機器操作方法
JP4302710B2 (ja) * 2006-04-11 2009-07-29 シャープ株式会社 画像処理装置制御システム
US9405372B2 (en) * 2006-07-14 2016-08-02 Ailive, Inc. Self-contained inertial navigation system for interactive control using movable controllers
US20080052750A1 (en) * 2006-08-28 2008-02-28 Anders Grunnet-Jepsen Direct-point on-demand information exchanges
US20080094398A1 (en) * 2006-09-19 2008-04-24 Bracco Imaging, S.P.A. Methods and systems for interacting with a 3D visualization system using a 2D interface ("DextroLap")
CA2685353C (en) * 2007-03-07 2016-04-26 Ideaflood, Inc. Multi-instance, multi-user animation platforms
US8059111B2 (en) * 2008-01-21 2011-11-15 Sony Computer Entertainment America Llc Data transfer using hand-held device
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US8077157B2 (en) * 2008-03-31 2011-12-13 Intel Corporation Device, system, and method of wireless transfer of files
US20100083189A1 (en) * 2008-09-30 2010-04-01 Robert Michael Arlein Method and apparatus for spatial context based coordination of information among multiple devices
US9550125B2 (en) * 2008-10-14 2017-01-24 Roblox Corporation Dynamic and scalable topology for virtual world environments
JP4936479B2 (ja) * 2009-03-26 2012-05-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
US8656473B2 (en) * 2009-05-14 2014-02-18 Microsoft Corporation Linking web identity and access to devices
US9344510B2 (en) * 2009-07-03 2016-05-17 International Business Machines Corporation Pushing content from a local device to a remote display
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US8672763B2 (en) * 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
CN102301738B (zh) 2009-11-30 2015-09-30 松下电器（美国）知识产权公司 通信装置
US20110154014A1 (en) * 2009-12-18 2011-06-23 Sony Ericsson Mobile Communications Ab Data exchange for mobile devices
WO2011090886A2 (en) * 2010-01-25 2011-07-28 Rambus Inc. Directional beam steering system and method to detect location and motion
US8893022B2 (en) * 2010-04-01 2014-11-18 Microsoft Corporation Interactive and shared viewing experience
JP5726868B2 (ja) * 2010-06-07 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法
US20110320963A1 (en) * 2010-06-28 2011-12-29 Rovi Technologies Corporation Systems and methods for controlling multiple user access to media devices in a connected platform environment
US9378296B2 (en) * 2010-08-24 2016-06-28 International Business Machines Corporation Virtual world construction
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
KR101700377B1 (ko) * 2010-10-20 2017-01-26 삼성전자주식회사 아바타 생성을 위한 처리 장치 및 방법
US20130044612A1 (en) * 2011-08-16 2013-02-21 Olaf J. Hirsch Autonomous wi-fi based ranging device
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
KR101944846B1 (ko) * 2011-10-28 2019-02-01 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9048876B2 (en) 2011-11-18 2015-06-02 Sandisk Enterprise Ip Llc Systems, methods and devices for multi-tiered error correction
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9084217B2 (en) * 2012-01-03 2015-07-14 Wavion Ltd. Single-site localization via multipath fingerprinting
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
US20130244684A1 (en) * 2012-03-13 2013-09-19 Google Inc. Permissions based on wireless network data
US9288632B2 (en) * 2012-05-01 2016-03-15 Intel Corporation Simultaneous localization and mapping using spatial and temporal coherence for indoor location
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
JPWO2014002322A1 (ja) * 2012-06-26 2016-05-30 日本電気株式会社 携帯端末、電子機器制御システム、及び電子機器制御方法
US9256961B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9519344B1 (en) * 2012-08-14 2016-12-13 Position Imaging, Inc. User input system for immersive interaction
US9477312B2 (en) * 2012-11-05 2016-10-25 University Of South Australia Distance based modelling and manipulation methods for augmented reality systems using ultrasonic gloves
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
US9223003B2 (en) * 2012-12-18 2015-12-29 Intel Corporation Differentiated station location
TWI489126B (zh) * 2012-12-19 2015-06-21 Ind Tech Res Inst 一種動態無線訊號強度修正系統與方法
US9342929B2 (en) * 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
US9619988B2 (en) * 2013-01-31 2017-04-11 Precyse Technologies Funding, Llc Method of controlling location monitoring and reporting
US20180082565A1 (en) * 2013-01-31 2018-03-22 Precyse Technologies, Inc. Method of controlling location monitoring and reporting
US20140349637A1 (en) * 2013-03-15 2014-11-27 Elwha LLC, a limited liability corporation of the State of Delaware Facilitating wireless communication in conjunction with orientation position
US9793596B2 (en) * 2013-03-15 2017-10-17 Elwha Llc Facilitating wireless communication in conjunction with orientation position
US20150277699A1 (en) * 2013-04-02 2015-10-01 Cherif Atia Algreatly Interaction method for optical head-mounted display
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
EP2992352A4 (en) * 2013-04-30 2017-01-04 Nokia Technologies OY Controlling operation of a device
US9823330B2 (en) * 2013-05-03 2017-11-21 Cisco Technology, Inc. Angle of arrival location sensing with antenna array
DE102013106119A1 (de) * 2013-06-12 2014-12-18 Deutsche Telekom Ag Hierarchisches Authentifizierungs- und Autorisierungssystem
WO2014204330A1 (en) * 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
JP6372487B2 (ja) * 2013-06-26 2018-08-15 ソニー株式会社 情報処理装置、制御方法、プログラム、および記憶媒体
US10048761B2 (en) * 2013-09-30 2018-08-14 Qualcomm Incorporated Classification of gesture detection systems through use of known and yet to be worn sensors
US9516503B2 (en) * 2013-10-31 2016-12-06 Aruba Networks, Inc. Location based access
US20150201443A1 (en) * 2014-01-10 2015-07-16 Qualcomm Incorporated Point and share using ir triggered p2p
KR101550580B1 (ko) * 2014-01-17 2015-09-08 한국과학기술연구원 사용자 인터페이스 장치 및 그것의 제어 방법
US10386454B2 (en) 2014-02-07 2019-08-20 Signify Holding B.V. Network centric localization for determining the location of mobile devices
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
GB2525902A (en) * 2014-05-08 2015-11-11 Ibm Mobile device data transfer using location information
US9526983B2 (en) * 2014-06-04 2016-12-27 Chih-Feng Lin Virtual reality avatar traveling control system and virtual reality avatar traveling control method
CN105301771B (zh) * 2014-06-06 2020-06-09 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
US20170140552A1 (en) 2014-06-25 2017-05-18 Korea Advanced Institute Of Science And Technology Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same
US10134187B2 (en) * 2014-08-07 2018-11-20 Somo Innvoations Ltd. Augmented reality with graphics rendering controlled by mobile device position
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
GB201414609D0 (en) * 2014-08-18 2014-10-01 Tosas Bautista Martin Systems and methods for dealing with augmented reality overlay issues
CN106717053B (zh) * 2014-08-29 2020-11-06 株式会社东芝 无线通信装置
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US9335862B1 (en) * 2014-11-14 2016-05-10 International Business Machines Corporation Virtual multi-device navigation in surface computing system
US10055892B2 (en) * 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
EP3218074A4 (en) * 2014-11-16 2017-11-29 Guy Finfter System and method for providing an alternate reality ride experience
WO2016079774A1 (en) * 2014-11-21 2016-05-26 Johri Abhishek System and method for data and command input
US9851786B2 (en) * 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US10115149B1 (en) * 2014-12-18 2018-10-30 Amazon Technologies, Inc. Virtual world electronic commerce platform
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US10163255B2 (en) * 2015-01-07 2018-12-25 Geopogo, Inc. Three-dimensional geospatial visualization
KR101659849B1 (ko) * 2015-01-09 2016-09-29 한국과학기술원 아바타를 이용한 텔레프레즌스 제공 방법, 상기 방법을 수행하는 시스템 및 컴퓨터 판독 가능한 기록 매체
CN105871952A (zh) * 2015-01-20 2016-08-17 阿里巴巴集团控股有限公司 信息处理方法及装置
TWI540522B (zh) * 2015-02-26 2016-07-01 宅妝股份有限公司 採用虛擬實境與擴增實境技術的虛擬購物系統與方法
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US20160321880A1 (en) * 2015-04-28 2016-11-03 Immersion Corporation Systems And Methods For Tactile Guidance
KR20180022674A (ko) * 2015-05-27 2018-03-06 지엔 아이피 피티와이 엘티디 위치-특정 게임화를 포함하는, 신체적으로 수행된 기능의 센서-기반 모니터링에 의해 게임화가 가능하도록 구성된 구조, 장치 및 방법
CN104902564B (zh) * 2015-05-29 2018-10-23 东华大学 一种高健壮性和精度的三角形质心定位方法
DE102016110902A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Erfassung thermischer Messwerte
US10722802B2 (en) * 2015-07-24 2020-07-28 Silver Curve Games, Inc. Augmented reality rhythm game
KR20170012979A (ko) * 2015-07-27 2017-02-06 삼성전자주식회사 영상 공유 서비스를 위한 전자 장치 및 방법
US9740011B2 (en) * 2015-08-19 2017-08-22 Microsoft Technology Licensing, Llc Mapping input to hologram or two-dimensional display
US9703102B2 (en) * 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display
US20170302709A1 (en) * 2015-12-31 2017-10-19 Maria Francisca Jones Virtual meeting participant response indication method and system
US20170193289A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
KR20230098927A (ko) * 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
US11006856B2 (en) * 2016-05-17 2021-05-18 Harshavardhana Narayana Kikkeri Method and program product for multi-joint tracking combining embedded sensors and an external sensor
US20180005445A1 (en) * 2016-06-30 2018-01-04 Microsoft Technology Licensing, Llc Augmenting a Moveable Entity with a Hologram
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10127886B2 (en) * 2016-10-14 2018-11-13 Microsoft Technology Licensing, Llc Modifying hand occlusion of holograms based on contextual information
CN108012324B (zh) * 2016-10-26 2021-01-12 华为技术有限公司 一种获得位置关系的方法和寻物的方法、设备及系统
US10068380B2 (en) * 2016-11-17 2018-09-04 Adobe Systems Incorporated Methods and systems for generating virtual reality environments from electronic documents
IL308490A (en) * 2016-12-05 2024-01-01 Magic Leap Inc Virtual user input controls in a mixed reality environment
US10438393B2 (en) * 2017-03-16 2019-10-08 Linden Research, Inc. Virtual reality presentation of body postures of avatars
US11011077B2 (en) * 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110312311A1 (en) * 2010-06-16 2011-12-22 Qualcomm Incorporated Methods and apparatuses for gesture based remote control
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348198A (zh) * 2019-06-21 2019-10-18 华为技术有限公司 仿真对象的身份识别方法、相关装置及系统
US11887261B2 (en) 2019-06-21 2024-01-30 Huawei Technologies Co., Ltd. Simulation object identity recognition method, related apparatus, and system
CN110348198B (zh) * 2019-06-21 2024-04-12 华为技术有限公司 仿真对象的身份识别方法、相关装置及系统
CN110717993A (zh) * 2019-10-12 2020-01-21 西安维度视界科技有限公司 一种分体式ar眼镜系统的交互方法、系统及介质
CN110717993B (zh) * 2019-10-12 2021-04-02 西安维度视界科技有限公司 一种分体式ar眼镜系统的交互方法、系统及介质
US11726587B2 (en) 2021-11-03 2023-08-15 Htc Corporation Virtual image display system and pointing direction control method of control device thereof
TWI817437B (zh) * 2021-11-03 2023-10-01 宏達國際電子股份有限公司 虛擬影像顯示系統及其控制裝置的指向方向的控制方法

Also Published As

Publication number Publication date
US11269480B2 (en) 2022-03-08
US20200183567A1 (en) 2020-06-11
US11635868B2 (en) 2023-04-25
US20180059901A1 (en) 2018-03-01
US10503351B2 (en) 2019-12-10
WO2018038834A1 (en) 2018-03-01
US20180061127A1 (en) 2018-03-01
JP2019532444A (ja) 2019-11-07
US20220317856A9 (en) 2022-10-06
WO2018038997A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN109791446A (zh) 使用虚拟射线控制对象
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
CN110832439B (zh) 发光用户输入设备
US10269089B2 (en) Multi-user virtual reality processing
CN106919270B (zh) 虚拟实境装置及虚拟实境方法
JP7142113B2 (ja) 仮想ペットの表示方法及び装置、並びに、端末及びプログラム
CN102609186B (zh) 访问信息并与其进行交互
CN106489080B (zh) 基于雷达的手势感测和数据传输
EP2617002B1 (en) User-specific attribute customization
JP2022164671A (ja) 視野周辺の視覚的背光
KR102162373B1 (ko) 주체와 객체의 연관
EP3364272A1 (en) Automatic localized haptics generation system
US20150187137A1 (en) Physical object discovery
CN110249368A (zh) 混合现实环境中的虚拟用户输入控制
JP2018075449A (ja) 手のモーションコントロールを有するゲーム
US9888090B2 (en) Magic wand methods, apparatuses and systems
TW201220159A (en) Apparatus and method for user input for controlling displayed information
WO2015102854A1 (en) Assigning virtual user interface to physical object
JP2013025789A (ja) 現実世界環境におけるジェスチャベースの対話型ホットスポット生成のシステム、方法及びプログラム
US20190332182A1 (en) Gesture display method and apparatus for virtual reality scene
JP6514376B1 (ja) ゲームプログラム、方法、及び情報処理装置
CN107930119A (zh) 信息处理方法、装置、电子设备及存储介质
US20190043263A1 (en) Program executed on a computer for providing vertual space, method and information processing apparatus for executing the program
EP2920674A1 (en) Binding control devices to a computing system
WO2024118290A1 (en) User-customized flat computer simulation controller field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190521

WD01 Invention patent application deemed withdrawn after publication