CN108664156A - 3d定位器映射 - Google Patents

3d定位器映射 Download PDF

Info

Publication number
CN108664156A
CN108664156A CN201810714292.3A CN201810714292A CN108664156A CN 108664156 A CN108664156 A CN 108664156A CN 201810714292 A CN201810714292 A CN 201810714292A CN 108664156 A CN108664156 A CN 108664156A
Authority
CN
China
Prior art keywords
velocity vector
cursor
cursor position
angle
mapping algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810714292.3A
Other languages
English (en)
Other versions
CN108664156B (zh
Inventor
马修·G·利伯蒂
布赖恩·A·库克
盛华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
7H World Co.
Interactive Digital Holding Co
Interactive Digital Wireless Co
Tag Comm Inc
Original Assignee
Idhl Holding Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Idhl Holding Co filed Critical Idhl Holding Co
Publication of CN108664156A publication Critical patent/CN108664156A/zh
Application granted granted Critical
Publication of CN108664156B publication Critical patent/CN108664156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用于将设备的移动映射到光标位置的方法及装置。该方法包括:估算在三至六个自由度中的任一者中的所述设备的姿势;使用(i)第一映射算法处理所估算的姿势以产生速度矢量,以及使用(ii)第二映射算法处理所估算的姿势以产生第一光标位置;至少部分地通过调整所述速度矢量的比例和角度中的任一者确定所调整的速度矢量,以使得由当前光标位置和所述所调整的速度矢量的结合得到的第二光标位置比由所述当前光标位置和所述速度矢量的结合得到的第三光标位置,更接近所述第一光标位置;以及将所述当前光标位置与所述所调整的速度矢量相结合以产生最终的光标输出。

Description

3D定位器映射
本案为2009年7月01日递交的题为“3D定位器映射”的中国发明专利申请200980128320.2的分案申请。
相关申请
本申请涉及2008年7月1日提交的题为“3D Pointer Mapping(3D定位器映射)”的第61/077,238号美国临时专利申请,并要求其优先权,该申请的内容通过引用并入本文。
背景技术
本发明描述了能够用于3D定位装置以及其他类型装置的映射技术、系统、软件以及设备。
与信息的通信相关的技术在过去的几十年里有了迅速的发展。电视、蜂窝电话、互联网和光学通信技术(这里仅列出几样)结合起来将消费者淹没在可得到的信息和娱乐选择中。以电视为例,最近30年来已经引入了有线电视服务、卫星电视服务、按次计费电影和视频点播。然而,20世纪60年代的电视观众在他们的电视机上通常只能够接收到也许是四或五个无线TV频道,今天的电视观众有机会在数以百计、数以千计和潜在的数以万计的节目和信息频道中选择。目前主要在旅馆等中使用的视频点播技术提供了一种用于从数以千计的电影节目单中进行家庭娱乐选择的潜能。
为终端用户提供那么多的信息和内容的技术能力给系统设计人员和服务供应商提供了机会和挑战。一个挑战是尽管终端用户通常更愿意拥有更多的选择而不愿意选择变少,但这种喜好与他们希望的既快速又简单的选择处理相背。不幸的是,终端用户用来访问媒体节目的系统和界面的发展使得选择处理既不快又不简单。再次以电视节目为例。在电视处于其初期时,确定看哪一个节目是相对简单的事情,这是因为可选择的数目较少。人们可以查阅印制的节目指南,该节目指南被格式化为例如一系列的行和列,这些行和列显示出了在(1)邻近的电视频道、(2)被传输到这些频道的节目以及(3)日期和时间之间的对应关系。通过调节调谐钮,电视被调谐到所需的频道,并且观众观看到所选择的节目。在这之后,允许观众远距离调谐电视的遥控装置被引入。这种对用户-电视交互的增添产生了被称为“频道冲浪”的现象,借此,观众能够迅速地观看在大量频道中广播的短片段,从而可以快速得知在任意给定的时间什么节目是可看的。
尽管存在频道的数量和可观看的内容急剧增加的事实,但通常可得到的用于电视的用户界面、控制设备选择和架构在过去的30年里没有改变太多。印制的节目指南仍然是用于传递节目信息的最流行的机制。具有上下箭头的多按钮遥控器仍然是最流行的频道/内容选择装置。设计和实现TV用户界面的人们对可得到的媒体内容的增加的反应已经成为现存的选择处理和界面对象的直接延伸。这样,印制的节目指南中的行数增加以容纳更多的频道。遥控装置中的按钮的数目也增加以支持附加的功能和内容处理,例如,像图1所示的那样。然而,这种方法大大增加了观众浏览可得到信息所需的时间和执行选择所需运动的复杂度。有争议的是,现存界面的麻烦的本质阻碍了一些服务(例如视频点播)的商业应用,这是由于消费者反对给在他们看来已经是太慢和太复杂的界面再增加复杂度的新服务。
除了在带宽和内容方面增加之外,技术的集成还加剧了用户界面的瓶颈问题。消费者正在积极地做出反应要选择购买集成系统而不是大量分离组件。这种趋势的一个实施方式是电视/VCR/DVD的组合,其中的三个组成部分以前是三个独立的组件,如今则作为一个集成单元而被频繁购买。这种趋势会延续下去,潜在的最终结果是目前在家庭中可以找到的所有通信设备将会组合在一起作为集成单元,例如,电视/VCR/DVD/互联网接入/收音机/立体声单元。即便是那些继续购买分离组件的人们也会期望上述单独组件的无缝控制和这些分立组件之间的互相交互。随着这种集成度的增长,产生了使用户界面更加复杂的潜在可能。例如,在所谓的“通用”遥控单元(例如TV遥控单元和VCR遥控单元功能的组合)被提出时,这些通用遥控单元上的按钮的数目通常地多于单个TV遥控单元或VCR遥控单元上的按钮数目。如果不能准确地找到该遥控装置中的正确按钮,这些增加了数目的按钮和功能使人除了只能在控制TV或VCR的最简单的方面外很难控制其它任何事情。许多时候,这些通用的遥控装置不能提供足够的按钮以访问某些TV所特有的许多层面上的控制或特性。在这种情况下,仍然需要原始设备的遥控单元,并且由于集成的复杂度导致的用户界面问题,所以处理多遥控的最初争论仍然存在。一些遥控单元通过增加可用专家命令编制的“软”按钮解决了这个问题。这些软按钮有时具有附随的LCD显示装置来指示它们的运动。这种方式也具有缺陷,即,如果不将视线从TV转移到遥控装置,它们就难以使用。这些遥控单元的另一个缺陷是采用了多模式以试图减少按钮个数。在这些“模式化”的通用遥控单元中,存在专门的按钮来选择该遥控装置是否与TV、DVD播放器、有线机顶盒和VCR等通信。这产生了许多使用性的问题,包括发送命令到错误的装置、迫使用户通过观看遥控装置来确信其是否处于正确的模式,并且它不能给多装置的集成提供任何的简化。这些通用遥控单元的最大好处是它可通过允许用户将用于多个设备的命令序列编写到遥控装置中来提供一定的集成度。这是一个较困难的任务,以至于许多用户雇佣职业的安装人员来对他们的通用遥控单元进行程序编写。
人们还做出了一些尝试来使终端用户与媒体系统之间的显示界面现代化。然而,上述尝试除了其它缺点以外,通常具有不能容易地在媒体节目的大集合与媒体节目的小集合之间调整比例的问题。例如,依赖于节目列表的界面可以很好地为媒体节目的小集合工作,但是对于浏览媒体节目的大集合却是冗长乏味的。与媒体节目的大集合所用的列表界面相比,依赖于分等级的导航(例如树结构)的界面可具有更快的遍历速度,但是不适于媒体节目的小集合。另外,用户趋向于对不得不在树结构中经过三层或更多层的选择处理失去兴趣。对于所有的这些情况,目前的遥控单元通过迫使用户反复地按上按钮和下按钮来遍历上述列表或分级结构以更冗长乏味地进行这些选择处理。在可以使用选择跳过控制时(例如上翻页和下翻页),用户经常不得不看该遥控装置以找到这些特殊的按钮,或不得不经过训练以知道它们恰好存在。因此,在题为“AControl Framework with a ZoomableGraphicalUser Interface for Organizing,Selecting and Launching Media Items(用于组织、选择并启动媒体节目的具有可缩放图形用户界面的控制架构)”的第10/768,432号美国专利申请中已经提出了一种组织架构、技术和系统,其简化用户与媒体系统之间的控制和显示界面、并加快选择过程、而同时允许服务提供商通过便利地向用户供应大量媒体节目和新的服务来利用对终端用户设备增加的可用带宽的益处,该申请的内容通过引用并入本文。
本文特别感兴趣的是可用于与这种架构、以及其他应用和系统交互的遥控装置。如上述并入的申请中所提到的,各种不同类型的遥控装置可用于这种架构,例如包括轨迹球、“鼠标”型定位装置、光笔等。能够与这种架构(以及其他应用)一起使用的其他类别的遥控装置是3D定位装置。“3D定位”一词在本文中指输入装置测量三维空间中运动的能力。三维空间具有六个自由度(6DOF):三个线性运动轴和三个角运动轴。虽然通常使用术语6DOF,但是自动地包括了第七维——时间。装置的位置(或姿势)可以由它的线性位置和角位置(方向)来表示。3D定位装置在例如显示器前的空中的六个自由度中移动,并且用户界面的相应能力是将这些运动直接转换为例如光标在显示屏上移动的用户界面命令。“3D定位”不同于例如传统的计算机鼠标定位技术,所述计算机鼠标定位技术使用例如桌子表面或鼠标垫的表面作为代理表面,通过该代理表面将鼠标移动转化为计算机显示屏上的光标移动。在Matthew G.Liberty的第7,118,518号美国专利(下文中称为‘518专利)中可以得到3D定位装置的实施例,该申请的内容通过引用并入本文。运动数据在3D定位装置与主机系统之间传递。可以通过任意通信链路(包括有线、无线电频率、紫外线和红外线)执行运动数据传递。
存在两种主要的将装置运动映射为光标运动的方法:绝对定位和相对定位。对于绝对定位,期望的光标位置是装置的向前矢量(forwardvector)与显示器的平面相交的位置。如果3D定位器是激光定位器,那么这个激光器位置将是投射的激光点的位置。对于绝对定位,角运动的定位分辨率随线性位置而改变。用户距离显示器越远,目标对象所需要的角运动越精细。角运动分辨率还随离轴角而改变。当用户在显示器的边侧时,比用户直接在显示器前的相同距离处需要更小的角运动。定位分辨率的这种改变产生不一致的用户体验。当作为TV遥控的一部分时,这种改变导致在不同家庭之间甚至在相同家庭中的不同座位之间的不一致的行为。然而,绝对定位通常是可重复的且是时不变的。如果3D定位器放置在相同位置,那么光标将回到相同位置。绝对定位还可以是非校准的并且参照最初开始位置。
对于相对定位,所有运动的定位分辨率与距显示器的线性位置和角位置无关。然而,装置可以不与显示器上的光标对齐。相对定位允许包括显著提高定位性能的定位器弹道(ballistics)的非线性处理。例如,在http://www.microsoft.com/whdc/archive/pointer-bal.mspx描述了定位器弹道。相对定位通常将光标运动限制在显示器边界内,并且丢弃显示器边界外的任何运动。虽然这允许用户放松并找到舒服的位置,但是一些应用受益于装置位置与光标位置之间的固定映射。
然而,在纯绝对定位和纯相对定位之外存在解决方案。因此,在例如将装置移动映射到显示器的领域还存在改进空间,特别指手持装置设计,更特别地指3D定位器设计。对于本文的其余部分,绝对定位指具有与真正绝对定位非常相似的特征的解决方案,相对定位指具有与真正相对定位非常相似的特征的解决方案。
发明内容
根据一个示例性实施方式,描述了一种将装置移动映射为光标位置的方法。估算装置的线性位置和角位置。通过第一映射算法进一步处理所估算的线性位置和角位置以产生第一光标位置,以及通过第二映射算法进一步处理所估算的线性位置和角位置以产生第二光标位置。将第一光标位置和第二光标位置相结合以产生最终的光标输出。例如,可以将这种技术与两种映射算法的优势相结合,以提供例如与用户界面相关联的更强大的用户体验,在该用户界面中光标用于与各种对象交互。
根据另一个示例性实施方式,3D定位装置包括至少一个传感器以及处理器,传感器被配置为产生与3D定位装置的移动相关联的输出。处理器被配置为通过输出估算装置的线性位置和角位置中的至少一个;通过第一映射算法处理所估算的线性位置和角位置中的至少一个以产生第一光标位置,以及通过第二映射算法处理所估算的线性位置和角位置中的至少一个以产生第二光标位置;以及将第一光标位置和第二光标位置相结合以产生最终的光标输出。
根据另一个示例性实施方式,系统包括:3D定位装置,具有至少一个传感器,至少一个传感器被配置为产生与3D定位装置的移动相关联的输出;以及系统控制器,与3D定位装置通信并且被配置为接收与3D定位装置的输出相关联的数据。3D定位装置和系统控制器的至少一个包括处理器,处理器通过输出估算装置的线性位置和角位置中的至少一个,通过第一映射算法处理所估算的线性位置和角位置中的至少一个以产生第一光标位置以及通过第二映射算法处理所估算的线性位置和角位置中的至少一个以产生第二光标位置,并且将第一光标位置和第二光标位置相结合以产生最终的光标输出。
根据另一个示例性实施方式,将装置移动映射为光标位置的方法包括:估算装置的线性位置和角位置;以及通过映射算法处理所估算的线性位置和角位置以产生光标位置,其中,映射算法是绝对不变量算法,绝对不变量算法具有第一特征:提供直接的、可重复的从装置线性位置和角位置到光标位置的映射,以及绝对不变量算法具有第二特征:对线运动和角运动的光标响应性在运动范围内是一致的。
根据另一个示例性实施方式,将装置移动映射为光标位置的方法包括:估算装置的线性位置和角位置中的至少一个;通过映射算法处理所估算的线性位置和角位置中的至少一个以产生光标位置,其中,映射算法产生中间的虚拟显示,该虚拟显示移动以面向装置。
根据另一个示例性实施方式,将装置移动映射为光标位置的方法包括以下步骤:估算装置的角位置;以及通过映射算法处理所估算的角位置以产生光标位置,其中,映射算法通过使用角位置球面投影将装置的估算角位置映射为光标坐标。
附图说明
附图示出了示例性实施方式,其中:
图1示出了用于娱乐系统的传统遥控单元;
图2示出了能实现示例性实施方式的示例性多媒体系统;
图3示出了根据本发明的示例性实施方式的3D定位装置;
图4示出了图4中的、包括角速度传感和线性加速度传感的3D定位装置的剖面图;
图5示出了根据另一个示例性实施方式的3D定位装置;
图6示出了根据示例性实施方式的图5的、用作“10英尺”接口的一部分的3D定位装置的剖面图;
图7示出了根据不同示例性实施方式从装置运动到显示的光标运动的映射;
图8至12示出了根据示例性实施方式,与将装置运动映射为显示的光标运动相关联的功能;以及
图13是示出了根据示例性实施方式,将装置运动映射为显示的光标运动的方法的流程图。
具体实施方式
下面参照附图对本发明进行详细的说明。在不同的附图中,相同或相似的元件用同一附图标号表示。此外,以下对本发明的详细说明并不是对本发明的限制。相反,本发明的范围是由所附权利要求来限定的。
为提供上下文以便于讨论,首先参考图2对其中可以实现本发明的一个示例性的集成媒体系统200进行详细描述。但是,本领域普通技术人员可以预见到,本发明并不限于在这类媒体系统中实现,而是可以在其中包括更多或更少的组件。在本系统中,输入/输出(I/O)总线210将媒体系统200中的各个组件连接在一起。该I/O总线210代表多种用于对媒体系统组件之间的信号进行传输的机制和技术中的任意一种。例如,该I/O总线210可以包括适当数量的用于传输音频信号的独立音频“插头”电缆、用于传输视频信号的同轴电缆、用于传输控制信号的双线式串行线路或红外线或射频收发器、光纤或任何用于传输其它类型的信号的其它传输机制。
在这个示例性的实施方式中,媒体系统200包括电视/监视器212、视频卡式记录器(VCR)214、数字化视频盘(DVD)记录/回放装置216、音频/视频调谐器218和小型碟播放机220,这些器件都被连接到I/O总线210上。VCR 214、DVD 216和小型碟播放机220可以是单光盘或单磁带式设备,也可以是多光盘或多磁带式设备。它们可以是独立的单元或者被集成在一起。此外,媒体系统200还包括一个麦克风/扬声器系统222、摄像机224和无线I/O控制装置226。根据本发明的示例性实施方式,无线I/O控制装置226是根据以下所述示例性实施方式之一的3D定位装置。无线I/O控制装置226能够通过使用例如IR或者RF发射器或者收发器与娱乐系统200通信。可选地,I/O控制装置能够通过有线与娱乐系统200连接。
媒体系统200还包括系统控制器228。根据本发明的一个示例性的实施方式,系统控制器228能够操作以存储和显示可从多个娱乐系统数据源获得的娱乐系统数据,并能控制与系统各组件相关的多种特征。如图2所示,必要时,系统控制器228可通过I/O总线210直接或者间接地连接到系统的各个组件。在一个示例性的实施方式中,除I/O总线210外,或者用来替代I/O总线210,系统控制器228配备有无线通信发射器(或收发器),它能够通过IR信号或RF信号与系统组件进行通信。无论控制媒质是什么,系统控制器228都被设置成能够通过下文所述的图形用户界面来控制媒体系统200中的各个媒体组件。
如图2进一步所示,媒体系统200可以被设置用于接收来自多个媒体源和服务提供商的媒体节目。在这个示例性的实施方式中,媒体系统200从以下数据源中的任一个或全部接收信息并且可选择地向其发送信息:有线广播230,卫星广播232(例如通过卫星天线),广播电视网234的甚高频(VHF)或超高频(UHF)射频通信(例如通过空中的天线),电话网236和有线调制解调器238(或者其它的互联网内容源)。本领域技术人员可以预见到,图2所示的媒体组件和媒体源仅仅是一个示例,媒体系统200可以包括更多或者更少的这些组件。例如,对于上述系统的其它形式的输入包括AM/FM无线装置和卫星无线装置。
在上面通过引用并入的美国专利申请“A Control Framework with a ZoomableGraphical User Interface for Organizing,Selecting and Launching Media Items(用于组织、选择并启动媒体节目的具有可缩放图形用户接口的控制架构)”中,能够找到关于这个示例性娱乐系统及其相关架构的更多细节。可选地,根据本发明的遥控装置能够与其他系统结合使用,例如与包括例如显示器、处理器的计算机系统、存储系统或者其他各种系统以及应用结合使用。
如在背景技术部分中所述,本文感兴趣的是用作3D定位器的遥控装置。这种装置能将移动(例如,姿势)能够转化为用户界面的命令。图3中示出了示例性的3D定位装置400。其中,可根据例如3D定位装置400的x轴方位角(滚动)、y轴高度(俯仰)和/或z轴方向(摇摆)运动的组合,限定3D定位装置的用户移动。此外,本发明的某些示例性实施方式还可测量3D定位装置400沿x、y和z轴的线性移动,以生成光标移动或其它的用户界面命令。虽然其他示例性实施方式将包括其他物理配置,但是在图3的示例性实施方式中,3D定位装置400包括两个按钮402和404以及滚轮406。根据本发明的示例性实施方式可预见,3D定位装置400将由用户在显示器408的前方握持,并且3D定位装置400会将其运动转化为输出,以与显示在显示器408上的信息相互作用,例如在显示器408上移动光标410。例如,通过3D定位装置400能够感应3D定位装置400关于y轴的旋转,并将其转化为系统可用的输出,以沿着显示器408的y2轴移动光标410。同样,通过3D定位装置400能够检测3D定位装置400关于z轴的旋转,并将其转化为系统可用的输出,以沿着显示器408的x2轴移动光标410。应该认识到,3D定位装置400的输出可用于以不同于(或除了)光标移动之外的多种方式与显示器408相互作用,例如,可控制光标淡入、音量或媒体传送(播放、暂停、快进或倒带)。输入命令可包括除了光标移动之外的操作,例如在显示器的特定区域放大或缩小。光标可以是可视或不可视的。同样,除了y轴和/或z轴旋转之外、或作为一种替代的选择,可使用3D定位装置400检测到的关于其x轴的旋转,向用户界面提供输入。
根据本发明的一个纯说明性的示例性实施方式,二轴角速度传感器420和422以及三轴加速度传感器424能够用作如图4中所示的3D定位装置400中的传感器。虽然这个示例性实施方式采用了内部传感器,但是应该认识到,本发明不限于此,并且在下面提供了能够接合其他示例性实施方式使用的其他类型传感器的实施例。例如,通过使用由Invensense制造的IDG-500或IXZ-500传感器,能够实现旋转传感器420、422。可选地,使用实现为IDG-500和IXZ-500组合的元件420和422,实施方式可测量所有三轴角速度。本领域技术人员应该认识到,其他类型的旋转传感器可用作旋转传感器420和422,而Invensense传感器只是用作说明性示例。不同于传统的陀螺仪(gyroscope),这些旋转传感器使用微型机电系统(MEMS)技术,提供附接在框架上的共振质量,以使其只能沿一个方向共振。当附着有传感器的主体沿传感器的感应轴线旋转时,该共振质量将会移位。可以通过科里奥利(Coriolis)加速度效应来测量出该移位,以确定与沿感应轴的旋转相关的角速度。还可以使用其他传感器/传感器包,并且角速度传感器420和422可以是1D、2D或者3D传感器。例如,加速计424可以是3轴线加速计,例如由STMicroelectronics生产的LIS331DLH。然而,假设装置测量重力并且以数学方法计算剩余的第三个值时,可以使用2轴加速计。另外,加速计和旋转传感器可以一起封装在单个传感器包内。其他各种传感器和传感器包也可以与这些示例性实施方式结合使用。
示例性实施方式不限于图3和4中所示的工业设计,而是可替换地以任意工业形状因数部署,如图5所示的另一个实施例。在图5的示例性实施方式中,虽然其他示例性实施方式可以包括其他物理配置,但是3D定位装置500包括环形外壳501、两个按钮502和504以及滚轮506和手柄507。包括两个按钮502和504以及滚轮506的区域508在本文中被称为“控制区”508,该“控制区”508布置在环形外壳501的外部。在2006年7月3日提交的题为“3DPointer Mapping(三维定位器映射)”的序列号为11/480,662的美国专利申请中能够得到与这个示例性实施方式相关的更多细节,该申请的内容通过引用并入本文。
这种装置具有很多应用,包括例如在图6中所示的在典型的起居室中,在沙发和电视机之间的所谓“10英尺”接口中的使用。在那里,当3D定位装置500在不同位置之间移动时,该移动由3D定位装置200内的一个或多个传感器检测到,并且发射到电视机620(或者相关联的系统组件,例如机顶盒(未示出))。例如,3D定位装置500的移动可以转化或者映射为显示在电视机620上的光标640的移动(这种映射的实施例将在下文提出),用于与用户界面交互。例如,在上述并入的序列号为10/768,432的美国专利申请和在2006年5月19日提交的题为“Global Navigation Objects in User Interfaces(用户界面中的全球导航对象)”的序列号为11/437,215的美国专利申请中可以得到示例性用户界面的细节,用户通过3D定位装置500可以与用户界面交互,该申请的内容通过引用并入本文。另一个示例性实施方式可以包含其他具有传感系统的传感器,这可以在2009年4月15日提交的题为“TrackingDetermination Based On Intensity Angular Gradient Of A Wave(基于波的角梯度强度的轨迹确定)”序列号为12/424,090的美国专利申请中得到,该申请的内容通过引用并入本文。
根据本发明的示例性的3D定位装置400的实施所面临的一个挑战是,使用不太贵的组件(比如,旋转传感器502和504),但同时又要提供3D定位装置400的移动、与用户期望用户界面对3D定位装置的具体移动做出何种反应、以及与响应于该移动的实际用户界面执行之间的高度相关性。例如,如果3D定位装置400没有移动,用户将会认为光标不应该在显示屏上飘移。同样,如果用户只是使3D定位装置400关于y轴旋转,他/她将不期望看到在显示器408上的光标移动有任何明显的x轴分量。为实现本发明示例性的实施方式的这些和其它方面,例如通过手持装置400来执行各种测量和计算,这些测量和计算被用来调整传感器402、422和424中的一个或多个的输出,和/或作为处理器的输入的一部分以根据传感器402、422和424的输出来确定用户界面的适当的输出。这些测量和计算是用来补偿以下两种因素的:(1)3D定位装置400的固有因素,例如,与装置400中使用的特定传感器402,422和424相关的误差,或者与传感器在装置400中安装方式相关的误差,以及(2)3D定位装置400的非固有因素,即与用户使用3D定位装置400的方式相关的因素,例如,线性加速度、倾斜和抖动。在上面通过引用并入的专利‘518中描述了用于处理上述各因素的示例性技术。然而,在2008年6月27日提交的题为“Real-Time Dynamic Tracking Of Bias(偏置的实时动态追踪)”的第12/163,229号美国专利申请中,描述了处理对感应到的运动有贡献的偏置或者偏移误差的其他技术,其公开的内容通过引用并入本文。
映射
如上所述,用户以6个自由度移动的3D定位装置可用于将运动转换为光标运动。不同应用对于装置运动如何被映射为光标运动具有不同的需要和要求。这些示例性实施方式描述了将装置运动映射为光标运动的新颖方法,该方法提供了改进的3D定位器性能并且可被配置成为每个应用传送最佳响应。此外,本发明的示例性实施方式描述了新的3D定位器映射方法以及将可选的映射方法相结合以便为给定应用提供最佳响应的方法。这可以例如减少根据用户相对于显示器的位置的改变而发生的光标分辨率的改变,这是绝对定位具有的主要问题。同时,示例性实施方式可以在装置位置与光标位置之间提供恒定映射,这可能也是一些相对定位应用的问题。
一个示例性实施方式包括:
1.以6个自由度测量运动的装置
2.将装置运动转换为光标运动的一个或多个算法
3.将来自算法的光标运动输出相结合的方法
4.显示光标的可视显示器
在图7中所示的示例性实施方式,用户握持装置701并且使其运动以便控制出现在显示器702上的光标703。装置701通常包含一批传感器,这些传感器的实施例如上所述。传感系统可以包括一个或多个传感器,包括线性加速计、角位置传感器(传统的陀螺仪)、角速度传感器(MEMS陀螺仪)、磁力计、照相机、光学元件、紫外线以及RF。传感系统处理传感器数据以便提供装置的线性位置和角位置的估算。然后通过一个或多个映射算法处理装置的位置以产生光标位置。然后组合光标位置来产生最终的光标输出。然后光标运动信息驱动显示器702上的光标。装置701可以或者以有线方式或者以无线方式连接到显示器702。算法可以在装置701上、显示器702上或中间处理单元(在图7中未示出,例如连接到装置701和显示器702上的系统控制台)上运行。
根据一个示例性实施方式,装置701是电池供电的手持式装置,该装置包含3轴加速计和3轴陀螺仪,然而应该理解的是,可以包括较少或其他的传感器。根据这个示例性实施方式,装置701处理传感器数据以便估算它的线性位置和角位置,并且进一步处理线性位置和角位置以产生光标运动数据。光标运动数据通过专有的2.4GHz的RF链路传输至机顶盒(例如,由图2中的系统控制器228表示)。该数据被机顶盒中的RF硬件接收,并且通过USB总线传输至主机顶盒处理器。在这个实施例中,主机顶盒处理器根据装置701的指定移动光标。对于NTSC机顶盒以30Hz或60Hz(对于PAL以25Hz或50Hz)渲染图像并且通过例如HDMI、组件、S-Video、和/或复合输出将图像发送到显示器。显示器接收图像并且将图像显示给用户。如上所述,虽然根据这个示例性实施方式在手持式装置701中执行各个处理阶段,但是与手持式装置701通信的机顶盒或其他控制器可以执行一些或全部的处理,例如线性位置和角位置的估算和/或将估算的线性位置和角位置映射到一个或多个光标位置。
在讨论根据示例性实施方式可采用的映射技术之前,下面引入一些数学符号以便指导讨论:
小写字母表示标量变量:x,y,z;
小写粗体字母表示向量:x,y,z;
大写粗体字母表示矩阵:X,Y,Z;
假设向量为列向量(N×1矩阵);
|v|是向量v的大小;
x y=x·y是向量x和y的点积;
x×y是向量x和y的叉积;
XT是矩阵转置;
方向的单位向量
<q0,v>是具有标量分量q0和长度为3的向量v的四元数q;
Vector(q)=v,其中q是四元数<q0,v>;
是q和p的四元数乘积;
q*是q的四元数共轭:<q0,v>*=<q0,-v>
bx是在主体体系(frame)坐标中定义的向量x;
ux是在用户体系坐标中定义的向量x;
假设长度为2的向量v具有子分量(vx,vy);以及
假设长度为3的向量v具有子分量(vx,vy,vz)。
通过使用这些符号描述如图7所示的将装置运动处理为光标移动的示例性技术。这个图示出了两个坐标系。第一坐标系(即用户体系坐标系)在这个实施例中任意选择为显示器的中心,并且由(x,y,z)组成。用户体系坐标系相对于显示器是静止的。该坐标系具有进入显示器的x轴,指向显示器右边的y轴和向下的z轴,这对应于典型的航天坐标系约定。本领域技术人员应理解,可以替代地使用可替换的约定,并且可替代的约定可包括,例如,PC显示器坐标(x轴向右,y轴向下,z轴进入显示器)以及HID(x轴从显示器出来,y轴向右,z轴向下)。对于这个讨论,将用户体系轴线任意定义为:
ux=[1,0,0]
uy=[0,1,0]
uz=[0,0,1]
本领域技术人员应理解,可选择用户体系坐标系轴线和原点而不会在本质上改变本发明。上述讨论假设笛卡尔坐标系,但是在不影响本发明的情况下也可使用其他坐标系,例如球面坐标。
这个示例性实施方式中的第二坐标系是装置的主体体系坐标系。主体体系坐标系相对于装置是静止的。虽然没有要求,但是主体体系原点通常位于装置的中心。主体体系轴线表示为(x°,y°,z°),其中x°从装置的前部出去,y°向右,z°向下。对于这个讨论,将主体体系轴线任意定义为:
bx°=[1,0,0]
by°=[0,1,0]
bz°=[0,0,1]
本领域技术人员应理解,可以选择主体体系坐标系轴线和原点而不会在本质上改变本发明。上述讨论假设笛卡尔坐标系,但是在不影响本发明的情况下也可使用其他坐标系,例如球面坐标。
长度为3的向量ou是用户体系坐标系的原点,并且被定义为固定在显示器上。对于本实施方式,将uou定义为(0,0,0)。长度为3的向量ob是主体体系坐标系的原点,并且被定义为固定在装置上。对于本实施方式,将bob定义为(0,0,0)。长度为3的向量od是显示器坐标系的原点,并且被定义为固定在显示器上。对于本实施方式,将uod定义为(0,cx,cy)。将长度为3的向量u定义为3D空间中装置的线性位置。u=ob。长度为3的向量w是从装置的主体体系坐标系原点ob到用户体系坐标系原点ou的向量。在数学上,w=ou-ob=-u。
将四元数q定义为装置相对于用户体系坐标的角位置。对于本讨论,将q定义为单位四元数(q·q=1)。作为四元数的替代,还可以使用任意期望的替换的角位置表示法,例如欧拉角、方向余弦矩阵(DCM)、以及向量/角。长度为2的向量p是以2D显示器坐标给出的定位装置在显示器上的光标位置。长度为2的向量p0是显示器坐标系的光标位置。长度为3的向量ω是角速度。根据上述约定,uω是用户体系坐标的角速度,bω是装置的主体体系坐标的角速度。给定主体体系坐标中的向量,通过下式可得到用户体系坐标中的向量:
给定用户体系坐标中的向量,通过下式可得到主体体系坐标中的向量:
给定这个示例性数学背景,首先考虑通过绝对定位将装置运动映射为光标位置。在绝对定位系统中光标应该位于显示器与线(包含装置的x°轴线)的交叉点处。例如,如果将激光定位器适当地安装至装置701,那么在显示器702上光标位置和激光定位器的点应该位于相同的位置。给定用户体系坐标,绝对定位的完整数学等式是:
绝对定位尤其适合于射击游戏,其中用户直接瞄准显示器上的目标。绝对定位与人们将手臂、手和手指指向我们环境中的实体对象相类同。对于绝对定位,光标运动与装置角运动的比率根据距离而改变。装置距显示器越远,在显示器上将光标移动给定距离所需的角运动越小。同样地,装置距x轴越远,移动光标所需的角运动越小。因此,例如,基于装置的指向前的方向(forward pointing direction)(主体体系x轴线)与显示有光标的显示器表面的交叉点,绝对定位算法将装置运动映射为光标位置。
uux的值相当于距离校正因子。在题为“Space coordinates detecting deviceand input apparatus using same(空间坐标检测装置以及使用该装置的输入设备)”的第5,627,565号美国专利中描述这个距离校正因子,该申请的内容通过引用并入本文。
接下来,将考虑相对定位或者“主体体系”相对定位。一些应用不需要直接对着显示器或者不具有任何有意义的参考坐标系。对于这种情况,应用可以选择使用装置本身作为主要参考。只要ux是正的,不管显示器的位置或者装置的位置,如果用户沿着y°轴线性地移动装置或者绕z°轴旋转装置,那么光标将总是向右移动。
如果对离散时间进行欧拉积分,则在数学上通过下式限定主体体系相对定位:
注意,装置不需要实现这个等式中的两项。在图8中功能性地示出了相对定位。与绝对定位不同,对于相对定位,光标运动的量不受装置800位置的影响。然而,装置的向前的方向和光标位置是不确定的,并且可能随着时间改变。对于一些应用,这种解耦(decouple)是有利的。实际光标位置可以通过使用Δp的非线性函数(在图8中被称为vPointer)计算,该Δp的非线性函数是通常被称为定位器弹道802的非线性函数。传统的2D计算机鼠标使用定位器弹道802来提高它们的表观(apparent)可用性和性能,并且这个功能还可以用在3D定位器映射中。然后在方框804中,定位器弹道802的输出vSys用于在屏幕上受边界条件等制约而移动光标。
虽然主体体系相对定位提供了一定优势,但是用户常常不关心装置的位置,而是只关心它们做出的相对移动。因此,本文考虑的第三类映射被称为“用户体系相对定位”。在用户体系相对定位中,如果用户使装置围绕用户体系的z轴旋转,那么光标将向右移动。如果用户沿着用户体系的z轴线性地移动装置,那么光标将向下移动。
如果对离散时间进行欧拉积分,则在数学上通过下式限定用户体系相对定位:
注意的是,装置不需要执行这个等式中的两项。上面通过引用并入本文的第7,158,118号美国专利中包含了细节并且公开了相关的用户体系相对定位。在该专利所描述的一个示例性实施方式中,通过加速计来测量-bz。与主体体系相对定位一样,对于用户体系相对定位,光标运动的量不受装置的位置影响。然而,装置的向前的方向和光标位置是不确定的,并且可能随着时间改变。对于一些应用,这种解耦是有利的。实际光标位置可通过使用Δp(常常被称为定位器弹道)的非线性函数来计算。传统的2D计算机鼠标使用定位器弹道来提高它们的表观可用性和性能。
对于很多应用,装置的响应性应该是与装置在房间内的位置无关的常量,但是应该依然指向显示器。根据示例性实施方式,本文中被称为“绝对不变量(invariant)定位”的第四映射技术融合了很多相对定位的益处和绝对定位的益处,同时使每个方法的消极因素最小。在数学上通过下式限定绝对不变量定位:
其中,c是常量。
与上述绝对定位类似,绝对不变量定位包含直接的、可重复的从装置线性位置和角位置到光标位置的映射。同时,对线性运动和角运动的光标响应性在运动范围内是一致的。如果装置位于显示器中心的左边或右边,那么用户通常尝试相对于从装置到显示器的向量(而不是显示器法向量x)向左或者向右移动装置。当装置远离x轴线移动时,这导致线性运动分辨率的表观损失。因此,根据这个示例性实施方式的绝对不变量定位根据线性位置值的项以及由与线性位置无关的角位置所计算的项的总和,产生光标位置。
被称为“虚拟显示”的第五映射技术减少了当装置离轴移动时“绝对不变量定位”得到的表观线性分辨率的损失。“虚拟显示”技术可以产生中间的虚拟显示,该虚拟显示移动以面向装置。通过移动以面向装置,虚拟显示保持了就像装置直接位于显示器前面一样的相同分辨率。完全的虚拟显示移动以直接面对装置。通过具有xΔ、yΔ、和zΔ的构造产生了新的虚拟显示坐标系。在数学上,
一般地,新的坐标系将优选地(但不作为必要条件)保持y轴为“水平的”、z轴为“垂直的”。通过构建,剩余的轴是:
b=uuxΔ
uxΔ×uyΔ
通过将虚拟显示完全旋转到面对装置,当装置点远离原点时,光标响应变得高度非线性。为了有助于使这些效应最小,虚拟显示坐标系不需要完全旋转朝向装置。比例因子可以应用于构建ux与之间的uxΔ。例如,
其中,c是0与1之间的、包含0和1在内的值。
可将虚拟显示应用到绝对定位算法来产生平面虚拟显示:
w=Quu
虚拟显示方法还可应用到包括上述绝对定位和绝对不变量映射的任何绝对或伪绝对映射方法。如果光标驻留在非平面显示器上,那么这个方法可以容易地适于产生非平面显示器的虚拟显示。然后,根据示例性实施方式,基于装置的指向前的方向(主体体系x轴线)与显示有光标的、被旋转为至少部分地面向装置的显示器表面的交叉点,该中间的平面虚拟显示将装置运动映射为光标位置。
对于很多应用,角响应比线性响应更加重要。然而,虚拟显示方法没有一致的角响应。角响应性与绝对定位相似,而不与相对定位相似。
与“虚拟显示”不同,被称为“虚拟球面显示”的第六映射技术保持恒定的角响应。例如,如果首先执行极坐标转换,即:
然后,如下通过使用齐次坐标,算法可以求出θ和φ以及最终求出p:
φ=sin-1(-bz)
其中,T是任意常量的3×3通用变换矩阵。矩阵T可以使用缩放、旋转、平移、切变(shearing)、反射、正交投影、仿射变换或透视投影的任意组合。因此,基于所估算的角位置的球面坐标,根据这个示例性实施方式的球面虚拟显示将装置运动映射为光标位置,其中所估算的角位置的球面坐标通过变换矩阵变换为虚拟显示坐标并且转换为光标位置。
球面虚拟显示方法可应用于相对定位以便产生被称为“相对球面虚拟显示”的第七映射技术。这个方法使用角度的改变来驱使光标的改变,而不是使用角度来控制光标。
其中,T是任意常量的3×3通用变换矩阵。矩阵T可以使用缩放、旋转、平移、切变、反射、正交投影、仿射变换或透视投影的任意组合。因此,基于主体体系角速度,根据这个示例性实施方式的中间的、相对的球面虚拟显示将装置运动映射为光标位置,其中该主体体系角速度通过变换矩阵被修改并且转换为光标位置的改变。
通过使用球面投影,还可以将角位置映射为光标坐标。第八映射技术被称为“角位置球面投影”。
其中,qI是任意初始角位置旋转值。然后,如下通过使用齐次坐标,算法可以求出θ和φ以及最终求出p:
φ=sin-1(-bz)
其中,T是任意常量的3×3通用变换矩阵。矩阵T可以使用缩放、旋转、平移、切变、反射、正交投影、仿射变换或透视投影的任意组合。本领域技术人员注意的是,如果齐次坐标中p的第三行不等于1,那么可对p进行缩放以使它变为1。
通过简单的线性组合或者更加复杂的非线性组合可以使上述全部或一些的绝对方法的输出相结合。例如,假设应用需要主要绝对定位,且具有改进的角分辨率定位一致性。在这种情况下,可以执行上述“绝对定位映射”与“不变量绝对定位映射”的组合。例如,示例性实施方式可以使用简单的线性组合(或者更加复杂的非线性处理)来组合任意两个上述方法。应用为每个方法pi分配加权因子ci。然后,最终产生的p是:
理想地,保持一致的光标响应,但是这个限制不是必须的。
类似地,通过简单的线性组合或者更加复杂的非线性组合可以使上述全部或一些的相对方法的输出相结合。例如,假设装置的角位置和角速度都具有独特的缺陷。实施方式可以使用“用户体系相对定位”与“相对球面虚拟显示”的相等线性组合,该组合可以使每个方法的缺陷减少一半。示例性实施方式使用简单的线性组合来组合方法。应用为每个方法pi分配加权因子ci。然后,最终产生的Δp是:
理想地,保持一致的光标响应,但是这个限制不是必须的。
根据这些示例性实施方式,还考虑了将绝对定位方法和相对定位方法相组合。可以实现组合的绝对定位方法和相对定位方法映射的一个方法具有主要受相对定位控制的光标,但是使用绝对定位来调整光标移动,以避免长期漂离于参考系。避免长期漂移将消除通常相对定位解决方案所具有的对光标进行周期的重定中心。根据示例性实施方式,当使用相对定位以及当使用非线性定位器弹道时,3D定位器位置与光标位置之间的映射是时变的,并且依赖于运动的位置和范围以及移动的速度。通过保留3D定位器位置及其相关联的光标位置的历史,可以限定自适应映射,该自适应映射基于3D定位器位置来限定光标位置。可以限制这个映射以使光标位置的历史与通过映射映射到光标位置的3D定位器位置的历史之间的差异最小。
图9中示出了这种实施方式的实施例。在这个具体的示例性实施方式中,将“用户体系相对定位”映射与“角位置球面投影”相组合,这两个映射分别如上所述。定位装置900在下分支902上输出vPointer数据,该vPointer数据是与上面关于图8描述的用户体系相对定位数据。定位装置900在上分支904上输出角位置,该角位置被绝对定位映射算法用作输入。在方框906中产生映射,在这个示例性实施方式中,该映射包括3×3通用变换矩阵T,该通用变换矩阵T可以对输出角位置执行各种变换,例如缩放(在任意轴上伸展)、旋转(维持正交)、切变(本质上使轴非正交)、平移(2D数据应用的偏移量)、反射、以及任何其他仿射变换或透视投影。该映射还限定了原点值(四元数)。在图10中示出了如何产生映射的详细实施例。
在图10的方框1002中,首先使装置输出的角位置旋转,以映射测量到的装置的角位置来说明与名义(nominal)原点的偏离。在进行初始旋转后,在方框1004将角位置转化为球面坐标。在方框1006计算当前样本以确定样本的权数(weight)。权数获得每个先前点的重要性以在光标当前位于屏幕上的位置与定位装置900的角位置之间限定当前映射。权数有助于确定哪些数据点值得保存并且可用作最小二乘解的一部分以得到映射。在示例性的实现中,基于定位装置的绝对角位置,将主权数应用于每个样本。将装置的全方位运动划分为固定组的小区域。每个区域中的第一数据点获得最大权数,在那个区域中的每个更远点获得更小的权数。另外,应用基于当前角速度的次权数,使得装置静止时的点比装置运动时的点更重要。基于这个权数,光标位置、角位置以及加权样本的最佳N个样本分别在方框1008、1010以及1012被保存并用于映射计算。在方框1014通过计算旋转原点来产生映射,以确保输入数据保持在可转化为球面坐标的合理范围内。如果光标移动到显示器边界以外,那么可以调整原点和保存的状态以便限定新的对齐方式。产生下一个3×3通用变换矩阵T,该通用变换矩阵T将方位角/高度对的集合变换为光标位置的集合。得到T的一种方法是对于N个保存的样本中的每个样本,将误差向量vn限定为:
然后使最小二乘误差最小:
其中,wn是每个样本的权数。本领域技术人员应理解的是,存在很多方法来得到这个线性最小二乘问题的解,包括使用Moore-Penrose伪逆以及正交分解方法(如QR分解或奇异值分解)来逆变(invert)正规方程。在示例性实现中使用QR分解。
回到图9,一旦通过方框906限定映射,那么在方框908中该映射用于将当前3D定位器位置映射为显示器坐标,以产生参考光标位置pRef。在图11中示出了关于这个示例性处理的更多细节。在图11的方框1102中,使装置900的角位置以与上文关于方框1002描述的相同的方式旋转,并且通过方框1104将输出变换为球面坐标,产生被称为Az/El的2×1向量。然后在方框1106,将这个向量转换为齐次坐标,然后与映射矩阵T相乘,产生pRef。因此,pRef值表示基于这个示例的组合的映射的绝对定位系统分量的光标的期望位置。
再次回到图9,将相对定位值vSys、绝对定位值pRef以及当前光标位置p0输入到动态弹道函数910。动态弹道函数910获得这些输入,在这个示例性实施方式中使用绝对定位值和当前光标位置来调整相对定位值。更具体地,如图12所示,在将光标移动应用于光标之前,使用当前光标位置和参考光标位置调整光标移动。调整光标的一种方法是对当前速度向量的尺度(scale)和角度进行小调整,使得新的光标位置更接近参考点。首先,在方框1202,从参考点减去当前点以得到参考速度向量vRef。在方框1204,将这个参考向量与原始速度v0相比较以得到向量之间的角度。在方框1206,将这个角度限制为固定的最大值,然后用于使向量v0旋转以便产生的vRot,如图12的方框1208所示。接下来,如方框1210所示,将参考向量投影到vRot以得到vRot的尺度,该vRot的尺度将获得最接近参考点的下一个点。将这个尺度限制在最大值与最小值之间(方框1212),然后在方框1214将其应用到vRot。可以调整对最大角度和最大尺度的限制以控制所应用的校正程度。
通过将绝对定位方法与相对定位方法相组合,可以保持相对定位的优势,但仍保持映射到显示器的3D装置位置的固定区域。这允许更小漂移的相对定位,该相对定位具有不变量:在t0时给出3D定位器位置q和光标位置p1,在t1>t0时装置返回到位置q将使光标位置返回到p2,从而p1≈p2。
可以考虑上述映射技术的很多变形和替代。例如,组合不需要限于完全映射方法。可为每个映射方法的每一项分配其自身的加权因子。而且,虚拟显示不需要对装置进行完全追踪。折衷包括:
1.将任意x轴值与实际装置位置相加(或相减),以适当地缩放线性运动。
2.在算法上增加或减小虚拟显示与装置的距离。
3.将装置的实际位置与比例因子相乘以减少或增加对线性运动的响应。
4.任意上述因素的组合。
可以使用可替换的虚拟显示表面。上述内容描述了平面和球面,但是虚拟显示可延伸到圆柱形、椭圆形以及更高阶表面。
因此,根据一个示例性实施方式,将装置移动映射为光标位置的方法可包括图13的流程图所示的步骤。在图13中的步骤1300,可以估算(或感应、测量、检测等)3D定位装置的线性位置和角位置中的至少一个。在一些情况下,上述示例性映射算法可以只使用装置的线性位置、只使用装置的角位置或者使用它的线性位置和角位置作为映射算法的输入。然后,在步骤1302,通过第一映射算法处理所估算的线性位置和所估算的角位置中的至少一个以产生第一光标位置,以及通过第二映射算法处理所估算的线性位置和所估算的角位置中的至少一个以产生第二光标位置。在步骤1304,将结果相结合以产生最终的光标输出。
映射算法可用于部分或不完整的运动数据。例如,对于两项中的一项,用户体系相对定位是有用的。当采集到角运动或者线性运动(而不是采集到二者)时,一些应用可以使用用户体系相对定位。传感器可以在用户体系坐标、主体体系坐标或者用户体系与主体体系坐标的组合中采集和估算运动。映射算法可以用于用户体系坐标系、主体体系坐标系或者任何其他坐标系中。可以在包括笛卡尔和球面的任何坐标系中测量运动。映射算法可以使用包括速度和加速度的线性位置的衍生。映射算法可以使用包括速度和加速度的角位置的衍生。映射组合方法可能很简单,并且只使用来自一个映射方法的数据。用于其他算法的因子可能是0。具有0值系数的数学项不需要计算或者显示在最终的实现中。
可以由执行包含在存储装置内的指令序列的一个或多个处理器执行根据本发明的示例性实施方式的处理数据的系统和方法。这种指令可以从其他计算机可读介质(如辅助数据存储装置)读取到存储装置中。包含在存储装置内的指令序列的执行使处理器如上所述工作。在可替换的实施方式中,硬连线电路可用于替换软件指令或与软件指令相结合来实现本发明。这种软件可以在封装于包含传感器的装置(例如,3D定位装置或其他装置)内的处理器上运行,或者软件可以在封装于另一种装置(例如,系统控制器、游戏控制台、个人计算机等)内的处理器或计算机上运行,所述另一种装置与包含传感器的装置通信。在这种情况下,数据可以以有线或无线的方式在包含传感器的装置与包含处理器的装置之间传递,该处理器运行执行如上所述的定位器映射的软件。根据本发明的其他示例性实施方式,可以在包含传感器的装置中执行与上述定位器映射相关的一些处理,同时在从包含传感器的装置接收部分处理过的数据后,在第二装置中执行剩余的处理。
虽然上述示例性实施方式涉及了传感封装(包括一个或多个旋转传感器和加速计),但是根据本发明示例性实施方式的定位器映射技术不限于这些类型的传感器。相反,如本文所述的定位器映射技术可应用到包括,例如,只有加速计、光学和惯性传感器(例如,旋转传感器、陀螺仪、角速度传感器或线性加速计)、磁力计和惯性传感器(如,旋转传感器、陀螺仪或线性加速度计),磁力计和光学传感器、或其他传感器组合的装置。另外,虽然本文所述的示例性实施方式涉及了3D定位装置和应用背景下的光标映射,但是这种技术并不限于此,并且可以应用到与其他应用(例如,医疗应用、游戏、照相机、军事应用等)相关联的方法和装置中。
以上所述的示例性实施方式旨在对本发明的各方面进行说明,而不是对本发明进行限制。因此本发明在详细的实施上能具有多种变体,这些变体可由本领域技术人员从本文的说明中得出。例如,虽然上述示例性实施方式特别描述了使用惯性传感器来检测装置的移动,但是其他类型的传感器(例如,超声波、磁性或光学)可连同上述信号处理用于替代或者辅助惯性传感器。如下文的权利要求所述,认为全部这些变体和修改都在本发明的范围和精神内。除非明确说明,否则本发明的说明书中使用的元素、运动、或指示都不应被解释为对本发明是决定的或本质的。同样,本文使用的“一个”趋向于是指包括一个或多个项。

Claims (20)

1.一种用于将设备的移动映射到光标位置的方法,包括:
估算在三至六个自由度中的任一者中的所述设备的姿势;
使用(i)第一映射算法处理所估算的姿势以产生速度矢量,以及使用(ii)第二映射算法处理所估算的姿势以产生第一光标位置;
至少部分地通过调整所述速度矢量的比例和角度中的任一者确定所调整的速度矢量,以使得由当前光标位置和所述所调整的速度矢量的结合得到的第二光标位置比由所述当前光标位置和所述速度矢量的结合得到的第三光标位置,更接近所述第一光标位置;以及
将所述当前光标位置与所述所调整的速度矢量相结合以产生最终的光标输出。
2.如权利要求1所述的方法,其中,所述第一映射算法包括相对定位算法,以及其中,所述第二映射算法包括绝对定位算法。
3.如权利要求2所述的方法,其中,所述相对定位算法是用户体系相对定位算法。
4.如权利要求1所述的方法,其中,调整所述速度矢量的比例和角度中的任一者包括:
调整所述速度矢量的所述比例和所述角度中的任一者以满足以下条件中的任一个:(i)对所述第一映射算法的特征的可接受偏差的限制;以及(ii)对所述第二映射算法的特征的可接受偏差的限制。
5.如权利要求4所述的方法,其中,所述第一映射算法的所述特征是对线性运动和角运动中的任一个的光标响应性在运动范围内是一致的,以及其中,所述第二映射算法的所述特征是避免长期漂移。
6.如权利要求1所述的方法,其中,调整所述速度矢量的比例和角度中的任一者包括以下情形中的至少一者:
调整所述速度矢量的所述比例以满足以下任意者:第一最小值、第一及第二最大值、以及第一结合的最小值和最大值;以及
调整所述速度矢量的所述角度以满足以下任意者:第二最小值、第二最大值以及第二结合的最小值和最大值。
7.如权利要求1所述的方法,其中,所述第二映射算法使用角位置球面投影将所估算的角位置映射到光标坐标。
8.如权利要求7所述的方法,其中,在不使用所述设备的所估算的线性位置的情况下,所述映射被执行。
9.如权利要求1所述的方法,其中,估算所述设备的角位置是基于来自至少一个传感器的至少一个输出的。
10.一种装置,包括:
至少一个传感器,被配置为产生与设备的移动相关联的输出;以及
处理器,被配置为:
估算在三至六个自由度中的任一者中的所述设备的姿势;
使用(i)第一映射算法处理所估算的姿势以产生速度矢量和使用(ii)第二映射算法处理所估算的姿势以产生第一光标位置;
至少部分地通过调整所述速度矢量的比例和角度中的任一个确定所调整的速度矢量,以使得由当前光标位置和所述所调整的速度矢量的结合得到的第二光标位置比由所述当前光标位置和所述速度矢量的结合得到的第三光标位置,更接近所述第一光标位置;以及
将所述当前光标位置与所述所调整的速度矢量相结合以产生最终的光标输出。
11.如权利要求10所述的装置,其中,所述第一映射算法包括相对定位算法,以及其中,所述第二映射算法包括绝对定位算法。
12.如权利要求11所述的装置,其中,所述相对定位算法是用户体系相对定位算法。
13.如权利要求10所述的装置,其中,所述处理器被配置为至少部分地通过以下操作调整所述速度矢量的比例和角度中的任一者:
调整所述速度矢量的所述比例和所述角度中的任一者以满足以下条件中的任一个:(i)对所述第一映射算法的特征的可接受偏差的限制;以及(ii)对所述第二映射算法的特征的可接受偏差的限制。
14.如权利要求13所述的装置,其中,所述第一映射算法的所述特征是对线性运动和角运动中的任一个的光标响应性在运动范围内是一致的,以及其中,所述第二映射算法的所述特征是避免长期漂移。
15.如权利要求10所述的装置,其中,所述处理器被配置为至少部分地通过以下操作中的至少一者调整所述速度矢量的比例和角度中的任一者:
调整所述速度矢量的所述比例以满足以下任意者:第一最小值、第一及第二最大值、以及第一结合的最小值和最大值;以及
调整所述速度矢量的所述角度以满足以下任意者:第二最小值、第二最大值以及第二结合的最小值和最大值。
16.如权利要求10所述的装置,其中,所述第二映射算法使用角位置球面投影将所估算的角位置映射到光标坐标。
17.如权利要求16所述的装置,其中,所述处理器被配置为在不使用所述设备的所估算的线性位置的情况下,执行所述映射。
18.一种装置,包括:
输入端,被配置为获取在三至六个自由度中的任一者中的设备的所估算的姿态;和
处理器,被配置为:
使用(i)第一映射算法处理所估算的姿势以产生速度矢量和使用(ii)第二映射算法处理所估算的姿势以产生第一光标位置;
至少部分地通过调整所述速度矢量的比例和角度中的任一个确定所调整的速度矢量,以使得由当前光标位置和所述所调整的速度矢量的结合得到的第二光标位置比由所述当前光标位置和所述速度矢量的结合得到的第三光标位置,更接近所述第一光标位置;以及
将所述当前光标位置与所述所调整的速度矢量相结合以产生最终的光标输出。
19.如权利要求18所述的装置,其中,所述第一映射算法包括相对定位算法,以及其中,所述第二映射算法包括绝对定位算法。
20.如权利要求18所述的装置,其中,所述处理器被配置为至少部分地通过以下操作中的至少一者调整所述速度矢量的比例和角度中的任一者:
调整所述速度矢量的所述比例以满足以下任意者:第一最小值、第一及第二最大值、以及第一结合的最小值和最大值;以及
调整所述速度矢量的所述角度以满足以下任意者:第二最小值、第二最大值以及第二结合的最小值和最大值。
CN201810714292.3A 2008-07-01 2009-07-01 3d定位器映射 Active CN108664156B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US7723808P 2008-07-01 2008-07-01
US61/077,238 2008-07-01
CN200980128320.2A CN102099814B (zh) 2008-07-01 2009-07-01 3d定位器映射

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200980128320.2A Division CN102099814B (zh) 2008-07-01 2009-07-01 3d定位器映射

Publications (2)

Publication Number Publication Date
CN108664156A true CN108664156A (zh) 2018-10-16
CN108664156B CN108664156B (zh) 2022-02-25

Family

ID=41466324

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980128320.2A Active CN102099814B (zh) 2008-07-01 2009-07-01 3d定位器映射
CN201810714292.3A Active CN108664156B (zh) 2008-07-01 2009-07-01 3d定位器映射

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200980128320.2A Active CN102099814B (zh) 2008-07-01 2009-07-01 3d定位器映射

Country Status (6)

Country Link
US (2) US20110227825A1 (zh)
EP (1) EP2297675A4 (zh)
JP (1) JP5866199B2 (zh)
KR (2) KR101617562B1 (zh)
CN (2) CN102099814B (zh)
WO (1) WO2010002997A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US9681112B2 (en) * 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
WO2011153421A2 (en) 2010-06-03 2011-12-08 Hillcrest Laboratories Inc. Determining forward pointing direction of a handheld device
AU2011278996B2 (en) * 2010-07-15 2014-05-08 The Cleveland Clinic Foundation Detection and characterization of head impacts
TWI481871B (zh) * 2010-09-28 2015-04-21 J Mex Inc 與在操作區域中的目標互動的裝置及系統及方法
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
CN103314350A (zh) * 2010-11-22 2013-09-18 希尔克瑞斯特实验室公司 具有上下左右模式切换和集成的挥动检测器的3d定位装置
US8907892B2 (en) 2010-11-22 2014-12-09 Hillcrest Laboratories, Inc. 3D pointing device with up-down-left-right mode switching and integrated swipe detector
US9116558B2 (en) * 2011-10-28 2015-08-25 Atmel Corporation Executing gestures with active stylus
ITTO20111144A1 (it) * 2011-12-13 2013-06-14 St Microelectronics Srl Sistema e metodo di compensazione dell'orientamento di un dispositivo portatile
CN103294177B (zh) * 2012-02-29 2016-01-06 株式会社理光 光标移动控制方法和系统
KR101956173B1 (ko) 2012-03-26 2019-03-08 삼성전자주식회사 3차원 위치/방향 추정 시스템의 보정 장치 및 방법
JP2013210906A (ja) 2012-03-30 2013-10-10 Sony Corp 制御方法、制御装置及びプログラム
CN103488312B (zh) * 2012-08-22 2016-10-26 上海飞智电子科技有限公司 定位指针位置的方法、系统及设备
CN104620203A (zh) 2012-09-06 2015-05-13 英特飞斯公司 交互式显示系统中的绝对与相对定位传感器融合
KR20140060818A (ko) * 2012-11-12 2014-05-21 삼성전자주식회사 원격 제어 장치, 디스플레이 장치 및 그 제어 방법
US9952684B2 (en) 2013-05-09 2018-04-24 Samsung Electronics Co., Ltd. Input apparatus, pointing apparatus, method for displaying pointer, and recordable medium
CN104252228B (zh) * 2013-06-28 2019-08-23 三星电子株式会社 显示装置及控制显示装置的方法
US10063802B2 (en) * 2013-08-28 2018-08-28 Lg Electronics Inc. Multimedia device and method for controlling external devices of the same
CN103488294B (zh) * 2013-09-12 2016-08-17 华南理工大学 一种基于用户交互习惯的非接触手势控制映射调整方法
EP2853992A1 (en) * 2013-09-27 2015-04-01 Movea Air pointer with improved user experience
WO2015058154A2 (en) * 2013-10-20 2015-04-23 Oahu Group, Llc Method and system for determining object motion
CN104750442A (zh) * 2013-12-31 2015-07-01 冠捷投资有限公司 指示标记的显示及控制方法
FR3035718B1 (fr) * 2015-04-28 2017-05-26 Centre Nat Detudes Spatiales Cnes Procede de controle d'un dispositif de calcul via un element mobile et systeme de controle mettant en oeuvre ce procede
DE102016005237B4 (de) * 2016-04-29 2020-09-24 Gebrüder Frei GmbH & Co. KG Fernbedienung für motorkraftgetriebene Flurförderzeuge und fahrerlose Transportfahrzeuge
CN106293065A (zh) * 2016-07-26 2017-01-04 上海与德通讯技术有限公司 应用程序的控制方法及控制系统
WO2018070750A1 (ko) * 2016-10-10 2018-04-19 홍유정 객체 컨트롤러
KR102387818B1 (ko) * 2016-10-10 2022-04-18 디스이즈엔지니어링 주식회사 객체 컨트롤러
CN106528517A (zh) * 2016-11-01 2017-03-22 深圳市方直科技股份有限公司 试题定位调整方法及系统
CN107508889A (zh) * 2017-08-25 2017-12-22 湖南城市学院 一种粮食安全追溯方法及系统
US20190302903A1 (en) * 2018-03-30 2019-10-03 Microsoft Technology Licensing, Llc Six dof input device
CN109395382A (zh) * 2018-09-12 2019-03-01 苏州蜗牛数字科技股份有限公司 一种针对摇杆的线性优化方法
CN110102050B (zh) * 2019-04-30 2022-02-18 腾讯科技(深圳)有限公司 虚拟对象显示方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040123001A1 (en) * 1998-12-28 2004-06-24 Alps Electric Co., Ltd. Dual pointing device used to control a cursor having absolute and relative pointing devices
US20060092133A1 (en) * 2004-11-02 2006-05-04 Pierre A. Touma 3D mouse and game controller based on spherical coordinates system and system for use
CN1808361A (zh) * 2005-11-01 2006-07-26 跳蛙企业股份有限公司 交互式设备和方法
CN1931410A (zh) * 2005-09-12 2007-03-21 任天堂株式会社 信息处理程序
US20070151772A1 (en) * 2005-12-29 2007-07-05 High Tech Computer Corp. Tapping Operation Method and Mobile Electrical Apparatus with the Tapping Operation Function
US20070257885A1 (en) * 2004-04-30 2007-11-08 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
CN101149651A (zh) * 2006-09-19 2008-03-26 三星电子株式会社 输入装置以及用于提供输入装置的移动信息的方法及介质
CN101169831A (zh) * 2006-10-25 2008-04-30 原相科技股份有限公司 指针定位装置及方法
US20080106517A1 (en) * 2006-11-07 2008-05-08 Apple Computer, Inc. 3D remote control system employing absolute and relative position detection
CN101185051A (zh) * 2005-05-04 2008-05-21 希尔克瑞斯特实验室公司 用于在用户界面上滚动和定位的方法和系统

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB591019A (en) 1945-04-13 1947-08-05 Charles Stanley Hudson Improvements in or relating to remote indicating compasses
US3931747A (en) 1974-02-06 1976-01-13 Sperry Rand Corporation Gyroscopic stable reference device
US4160973A (en) * 1977-10-11 1979-07-10 Massachusetts Institute Of Technology Three-dimensional display
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
IL78889A (en) 1986-05-23 1989-09-28 Elbit Computers Ltd Electronic magnetic compass system
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5396265A (en) 1990-09-17 1995-03-07 Massachusetts Institute Of Technology Three-dimensional tactile computer input device
US5181181A (en) 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
US6069594A (en) 1991-07-29 2000-05-30 Logitech, Inc. Computer input device with multiple switches using single line
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
US5598187A (en) 1993-05-13 1997-01-28 Kabushiki Kaisha Toshiba Spatial motion pattern input system and input method
GB2289756B (en) * 1994-05-26 1998-11-11 Alps Electric Co Ltd Space coordinates detecting device and input apparatus using same
JP3217926B2 (ja) * 1994-10-13 2001-10-15 アルプス電気株式会社 空間座標検出装置
JP2681454B2 (ja) * 1995-02-21 1997-11-26 コナミ株式会社 射的ゲーム装置
US5902968A (en) 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US5825350A (en) 1996-03-13 1998-10-20 Gyration, Inc. Electronic pointing apparatus and method
US6078312A (en) * 1997-07-09 2000-06-20 Gateway 2000, Inc. Pointing device with absolute and relative positioning capability
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US6292174B1 (en) * 1997-08-23 2001-09-18 Immersion Corporation Enhanced cursor control using limited-workspace force feedback devices
US6369794B1 (en) 1998-09-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Operation indication outputting device for giving operation indication according to type of user's action
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP4236783B2 (ja) * 1998-12-28 2009-03-11 アルプス電気株式会社 コントローラ
US7707082B1 (en) 1999-05-25 2010-04-27 Silverbrook Research Pty Ltd Method and system for bill management
US20020085097A1 (en) * 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US20030107551A1 (en) * 2001-12-10 2003-06-12 Dunker Garrett Storm Tilt input device
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
JP2003179700A (ja) * 2002-08-23 2003-06-27 Hitachi Ltd 携帯端末
US7030856B2 (en) * 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US20040095317A1 (en) * 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
US20040268393A1 (en) * 2003-05-08 2004-12-30 Hunleth Frank A. Control framework with a zoomable graphical user interface for organizing, selecting and launching media items
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7489299B2 (en) * 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
US9229540B2 (en) * 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7301529B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
JP4685095B2 (ja) * 2004-04-30 2011-05-18 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 微動に基づいてユーザを識別するための方法およびデバイス
KR100937572B1 (ko) * 2004-04-30 2010-01-19 힐크레스트 래보래토리스, 인크. 3d 포인팅 장치 및 방법
US7656395B2 (en) * 2004-07-15 2010-02-02 Microsoft Corporation Methods and apparatuses for compound tracking systems
JP2006137077A (ja) 2004-11-12 2006-06-01 Seiko Epson Corp 印刷装置、データ変換システム、印刷方法、および、データ変換方法
WO2006058129A2 (en) * 2004-11-23 2006-06-01 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
JP4644800B2 (ja) * 2005-01-07 2011-03-02 国立大学法人電気通信大学 3次元位置入力装置
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
US20060262116A1 (en) * 2005-05-19 2006-11-23 Hillcrest Laboratories, Inc. Global navigation objects in user interfaces
WO2006137077A1 (en) * 2005-06-20 2006-12-28 Hewlett-Packard Development Company, L.P. A pointing device with absolute and relative positioning capability
EP1899912A4 (en) * 2005-07-01 2013-03-27 Hillcrest Lab Inc 3D POINTING DEVICES
JP4587940B2 (ja) * 2005-11-11 2010-11-24 シャープ株式会社 遠隔制御システムおよび表示装置
US8564532B2 (en) * 2005-12-06 2013-10-22 Naturalpoint, Inc. System and methods for using a movable object to control a computer
KR101261550B1 (ko) * 2006-02-01 2013-05-06 삼성전자주식회사 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법
JP4151982B2 (ja) * 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
JP5127242B2 (ja) * 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
US9176598B2 (en) * 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US7860676B2 (en) * 2007-06-28 2010-12-28 Hillcrest Laboratories, Inc. Real-time dynamic tracking of bias
KR20100068334A (ko) * 2007-09-12 2010-06-23 소니 가부시끼가이샤 입력 장치, 제어 장치, 제어 시스템 및 제어 방법
US8341544B2 (en) 2007-12-14 2012-12-25 Apple Inc. Scroll bar with video region in a media system
WO2009145854A1 (en) * 2008-04-15 2009-12-03 Hillcrest Laboratories, Inc. Tracking determination based on intensity angular gradient of a wave
US9681112B2 (en) * 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
US8907892B2 (en) * 2010-11-22 2014-12-09 Hillcrest Laboratories, Inc. 3D pointing device with up-down-left-right mode switching and integrated swipe detector
US9519357B2 (en) * 2011-01-30 2016-12-13 Lg Electronics Inc. Image display apparatus and method for operating the same in 2D and 3D modes
US9542092B2 (en) * 2011-02-12 2017-01-10 Microsoft Technology Licensing, Llc Prediction-based touch contact tracking
ITTO20111144A1 (it) * 2011-12-13 2013-06-14 St Microelectronics Srl Sistema e metodo di compensazione dell'orientamento di un dispositivo portatile

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040123001A1 (en) * 1998-12-28 2004-06-24 Alps Electric Co., Ltd. Dual pointing device used to control a cursor having absolute and relative pointing devices
US20070257885A1 (en) * 2004-04-30 2007-11-08 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
US20060092133A1 (en) * 2004-11-02 2006-05-04 Pierre A. Touma 3D mouse and game controller based on spherical coordinates system and system for use
CN101185051A (zh) * 2005-05-04 2008-05-21 希尔克瑞斯特实验室公司 用于在用户界面上滚动和定位的方法和系统
CN1931410A (zh) * 2005-09-12 2007-03-21 任天堂株式会社 信息处理程序
CN1808361A (zh) * 2005-11-01 2006-07-26 跳蛙企业股份有限公司 交互式设备和方法
US20070151772A1 (en) * 2005-12-29 2007-07-05 High Tech Computer Corp. Tapping Operation Method and Mobile Electrical Apparatus with the Tapping Operation Function
CN101149651A (zh) * 2006-09-19 2008-03-26 三星电子株式会社 输入装置以及用于提供输入装置的移动信息的方法及介质
CN101169831A (zh) * 2006-10-25 2008-04-30 原相科技股份有限公司 指针定位装置及方法
US20080106517A1 (en) * 2006-11-07 2008-05-08 Apple Computer, Inc. 3D remote control system employing absolute and relative position detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
T. MIYOSHI等: "Geometric correction of scanned topographic maps using capable input information", 《2003 INTERNATIONAL CONFERENCE ON GEOMETRIC MODELING AND GRAPHICS, 2003. PROCEEDINGS》 *
付永刚: "桌面环境下的三维用户界面和三维交互技术研究", 《中国优秀博硕士学位论文全文数据库 (博士) 信息科技辑》 *

Also Published As

Publication number Publication date
KR101617562B1 (ko) 2016-05-02
CN102099814B (zh) 2018-07-24
US10620726B2 (en) 2020-04-14
EP2297675A1 (en) 2011-03-23
WO2010002997A1 (en) 2010-01-07
KR20110039318A (ko) 2011-04-15
CN108664156B (zh) 2022-02-25
JP2011527053A (ja) 2011-10-20
CN102099814A (zh) 2011-06-15
EP2297675A4 (en) 2014-04-09
KR20140095574A (ko) 2014-08-01
US20110227825A1 (en) 2011-09-22
US20180307334A1 (en) 2018-10-25
JP5866199B2 (ja) 2016-02-17

Similar Documents

Publication Publication Date Title
CN102099814B (zh) 3d定位器映射
CN103003777B (zh) 手持装置的向前指点方向的确定
US10782792B2 (en) 3D pointing devices with orientation compensation and improved usability
US8072424B2 (en) 3D pointing devices with orientation compensation and improved usability
US20170361224A1 (en) Spatially-correlated multi-display human-machine interface
US8896534B2 (en) Spatially-correlated multi-display human-machine interface
US5703623A (en) Smart orientation sensing circuit for remote control
US8957909B2 (en) System and method for compensating for drift in a display of a user interface state
US7719261B2 (en) Methods and systems for calibrating a sensor using a vector field
CN100440313C (zh) 自由空间定位装置和自由空间定位方法
KR20080038322A (ko) 3d 포인팅 장치
US20200050289A1 (en) Touch Sensor
US20190384421A1 (en) Latency masking systems and methods
CN107943403A (zh) 具有上下左右模式切换和集成的挥动检测器的3d定位装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231206

Address after: Delaware

Patentee after: TAG-COMM Inc.

Address before: Delaware

Patentee before: Interactive digital holding Co.

Effective date of registration: 20231206

Address after: Delaware

Patentee after: Interactive digital holding Co.

Address before: Delaware

Patentee before: Interactive Digital Wireless Co.

Effective date of registration: 20231206

Address after: Delaware

Patentee after: Interactive Digital Wireless Co.

Address before: Delaware

Patentee before: 7H World Co.

Effective date of registration: 20231206

Address after: Delaware

Patentee after: 7H World Co.

Address before: Delaware

Patentee before: IDHL HOLDINGS, Inc.

TR01 Transfer of patent right