CN104871120A - 使用磁场传感器来确定用户输入的电气设备 - Google Patents

使用磁场传感器来确定用户输入的电气设备 Download PDF

Info

Publication number
CN104871120A
CN104871120A CN201380047928.9A CN201380047928A CN104871120A CN 104871120 A CN104871120 A CN 104871120A CN 201380047928 A CN201380047928 A CN 201380047928A CN 104871120 A CN104871120 A CN 104871120A
Authority
CN
China
Prior art keywords
magnetometer
electric device
magnetic field
control part
user inputs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380047928.9A
Other languages
English (en)
Inventor
高在镛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wei Dewantege Co Ltd
Original Assignee
Wei Dewantege Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=50278487&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104871120(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Wei Dewantege Co Ltd filed Critical Wei Dewantege Co Ltd
Publication of CN104871120A publication Critical patent/CN104871120A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/12Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable using electric or magnetic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

本发明涉及一种使用磁场传感器来确定用户输入的电气设备,其中,电气设备使用具有磁场传感器的移动通信终端来准确地确定用户输入,并且基于该确定来进行如控制等的操作。根据本发明的使用磁场传感器来确定用户输入的电气设备包括:至少一个磁场传感器,用于感测具有n个自由度和磁场生成单元的外部对象的磁场,并且产生限定m维的磁场矢量;以及控制单元,用于存储关于外部对象的运动的物理先验信息,并且基于限定m维的磁场矢量和物理先验信息来确定关于外部对象的位移和旋转的信息。

Description

使用磁场传感器来确定用户输入的电气设备
技术领域
本发明涉及电气装置,更具体而言,涉及用于通过使用设置有磁力仪的移动通信终端来确定用户输入的电气装置,以用于准确确定用户输入以及响应于确定结果等而执行控制功能。
背景技术
自PC时代开始,鼠标用作用于在x轴和y轴两个方向上输入运动的2D或2-DOF(自由度)装置。于是,美国罗技公司(Logitech Inc.)的美国专利第7217448号公开了使用两个光学传感器来增加鼠标的分辨率以及能够识别鼠标的旋转角度r的3-DOF配置的实现方式。之后,具有触摸板的膝上型计算机被引入并且得到广泛使用,使得当手指在屏幕上敲击时,计算机的扁平屏幕可以关闭。伴随平板PC和智能电话的出现,这样的触摸板进化地进阶为如下触摸屏输入装置:其中用户在以(静电)电容或静态压力模式工作的显示屏上直接按压或摇动(pan)表现出透明的对象。触摸屏接收通过在屏幕上按压指尖或使用笔或触控笔而形成的用户输入。具体而言,日本和冠公司(Wacom Co.,Ltd.)通过采用基于被称为EMR(电磁共振)的电磁与磁共振的电力递送的其专利技术(美国专利第6556190号)生产了一种触控笔,该技术在POS输入装置以及一些智能电话和平板中具有广泛应用。该Wacom触控笔具有先进功能的特征,即其能够将触控笔的笔尖与可以放在输入板上以更好地进行处理的手指或者甚至手的更大部分区分开,并且能够测量所施加的压力以调整笔画的粗细。除了这些Wacom笔之外,可以以较低成本生产的其他触摸笔已被用作智能电话和平板的主要输入装置。触摸笔是用于通常的输入目的的附件,例如,在不使用手指的情况下,通过用由导电材料制成的笔尖或简单地通过向静态压力屏幕施加机械压力来触摸电容式多点触摸屏,或选择菜单,拖拽等来绘图。虽然触摸笔也是用于在扁平屏幕上输入坐标的2-DOF输入装置,但是触摸笔不能区分开触摸笔对触摸屏的触摸与手掌对触摸屏的触摸,使得不但不能使用户在用户的手的更大部分仍然接触屏幕的情况 下在触摸屏上书写,而且还不能测量所施加的压力,从而不能调整笔画。
具体而言,当要处理的对象是3D对象时,难以从例如使用如触摸屏、鼠标或触摸板的2D操作得到直观且容易的操作。首先,3维对象具有6-DOF,即沿着三个独立轴拖拽(缩放、摇动)以及关于三个独立轴旋转(滚动、俯仰、偏航)。即使用多点触控方法,两个手指也只能产生4-DOF,并且除了大拇指和食指以外的另外的手指由于不太可能独立移动而不一定有助于高DOF的直观输入。
解决前述问题的一个方式是3D鼠标。其中,3d Connexion发展到了很高的程度并且在美国专利第7215323号中介绍了一种旋钮式鼠标,使用户可以将鼠标持在一个手中并且在3D方向上拖拽和翻转该鼠标,从而达到6-DOF。遗憾的是,该鼠标具有需要供电的多个嵌入传感器、复杂电路,以及机械上复杂的结构,这些一起造成了更高的实现成本。
而且,存在借助于安装在任何现有的智能电话如iPhone或平板电脑中的软件和多种多样的加速计来解决3D输入的问题的尝试。例如,美国杜克大学(Duke University)开展了被称为“电话点笔(Phone Point Pen)”的项目,在该项目中,智能电话的陀螺测试仪(gyrometer)和加速计跟踪并识别由用户使用智能电话在空中书写的文字,然后将它们变成软件上的笔画。另外,美国应美盛公司(InvenSense Inc.)在其报告“运动处理(Motion Processing)”中声称,传感器可以通过“传感器融合算法(sensor fusion algorithm)”来测量6-DOF的速度以及角度和位移的变化,该算法负责例如参照来自陀螺测试仪、加速计和电子罗盘的所有输入来去除噪声并且进行适当的微分和积分运算。然而,这也是公认的观点:经由将加速度进行两次积分来获得绝对位移实际上是不可能的,尤其是在由手的轻微抖动、由对象的质心的偏移而造成的倾斜、用户的身体本身的运动、旋转等而生成许多噪声的环境中。除了与运动关联的加速度与噪声相比足够大的特定情况(如以大而快的运动在空中书写文字)之外,实际上在大部分情况下因为噪声不可能获得基本上准确的位移值。人们无法将该技术应用到尤其是在若干厘米的短距离范围内操纵或操作鼠标的情形。
那些至今仍然可用的简单输入装置,包括鼠标、轨迹球、静态压力电容式触控笔等的优点是廉价并且体积小,使得它们可以被容易地应用于便携式计算机如智能电话或平板电脑。然而,这些简单输入装置也有缺点,即输入操作麻烦并且不直观,并且对于单独个人来说,拥有安装在各装置中的传感器、电路、通信接口、电源等所有的这些不同输入装置,所有这 些一起使得这些装置相当昂贵、笨重并且庞大。
同时,存在更复杂的输入装置,即已经被设置在便携式计算机中的多点触摸屏,使用户能够用手指或电容式触控笔按压该多点触摸屏并且能够在平坦表面上直观地进行各种输入,例如做笔记、选择、缩放、摇动等。然而,该触控笔也不能区分笔尖与手掌的位置,从而迫使用户在空中书写,同时要将他或她的手举在屏幕上方。此外,如果需要由软件来操作虚拟3D对象,则非常难以进行直观的操作。
除了附件之外,其他运动游戏装置如Will或Kinect还包括各种各样的传感器、微控制器、电源等,使得其硬件架造成本太高而不能应用于便携式计算机,而且从更基础的角度来说,这些装置使用摄像机作为传感器,这就意味着必须保证从传感器到用户的身体或目标项的视线,这些一起使得这些运动游戏装置不适合用于在下述情况下对便携式设备进行输入:其中用户在显示屏的附近使用若干个手指进行操作。
此外,美国专利第8,376,854号公开了基于磁性元件的移动来使用罗盘传感器以识别手势。然而,该罗盘传感器只能感测磁性元件的移动,而无法验证详细信息如磁性元件的位移或旋转。
发明内容
本发明利用在移动通信终端或便携式计算机中已经可用的磁力仪来进行运动输入,以使得用户可以操作仅具有磁体而没有任何传感器、电路和电源的可移动对象(附件),并且移动通信终端或便携式计算机可以识别或确定不同的直观运动,然后改变软件上的对象的状态以利于地理空间应用如图形编辑器、运动游戏、街景(Street view)或谷歌地图(Google earth)的操作。具体而言,对磁场的使用使得能够解决保证视线的问题,以及能够解决主要通过在有限的空间中使用手指来操作的移动通信终端或便携式计算机中的可能的问题。
根据本发明,为了用移动通信终端或便携式计算机中安装的限定维数的磁力仪来算出具有6-DOF的对象的(附件)在3D空间中的运动,使用在对象(附件)移动或对对象(附件)的运动施加物理限制时应用的物理约束和假设,在不同时间点处测量对象(附件)的运动,并且由移动通信终端或便携式计算机的控制部280(软件)计算相应的运动值。
另外,根据本发明,为了附加地利用加速度传感器,例如大多数现有 便携式计算机中可用的加速计或陀螺仪来识别运动,将具有磁体的对象(附件)固定,并且用户将移动通信终端或便携式计算机持在手中并对其操作,允许移动通信终端或便携式计算机确定与该对象的相对位置并且进行其处理。
因此,本发明提供了一种用于通过使用磁力仪来确定用户输入的电气装置,该电气装置包括:磁场传感器,该磁场传感器用于从设置有磁场生成部的n-DOF外部对象感测磁场,并且产生限定m维的磁场矢量,其中n>m;以及控制部,该控制部用于存储关于该外部对象的运动的物理先验信息,并且基于限定m维的磁场矢量和物理先验信息来确定关于该外部对象的3D位移(x,y,z)和3D旋转(滚动,俯仰,偏航)的信息。
该物理先验信息包括关于该外部对象或该磁场生成部的运动的运动路径、运动类型和假设信息中的至少之一。具体而言,运动路径包括线性运动、由经由最短距离接近电气装置的外部对象或磁场生成部产生的运动等。运动类型包括例如滚动运动、进动(processional)运动、线性运动、抛物线轨道运动、以及固定状态下外部对象内包含的磁体的转动(spin)运动。假设信息包括手指运动估计值、外力的不存在等。
控制部优选地使用在不同时间点处获得的至少两个限定m维的磁场矢量。
控制部通过使用至少两个限定m维的磁矢量来确定与时间无关的运动参数,其中与时间无关的运动参数包括摩擦系数、弹性系数等。
控制部优选地存储关于外部对象与该外部对象内的磁场生成部之间的角度的信息。
电气装置包括触摸屏。优选地,控制部附加地使用来自触摸屏的输入信息并且确定关于该外部对象的3D位移(x,y,z)和3D旋转(滚动,俯仰,偏航)的信息。
电气装置还包括麦克风。优选地,控制部附加地使用来自麦克风的声音信息,并且确定关于该外部对象的3D位移(x,y,z)和3D旋转(滚动,俯仰,偏航)的信息。
外部对象与磁场生成部中的至少之一和磁力仪优选地为可移动的。
控制部优选地确定关于可移动磁力仪的3D位移(x,y,z)和3D旋转(滚动,俯仰,偏航)的信息。
磁力仪优选地测量形成预定义的角度的多个磁场,或测量编码的磁场。
而且,本发明提供了一种用于通过使用磁力仪来确定用户输入的方法,该方法包括:从设置有磁场生成部的n-DOF外部对象感测磁场,并且产生限定m维的磁场矢量,其中n>m;以及基于限定m维的磁场矢量和关于外部对象的预先存储的物理先验信息来确定关于该外部对象的3D位移(x,y,z)和3D旋转(滚动,俯仰,偏航)的信息。
本发明利用在便携式计算机中已经可用的磁力仪、触摸屏等来对便携式计算机进行运动输入,以使得可以进行各种用户输入,如直观运动,或者通过仅具有磁体或触摸屏输入触摸点而没有任何传感器、电路和电源的附件而进行对计算机软件的输入,然后改变软件上对象的状态,以利于地理空间应用如图形编辑器、运动游戏、街景或谷歌地图的操作。
而且,通过磁场感测操作,本发明有效地克服了保证主要通过在有限的空间中使用手指来操作的便携式计算机中用于感测的视线的问题。另外,本发明使得能够仅利用来自感测磁场的磁力仪的有限输入来将附件的必要的运动值计算成3D矢量的形式,并且改变显示在屏幕上的内容的动作或颜色,从而能够进行响应于用户输入的操作。
另外,本发明涉及至少两类传感器;尤其是在便携式计算机的情况下,一起参考触摸屏上的按压点的坐标以及3D磁力仪中感测的磁场矢量的值。如此,可以实现与现有的那些输入附件相比低成本、更小巧的输入附件,这进而可以增加输入的DOF并且使得能够实现来自用户的方便、直观的输入,导致改进用户便利性。
此外,根据本发明,在用户通过移动智能电话来进行输入时,可以使用在这样的便携式装置中已经可用的麦克风来进行识别,甚至可以在离开便携式计算机几十厘米或更远处完成要感测的用户的那些运动,例如,将智能电话放在地面上并且拖拽,将智能电话拿在空中并且将智能电话放回到方便的位置,或进行踩踏。
附图说明
根据结合附图给出的优选实施方式的以下描述,本发明的以上和其他目的、特征和优点将变得明显,在附图中:
图1示出了由本发明的电气装置与设置有磁体的可移动对象构成的 用户输入系统。
图2是图1中的用户输入系统的第一实施方式。
图3是图1中的用户输入系统的第二实施方式。
图4是图1中的用户输入系统的第三实施方式。
图5是图1中的用户输入系统的第四实施方式。
图6是图1中的用户输入系统的第五实施方式。
图7是图1中的用户输入系统的第六实施方式。
图8是图1中的用户输入系统的第七实施方式。
图9是图1中的用户输入系统的第八实施方式。
具体实施方式
现在,以下将参照附图和示例性实施方式来更详细地描述本发明。
图1示出了包括本发明的电气装置和设置有磁体的可移动对象的用户输入系统。
如图所示,用户输入系统包括设置有磁体110的可移动对象1以及用于感测并处理来自磁体110的磁场的电气装置2。
对象1由本体构成,其中磁体110设置于内表面或外表面。对象1可以具有包括例如鼠标、子弹、触摸笔、戒指、骰子等的各种形式。
电气装置2可以被实现在移动通信终端或者计算机中,并且包括:磁力仪210,用于感测磁场或磁场的变化;显示部220,用于显示各种程序的信息或屏幕;形成在显示部220的外表面上并且面向外部的第一输入部230,其是用于获得触摸输入的触摸屏;第二输入部240,被实现在除了显示部220之外的电气装置2的外壳(未示出)中,如按钮;通信部250,用于与外部通信装备(未示出)进行有线或无线通信;存储部260,用于存储执行电气装置2的特定功能所必需的程序或信息,以及用于存储根据可移动对象1的运动或电气装置2的运动来确定用户输入信息所必需的物理先验信息或约束;声接收部270,用于从外部接收电信号或声信号并且然后将声信息施加到控制部280;以及控制部280,用于执行电气装置2的特定功能,以及用于通过使用存储在存储部260中的物理先验信息或约束或者通过使用从磁力仪210提供的感测到的磁场的值来确定用户输入, 或者用于响应于这样确定的输入而处理其他程序或数据。在此将不描述电气装置2的另一元件,即用于向每个元件提供电力的电源,这是因为其对于本发明所属领域是公知的。此外,通信部250可以是可选的。
磁力仪210感测限定维数的磁场矢量,并且将所感测的值施加到控制部280。磁力仪210能够测量例如3D磁场矢量,并且针对磁力仪210,设置至少一个磁力仪210。
由于上面描述的显示部220、第一输入部230和第二输入部240、通信部250、存储部260以及声接收部270是本领域公知的技术构造,因此将不对其更详细地说明。现在,以下实施方式将描述由控制部280通过下述操作进行的用于准确确定和处理用户输入的处理:基于存储在存储部260中的物理先验信息或约束,来评估通过磁力仪210、第一输入部230以及声接收部270的输入值。
在本实施方式中,磁力仪210感测来自n-DOF对象的磁场,该n-DOF对象将磁体作为磁场生成部以生成m维磁场矢量,其中,n>m。控制部280基于关于对象1的运动的物理先验信息以及对象1的限定m维的磁场矢量来确定n-DOF对象的位移和旋转信息。具体而言,例如,为了减少磁力仪210的数目,关于对象1的运动的物理先验信息可以包括关于对象1的(n–m)DOF或更多DOF的信息。
而且,根据本实施方式,为了减少磁力仪210的数目,控制部280通过使用关于对象1的运动的物理先验信息并且直接限定对象1的运动的DOF,来确定对象1的位移和旋转信息。例如,将对象1的运动的DOF限制为5,并且将关于对象1的运动的DOF的限制的这种信息事先存储在存储部260中。之后,控制部280可以基于关于限制的这种信息来确定对象1的位移和旋转信息。此处,关于对象1的运动的DOF的限制的信息也被包括在对象1的运动的物理先验信息中。
图2是图1中示出的用户输入系统的第一实施方式。
如图1所示,在本发明的一个实施方式中,电气装置2的控制部280通过磁力仪210来感测由磁体110引起的磁场111的变化,磁体110固定在球体1a(即可移动对象)内部的中心处,并且随着球体1a在地面上滚动而一起滚动;基于感测到的结果来搜索球体1a的位置;以及将其反映在显示屏幕中或内容221的状态中,该显示屏幕用作虚拟对象或空间,如在显示部220上示出的果岭(putting green)。另外,例如,控制部280 通过处理中的程序、游戏或App的用户输入,采用基于来自磁传感器210的磁场的变化而确定的用户输入,从而改变程序、游戏或App的状态,或进行命令输入、环境设定、模式改变、改变显示屏幕等。
当磁力仪210接收到3D磁场输入时,附件的球体或刚性本体1a进行包括3D空间中的3D位移(x,y,z)和3D旋转(滚动、俯仰、偏航)的6-DOF运动。因此,从3D磁力仪210获得的磁场输入不足以限定包括球体的磁体的附件的位置,即球体1a的位置。
存储部260从由磁力仪210测量的有限数目的值中存储在附件移动以求出具有更高DOF的外部附件的位置或角度时所应用的物理约束,并且控制部280基于这些物理约束来执行相应计算。
也就是说,只有当使用图1的系统的用户在与电气装置2例如间隔开至少30cm的区域中滚动球体1a时,获得对球体的位移和旋转信息的准确确定。电气装置2通过显示部220来通知用户在日常生活中容易遵守且直观的规则,例如,半径距离30cm内的区域必须是没有弯曲的平坦平面,由表面材料造成的摩擦力必须是恒定的而没有任何剧烈的变化等。接着,假设用户遵守这些规则,则控制部280能够准确地求出球体1a的运动。存储部260将这些规则作为物理约束或先验信息来进行存储,并且控制部280利用这些规则。
当球体1a滚动并在与电气装置2相距30cm或更少的距离内靠近电气装置2时,磁场111变成可以显著区别于与球体1a的运动无关的噪声的大的值。如此,控制部280可以通过使用由磁力仪210测量的磁场111来确定与球体1a的运动相关的信息。球体1a绕旋转轴滚动。
控制部280随着球体1a靠近来确定磁场的这样的变化,并且读取作为3D矢量的磁场传感器值M0,准备将该值反映在内容221的状态中。由于用户不知道他或她在何处滚动球体1a,因此球体1a的位置X0变成要求出的变量,并且在球体1a处于平面中时其是2D值。然而,即使向控制部280通知与球体1a共用同一中心的磁体110的磁场强度,在磁体两极与磁传感器210之间形成的角度也由2D矢量值U0给出,并且基于此可以如下述方程式1中那样限定变量M0:
方程式1
M0=F(X0,U0)
也就是说,磁力仪值M0由变量X0与U0之间的函数(F)来限定, 并且也可以使用F的反函数来求出这些X0和U0。这里问题是磁力仪值M0是3D值,而变量X0和U0的DOF等于4D(2D+2D),因此不可能得到变量X0。除非针对前述问题使用其他假设,否则甚至无法求出球体1a在平面上的位置。解决这个问题的传统方式是在分散的位置上放置至少9个磁力仪,并且采用昂贵的数据连接总线来将这9个磁力仪完全同步,从而一次收集所有感测到的值并且通过非线性优化来获得3D位置和角度。
在本发明中,采用物理先验信息和多个根据时间的测量值,以在有限数目的磁力仪210的帮助下获得球体1a的位置。换言之,假设t0指示获得磁场矢量M0的时间,通过惯性而在同一方向上行进的球体1a在t0时的速度是V0,即速度未知的2D矢量值,虽然行进方向没有改变并且行进速度由平坦平面的材料来确定,但是控制部280以未知的摩擦系数(f)均匀地加速。甚至在平坦平面不会经受重力引起的弯曲的假设下,不会与实际情况有显著的不同。利用这样的物理先验信息或假设,如果在自时间点t0经过某一时间段之后的时间点t1处获得磁场矢量M1,则磁场矢量M1与球体的中心的位置X1和磁体110的纬度/经度角U1可以具有如以下方程式2中所指示的关系。
方程式2
M1=F(X1,U1)
其中,X1是由相对于X0的位置处的速度V0、摩擦系数f以及时间差(t1–t0)确定的值,其中时间t0和t1由控制部280使用嵌入计时器来确认。磁体110的角度U1是同样由距离位置U0的球体的半径(r)、摩擦系数(f)以及时间差(t1–t0)确定的值,其中,球体1a的半径(r)对应于先前存储在存储部260中的物理先验信息,并且控制部280计算时间差(t1–t0)。因此,磁场矢量M1满足下述方程式3。
方程式3
M1=F’(X0,U0,V0,f)
再次,在下一时间点(t2)处,磁场矢量(M2)的值同样满足方程式4中的关系。
方程式4
M2=F”(X0,U0,V0,f)
现在,根据三个3D磁场矢量M0、M1以及M2(=3×3)获得了9个方程式,而包括X0、U0、V0、f等的7个变量仍然未知。通过以上方程式,控制部280可以计算X0、U0、V0和F,并且另外控制部280可以确定X0、X1、X2以及U0、U1、U2中的全部。控制部280可以使用磁力仪在不同时间点处感测的那些值来验证具有比磁力仪210的维数更高DOF的对象的矢量信息(位移、旋转)。
另外,即使作出更多的假设,例如像保龄球或台球那样球体1a通过以某一给定转动速度在地板上滑行来滚动,或者作出另一假设,例如像高尔夫推杆那样允许将iPad放在倾斜的表面上(物理先验信息),3D磁力仪210仍然可以借助于以交错时间间隔的附加采样来验证位移和旋转信息。当然,可能会由于地板不是完全平坦的或摩擦系数不均匀而出现误差,但是存储在控制部280或存储部260中的仅几个简单假设就足以基本上对应于人的直觉来移动虚拟对象,并且如果在采样之后磁体110仍然在感测范围内,则可以通过继续采样来校正位置并且改进诸如未知的摩擦系数的参数的准确度。
因此,为了使用这样的限定维数的磁力仪来获得关于具有比磁力仪的维数更高的DOP的对象的足够的信息,需要理解的是,根据物理学速度和加速度定律,在特定时间间隔的对象通过其中预定义的力被给出每个时间点处的位置和角度。接着,使用未知对象在特定时间点处的位置、角度、速度和角速度以及和时间的推移无关的与恒定运动关联的参数作为变量,并且对由磁力仪在不同时间点处获得的感测的值进行采样,并且使用等于或高于由那些未知变量创建的DOF的传感器测量值作为约束,可以获得未知位置、角度、速度、加速度、运动参数等。针对速度和加速度的物理定律可以是惯性、角动量、重力、摩擦力等,而上述与时间无关的参数可以是摩擦系数、弹性系数、质量、斜率等。
在使用具有一个N极和一个S极的双极磁体的情况下,在垂直于两极的每个平面上形成点对称或线对称磁场,使得像关于两极转动那样的运动可以不被读取。当甚至控制部280中需要关于转动的这样的信息时,也适合于使用若干个磁体来打破磁体的对称性或使用编码的磁体。具体而言,优选的是,在相互垂直的位置布置两个或三个双极磁体。另外,在假设每个磁体利用其自身的动量旋转的情况下,可以通过例如使磁体关于垂直于两极的轴旋转来进行测量。而且,可以依次电驱动相互垂直的两个或三个电磁体,然后可以测量处于直角的相应磁场。另外,对于移动对象, 可以使用RFID作为一种电磁体并且通过磁感应或磁共振方法对电磁体提供电力而无需单独的电源,来测量信号。
控制部280可以使用球体1a的位移和旋转信息来控制虚拟果岭(putting green)以及各种虚拟对象,并且将其显示在显示部220上。例如,控制部280可以在计算机图形中布置保龄球瓶或插入输出的台球桌或弹珠游戏板。此外,控制部280使用户能够通过网络在彼此远离的距离处享受游戏。
利用相同的原理,磁力仪210测量被投掷对象的轨迹,并且在对象飞行而没有遭受到除了仅重力和摩擦力以外的任何其他未知的外部力的假设下,控制部280解释磁传感器在不同时间点处的数据以得到球体的位置、速度和加速度,并且将结果反映在虚拟对象中。例如,如果电气装置2被安装在小的空间中,其仅占据限定距离内的小区域,并且接着,被投掷的对象将碰到墙壁并且在短时间内落下。然而,显示部220的屏幕中的虚拟空间没有限制,并且被投掷的虚拟对象能够向远处飞行并且碰到虚拟空间中的目标。此处,空间可以被设定为处于分别施加有不同的重力加速度的地球、月球、土星等之上。另外,游戏的类型可以包括各种各样的体育运动,如篮球、回飞镖、掷剑(throwing a sword)或射击游戏。另外,对象投掷方式可以以各种方式来实现,例如,使用一只手、在特定距离外使用弹弓、使用高尔夫球棍来击打等。根据本发明的电气装置2可以简单地检查对象是否碰到了触摸屏表面上的目标,并且它还可以测量被投掷的对象穿过触摸屏或相邻空间飞行了多远,并且估计在对象转动时可以绘制什么形状的曲线,然后将这些反映在相应游戏中。在例如掷剑游戏的情况下,除了简单地测量被掷出的剑与触摸屏彼此相遇的坐标以查看在触摸屏上移动的对象是否碰到了目标以外,电气装置还可以生动地示出对象如何穿过触摸屏或相邻的平面而旋转,飞行对象绘制了什么形状的轨迹,以及遵循剑的轨迹、从用户的不同视点对象是否实际上碰到了设定在屏幕更内部处的3D目标。还可以类似于图2中示出的实施方式来实现用磁力仪210追踪被掷出的剑的轨迹。也就是说,只使用3D磁力仪210不能提供该剑内部的6-DOF磁体的空间位置。然而,一旦剑离手,就假设该剑没有遭受到任何已知的自然定律(即惯性定律和重力定律)或任何其他未知的力,而是剑通过角动量来移动。接着,与每个感测的数据的限定维数无关地,随着样本数目的增加,控制部280可以使用磁力仪210在多个时间点处感测的那些值来得到未知变量。由于采样操作进行得足够快,因此在显示部220中飞行的虚拟剑可以更加实时地再现。
上述所有方法使得能够通过仅使用在小型平板如iPad或智能电话中频繁使用的磁力仪来提供被掷出的对象的模拟。考虑到游戏涉及飞行对象,优选的是,将磁力仪分布在大屏幕上以及广阔空间中。根据本发明的系统使得能够通过采用通用的通信方式来进行宽带磁场感测,该通用的通信方式包括例如不支持多个磁力仪和同步的WiFi、蓝牙、以太网、USB等。例如,在安装在墙上且通过WiFi与中央计算机进行通信或彼此进行通信的例如智能电话的多个电气装置2的情况下,各智能电话中的每个磁力仪可以感测被掷出的对象,并且对所安装的每个智能电话屏幕的输出进行更新。
图3是图1中示出的用户输入系统的第二实施方式。参照图3,弹弓附件1b被适配成使得可以将弹弓的橡胶带120连接到用于容纳电气装置2的透明的附件框122。如果其中具有磁体110的射击对象121足够轻,则射击对象121主要受橡胶带120的弹力而不是重力的影响。在用户在水平方向和垂直方向上保持移动射击对象121以便瞄准的情况下,3D磁力仪210不可以找到射击对象121的位置,但是一旦对象离开用户的手,则假设射击对象内的磁体将根据物理定律而移动以及不会有其他力施加到该对象,该物理定律可以用有限数目的未知参数如弹性带的弹力的方向和大小来描述。基于该物理先验信息以及从很多磁力仪210获得的相应的样本数据,控制部280可以追踪空间中的射击对象的轨迹和旋转。
图4是图1中示出的用户输入系统的第三实施方式。控制部280利用来自磁力仪210的所感测的数据以将除了在磁力仪210附近滚动或投掷之外的按照其他自然定律进行的对象的运动反映在显示部220上显示的虚拟对象中,然后重新显示该对象。通过示例的方式,图4示出了控制部280检查陀螺1c的旋转并将其显示在显示部220上。当其中具有磁体110的陀螺1开始在电气装置2上方或附近转动时,一旦陀螺1c离开手,陀螺1c就会通过角动量410、摩擦力和重力(Fg)而转动,并且陀螺1c通过陀螺中心处的反作用力(-Fg)所生成的扭矩(图4中的τ)进行进动400。控制部280使用关于陀螺1c的进动和旋转运动的物理先验信息,以根据磁力仪以特定时间间隔在不同时间点处获得的测量值来得到这种运动的未知参数(系数),从而能够获得陀螺的位置X0或当前角度U0。一旦获得该位置信息,控制部280就可以以实时模式输出动画,例如基于陀螺1c的转动位置来显示想象的陀螺221,或者给出关于进动的警示警告,或者与远程用户进行转陀螺的游戏。同样地,控制部280还可以输出各种附件,包括例如在轮盘赌(roulette)或棋盘游戏中频繁使用的旋转木马 (carousel)。
图5是图1中示出的用户输入系统的第四实施方式。此处,作为另一实施方式,示出了骰子1d。磁体110以如下方式被插入到骰子1d中:骰子1d的两极与面1和面6分别形成角度a和-a,与面2和面5分别形成角度b和-b,与面3和面4分别形成角度c和–c。此处,c由a和b确定,并且优选地使a、b与c尽可能彼此不同。由于磁体110的两极N-S与和呈现在骰子1d顶部的数字对应的平面形成六个角度a、b、c、-a、-b以及-c(0°≤a,b,c≤90°)中的一个角度,因此可以区别哪个数字面在顶部。在电气装置2中,存储部260存储关于六个角度a、b、c、-a、-b以及-c的信息、以及关于骰子1d的尺寸或体积的信息。电气装置2使用磁力仪210感测的值来确定角度,然后,电气装置2可以确定1至6中的哪个数字呈现在骰子1d的顶部。用户掷骰子1d,骰子1d落在地板上,并且用户将骰子1d拿到电气装置2附近朝向磁力仪210。当在相对线性方向上在平坦的地板上拖动骰子1d(即,这对应于物理先验信息)时,控制部280获得由磁力仪210在每个采样时间测量的磁场值。由于地板与磁体110之间形成的角度取决于哪个呈现在骰子1d的顶部,因此每个采样时间处的磁场值的图案也不同。因此,控制部280可以基于不同时间点处的磁场值的变化来确定哪个数字呈现在骰子1d的顶部。另外,控制部280可以基于如骰子1d的重心、边或顶点等物理关系来估计哪个呈现在骰子1d的顶部。
另外,控制部280可以在显示部220上显示骰子1d顶部上的数字,或者根据呈现在骰子顶部的数字来走一马或示出可选的策略并且等待来自用户的选择,并且使得彼此远离的所有用户能够通过网络来享受游戏。
图6是图1中示出的用户输入系统的第五实施方式。作为本发明的又一实施方式,其呈现了轨迹球1e装置,该轨迹球1e装置由磁体和简单结构组成并且能够向电气装置2提供指向信息。由于轨迹球1e通过用户的手指来旋转,因此轨迹球似乎不是在特定时间间隔期间通过描述为简单已知参数的物理力而移动。在这种情况下,为了通过使用限定维数的磁力仪210来算出用户输入,电气装置2存储下述项作为物理先验信息:存在对磁体110的运动的DOF的物理设定限制或者存在对用户输入方法的限制,以减少磁体110的运动的DOF并且测量相应的磁场。也就是说,在轨迹球1e的情况下,磁体110被嵌入旋转球体140内,并且该磁体110测量影响磁力仪210的3D磁场矢量。球体140中由粗实线指示的部分暴露到 外部,用户可以用手指触摸这部分并且使其滚动。虚线部分被插入到框141内的槽中。框141内的槽从内底部向上变窄,从而确保球体140不会弹出。在框141内的球体140在槽内旋转并翻转的情况下,当用户输入一些东西时,利用机械加工将保持该球体140的框141固定在与电气装置2的一定间隔处或者特定位置处,以防止任何相对移动,或电气装置2通过显示部220通知用户应将框放在指定地方并且使该框不动。固定框141的一种方式是使框足够重,然后将该框放置在电气装置2上或将该框附接至电气装置2的侧面,或使用钳或吸杯附接至电气装置2。具体而言,仅设计为被插入并固定而没有任何电气接触点的插入式框141可以通过牢固地附接至电气装置2的工具142而被插入并固定到电气装置2的头戴式耳机插孔或USB或连接器,或其可以与插头一起弯成形状,以使得轨迹球1e可以向上固定至电气装置2且不动。另外,存在用于将电气装置2的外壳与框固定的很多其他方式,如将电气装置2的外壳与该框二者集成为一体,或者将该框与充电线缆的插头装置集成为一体。这样,轨迹球1e的框141被固定到电气装置2,并且球体140被容置在保持球体140的框141中形成的槽中。只要允许球体140旋转,就设定其中的6-DOF磁体110的位移(x,y,z),并且限定DOF。如果轨迹球1e足够接近磁力仪210,则可以基于从3D磁力仪210提供到控制部280的所感测的磁力的值以及基于球体1e被插入到在距电气装置2的特定距离内的框141的槽中的假设(即物理先验信息)来计算必要的球体旋转矢量(滚动、俯仰),并且可以使用该计算出的球体旋转矢量在显示部220中改变并显示虚拟对象或电机。
此外,控制部280可以识别球体140在高度方向430上的点击运动。高度方向上的这种点击将球体140被容置的槽内的下端部分构造成圆柱形状,并且弹性构件如弹簧144被设置在球体140下方的槽中。具体而言,由于上述轨迹球1e可以被安装在电气装置2外部,而不是安装在触摸屏上方,因此用户不需要用一只手覆盖该小显示部220的屏幕,而是可以受益于使用显示部220的屏幕的广阔区域,这进而增加了用户便利性。
与轨迹球类似,作为用于那些传统膝上型计算机的指向装置而被广泛使用的IBM的指点杆(point stick)(或轨迹杆(trackpoint))也可以作为超小附件而被并入,以用于在便携式计算机中使用。还可以将具有一个按钮并且被设计用于2D操纵(滚动、俯仰)的手操作的操纵杆简单地实现为具有磁体和磁力仪的3-DOF装置。对本领域技术人员来说明显的是,上述轨迹球、轨迹杆以及操纵杆上的按钮可以用模拟按钮来实现,模拟按 钮除了在被压下与被提起之间进行区分以外还区别按压深度。
图7是图1中示出的用户输入系统的第六实施方式。
由人手动而非根据运动定律操作的如轨迹球的附件的DOF应被限定为3,以使3D磁力仪210能够感测运动。而且,为了从用于输入人的操作的指向装置接收具有甚至更高DOP的运动输入,一个附件与电气装置20中可用的其他类型的传感器协作,以进行感测并且算出具有更高DOF的运动。在从至少两个传感器提供的数据与从一个附件获得的数据相关的假设下以及作为对该数据进行处理和分析的结果,可以感测具有与各传感器的所有维数之和对应的DOF的运动。
第六实施方式是将磁体110引入作为典型触控笔的触摸笔1f中的简单附件的示例,在该示例中,笔尖150对触摸屏230的按压输入连同磁力仪210的磁场输入一起被提供,以接收考虑到所有DOF的直观运动输入。那些传统触摸笔被用于2D感测,这涉及触摸针对便携式计算机采用的静电或静态压力模式下工作的触摸屏230上的点(x,y)。然而,由于触摸笔1f自身是放置在空间中的立方体,因此触摸笔1f也具有6个DOF。相应地,通过添加磁体110以用于对磁力仪210的3D磁场值的附加参考,笔尖150在触摸屏230上的位置以及通常为立方体的触摸笔1f的位置和方向被确定,从而使得能够进行多种输入和手势。换言之,当笔尖150触摸触摸屏230上的点时,控制部280确认位于笔尖150在具有固定高度(z)的触摸屏230上的触摸位置(x,y)的3D信息,并且在添加从磁力仪210提供的3D矢量输入时找出6-DOF触摸笔1f在3D空间中的完整位置和角度。另外,可选地,可以根据触摸屏230与磁力仪210的相对位置来估计很多空间中的3D信息。笔握持件(pen holder)151的旋转角度可以被限定,以使得圆柱形触摸笔1f的笔握持件151的一侧在圆柱体的高度方向上弯曲,以帮助用户用他或她的大拇指方便地握持触摸笔1f,并且控制部280使用这些约束和3D信息以检查用户位于电气装置2的哪一侧。
通常,本领域中的大部分智能电话或平板使用静电触摸屏或静态压力触摸屏。作为结果,屏幕无法将来自皮肤或手掌300的按压与来自笔尖150的按压进行区分。这迫使用户在将他或她的手的方式保持在空中上方时进行书写,注意不要用皮肤或手掌触摸触摸屏,这导致自然书写文字的困难,并且有时指甲会妨碍用户的书写。然而,在如图7所示触摸笔1f具有嵌入其中的磁体110的情况下,附加的磁场感测使得:即使笔尖150与手掌300二者可能都触摸了触摸屏230,控制部280也可以识别笔尖150 的按压。
此外,由于控制部280可以将整个触摸笔1f识别为立方体,因此控制部280可以检查被点击的点的位置、连同笔握持件151的方向和斜率以及触摸笔1f关于笔握持件151的旋转度。也就是说,控制部280可以通过使用关于触摸笔1f的位移或旋转的信息、以及指示屏幕上的很多触摸之中哪个输入来自触摸笔1f而哪个输入不是来自触摸笔1f的信息,来提供直观的且多样的用户接口。
首先,控制部280可以测量笔压力,即施加到触摸笔1f的压力,并且将该测量结果反映在例如笔画的粗细中。测量笔压力的两个可能的方式如下:1)当用户用力按压触摸笔1f时,触摸笔1f倾向于在显示部220上沿垂直方向移动,更具体而言,在朝向用户的食指。接着,控制部280可以基于在该方向上形成的角度来确定笔压力。2)如果笔尖150由具有适当弹性的橡胶材料制成,则磁体110的高度被施加到触摸笔1f的力改变。接着,控制部280可以基于磁体高度的变化来确定笔压力。该方法2)可以通过分析触摸笔1f的连续运动而非常准确地完成。
同时,DOF的增加使得能够同时输入很多变量。在通过用笔点选并拖拽来移动对象(视点摇动)时,同时调整笔与屏幕之间形成的角度并且放大/缩小对象(视点),或同时旋转笔,从而使得能够实现用于旋转对象(视点)的直观的用户接口。在放大/缩小操作期间笔的倾角优选地近乎垂直于由控制部280确定用于检测笔压力的、在食指方向上的倾角。而且,基于手势的输入同样是可以的。换言之,在用笔触摸时,如果笔的上端放置在线性方向上或竖立,则其识别为放大/缩小,并且笔的上端以圆形轨迹旋转,从而使得能够进行笔的旋转。无需说,该操作可以使用两个手指通过称为橡皮筋(rubber-banding)的用户接口在多点触摸屏上直观地完成。然而,考虑到此刻已经使用笔的用户不得不放下笔、并使用他或她的手指用于橡皮筋操作、并且然后再次拾起笔的情况,本发明的用户接口要敏捷且直观得多。
在屏幕上进行对象创建或编辑模式时,即使似乎做出了相同的点选,然而其效果也可以根据笔与对象或屏幕之间形成的角度而表现得不同。也就是说,当利用笔的触摸来挖掉(digging)或粘贴对象时,可以根据笔的角度以不同角度来挖掉或粘贴对象。例如,当旋转笔时,可以相应地使对象蜷曲或转变成不同颜色。
可以将来自触摸笔1f的触摸与来自手的触摸之间的不同反映在输入 中。例如,假设需要在空间中制作虚拟火箭。于是,笔用于显示火箭在整个空间中的位置和角度,而同时用户可以使用两个手指来调整火箭的翼或附着于火箭的喷射器的长度。由于这是在多点触摸环境中发生的,因此来自不同手指的多点触摸以及手指与笔之间的多点触摸将被自然地区分开并且被反映在输入中。此外,用户可以使用手指输入,但是他或她也可以在用户的一个手掌支持屏幕时自然地书写。基于笔握持件倾向于在握持笔的手的剩下的手的方向上倾斜的事实,并且通过测量大拇指与笔握持件之间的角度,使得上述情况成为可能。也就是说,可以从以上事实中猜测到,在用户的手掌将要放到的触摸屏的特定部分处进行的触摸输入被忽略,而只有相对面上的触摸输入被接收。以这种方式,可以在手掌仍然放在屏幕上的情况下自然地进行笔输入与手指输入二者。
另外,由磁力仪210感测触摸笔1f的其他手势,包括例如在触摸屏220上方的空中抖动或翻转而不触摸触摸屏230,并且控制部280识别磁场矢量或所感测的磁场的变化,以进行相应的数据处理或屏幕处理。控制部280可以改变输入模式。例如,每当翻转触摸笔1f时,都可以将输入模式切换为书写模式或擦除模式。同样,每当笔在水平方向上摆动时,都可以改变被书写的文字的颜色或用于删除所书写的文字的橡皮擦的大小。而且,每当笔在垂直方向上摆动时,都可以将输入模式变为笔书写轨迹输入,或矩形、圆形、直线输入。简而言之,控制部280可以响应于所识别的手势而改变显示在显示部220上的屏幕,或改变当前运行的程序或App中的设定值或设定环境。
如图7所示,不是将磁体嵌入触控笔中,可以生产易于附接且具有内置磁体的小巧而简单的附件,然后将该附件附接到普通的触摸笔上。用户可以照原样使用该附件,或可以将该附件作为戒指戴在手指上。当使用戴在食指上用于触摸的这种磁体戒指时,除了触摸位置之外,还获得由戒指中的磁体产生的磁场信息。如此,即使可能用手掌和食指尖、拇指尖等按压了触摸屏230上的很多位置,也变得更容易确定食指尖如用户所期望的那样按压了哪里。此处,由控制部280识别关于戴在食指上的磁体戒指的物理先验信息。此外,如图6中已经描述的,现在,可以基于各种各样的角度和方向来进行更高DOF的直观的输入。当两个人观看同一便携式计算机屏幕时,即戴着戒指的人和没有戴戒指的另一人,这对于找出是谁进行了触摸是有用的。例如,在玩家互相比赛将到来的水果切开的游戏中,这对于找出谁切开那些飞行的水果最多会是有用的。另外,用户可以通过将食指与其他手指区分开来进行更加多样化的输入。
可以将上述磁体戒指应用于在不必将智能电话或者平板从手袋或口袋中取出的情况下用单手来进行简短书写,这是通过利用磁场的穿透性质来实现的。虽然难以仅用限定维数的数据来得到戒指在高DOF空间中的运动,但是仍然可以根据时间紧迫时可以输入的若干假设(物理先验信息)和简单信息(例如,停放位置,电话号码等)来获得对手指的运动的估计(虽然不精确)。同时,为了基于来自磁力仪的数据来估计戒指内的磁体的运动,使用关于在书写期间用户的手如何移动的特定假设。在一个可能的方式中,在书写期间笔和握持笔的手指倾向于进行近乎平行的运动的假设下,将很好地表示用户的书写风格的值替换成戒指的“滚动、俯仰、偏航”,然后估计戒指的位置(x,y,z)以得到笔画的位置。取决于智能电话如何倾斜,相应地改变滚动、俯仰以及偏航的相对值。因此,当用户书写一些东西时,由智能电话中的加速计和陀螺仪读取的值被用于校正角度,以帮助用户用更便利的方式以特定角度进行书写。检测用户是绘制笔画还是仅移动到用于下一笔画的另一开始位置,也是重要的。这可以通过观看根据假设获得的其他成分之中的z(也就是说,指尖的高度)来确定。也可以进行其他假设;例如,如果所估计的戒指速度快,则将其视为笔画,如果速度慢,则将其视为运动。然而,由于在高度上将没有太大差别由此运动大体平行的假设也不完全准确,因此,替代采用二值处理方法,控制部280优选地根据所估计的高度或速度来改变并输出笔画的粗细或颜色。
另外,由于针对假设(先验信息)使用的滚动、偏航、俯仰参数可根据给定的情况而显著地不同,因此电气装置2存储从磁力仪获得的原始磁场数据,然后,在用户无法识别的情况下,电气装置2可以估计用户书写了什么,从而用原始数据来修改针对假设使用的参数。
对于估计戒指的位置、绘制笔画、简单运动等的计算机,电气装置2为用户提供预设假设(先验信息),以使得用户可以能够根据给定的指示来书写。例如,基于上述假设,电气装置2可以指示用户书写而无需太多地翻转笔,或者当书写时用力快速移动手指,而不缓慢移动手指。
如图7中讨论的具有磁体的指向装置和感测方法并不特别局限于笔或戒指形状,并且可以将其中设置有磁体的椭圆形或顶针形的任何工具应用于手持和附接使用二者。此处主要特征包括磁体和触摸二者均用于更高DOF的直观输入,并且作为其结果,可以接收对应于磁力仪的限定维数与触摸屏的限定维数之和的高维度的输入。另外,在由触摸屏感测到的接触点和由磁力仪感测到的磁体在空间中相对于彼此固定或限定该接触点 与该磁体的相对运动的假设下,可以更具体地得到用于输入的对象的位置。
图8是图1中示出的用户输入系统的第七实施方式。
图8示出了本发明的方法的又一示例,在该示例中,其中固定有磁体110的对象1g被紧固在平面上,并且类似于鼠标,用一只手移动电气装置2。随着这种运动,控制部280根据对于电气装置2相对移动的磁体110的位置的变化来感测磁力仪210的值的变化,以发现电气装置2如何被移动,然后进行必要的操作,如改变屏幕。由于用户握住电气装置2并且在地面上拖拽电气装置2,因此电气装置2的输出如光标可以在计算机中被单独地执行,并且电气装置2的运动通过通信部250如WiFi或蓝牙而被发送到单独的计算机。为了从磁力仪210了解电气装置2的运动,存在如下限定条件:应将具有磁体110的对象1g固定,并且应在靠近对象1g的区域中的平面上拖拽电气装置2。由于电气装置2与放置磁体110的平面保持平行,以及在拖拽电气装置2时磁力仪210在地面上的高度是恒定的,因此磁体110与电气装置2中的磁力仪210之间的高度差(z)中的自由度以及滚动和俯仰成分消失。因此,从3D磁力仪的值中导出(x,y,偏航)成分变得更容易。参考偏航成分,可以在电话本体的坐标系450中而不是在磁体的坐标系460中解释所获得的(x,y)坐标。换言之,无论以什么角度在平面上放置附件1,都可以解释附件1关于垂直方向以及水平方向450被移动了多少。
此处重要的是,在电气装置2被拖拽的状态与电气装置2被拾起并递送到方便位置的状态之间进行区分。即使当在平面上拖拽电气装置2时,在某一点之后,用户经常举起电气装置2并将电气装置2带到更方便的位置以便操纵,然后从那里再次进行拖拽。然而,在电气装置2停留在平面上的假设下,来自磁力仪210的测量值的解释并不告知电气装置2是否已被举到空中。如果电气装置2实际上曾被举到空中,则控制部280将基于上述假设来进行计算处理,认为电气装置2在该平面上以错误的角度被拖拽到了错误的位置。因此,区别电气装置2是被拖拽还是在空中移动是重要的。
这可以通过结合已经存在于大多数智能电话中的加速计和陀螺仪来进行检测。换言之,如果电气装置在垂直于重力的方向上移动,并且然后在不垂直于重力的方向上受到线性加速度或者旋转的影响,则控制部将其视为电气装置被举到气中。另一方面,如果电气装置落到了地面上并且伴 随着震动受到相对大的角加速度或线性加速度的影响,然后关于重力方向保持恒定状态,则控制部将其视为电气装置再次落到地面上。没有这种准确感测功能的智能电话可以采用附加部170,该附加部170设置有:被插入便携式计算机的头戴式耳机插孔的插头171、面朝地面的电连接至插头的麦克风172、以及在电话刮擦地面并且从其产生噪声时刮擦地面的固体部173,噪声被附加部170输入到计算机。
如图8的示例中所示,此处,区别电气装置2是在地面上被拖拽还是被举到空中也是重要的。为此,麦克风172被设置于电气装置2的底部,并用于将电气装置2在地面上的拖拽识别为声音。麦克风172通过足够长的电线174被连接,并且插入电气装置2的头戴式耳机插孔的插头171被设置于麦克风的另一端。因此,在电气装置2中,任何检测到的声音通过声接收部270被发送到控制部280。如图9所示,声获取部170具有用于将麦克风172容置于其中的本体173、麦克风172、以及用于电连接麦克风172和插头171的电线。
图9是图1中示出的用户输入系统的第八实施方式。
对于用户来说,地面上的拖拽声可能非常轻而足以被忽略,但是位于附近并且经由固体接收声音的麦克风172可以感测到显著大的噪声。用于生成这种噪声并将其发送到麦克风172的固体173可以由各种各样的材料制成,并且设置于鼠标的底部175。电气装置2经由声接收部270从麦克风接收输入,并且判定鼠标1h是否被拖拽。如果鼠标1h没有被拖拽,则电气装置2不移动屏幕上的光标。
如图10所示,鼠标1h仅由磁体110与简单本体构成,而没有单独的麦克风、电线或者插头。在这种情况下,用户拥有的常规头戴式耳机500的麦克风172被安装在鼠标1h的下端处的空缝176中,头戴式耳机的插头171被插入电气装置2的插孔中,感测到的鼠标1h在地面上的拖拽声被发送到电气装置2。鼠标1h的轻的简单本体还可以用作壳体,头戴式耳机的长的易缠结的线可以围绕该壳体来缠绕,并且该壳体可以容纳耳塞50或插头以利于其方便携带。可以形成看起来像长缝177的长缝以用于前述壳体用途,以在鼠标1h的前部和后部进行区分。由于这种类型的鼠标1h以小巧简单的结构被构建,因此可以将鼠标1h用作下述触控笔:用户用手握住该触控笔,并且在显示部220上或显示部220上方的广阔平面上进行书写。对于本领域技术人员来说明显的是,要在地面上拖拽的部分与手持部分可以由用于促进这两部分的灵活性的材料或部分连接,从而使 得能够调整抓握角度。
基于由麦克风捕捉的声音来感测刮擦也可以用于远离电话识别简单动作的其他应用。例如,假设需要识别远离电气装置进行的脚踏运动。为此,麦克风被安装在踏板内,使得其可以听到踏板的被踩踏的移动部分与用于支持踏板的部分之间产生的摩擦声。麦克风具有电线和插头,并且使用电线和插头来传送麦克风在位于一定距离处的电气装置附近拾取的大的噪声。通过分析该声音,电气装置可以查明是否踏板已被踩踏,或者是否踏板被踩踏并且然后被释放。可以将踏板的移动部分和支持部分设计成具有粗糙表面,以使得它们之间的摩擦接触将能够有意地产生大的噪声,以及可以将踏板的移动部分和支持部分设计成在某一方向上具有粗糙图案,以使得电气装置可以区别不同的方向(例如,踏板是已被踩踏,还是被踩踏并且然后被释放)。
还可以安装永磁体,其通过固定在本发明中所讨论的具有这种磁体的对象移动的区域附近的至少一个电磁体或电机而机械地移动并旋转,并且可以在必要时生成期望的磁场,从而在特定方向上推动或拉动附件并实现来自附件的力反馈。
如果用户拥有可以用便携式计算机的磁力仪或触摸屏识别的与上述附件类似的多种低价的、简单结构的附件,则这些附件的应用不仅局限于那些便携式计算机,而是优选地扩展到没有嵌入磁力仪的计算环境,包括例如相对大屏幕的膝上型计算机或台式计算机,或者扩展到可以进行投影工作的宽阔的开放空间。优选地,这需要具有限定维数的至少一个磁力仪、用于简单控制用途的微控制器、用于在必要时采样并对附件产生的磁场数据进行自数据分析的电力模块、以及用于通过常用的通用通信模块(包括例如USB、蓝牙或WiFi)来发送数据的外围传感器。包括上述磁力仪的外围装置还可以包括如前所述的力反馈模块,或者可以添加嵌入式触摸板或将其并入现有触摸板中,以使得能够同时进行触摸输入与磁场输入二者。另外,多个这样的外围装置可以布置在空间中分散的位置处,并且不是使用支持在这些分布的外围装置之间同步的昂贵的数据总线,读取每个外围装置中不同时间点处感测到的值,并且可以获得根据已知物理定律的包括移动磁体的附件的轨迹。如此,可以进行涉及宽阔的开放空间的各种各样的附件和运动游戏,而无需重新安装相关装备,而是仅通过改变相关软件(程序或App)。
根据本发明的实施方式以程序命令的形式来实现,以通过各种各样的 计算机装置来执行并被记录在计算机可读介质上。计算机可读介质可以包括程序命令、数据文件、数据结构等,它们可以单独地或以其任何组合使用。要记录在介质上的程序命令可以被特别地设计或构造,或者还可以使用计算机软件领域的普通技术人员所熟知的那些程序命令。计算机可读记录介质的示例包括特别设计为存储程序命令并且执行程序命令的下述项:磁介质,如硬盘、软盘以及磁带;光学介质,如CD-ROM和DVD;磁光介质,如光磁软盘;以及硬件装置,如ROM、RAM和快闪存储器。程序命令的示例包括类似于编译器形成的机器代码的机器代码、以及可以由计算机使用例如翻译器执行的高级语言代码。为了进行本发明的操作,可以将前述硬件装置构造成充当至少一个软件模块,反之亦然。
根据如此构造的本发明,可以预期到下述优点。
本发明允许用户能够在各种软件(从计算机游戏开始、2D或3D图形编辑器、谷歌地图等)中以直观且方便的方式进行他或她的操作输入。本发明使得用户可以通过使用在装备有限定维数的磁力仪的任何计算机中可用的指向装置(如触控笔或轨迹球)或支持多点触摸功能的触摸屏,来对便携式智能装置的计算机的软件中的对象进行各种操作指示命令,包括缩放、摇动、滚动、俯仰、偏航、选择值等。简而言之,本发明涉及用于使得用户的手运动、绘图或点击输入到计算装置如智能电话或平板电脑那样的输入装置和方法,该计算装置设置有触摸屏、磁力仪以及麦克风中的至少之一。本发明的这种输入装置可以被实现为包括简单工具和磁体而没有附加传感器、电路或通信模块的低价附件,但仍然可以感测对象的位置以及角度,从而增加对用户的输入便利性。

Claims (16)

1.一种用于通过使用磁力仪来确定用户输入的电气装置,所述电气装置包括:
至少一个磁场传感器,所述磁场传感器用于从设置有磁场生成部的n-DOF外部对象感测磁场,并且产生限定m维的磁场矢量,其中n>m;以及
控制部,所述控制部用于存储关于所述外部对象的运动的物理先验信息,并且基于所述限定m维的磁场矢量和所述物理先验信息来确定关于所述外部对象的位移和旋转的信息。
2.根据权利要求1所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述物理先验信息包括关于所述外部对象或所述磁场生成部的运动的运动路径、运动类型和假设信息中的至少之一。
3.根据权利要求1所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述控制部使用在不同时间点处获得的至少两个限定m维的磁场矢量。
4.根据权利要求3所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述控制部通过使用所述至少两个限定m维的磁矢量来确定与时间无关的运动参数。
5.根据权利要求1所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述控制部存储关于所述外部对象与所述外部对象内的磁场生成部之间的角度的信息。
6.根据权利要求1所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述电气装置包括触摸屏,并且所述控制部附加地使用来自所述触摸屏的输入信息并且确定关于所述外部对象的位移和旋转的信息。
7.根据权利要求1所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述物理先验信息包括关于对所述磁场生成部的所述外部对象的自由度的限制的信息。
8.根据权利要求1所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述磁力仪和所述磁场生成部的所述外部对象中的至少之一是能够移动的。
9.根据权利要求8所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述控制部确定能够移动的磁力仪的位移和旋转信息。
10.根据权利要求1所述的用于通过使用磁力仪来确定用户输入的电气装置,其中,所述控制部基于所确定的位移和旋转信息来改变内容或所述电气装置中能够使用的显示部上示出的显示屏幕。
11.一种用于通过使用磁力仪来确定用户输入的方法,所述方法包括:
从设置有磁场生成部的n-DOF外部对象感测磁场,并且产生限定m维的磁场矢量,其中n>m;以及
基于所述限定m维的磁场矢量和所述外部对象的预先存储的物理先验信息来确定关于所述外部对象的位移和旋转的信息。
12.根据权利要求11所述的用于通过使用磁力仪来确定用户输入的方法,其中,所述确定包括使用在不同时间点处获得的至少两个限定m维的磁场矢量。
13.根据权利要求12所述的用于通过使用磁力仪来确定用户输入的方法,其中,所述确定包括通过使用所述至少两个限定m维的磁矢量来确定与时间无关的运动参数。
14.根据权利要求11所述的用于通过使用磁力仪来确定用户输入的方法,其中,所述方法还包括从触摸屏获得输入信息,并且所述确定包括使用来自所述触摸屏的所述输入信息并且确定关于所述外部对象的位移和旋转的信息。
15.根据权利要求11所述的用于通过使用磁力仪来确定用户输入的方法,还包括:
基于所确定的位移和旋转信息来改变内容或显示部上示出的显示屏幕。
16.一种计算机可读记录介质,在所述计算机可读记录介质上记录有用于执行根据权利要求11至15中的任一项所述的方法的计算机程序。
CN201380047928.9A 2012-09-14 2013-09-16 使用磁场传感器来确定用户输入的电气设备 Pending CN104871120A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2012-0102474 2012-09-14
KR20120102474 2012-09-14
PCT/KR2013/008347 WO2014042481A1 (ko) 2012-09-14 2013-09-16 자기장 센서를 이용하여 사용자 입력을 판단하는 전기 장치

Publications (1)

Publication Number Publication Date
CN104871120A true CN104871120A (zh) 2015-08-26

Family

ID=50278487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047928.9A Pending CN104871120A (zh) 2012-09-14 2013-09-16 使用磁场传感器来确定用户输入的电气设备

Country Status (5)

Country Link
US (1) US20150253908A1 (zh)
JP (1) JP6171016B2 (zh)
KR (1) KR101576979B1 (zh)
CN (1) CN104871120A (zh)
WO (1) WO2014042481A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050406A (zh) * 2019-12-10 2021-06-29 斯沃奇集团研究和开发有限公司 设置有控制部件的表

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298281B2 (en) 2012-12-27 2016-03-29 Correlated Magnetics Research, Llc. Magnetic vector sensor positioning and communications system
FR3005516B1 (fr) * 2013-05-07 2016-09-16 Commissariat Energie Atomique Interface homme-machine configurable
KR102200823B1 (ko) * 2013-09-10 2021-01-11 삼성전자 주식회사 전자 장치의 입력 방법 및 시스템
CN105814521B (zh) * 2013-12-12 2018-12-18 松下知识产权经营株式会社 输入输出操作装置
JP5963806B2 (ja) * 2014-05-30 2016-08-03 京セラドキュメントソリューションズ株式会社 文字入力システム、情報処理装置、文字入力方法
KR101652973B1 (ko) * 2014-12-17 2016-09-05 주식회사 트레이스 스타일러스 펜의 기울기 정보를 이용하는 디지타이저
WO2016122212A1 (ko) * 2015-01-27 2016-08-04 주식회사 와이드벤티지 자기장을 이용한 입력 장치, 입력 장치의 동작 방법 및 자기장을 이용한 전자 장치, 전자 장치의 동작 방법
US20180164930A1 (en) * 2015-06-02 2018-06-14 Widevantage Inc. Input device, operation method of input device, and electronic device corresponding to input device
US20170010690A1 (en) * 2015-07-07 2017-01-12 Widevantage Inc. Terminal and method of operating terminal
US20170090003A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Efficient testing of magnetometer sensor assemblies
KR101630658B1 (ko) * 2015-11-16 2016-06-24 주식회사 트레이스 스타일러스 펜의 기울기 정보를 이용하여 지우개 기능을 구현하는 디지타이저 시스템
TWI567691B (zh) * 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
KR20190037232A (ko) * 2016-06-22 2019-04-05 코다마 리미티드 물체 추적 시스템 및 방법
KR20200115889A (ko) * 2019-03-28 2020-10-08 삼성전자주식회사 전자 펜을 통한 사용자 입력에 기초하여 동작을 실행하는 전자 디바이스 및 그 동작 방법
EP3725538B1 (en) * 2019-04-16 2022-07-27 Société BIC Multifunction writing instrument
KR102570009B1 (ko) * 2019-07-31 2023-08-23 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치
DE102021106698A1 (de) * 2021-03-18 2022-09-22 Deutsches Zentrum für Luft- und Raumfahrt e.V. 3D-Eingabevorrichtung, Mobilgerät und 3D-Eingabegerät

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656536A (zh) * 2002-05-29 2005-08-17 西奎公司 利用永磁体的指示笔输入装置
JP2006338526A (ja) * 2005-06-03 2006-12-14 Dentsu Kiko Kk ポインティングデバイス,モーションセンサー並びに文字認識装置および位置データ演算方法
CN201431466Y (zh) * 2009-06-15 2010-03-31 吴健康 人体运动捕获三维再现系统
CN102323854A (zh) * 2011-03-11 2012-01-18 中国科学院研究生院 人体运动捕获装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683933A (ja) * 1992-09-04 1994-03-25 Fujitsu Ltd 仮想空間体験装置
US5691898A (en) * 1995-09-27 1997-11-25 Immersion Human Interface Corp. Safe and low cost computer peripherals with force feedback for consumer applications
EP1079231A4 (en) * 1998-05-15 2003-07-23 Sekisui Chemical Co Ltd IMMUNOREACTIVES AND IMMUNOASSAY METHOD
US6269324B1 (en) * 1998-10-19 2001-07-31 Raytheon Company Magnetic object tracking based on direct observation of magnetic sensor measurements
US7532901B1 (en) * 2001-03-16 2009-05-12 Radeum, Inc. Methods and apparatus to detect location and orientation in an inductive system
JP4119187B2 (ja) * 2002-07-17 2008-07-16 国立大学法人金沢大学 入力装置
JP2004213583A (ja) * 2003-01-09 2004-07-29 Sony Corp 情報処理装置および方法、並びにプログラム
JP2004326242A (ja) * 2003-04-22 2004-11-18 Nec Tokin Corp 姿勢角度および位置情報の入力装置およびその入力方法
FR2895500B1 (fr) * 2005-12-23 2008-03-28 Commissariat Energie Atomique Procede d'estimation d'un mouvement d'un solide.
WO2008069241A1 (ja) * 2006-12-06 2008-06-12 Alps Electric Co., Ltd. モーションセンシングプログラム及びそれを備えた電子コンパス
KR20110104088A (ko) * 2009-02-23 2011-09-21 후지쯔 가부시끼가이샤 정보 처리 장치, 표시 제어 방법 및 표시 제어 프로그램을 기록한 컴퓨터 판독 가능한 매체
KR101094636B1 (ko) * 2009-05-21 2011-12-20 팅크웨어(주) 제스처 기반 사용자 인터페이스 시스템 및 그 방법
US20130009907A1 (en) * 2009-07-31 2013-01-10 Rosenberg Ilya D Magnetic Stylus
KR101688940B1 (ko) * 2010-07-23 2017-01-02 엘지전자 주식회사 이동단말기 및 그의 다중 작업 관리 방법
JP5652647B2 (ja) * 2010-09-22 2015-01-14 カシオ計算機株式会社 小型電子機器、処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1656536A (zh) * 2002-05-29 2005-08-17 西奎公司 利用永磁体的指示笔输入装置
JP2006338526A (ja) * 2005-06-03 2006-12-14 Dentsu Kiko Kk ポインティングデバイス,モーションセンサー並びに文字認識装置および位置データ演算方法
CN201431466Y (zh) * 2009-06-15 2010-03-31 吴健康 人体运动捕获三维再现系统
CN102323854A (zh) * 2011-03-11 2012-01-18 中国科学院研究生院 人体运动捕获装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050406A (zh) * 2019-12-10 2021-06-29 斯沃奇集团研究和开发有限公司 设置有控制部件的表
US11599066B2 (en) 2019-12-10 2023-03-07 The Swatch Group Research And Development Ltd Watch provided with a control member

Also Published As

Publication number Publication date
KR101576979B1 (ko) 2015-12-21
US20150253908A1 (en) 2015-09-10
JP2015531947A (ja) 2015-11-05
WO2014042481A1 (ko) 2014-03-20
KR20150039756A (ko) 2015-04-13
JP6171016B2 (ja) 2017-07-26

Similar Documents

Publication Publication Date Title
CN104871120A (zh) 使用磁场传感器来确定用户输入的电气设备
US20170277282A1 (en) Input device for transmitting user input
US10545579B2 (en) Remote control with 3D pointing and gesture recognition capabilities
Wingrave et al. The wiimote and beyond: Spatially convenient devices for 3d user interfaces
US9218058B2 (en) Wearable digital input device for multipoint free space data collection and analysis
Kim et al. The gesture watch: A wireless contact-free gesture based wrist interface
KR101666096B1 (ko) 강화된 제스처 기반 상호작용 시스템 및 방법
US9229540B2 (en) Deriving input from six degrees of freedom interfaces
US9009747B2 (en) Gesture cataloging and recognition
LaViola et al. 3D spatial interaction: applications for art, design, and science
US20080010616A1 (en) Spherical coordinates cursor, mouse, and method
US9886089B2 (en) Method and apparatus for controlling vibration
CN102915112A (zh) 用于近距离动作跟踪的系统和方法
CN101568896A (zh) 信息处理装置、系统、方法、程序和输入装置
US20160048209A1 (en) Method and apparatus for controlling vibration
JP6534011B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
CN106029187A (zh) 悬停敏感设备上的高级游戏结构
EP2559464A1 (en) Gun-shaped game controller
KR20150040886A (ko) 교류 자기장을 이용한 사용자 입력 장치 및 이를 구비하는 전기 장치
JP5878438B2 (ja) 表示制御装置、表示制御システム、及びプログラム
JP6519075B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および、情報処理方法
Keir et al. Gesture-recognition with non-referenced tracking
Vokorokos et al. Motion sensors: Gesticulation efficiency across multiple platforms
KR101211808B1 (ko) 동작인식장치 및 동작인식방법
JP5843342B2 (ja) ゲームシステム

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20180504

AD01 Patent right deemed abandoned