CN102854978A - 使用身体作为天线来感测用户输入 - Google Patents

使用身体作为天线来感测用户输入 Download PDF

Info

Publication number
CN102854978A
CN102854978A CN2011104362987A CN201110436298A CN102854978A CN 102854978 A CN102854978 A CN 102854978A CN 2011104362987 A CN2011104362987 A CN 2011104362987A CN 201110436298 A CN201110436298 A CN 201110436298A CN 102854978 A CN102854978 A CN 102854978A
Authority
CN
China
Prior art keywords
input
user
human
signal
human input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104362987A
Other languages
English (en)
Other versions
CN102854978B (zh
Inventor
D·S·谭
D·S·莫里斯
G·A·科恩
S·N·帕特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102854978A publication Critical patent/CN102854978A/zh
Application granted granted Critical
Publication of CN102854978B publication Critical patent/CN102854978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

使用身体作为天线来感测用户输入。在本文中描述了提供使用人体作为天线来接收在各种环境中存在的电磁噪声的交互模态的人类输入系统。通过观察身体所拾取的噪声的特性,该系统可推断现有表面和物体上方和周围的人类输入。已经证明家庭电力线是创建显著的噪声环境的相对良好的发射天线。人类输入系统利用身体作为接收天线和电磁噪声调制以供姿势交互。在不使用专用传感器的情况下稳健地识别未经装备的家庭墙壁上的触摸位置是可能的。将人体作为天线的接收设备可被置于常见的、广泛可用的电子设备中,诸如用户可能通常携带的移动电话或其他设备。

Description

使用身体作为天线来感测用户输入
技术领域
本发明涉及使用身体作为天线来感测用户输入。
背景技术
随着计算机变得更加移动化和无处不在,人们越来越期望用他们随身携带的设备或使用嵌入环境的设备来进行始终可用的计算。对以下交互模态的需求日益增长:该交互模态超越键盘和鼠标,并且此外不再需要使用诸如指示笔之类的专用设备的居间交互。
研究者已通过各种输入通道来解决该需求。语音识别允许用于各种桌面和移动应用的脱手交互。类似地,计算机视觉使机器能够识别脸部、跟踪移动、识别姿势、以及重构三维(3d)场景。各种技术(最值得注意的是电容感测)已用于装备诸如桌子、墙壁和移动设备之类的表面以提供触摸感测。另外,允许用户使用全身姿势与其计算机交互的专用深度相机最近已变得可由消费者在市场上买到(例如,MICROSOFT TM KINECT TM)。
语音输入变成相对较低成本地装备,但是在输入带宽上受到限制,并且在许多情形中可能不适合。基于视觉和触摸的技术提供了大量细微、自然的交互技术,但是由于其相关联的安装负担和成本,可能的部署规模受到限制。因此,可能会没有家庭或工作场所允许在不久的将来使用这些模态的真正无处不在的输入。
认识到这些限制的其他研究者已探索了利用人体本身的特性以将其变成固有的便携式交互设备的传感器。一些人已使用生物声学传感器来确定在身体上敲打的位置,并且由此将其变成触摸屏。其他人使用上臂肌肉的电记录来感测肌肉活动并且推断手指姿势。然而,这些身上输入系统迄今限于少量的离散输入,并且不提供由触敏表面提供的大规模交互。
在键盘、鼠标或其他手持式实现不可用或不合乎需要的环境中,触摸感测和计算机视觉已使人机交互成为可能。然而,高成本的装备环境限制了这些技术的普遍性,特别是在成本约束主导安装决定的家庭情形中。
发明内容
在本文中描述了提供使用人体作为天线来接收在各种环境中存在的电磁(EM)噪声的交互模态的人类输入系统。通过观察身体所拾取的噪声的特性,该系统可推断现有表面和物体(特别是家庭中的墙壁和电器)上方和周围的人类输入。已经证明家庭电力线是创建显著的噪声环境的相对良好的发射天线。人类输入系统利用身体作为接收天线和EM噪声调制以供姿势交互。在不使用专用传感器的情况下稳健地识别未经装备(uninstrumented)的家庭墙壁上的触摸位置是可能的。该系统执行对人类输入的稳健分类,诸如在电灯开关周围的离散触摸的位置、正触摸的特定电灯开关、触摸哪些电器、手之间的差异、以及手与开关的连续接近度、以及其他。将人体作为天线的接收设备可被置于常见的、广泛可用的电子设备中,诸如用户可能通常携带的移动电话或其他设备。由此,人类输入系统允许人们以使用其身体作为输入的新的方式来与接收设备交互。
提供本发明内容以便以简化形式介绍在以下具体实施方式中进一步描述的一些概念。本发明内容既不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。
附图说明
图1是示出一个实施例中的人类输入系统的组件的框图。
图2是示出一个实施例中的人类输入系统学习描述环境以及一个或多个人类输入的信息的处理的流程图。
图3是示出一个实施例中的人类输入系统识别该系统的用户执行的一个或多个预分类人类输入的处理的流程图。
图4是示出一个实施例中的来自人类输入系统的时域信号的图表。
具体实施方式
在本文中描述了提供使用人体作为天线来接收在各种环境中存在的电磁(EM)噪声的交互模态的人类输入系统。幸运的是,家庭环境通常提供对家庭中的位置和物体可标识的信号:电磁噪声。尽管该噪声对几乎每一个其他EM感测应用而言是讨厌的,但人类输入系统将其当作有用信号。通过观察身体所拾取的噪声的特性,该系统可推断现有表面和物体(特别是家庭中的墙壁和电器)上方和周围的人类输入。已经证明家庭电力线是创建显著的噪声(即,信号丰富的)环境的相对良好的发射天线。人类输入系统利用身体作为接收天线和EM噪声调制以供姿势交互。在不使用专用传感器的情况下稳健地识别未经装备的家庭墙壁上的触摸位置是可能的。该系统执行对人类输入的稳健分类,诸如在电灯开关周围的离散触摸的位置、正触摸的特定电灯开关、触摸哪些电器、手之间的差异、以及手与开关的连续接近度、以及其他。
将人体作为天线的接收设备可被置于常见的、广泛可用的电子设备中,诸如用户可能通常携带的移动电话或其他设备。在一些实施例中,该系统执行设置阶段来捕捉环境的初始EM图以用作基线。随着时间进展,该系统可重复设置过程以考虑改变的条件。例如,每一次某人打开电器(例如,微波炉),家庭的EM特性以如下方式改变:这些改变不旨在是用户的输入,该系统可观察到并校准以去除。当用户执行动作时,该系统观察天线接收到的EM信号中的改变。该系统可包括描述可能引起特定观察到的改变的人类输入的预定义简档,或者该系统可执行学习阶段,其中用户执行一系列动作,同时该系统测量并使这些动作与特定人类输入相关联。例如,如果用户想要抬起他的胳膊来打开电灯,则该系统可在学习模式中在用户抬起他的胳膊时测量EM改变,并且随后在未来将该EM改变识别为用户做出该相同姿势。由此,人类输入系统允许人们以使用其身体作为输入的新的方式来与计算设备交互。
图1是示出一个实施例中的人类输入系统的组件的框图。系统100包括接收设备110、输入感测组件120、输入评估组件130、输入分类组件140、环境校准组件150、输入学习组件160、输入数据存储170、以及输出组件180。此处进一步详细地描述这些组件中的每一个。
接收设备110通信地耦合到人体,并且从人体接收电磁信号。该耦合可以是直接的,诸如附连到人的手腕或脖子的接收机,或者是间接的,诸如人的口袋中的、能够电容地或通过其他方法感测从人体发出的信号的移动设备。接收设备可包括使用身体作为天线来捕捉电磁数据且以可使用形式将该数据提供给其他电路的模数转换器、调谐器、或其他信号接收电路。人体与现代环境(诸如家庭)中存在的特定量的电磁辐射交互,并且吸收该电磁辐射。接收设备110还可捕捉来自各种源的环境辐射,并且监测环境辐射由于人所引起的干扰源而如何改变(例如,在辐射源前面挥动胳膊或物体)。
输入感测组件120接收关于接收到的电磁信号的信息,包括该信号随时间的振幅。例如,输入感测组件120还包括从接收设备110接收信号并将该信号转换成数字数据的软件,该数字数据可由计算系统和软件组件处理以基于该信号执行有用动作。输入感测组件120可测量传入信号的频率、相位、振幅、以及其他特性,预处理这些信息,并且以各种经处理的格式将信息提供给此处所描述的其他组件。输入感测组件120还可应用环境校准组件所收集的任何环境噪声信息来从传入信号减去不想要的信息(例如,冰箱的电磁签名)。
输入评估组件130基于关于电磁信号的接收到的信息来标识一个或多个预分类人类输入。人类输入可包括各种身体移动和与物体的交互(诸如挥手、触摸开关、触摸墙壁等)、以及建筑物内的位置。该系统可在学习阶段期间对输入进行分类,该学习阶段将参考输入学习组件160进一步描述。在训练该系统识别各种输入之后,输入评估组件130确定各种传入信号数据是否与学习阶段期间所分类的任何输入相匹配。系统100可存储根据振幅、频率、位置、或其他信号特性对输入进行分类的人类输入简档,并且处理传入信号以使传入信号与一个或多个人类输入简档相匹配。当信号匹配时,用户正在执行匹配的人类输入。
输入分类组件140还对所标识的人类输入进行分类以标识输入的子类别。例如,组件140还确定姿势是由用户的左手还是右手执行、用户正站着还是坐着、用户正伸出特定手的哪些手指等。这些分类可与所标识的主姿势进行组合以指示任选的特性或区分类似的人类输入。例如,在用户抬起她的左手时,使用系统100作为输入的软件程序可执行各种动作,其中这些动作是通过用户伸出被抬起的手上的哪些手指来区分的。用户位置的每一差异创建对环境电磁辐射的不同干扰模式,系统100可注意到该干扰模式以区分各种用户动作。输入分类组件140还可将信号输入与来自其他设备(诸如加速计)的输入进行组合。
环境校准组件150对与其中使用该系统的环境有关的信息进行采样,用以校准该系统来改进姿势标识和分类。每个人的家庭可有不同电器,电磁源之间的不同距离等。该系统可执行允许该系统建立在环境中存在的电磁辐射的基线图的校准阶段。这可包括来自电视机、微波炉、冰箱、家用接线等的辐射。组件150可请求用户执行各种动作,诸如离开房间以获取用户不在场的电磁场的样本,以及打开和关闭各种电器,以使该系统例如在微波炉打开时不会表现不同。
输入学习组件160通过请求用户执行一个或多个人类输入并观察在用户执行这些输入时接收到的电磁信号中的改变来学习这些输入。在一些实施例中,系统100与监视器、电视机、或其他显示设备连接,并且使用户经过训练练习,在此期间用户执行动作来训练该系统使其知道在这些动作期间电磁场显得如何。例如,系统100可请求用户抬起每只手、触摸墙壁、触摸开关等。在一些实施例中,该系统可在墙壁上投影或显示用户与其交互以执行动作的图像。例如,该系统可投影用于操作空调的温度调节器的图像,并且请求用户触摸表示增加或降低温度的区域。在学习阶段期间,输入学习组件160捕捉关于电磁信号的信息,并且将该信息存储在输入数据存储170中,以供在系统100的正常操作期间用于识别人类输入。
输入数据存储170存储描述与一个或多个分类姿势相关的电磁改变的简档。数据存储170可包括一个或多个存储器内数据结构、文件、数据库记录、基于云的存储服务、或用于存储数据的其他设施。系统100可包括产品制造商使用系统100提供的一个或多个预定姿势,并且可学习来自用户的一个或多个姿势。该系统将这些类型的姿势各自的简档存储在输入数据存储170中,并且将传入信号信息与所存储的简档进行比较以确定所识别的姿势何时发生。
输出组件180将描述所标识的人类输入的信息提供给一个或多个软件应用。该系统可提供应用编程接口(API),当人类输入发生时,通过该应用编程接口应用可注册并接收这些通知。与当今的触摸输入一样,该系统可预处理传入人类输入数据以向应用提供一个或多个逻辑对象,这些逻辑对象将已发生的人类输入通知给该应用。例如,组件180可标识触摸点(例如,手指)、被触摸的一个或多个环境位置(例如,墙壁或开关)、用户在建筑物或其他结构内的位置等,并且将关于这些的信息提供给应用,以使该应用可对已知的一组人类输入作出反映,而无需包含电磁信号的原始处理。在一些实施例中,应用可枚举该应用感兴趣的特定人类输入(例如,打开开关、旋转形状等),以使输出组件180可在这些人类输入发生时提供通知。
其上实现人类输入系统的计算设备可包括中央处理单元、存储器、输入设备(例如,键盘和定点设备)、输出设备(例如,显示设备)、以及存储设备(例如,盘驱动器或其他非易失性存储介质)。存储器和存储设备是可用实现或启用该系统的计算机可执行指令(例如,软件)来编码的计算机可读存储介质。另外,数据结构和消息结构可被存储或经由数据传送介质传送,诸如通信链路上的信号。可使用各种通信链路,诸如因特网、局域网、广域网、点对点拨号连接、蜂窝电话网络等。
该系统的实施例可在各种操作环境中实现,这些操作环境包括个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子产品、数码相机、网络PC、小型计算机、大型计算机、包括以上系统或设备中的任一种的分布式计算环境、机顶盒、片上系统(SOC)等。计算机系统可以是蜂窝电话、个人数字助理、智能电话、个人计算机、可编程消费电子设备、数码相机等。
该系统可在由一个或多个计算机或其他设备执行的计算机可执行指令(诸如程序模块)的一般上下文中描述。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常,程序模块的功能可在各个实施例中按需进行组合或分布。
图2是示出一个实施例中的人类输入系统学习描述环境以及一个或多个人类输入的信息的处理的流程图。在框210中开始,该系统接收设置人类输入设备的请求,该人类输入设备使用人体作为天线来感测人作出的姿势或其他移动所产生的电磁波动。例如,用户可通过该设备上的软件或硬件按钮来请求该设备的设置功能。该系统可在第一次使用或在检测到不同环境时使用户经过设置阶段,以允许用户校准该设备来用于获得经改进的人类输入识别结果。
在框220中继续,该系统向用户指示将执行基线测量以捕捉与其中正在使用该设备的环境有关的背景电磁信息。该系统可向用户显示请求该用户的各种动作以实现基线信号的信息。例如,在该系统测量基线数据时,该系统可请求用户站在特定中性位置。在框230中继续,该系统测量在用户不执行指定人类输入的时间段期间的基线电磁信息,以与在用户正执行人类输入的时间段期间的电磁信息进行比较。当没有人类输入正在发生时,该系统可捕捉来自家用接线、电器以及其他设备的信号以获得环境电磁信号的图或简档。用户的姿势和其他移动或位置将以各种可测量方式干扰该信号,并且通过将后续信号与基线信号进行比较,该系统可标识姿势、用户的位置、以及其他性质。
在框240中继续,该系统请求用户执行特定人类输入。例如,该系统可请求用户抬起胳膊、触摸墙壁、伸出手指等。用户的移动和最终位置将以可测量方式改变电磁信号,以使该系统可确定用户正在执行什么动作。例如,用户抬起的胳膊可阻止或吸收从冰箱发出的主导电磁场,而触摸开关可使用户与来自家用接线的场更紧密地连接。
在框250中继续,当用户正在执行所请求的人类输入时,该系统测量关于电磁信号的信息。该系统可存储关于在特定输入之前或期间的时间段的信息。例如,对于一些输入,关于用户移动的信息可能与关于用户最终位置的信息相关。姿势可包含用户以特定方式移动、或执行特定运动。出于特定目的,任何类型的姿势、位置、或移动可由该系统、用户、或应用程序定义。该系统捕捉关于该信号的信息,诸如振幅、频率、相位、以及其他信息,并且将该信息与所测量的基线进行比较以标识任何差异。
在框260中继续,该系统通过将用户正在执行人类输入时所测量的信息与所测量的基线进行比较来标识该人类输入的电磁特征。例如,用户移动可改变信号的相位、吸收或衰减特定频率、减少振幅等。这些改变中的每一个形成该系统在人类输入发生时用于识别该人类输入的简档。在框270中继续,该系统对人类输入进行分类以标识用户所执行的移动的任何子类别。例如,当该系统检测被抬起的胳膊时,该系统可对抬起哪只胳膊、在抬起胳膊时手指是如何定位的、以及用户或应用可打算表示更多细微的人类输入的其他细微差别进行分类。该系统还可对诸如建筑物内的特定房间或站在已知物体附近之类的用户位置进行分类。
在框280中继续,该系统存储描述人类输入的可标识电磁特性的人类输入简档。例如,该系统可存储与人类输入相关联的任何相位、频率、或振幅改变以及位置信息。该系统还可存储原始接收的电磁信号,以供与稍后接收的电磁信号进行比较来标识人类输入。在判定框290中继续,如果该系统有更多人类输入要学习,则该系统循环到框240来接收下一人类输入,否则该系统完成。该系统可使用户经过该系统被编程以学习的预定的一组人类输入,或者用户可训练该系统以使其识别对用户执行特定动作有用的人类输入。在框290之后,这些步骤结束。
图3是示出一个实施例中的人类输入系统识别该系统的用户正在执行的一个或多个预分类人类输入的处理的流程图。在框310中开始,该系统从耦合到人类用户的硬件接收设备接收电磁信号信息,该人类用户担当接收设备的天线。用户的身体以接收设备可测量并提供给软件以供处理来识别姿势的方式吸收、反射、和干扰环境电磁辐射。该系统可捕捉与接收到的信号相关的可用于区分在各种用户动作期间发生的信号的振幅、频率、相位、或其他信息。
在框320中继续,该系统隔离该信号中的、与人类用户所处的环境中的非输入环境电磁辐射的先前获得的基线测量不相关的信息。该系统可执行像参考图2所描述设置阶段那样的设置阶段,并且存储基线测量以供与后续测量进行比较。在其中使用该系统的环境富有电磁噪声,并且该系统利用该噪声来检测用户动作。然而,该系统还可确定基线测量所表示的噪声的基本状态和当用户正在执行人类输入时的噪声的状态之间的差异。
在框330中继续,该系统访问一个或多个人类输入简档,该一个或多个人类输入简档存储用于基于接收到的电磁信号来标识一个或多个人类输入的信息。简档可存储振幅、频率、或相位的改变,这些改变与特定人类输入、输入的位置、以及表示当姿势正在发生时的时间段期间所测量的信号的波形的信号“指纹”一致。该系统可将存储在简档中的信号与当前接收的信号进行比较,以确定当前信号是否与简档相匹配。如果这些信号匹配,则用户可能正在执行与简档相关联的人类输入。
在框340中继续,该系统对照被访问的人类输入简档来评估接收到的信号,以标识用户正在执行的一个或多个人类输入。例如,该系统可观察接收到的信号与该系统执行学习阶段期间所接收的声明正在执行一姿势的信号匹配或足够类似。该系统可确定该匹配的确定性阈值,并且可将所确定的阈值与可配置限制进行比较以确定人类输入匹配。该系统可允许用户或应用来配置该限制,以避免假肯定并且增加识别的精确度或宽容度(leniency)。在判定框350中继续,如果该系统标识到人类输入,则该系统在框360继续,否则该系统循环到框310来继续接收信号,直至标识到人类输入。
在框360中继续,该系统对接收到的人类输入进行分类以标识该人类输入所体现的任何子姿势。例如,基本输入可包括用户触摸墙壁,而子姿势可包括确定用户正在用几个手指触摸墙壁。该分类是所检测的人类输入上的手指粒度级别,这允许该系统标识用户动作的细微差别。该系统可将不同的人类输入分类映射到不同的应用选项,以使当用户执行一个动作时,应用与用户执行相近但不同的动作时表现不同。
在一些实施例中,分类将检测到的人类输入进行分割来标识每一输入的开始和结束。人类输入可包括简单的移动或复杂的一系列移动、以及执行移动的位置。为了确定用户处于人类输入的开始、中间、还是刚刚完成人类输入,移动越复杂,分割就变得越相关。
在框370中继续,该系统将描述所标识的人类输入的信息提供给接收人类输入以执行一个或多个应用动作的应用。例如,绘图应用可允许用户在用户家庭的空白墙壁上草拟图画,从而检测用户的笔画以及可修改在绘图程序内可用的画笔、颜色、或其他选项的其他人类输入并将其解释为艺术笔画。以此方式,用户可通过身体移动和接触用户周围的环境来与应用交互。在框370之后,这些步骤结束。
在一些实施例中,人类输入系统在不接触用户身体的情况下操作。例如,该系统可测量用户身体对环境电磁辐射信号的干扰或可测量用户身体在不直接接触的情况下(诸如通过衣服、通过对可观察的电改变的测量等)所拾取的信号。在用户通常携带可用于执行该系统的组件的设备(诸如移动电话、服饰、或用户携带的但不与用户皮肤一直接触的其他物体)的情况下,非接触式操作可能是有用的。该系统可将用户与该设备的接触解释为其本身中的人类输入、或解释为另一姿势的子类别。例如,在用户电话处于其口袋中的情况下,该系统可将用户抬起胳膊解释为一个人类输入,并且在用户手持着电话的情况下将用户抬起胳膊解释为另一人类输入。该系统可测量与用户直接接触所产生的更强信号,作为采取各种动作的信息。
在一些实施例中,人类输入系统使用与其中正在使用该系统的环境中的其他环境信号有关的所测量信息。例如,该系统可使用Wi-Fi信号、蓝牙、来自光源的热、以及其他信息来增加检测到的人类输入的确定性或者检测特定姿势的细微差别或环境条件。例如,该系统可在房间中的电灯打开时与在其关闭时表现不同。如果电灯关闭且用户抬起他的手,则该系统可打开壁炉以使房间变暖,而如果电灯打开且用户抬起他的手,则该系统可升起帘以让更多的光进入。该系统可使用其他传感器(诸如光电池、热传感器等)来检测这些条件。该系统还可组合全球定位系统(GPS)或其他位置信息(例如,Wi-Fi三角测量),以确定用户的位置并且基于用户的位置应用特定人类输入简档。
在一些实施例中,人类输入系统区分用户正在触摸物体的情况下的人类输入与用户不触摸物体的情况下的人类输入。用户正在触摸物体的情况下的输入的示例是触摸墙壁、触摸虚拟按钮、持有棍棒等。用户不触摸物体的情况下的输入的示例是与用户的姿态相关的输入(诸如抬起胳膊或伸出手指)、以及与运动相关的输入(诸如挥动胳膊、跳跃等)。人类输入本质上可以是静态或动态的,其中静态输入基于用户的位置,而动态输入基于用户的运动。人类输入还可具有位置分量,其中在一个位置执行动作的结果与在另一位置执行同一动作的结果不同。
在一些实施例中,人类输入系统可采用改进测量的注入信号。例如,该系统可包括用户插入家庭插座的单独的设备,该设备以可预测的模式发出电磁辐射,从而可能淹没在更加不稳定(erractic)的环境中的信号。注入信号还可被置于诸如游戏控制台之类的常见电器中。该已知信号向该系统提供测量所检测信号参照的基准,以标识人类输入。对于一些环境,注入信号可提供对人类输入的更高保真度确定。
在一些实施例中,人类输入系统捕捉输入速度作为附加数据维度。例如,在应用使用手指移动来增大立体声的音量的情况下,与慢移动相比,更快速的移动可指示更高的音量增加。例如,当今大多数触摸界面结合加速度的概念来调节滚动速度。人类输入系统可捕捉人类输入速度并将该信息传达给接收来自该系统的输出的应用,以使这些应用可基于速度执行任何应用专用的差异。
在一些实施例中,人类输入系统捕捉来自多人交互的输入。例如,房间中的两个用户可单独地或一起执行该系统检测的人类输入。该系统可用游戏设备来捕捉来自多个用户的输入,从而执行游戏相关的活动。房间中的每个人以不同的方式干扰环境信号,并且该系统可以类似于针对单个用户所描述的方式来检测多个人正在做什么。该系统可通过与每个人相关联的单独的接收设备、或用与一个人相关联的单个接收设备来这样做。与一个人相关联的设备将只根据这个人存在于房间或区域中接收来自另一人的动作的不同信号。
研究结果
以下段落呈现了从在若干示例设置中使用人类输入系统的一个实施例选择的数据。该信息提供关于实现该系统的其他信息,但是不旨在将该系统限于所讨论的那些实施例和情况。本领域普通技术人员应当认识到,可对该系统作出各种修改和替换以实现类似的或实现专用的结果。
所进行的研究涉及由10个家庭中的10个人进行的实验,以确认该技术的操作和稳健性。来自该实验的结果显示该系统可对其中发生交互的家庭中的位置、以及电灯开关和其他物体周围的接触位置准确地分类。一组较小的实验探索了该方法的附加能力。来自这些实验的结果显示该系统可推断与墙的接近度、多手姿势、被触摸的电器、以及沿着被触摸的墙壁的连续位置。
基本接收天线可被认为是将电磁波转换成电流的装置。天线由以各种不同的方式排列的一组导体组成,其中尺寸、几何形状和材料规定其在接收特定频率时的有效性。一种最简单的天线只是一圈线(通常用于AM和FM无线电),其长度确定其有效频率响应。另外,运送电流的任何线或导体、或者暴露给电磁场的线可展现无意的天线特性。例如,通过未插入无线电的一组扬声器来收听到AM或CB无线电并非是不常见的。家庭电线也是有效天线,在本发明中就利用了这一现象。
人体在很宽泛的频率范围上也是很有效的天线。人体是导电体,并且由此当暴露给电磁场时,其像具有由各种因素(包括高度、姿态等)所确定的频率谐振的天线那样工作。研究显示由于人体是具有复杂几何形状的有损导体(电介质),因此其没有单个有效的共振频率,而是广泛分布的响应,从而捕捉从40Hz到400MHz的频率。
这一现象,有时被称为“身体天线效应”,给用于采用身体区域网络(即,使用身体作为导体来将数据从身体的一部分发送到另一部分)的系统和用于分析身体内的电现象(例如,肌肉活动)的系统造成了显著的问题。因此,研究者已经花了很长的时间来缓解耦合到身体的环境电磁噪声的问题。相反,本工作的焦点是利用人体所拾取的环境电磁噪声作为用于对与该环境的人类交互进行分类的信号。
相关研究已着重于使用人体作为用于身体区域网络的导体。例如,在人机交互(HCI)社区中,研究者已展示出了佩戴在手指的传感器,该佩戴在手指的传感器通过使用身体作为“电线”来与安装在手腕的接收机通信。虽然其方法并未使用身体作为天线,但是他们注意到,由于身体接地且用作人类天线,触摸一表面极大地降低了通信的可靠性。其他工作已探索了使用人体作为发射/接收天线,以供体间通信。
同样,在HCI社区中,近场电场感测已经是一种用于触摸和运动姿势的流行方法,其中人体已用作电场的干扰和辐射体。研究者已通过将电磁波从导电垫传递到身体来将人体作为信号导体和天线。这些波进而被嵌入在桌面交互表面中的天线拾取。本发明对在不对环境进行装备(instrument)的情况下使用身体来拾取噪声信号感兴趣。该系统使用所测量噪声的特定特性来推断人类用户所执行的姿势。发明人不知晓已明确地着眼于将人体所拾取的环境电磁噪声用于用户交互的其他工作。
在环境中存在许多电磁噪声源,但是家庭电力线基础设施是主要源。家庭通常包括经由墙壁开关向插座、电器和照明设备供电的电线。电线从中央断路器分支,但是家庭中的接地线和中性线都捆绑在一起。由此,发生在家庭的一部分中的电力线上的信号还可在其他部分中测量到。
另外,如前所述,家庭中的电线可担当接收和发射天线两者。过去的工作已将该现象用于室内位置跟踪,其中从电力线辐射出跟踪信号。类似地,电力线已用作从超低功率传感器节点无线地接收数据的大型天线。所有这些方法使用通过电力线注入或被这些电力线接收的已知信号。其他工作已着眼于使用对单个电插座处的电压的高频采样来被动地监视电力线,以基于来自家庭中的电器和电子设备的电噪声的出现来推断对这些设备的激活。
此处所描述的系统只监视从电力线辐射出且被人体接收的电磁噪声,以确定人在家庭中所处的位置以及他们正在执行什么类型的姿势。
AC信号本身是家庭中的电磁噪声的最大源之一:该信号通常在60Hz处振荡(该实验是在北美进行的,并且由此指的是60Hz的AC电源;世界的其他地区使用50Hz)然而,附连到电力线的电器和电子设备同样贡献一些噪声。大致有可在家庭中找到的三大类的电噪声源:电阻性负载、电感性负载(诸如电动机)、以及具有固态开关的负载(还称为开关模式的电源)。
诸如白炽灯或电炉之类的纯电阻性负载在操作时不产生可检测到的量的电噪声,尽管就像电阻一样,但它们预期可产生少许低水平的热噪声。诸如在风扇或搅拌机中的电动机被建模为电阻性和电感性负载两者。电动机刷子的连续断开和连接产生了在60Hz(以及120Hz)处与AC电源同步的电压噪声。诸如在计算机电源、节能荧光灯(CFL)灯泡、现代电视机、TRIAC减光开关、以及微波炉中找到的固态开关设备发出在设备之间改变的噪声,该噪声的频率由内部振荡器确定。
向更小且更有效的消费电子产品的推进已越来越普遍地使用了开关模式的电源(SMPS)。在现代SMPS中,该调制以很高的速率(10kHz-1MHz)发生。SMPS的操作的副作用在于,对电感器磁场的调制产生了以调制频率为中心或在其附近的大量无意的电磁干扰(EMI)。由于电力线和电源之间的物理接触,该EMI耦合到电力线上,该电力线随后将噪声传播到家庭的整个电力基础设施。这被称为传导EMI,其进而由电力线辐射作为辐射EMI。电器或设备本身也可展现辐射EMI。由于此类EMI可在操作特定电子设备时产生问题,因此US联邦通信委员会(FCC)设置了用于与电力线连接且限制其可传导的EMI的量的任何设备的规则。然而,不管这些限制如何,显著的且可检测的EMI仍然通过电力线耦合回去。
同样在电力线上存在若干电噪声的显著的源,这些源起源于家庭外部。包括商用AM和FM无线电的无线电广播被电力线拾取,该电力线担当很宽范围的频率上的接收天线。另外,来自邻域中别处的噪声通常还通过地面连接来耦合。小规模试验(pilot test)显示即使在关闭进入家庭的主要电力之后,家庭中仍然存在且从电力线辐射的显著的基线噪声。
电力线噪声分析中且使用人体作为天线的过去的工作已极大地探索了不同的应用。认识到使用电噪声作为信号和使用人体作为接收天线的可能性,本发明寻求在家庭中实现新用户交互能力,这些用户交互能力不包含对环境的附加装备,而只包含身体本身上的简单的模数转换器。基于现有工作,该研究假设电力线基础设施的复杂形状在信号空间中提供了足够的空间可辨性,以允许我们唯一地标识相对于电子设备和接线的位置和接触点。换言之,通过查看在身体上观察到的频率的各个特性(存在、振幅、形状等),有可能检测姿势。
在美国,本发明在所选的表示各种构造的10个家庭中进行实验。这些家庭是在1948年至2006年之间(μ=1981)构建的单一家庭和城市住宅。它们的尺寸范围是在102至290平方米之间(μ=215),并且它们有一至三层,这些层的一些是地下室。这些家庭各自的主人参与了我们的实验。这10个参与者(5位女士)的年龄在28至61岁之间(μ=38),体重在52至82公斤之间(μ=64),并且身高在150至188厘米之间(μ=169cm)。
可将从电力线辐射且被人体天线拾取的电磁信号作为电压来进行测量。由于身体相对导电,因此该系统可通过将通过线连接到模数转换器的导电垫置于身体上任何地方附近来测量这些电压。该实验选择了测量脖子背面的电压,因为它是在人用他们的手摆姿势的同时不显著地移动的身体上的稳定点。脖子还是便利的地方,因为它位于穿在参与者背上的背包中的数据收集设备附近。
该设备使用在用灵敏的电子设备工作时通常戴在手腕上的标准接地带来与皮肤电接触。该实验装置将短线从接触垫接到国家仪器公司的USB-6216数据获取单元,该数据获取单元以400kS/s对电压采样。实验通过10M的电阻器将接触点上的电压偏置到数据获取单元上的局部接地信号,以去除单端电压的DC偏移的大部分。该信号以16比特的分辨率进行数字化,并且流传输到附连的膝上型计算机上的盘以供后续处理。
实验选择五个电灯开关和空白墙壁上的电插座上面的一点,以供在10个家庭的每一个中进行测试。为了测试是否能够在紧密接近的位置之间进行区分,确保选定的电灯开关中的两个位于同一房间。其他位置分布在家庭周围,每一层上至少一个位置。
为了使在实验时间段期间改变的变量的数量最小化,该实验关闭已合理访问且周期性地改变其状态的电器,包括大多数计算机、以及加热和空调单元。本实验将在实验中使用的所有电灯开关开着,并且一旦实验开始,不改变任何电灯或电器的状态。
参与者站在距墙壁一个臂的长度处,并且在每一交互点(即,电灯开关或墙壁)周围执行六个特定姿势。第一个是参与者将两只手放在其侧面的“休息”姿势。其他五个包含用右手掌接触墙壁,在开关周围的不同位置靠墙壁水平停六秒钟。这些位置包括直接在电灯开关板上以及在电灯开关上面、下面、右面和左面约20厘米的点处。在空白墙壁的情况下,使用相同的位置,但是参照大约在墙壁上标记的插座上方大约电灯开关的高度处的任意点。每一参与者在他们家庭周围的所有六个位置(五个开关、一个墙壁)处执行这六个姿势。
为了帮助参与者并且确保一致性,本实验用带子标记接触点中的每一个。当障碍物阻止触摸在从中心位置的任何方向上的20厘米处发生时,本实验将带子放置成尽可能地接近目标位置,并且记录该位置。本实验还用带子封住每一电灯开关上的地脚螺钉,以确保参与者在触摸开关的同时不会短路接地。这样做以确保与开关的每次接触在相同的已知条件下进行。后续实验确认地脚螺钉向它自己提供容易与我们的实验中的其他位置稳健地区分的可辨别信号。
在数据收集膝上型计算机上运行的软件发出口头命令以引导参与者进行实验。在每一位置,软件发出关于参与者要触摸开关周围的哪个位置的命令,之后是两秒的蜂鸣声,从而允许参与者有时间移到该位置。随后,在发出下一命令之前收集数据六秒钟。实验将在每一电灯开关处的姿势的次序随机化以消除任何可能的临时偏差,并且确保参与者保持认知性地参与。参与者以预定次序逐位置地移动,并且重复整个过程四次(执行共计144个姿势)。
本发明的一个目标是为开发使用所采样的信号来识别姿势的交互系统提供信息。由此,本实验将该分析作为机器学习分类问题来对待。具体而言,本实验使用在Weka机器学习工具包中找到的支持向量机(SVM)的顺序最小优化(SMO)实现。SVM使用标记数据来构造使高维度特征空间中的标记分开的一组超平面,这些超平面随后可用于分类。
为了准备用于SVM的数据,本实验首先分割这些六秒姿势,从而从该时间段的前端和后端去除半秒钟以考虑可能的反映时间和预先效果。本实验随后将原始电压信号分成连续的82微秒的窗口。该窗口大小允许在姿势方向上很短的等待时间;然而,分类的结果可通过在更长的窗口上平滑来改进。在这些分析中,将这些窗口中的每一个作为具有独立的数据点来对待。本实验随后为每一窗口生成以下1002个特征,这些特征用于训练SVM。
存在两个时域特征。最基本的特征是电压的平均值(直流值)。该分析还计算均方根(即RSM值)。RMS值表示电压的交流振幅,该交流振幅在不同的姿势之间显著地改变,如图4所示。
存在582个低频特征。由于电力线用于传送低频交流电力(以60Hz),因此从电力线发出且被人体接收的能量的大部分在低频范围内不足为奇。功率谱由60Hz和其谐波主导。结果,这些频率对机器学习是有用的。该分析使用从32768个点快速傅里叶变换(FFT)产生的DC(直流)和2kHz(12Hz的分辨率)之间的所有原始频率组(bin)作为特征。由于SVM是线性分类器,因此该分析包括这些特征的线性和对数(dB)版本两者(共计332个特征)。另外,60Hz的谐波看起来在高于约25kHz的频率处变成可忽略的,并且由此该分析创建了包含DC和25kHz之间的以200Hz为分辨率的各FFT组的第二组低频特征,再次使用线性和对数(dB)版本两者(共计250个特征)。
存在18个高频峰特征。通过对在人体天线上接收的信号的初始探索,若干高频峰表示特定类型的姿势变得清晰。结果,该分析还包括这些高频峰中的若干的最大值来作为特征。含有的峰位于20k、30k、50k、60k、80k、90k、110k、140k和150kHz,再次使用线性和对数(dB)版本两者(共计18个特征)。
存在400个全频范围的特征。为了对频谱的一般形状进行编码,该分析包括包含直流和200kHz之间的以1kHz为分辨率的各频率样本的特征,再次使用线性和对数(dB)版本两者(共计400个特征)。
为了计算该系统可能对各种条件如何准确地分类,本实验进行多个四重交叉确认。每一重由来自贯穿家庭中的所有位置的单“轮”的数据点组成。这确保了训练和测试数据点在一重内是分开的,并且训练数据和测试数据在时间上分开若干分钟(以避免对环境中的瞬时变化的过度拟合)。这些数字表示一个人期望在交互系统中看到什么。此处报告平均精度和标准差。
图4是示出一个实施例中的来自人类输入系统的时域信号的图表。只查看时域信号,容易看到当参与者正在触摸墙壁时的时间410和430与当他们不触摸时的时间420之间的差异。因此,不足为奇的是,这种分析的分类结果相当高。
墙壁触摸对非墙壁触摸的二级分类在对所有10个家庭中的参与者求平均时表现为98.5%、σ=4.1(几率(chance)=50%)。由于在身体上接收的信号的强度与到辐射源(在此情况下是电力线)的接近度相关,实验者预期墙壁触摸分类可能在电灯开关上比在插座上方的空白墙壁上表现得更好。然而,结果显示分类在空白墙壁上表现得也一样,从而指示姿势不需要限于电灯开关周围的区域。实际上,由于在墙壁中的其他地方的接线,在大多数墙壁上的触摸是可检测的。
在使用来自每一家庭中的每一电灯开关周围的所有姿势的数据时,对家庭中的交互位置的该六位置分类表现为99.1%、σ=1.3(几率=16.7%)。这是令人印象很深刻的结果,并且通过注意到根据实验设计,每一分类中的墙壁中的两个位于同一房间,这甚至令人印象更深刻。这显示了对用户正在与其交互的家庭中的墙壁而非只是对房间进行分类的可能性。
或许甚至更有趣的是,在甚至没有触摸墙壁的情况下可获得相同级别的精度。只使用来自当参与者正站在距墙壁一个臂的长度处休息(手放在侧面)时的数据,该六位置分类表现为99.5%、σ=1.2(几率=16.7%)。这是有希望的结果,因为甚至当人们不直接与墙壁交互时,它也提示了确定他们在整个家庭中的位置的可能性。这可能实现使用除墙壁上的姿势以外的空中姿势是知晓位置的系统。
对电灯开关周围的姿势位置的五位置分类表现为87.4%、σ=10.9%(几率=20%)。在空白墙壁上的触摸位置还以74.3%、σ=16.1%(几率=20%)进行分类。这是有趣的结果,因为它显示了其有可能对空白墙壁上的任意触摸位置而不只是对电灯开关附近的触摸进行分类,如以下进一步描述的。
通过组合对家庭中的位置和墙壁上的触摸位置两者的分类,存在30类问题,它表现为79.8%、σ=7.0(几率=3.3%)。尽管该数字可能看起来不高,但要想到这些是对各单独窗口的非优化分类,并且这些数字可能因全部触摸而增大,且甚至简单地使用跨多个窗口的幼稚投票方案。在对家庭没有附加装备的情况下,就对家庭中的触摸位置以及墙壁上的绝对位置两者进行分类的能力而言,这些结果是相当有希望的。
基于这些分类结果,该系统可以近100%的精度来确定用户在家庭中的位置,并且能以98%的精度来确定用户是否正在触摸墙壁。能够以87%的精度确定墙壁上的电灯开关周围的位置。该系统甚至能以80%的精度来标识家庭中的位置和给定触摸在墙壁上的位置两者。
以上所描述的我们的核心实验确认了我们的假设:家庭中的电磁噪声在特定位置是可辨别的,从而区分家庭中的位置和被触摸的墙壁位置。为了引导未来的工作并理解该方法的界限,实验者进行一系列的附加实验来确定我们的方法可能提供的其他能力。实验者还想要确认我们对实验设计(例如,选择脖子作为身体接触位置)中的一致性作出的决定对我们的方法不是限制性约束。
实验者使用在先前章节中呈现的数据获取系统和方法,但是以下实验由各自在一个(不同)家庭中的两个参与者(而非10个)执行。这减少了所允许的探索各种技术的参与者池,同时仍然确保结果不限于单个人或家庭。除非另外指明,分类结果基于以上所描述的同一SVM,从而对五秒姿势内的各82微秒窗口进行分类,同时跨贯穿一个实验中的所有姿势的四“轮”进行四重交叉确认。
核心实验将接触垫放在参与者的脖子上,这为了实验的一致性起见允许消除垫的移动。然而,对于真实世界的情形,使计算设备连接到用户的皮肤更有可能位于用户已佩戴计算设备(例如,手腕)的位置附近。后续实验由此在两个家庭各自中的单个电灯开关周围重复核心五位置分类实验,其中接触垫放在参与者的上臂、而非脖子上。对于我们的参与者,对开关周围的位置的五位置分类表现为98%和97%(几率=20%)。这指示该方法对放在胳膊上的接触垫(其中它可连接到手表)表现得很好,这对消费者情形更实际。
已知家用电器发出大量的电磁噪声。另外,它们具有良好地接地到家用电力线基础设施的大段金属。这些实验假设这可能允许该系统对用户和家用电器之间的接触进行稳健地分类,从而提出了基于触摸未被装备的电器的各种交互技术。为了实现该假设,参与者触摸同一厨房中的六个电器中的每一个:冰箱、冰柜、炉子、微波炉、洗碗机、以及水龙头。在该实验期间插入所有电器,但是它们并非有源地运行。
根据该假设,在触摸这些电器的同时所测量的电磁噪声甚至与在墙壁触摸期间所观察的噪声相比也是相当引人注目的,并且在各电器之间显示了在我们的特征空间中的强烈差异。因此,在这六个电器之间的分类对于两个参与者都是100%(几率=16.7%)。这指示与电器直接接触提供了用于分类的稳健信号,从而提出了将未被装备的电器变成真实世界“按钮”的可能性。
在先前章节中呈现的这些实验中,参与者只使用其右手。研究假设身体导电性的不对称、接触垫放置的细微不对称、以及接触面积的差异可能允许我们稳健地区分用左手、右手、以及两只手与墙壁或电灯开关接触。作为该假设的初步调查,参与者用左手、右手、或两只手与单个电灯开关接触,并且该系统试图对这些接触类型进行分类。根据该假设,所获取信号中引人注目的差异在这些状态之间是可见的,从而导致对于两个参与者的96%和99%的分类精度(几率=33.3%)。这指示该方法允许稳健地区分左手、右手、和两只手接触。
基于在人体天线上接收的信号的振幅随着参与者的手在触摸之前接近墙壁而不断地改变的最初观察结果,研究假设所捕捉信号可能提供了对触摸未发生时人的手和墙壁之间的距离的稳健指示。为了调查该假设,参与者将其右手放在测量设备上面离电灯开关5、10、15、20、25和30厘米(沿着与墙壁垂直的线)处若干秒。在该实验中,参与者的身体不移动,只有手移动。
以下实验使用了与我们的核心实验中的特征相同的特征以及相同交叉确认,但只在每一重内而非训练支持向量机分类器(其在离散状态之间进行区分),该实验使用SMO回归算法的Weka实现来在用户到墙壁的距离上训练特征回归,该实验使用支持向量机来将特征映射到高维度空间(如在SVM分类器中)并且在该空间中执行线性回归。总RMS误差为4.1厘米。这指示我们的方法提供了对用户距包含电线的墙壁的距离的指示,其分辨率约为若干厘米。
以上所描述的“空白墙壁”实验的成功率显示从电力线辐射的噪声可能沿着墙壁不断地且可预测地改变,从而提供连续触摸定位的可能性。为了评估该假设,该实验再次使用回归方法。在此情况下,参与者将他们的右手食指在一个水平方向上沿着墙壁在离电灯开关10厘米至60厘米的距离处以10厘米递增(即,10、20、30、40、50和60厘米)地靠在墙壁上。总RMS误差为8.1厘米。这指示我们的方法提供了对用户沿着噪声辐射墙壁的位置的指示,其分辨率约为若干厘米。
我们的核心实验着重于打开(即,传送电流)的电灯开关。然而,电灯开关处的噪声环境是墙壁和家庭中的完整电线图案的函数,从而显示可能使电流通过交互中心处的电灯开关是不需要的。该实验由此在两个家庭各自中的单个电灯开关周围重复五位置分类实验,其中接触开关关闭。对于我们的两个参与者,分类表现为99%和97%(几率=20%)。这指示我们的方法即使用于确定相对于处于关闭的电灯开关的位置也表现得很好。
在一只手和两只手接触之间进行区分的能力显示接触面积的改变可能在我们的信号中得到反映,并且其可能区分接触面积中的更精细的改变,诸如与墙壁的单个手指和多个手指接触之间的差异。为了评估该假设,我们的两个参与者使用单只手上的一个、两个、三个、四个或五个手指来进行在电灯开关上的五秒触摸。分类表现为53%和59%(几率=20%)。这比用于在该章节中所探索的其他能力的分类性能显著地低,但是指示接触面积和我们的信号特征之间有关系。
核心实验确定通过测量人体天线所接收的电磁噪声,该系统可能以近100%精度对人在家庭中的位置、以及以平均为87%的精度对人在电灯开关周围触摸的位置进行分类。附加探索展示出区分右手和左手的能力,并且确定正在触摸哪个电器。另外,这些实验已显示了评估墙壁和空中的手之间的距离、以及手沿着墙壁的位置。
这些是有希望的结果,其支持用于在未装备的家庭中进行姿势感测的交互式实时系统。然而,注意,本发明中的所有分类精度报告是针对82微秒窗口的。在交互式系统中,它可能更自然地以各个触摸的水平进行分类,这将改进分类性能,因为可在多个窗口上执行平滑。
将家庭中的几乎任何的墙壁表面或电子设备变成交互式输入系统的能力启用了应用的宽度。在电灯开关的情形下,一个人可想象将姿势的集合映射到房间中的数字照明,而无需将附加物理开关添加到该空间。由于该系统能够标识姿势的位置,因此可将交互映射到家庭的特定部分。这允许将任意的小部件放在环境中。另一应用是简单的姿势,该姿势可用于控制来自家庭中的任何地方的家用温度调节器。例如,在任何电灯开关上面和下面的墙壁上敲击可被映射成增加和降低温度调节器的温度。类似地,这些姿势可被映射成通过对讲机或全家的音频系统来控制音乐播放。
另外,可佩戴计算单元具有标识用户正执行该姿势的副作用。由此,家庭中的每个人可能有其自己的设备,并且可创建自定义姿势并将其映射到其自己的应用。将整个家庭缩放成输入系统的能力还启用了可容易在任何家庭中部署的新游戏和通用计算应用的宽度。探索和构建这些应用留给未来的工作。
系统测试已展示出使用身体作为用于在我们的环境中已存在的环境电磁噪声的接收天线的新交互模态的可行性。尽管该噪声给许多感测应用造成了问题,但本系统使用该现象作为其信号,由此减少了对环境进行装备的需求。通过检查身体所拾取的噪声,该研究已显示了该系统可以近87%的精度推断在电灯开关或家庭中的电线附近的空白墙壁周围的绝对触摸位置。人正在触摸的家庭中的墙壁的位置具有近100%的分类精度。研究还展示出用于悬停和不断地跟踪在墙壁上的手以实现一组更丰富的交互技术的可能性。与电子设备和电器的交互还在接收到的信号中产生可辨别的改变,这些改变可提供用于进一步探索的附加机会。虽然我们的初始实验用相当庞大的测试设备来进行,但是该感测模态只包含可佩戴接触垫和模数转换器,从而提出了合并到诸如手表或移动电话之类易于部署的形状因子。
从上述内容,应当理解,在本文中已出于说明目的描述了人类输入系统的特定实施例,但是可做出各种修改而不背离本发明的精神和范围。因此,本发明只受所附权利要求限制。

Claims (15)

1.一种用于在人类输入系统中学习描述环境以及一个或多个人类输入的信息的计算机实现的方法,所述方法包括:
接收(210)设置人类输入设备的请求,所述人类输入设备使用人体作为天线来感测用户作出的人类输入所产生的电磁波动;
构建可使用所述用户正执行人类输入的时间段期间的电磁信息来推断所述人类输入的模型;
请求(240)所述用户执行特定人类输入;
测量(250)描述所述用户正执行所请求的人类输入时的电磁信号的信息;
通过将所述用户正执行所述人类输入时的所测量的信息与所述模型进行比较来标识(260)所述人类输入的电磁特征;以及
存储(280)描述所述人类输入的可标识电磁特性的人类输入简档,
其中先前步骤由至少一个处理器执行。
2.如权利要求1所述的方法,其特征在于,接收所述设置请求包括:检测所述系统的第一次使用以及使所述用户经过设置阶段,从而允许所述用户校准所述系统以产生更准确的人类输入识别结果。
3.如权利要求1所述的方法,其特征在于,向所述用户指示包括:向所述用户显示请求所述用户在所述系统测量基线数据时站在特定中性位置的信息。
4.如权利要求1所述的方法,其特征在于,测量基线信息包括:捕捉来自家用接线和电器的信号,以获得在没有人类输入发生时的环境电磁信号的简档。
5.如权利要求1所述的方法,其特征在于,人类输入以各种可测量的方式干扰所述基线信号,以使所述系统可将后续信号与所述基线信号进行比较来标识人类输入。
6.如权利要求1所述的方法,其特征在于,标识所述人类输入的电磁特征包括确定所述用户在环境中的位置。
7.如权利要求1所述的方法,其特征在于,测量所述人类输入期间的信息包括:存储在人类输入之前和期间的时间段接收到的信息。
8.如权利要求1所述的方法,其特征在于,测量所述人类输入期间的信息包括:测量所述用户的姿态所产生的静态信息。
9.如权利要求1所述的方法,其特征在于,测量所述人类输入期间的信息包括:测量所述用户的移动所产生的动态信息。
10.如权利要求1所述的方法,其特征在于,构建所述模型包括:在所述用户不执行人类输入的时间段期间捕捉描述正在其中使用所述设备的环境的基线背景电磁信息,以及在所述用户正执行人类输入的时间段期间捕捉带标记的电磁信息。
11.如权利要求1所述的方法,其特征在于,测量所述人类输入期间的信息包括:测量所述信号的振幅、频率和相位。
12.如权利要求1所述的方法,其特征在于,标识电磁特征包括:确定所述用户的移动改变了所述信号的相位、吸收或衰减了特定频率、或者修改了所述信号的振幅,其中所述改变形成所述系统用于在所述人类输入发生时识别出它的简档。
13.如权利要求1所述的方法,其特征在于,存储所述人类输入简档包括:存储与所述人类输入相关联的任何相位、频率或振幅的改变,所述人类输入期间的所述用户的位置,以及原始接收的电磁信号,以用于与稍后接收的电磁信号进行比较来标识所述人类输入。
14.一种用于在人体干扰一个或多个信号时感测人类输入的计算机系统,所述系统包括:
人体附近的接收设备(110),所述接收设备接收受所述人体干扰的电磁信号;
被配置成执行包含在以下组件内的软件指令的处理器和存储器;
输入感测组件(120),所述输入感测组件接收描述接收到的电磁信号的信息,包括所述信号随时间的振幅;
输入评估组件(130),所述输入评估组件基于描述所述电磁信号的接收到的信息来标识一个或多个预分类的人类输入;
环境校准组件(150),所述环境校准组件对与在其中使用所述系统的环境有关的信息进行采样以校准所述系统来改进人类输入标识;
输入数据存储(170),所述输入数据存储存储描述与一个或多个经分类的人类输入相关的电磁改变的一个或多个简档;以及
输出组件(180),所述输出组件将描述所标识的人类输入的信息提供给一个或多个软件应用。
15.如权利要求14所述的系统,其特征在于,还包括:输入学习组件,所述输入学习组件通过请求所述用户执行一个或多个人类输入并在所述用户执行所述人类输入时观察接收到的电磁信号中的一个或多个改变来学习所述人类输入。
CN201110436298.7A 2010-12-22 2011-12-22 使用身体作为天线来感测用户输入 Active CN102854978B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/975,373 2010-12-22
US12/975,373 US8665210B2 (en) 2010-12-22 2010-12-22 Sensing user input using the body as an antenna

Publications (2)

Publication Number Publication Date
CN102854978A true CN102854978A (zh) 2013-01-02
CN102854978B CN102854978B (zh) 2015-08-19

Family

ID=46314786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110436298.7A Active CN102854978B (zh) 2010-12-22 2011-12-22 使用身体作为天线来感测用户输入

Country Status (4)

Country Link
US (1) US8665210B2 (zh)
CN (1) CN102854978B (zh)
HK (1) HK1178624A1 (zh)
WO (1) WO2012087851A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729058A (zh) * 2013-12-20 2014-04-16 北京智谷睿拓技术服务有限公司 一种穿戴式输入系统及输入方法
CN103927013A (zh) * 2014-04-16 2014-07-16 北京智谷睿拓技术服务有限公司 交互方法和系统
CN103927009A (zh) * 2014-04-16 2014-07-16 北京智谷睿拓技术服务有限公司 交互方法和系统
CN103941867A (zh) * 2014-04-11 2014-07-23 北京智谷睿拓技术服务有限公司 交互方法和系统
CN104639580A (zh) * 2013-11-11 2015-05-20 北京大学 一种新型的无线传感器网络通信方法及系统
CN104969157A (zh) * 2013-08-13 2015-10-07 三星电子株式会社 交互感测
WO2016197886A1 (zh) * 2015-10-20 2016-12-15 中兴通讯股份有限公司 一种实现对智能移动设备进行控制的方法及装置
CN106537051A (zh) * 2014-03-24 2017-03-22 乔什.莱特 环境控制装置及相关方法
CN108027684A (zh) * 2015-09-16 2018-05-11 三星电子株式会社 电磁干扰信号检测
US10521018B2 (en) 2014-06-04 2019-12-31 Beijing Zhigu Rui Tuo Tech Co., Ltd Human body-based interaction method and interaction apparatus
CN112566757A (zh) * 2018-08-07 2021-03-26 具象有限公司 使用多模式用户反馈来调整和优化人机交互的系统和方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044483A1 (en) * 2009-08-18 2011-02-24 Starkey Laboratories, Inc. Method and apparatus for specialized gesture sensing for fitting hearing aids
US9077343B2 (en) * 2011-06-06 2015-07-07 Microsoft Corporation Sensing floor for locating people and devices
US10423248B2 (en) * 2011-10-28 2019-09-24 Wacom Co., Ltd. Touch-sensitive system with motion filtering
US20140023214A1 (en) * 2012-07-17 2014-01-23 Starkey Laboratories, Inc. Method and apparatus for an input device for hearing aid modification
US9411445B2 (en) * 2013-06-27 2016-08-09 Synaptics Incorporated Input object classification
US10042446B2 (en) * 2013-08-13 2018-08-07 Samsung Electronics Company, Ltd. Interaction modes for object-device interactions
US10141929B2 (en) * 2013-08-13 2018-11-27 Samsung Electronics Company, Ltd. Processing electromagnetic interference signal using machine learning
US10073578B2 (en) * 2013-08-13 2018-09-11 Samsung Electronics Company, Ltd Electromagnetic interference signal detection
US10101869B2 (en) * 2013-08-13 2018-10-16 Samsung Electronics Company, Ltd. Identifying device associated with touch event
US9396428B2 (en) * 2013-11-08 2016-07-19 Gurbinder S Brar Method for anchoring a linear induction generator to living tissue for RFID signal transmission
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US9602222B2 (en) * 2013-12-13 2017-03-21 Intel Corporation Techniques for securing body-based communications
WO2016003516A2 (en) * 2014-04-10 2016-01-07 Massachusetts Institute Of Technology Radio frequency localization
EP2947635B1 (en) * 2014-05-21 2018-12-19 Samsung Electronics Co., Ltd. Display apparatus, remote control apparatus, system and controlling method thereof
US9921678B2 (en) * 2014-08-05 2018-03-20 Georgia Tech Research Corporation Self-powered, ultra-sensitive, flexible tactile sensors based on contact electrification
US9389733B2 (en) * 2014-08-18 2016-07-12 Sony Corporation Modal body touch using ultrasound
WO2017090945A1 (en) 2015-11-25 2017-06-01 Samsung Electronics Co., Ltd. Processing electromagnetic interference signal using machine learning
US10963157B2 (en) * 2016-05-12 2021-03-30 Lsi Industries, Inc. Outdoor ordering system with interactive menu elements
US10891548B2 (en) * 2016-10-07 2021-01-12 International Business Machines Corporation Electromagnetic noise signal based predictive analytics
KR20180041905A (ko) * 2016-10-17 2018-04-25 삼성전자주식회사 Emi 센서를 포함하는 전자 장치
JP6517179B2 (ja) * 2016-11-15 2019-05-22 京セラ株式会社 電子機器、プログラムおよび制御方法
US10692279B2 (en) * 2017-07-31 2020-06-23 Quantum Spatial, Inc. Systems and methods for facilitating making partial selections of multidimensional information while maintaining a multidimensional structure
CN110415389B (zh) 2018-04-27 2024-02-23 开利公司 姿势进入控制系统和预测移动设备相对于用户所在部位的方法
CN110415387A (zh) 2018-04-27 2019-11-05 开利公司 包括设置在由用户携带的容纳件中的移动设备的姿势进入控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793309A (en) * 1996-08-14 1998-08-11 Lockheed Martin Corporation Short range electromagnetic proximity detection
CN1695038A (zh) * 2002-09-06 2005-11-09 纳米技术公司 包括电容性传感器的邻近检测器
JP2008197801A (ja) * 2007-02-09 2008-08-28 Ntt Docomo Inc 装着型情報入力装置
US20090271004A1 (en) * 2008-04-28 2009-10-29 Reese Zecchin Method and apparatus for ranging detection of gestures
US20100103918A1 (en) * 2008-10-23 2010-04-29 Samsung Electronics Co., Ltd Apparatus and method for transmitting/receiving data in human body communication system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738044B2 (en) * 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
KR100537503B1 (ko) 2002-12-31 2005-12-19 삼성전자주식회사 공간형정보입력장치 구성 방법, 재구성 방법, 착용인식방법 및그 장치
US7312788B2 (en) * 2003-03-11 2007-12-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Gesture-based input device for a user interface of a computer
JP4507058B2 (ja) 2003-06-05 2010-07-21 ソニー株式会社 距離検出システム
KR20050047329A (ko) 2003-11-17 2005-05-20 한국전자통신연구원 손가락 움직임을 이용한 정보 입력장치 및 방법
JP4566596B2 (ja) * 2004-03-29 2010-10-20 アルパイン株式会社 操作指示装置
KR100785764B1 (ko) 2005-05-11 2007-12-18 한국전자통신연구원 인체 안테나를 이용한 지상파 dmb 수신 장치 및 그 방법
KR20070025138A (ko) 2005-08-31 2007-03-08 노성렬 공간상에서의 3차원 동작에 대한 인식을 통한 공간투영프리젠테이션 시스템 및 그 방법
KR20080100608A (ko) 2007-05-14 2008-11-19 고려대학교 산학협력단 유비쿼터스 환경에서의 행동인식 기반의 체감형 게임시스템
US20090174675A1 (en) * 2008-01-09 2009-07-09 Dave Gillespie Locating multiple objects on a capacitive touch pad
US8238863B2 (en) * 2009-12-10 2012-08-07 Qualcomm Incorporated Methods and apparatuses for identifying and mitigating interference in a wireless signal
US8228292B1 (en) * 2010-04-02 2012-07-24 Google Inc. Flipping for motion-based input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5793309A (en) * 1996-08-14 1998-08-11 Lockheed Martin Corporation Short range electromagnetic proximity detection
CN1695038A (zh) * 2002-09-06 2005-11-09 纳米技术公司 包括电容性传感器的邻近检测器
JP2008197801A (ja) * 2007-02-09 2008-08-28 Ntt Docomo Inc 装着型情報入力装置
US20090271004A1 (en) * 2008-04-28 2009-10-29 Reese Zecchin Method and apparatus for ranging detection of gestures
US20100103918A1 (en) * 2008-10-23 2010-04-29 Samsung Electronics Co., Ltd Apparatus and method for transmitting/receiving data in human body communication system

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828693A (zh) * 2013-08-13 2019-05-31 三星电子株式会社 交互感测设备和交互感测方法
CN109857257B (zh) * 2013-08-13 2022-05-10 三星电子株式会社 交互感测设备和交互感测方法
CN109828693B (zh) * 2013-08-13 2022-05-10 三星电子株式会社 交互感测设备和交互感测方法
CN104969157B (zh) * 2013-08-13 2018-08-28 三星电子株式会社 交互感测设备和交互感测方法
CN104969157A (zh) * 2013-08-13 2015-10-07 三星电子株式会社 交互感测
US10955983B2 (en) 2013-08-13 2021-03-23 Samsung Electronics Company, Ltd. Interaction sensing
CN109857257A (zh) * 2013-08-13 2019-06-07 三星电子株式会社 交互感测设备和交互感测方法
CN104639580A (zh) * 2013-11-11 2015-05-20 北京大学 一种新型的无线传感器网络通信方法及系统
CN104639580B (zh) * 2013-11-11 2019-07-12 北京大学 一种新型的无线传感器网络通信方法及系统
CN103729058A (zh) * 2013-12-20 2014-04-16 北京智谷睿拓技术服务有限公司 一种穿戴式输入系统及输入方法
CN106537051A (zh) * 2014-03-24 2017-03-22 乔什.莱特 环境控制装置及相关方法
CN103941867A (zh) * 2014-04-11 2014-07-23 北京智谷睿拓技术服务有限公司 交互方法和系统
CN103941867B (zh) * 2014-04-11 2017-07-11 北京智谷睿拓技术服务有限公司 交互方法和系统
US10275018B2 (en) 2014-04-11 2019-04-30 Beijing Zhigu Rui Tuo Tech Co., Ltd Touch interaction methods and systems using a human body as a signal transmission medium
US9939889B2 (en) 2014-04-16 2018-04-10 Beijing Zhigu Rui Tuo Tech Co., Ltd Interaction methods and systems
CN103927013B (zh) * 2014-04-16 2017-12-22 北京智谷睿拓技术服务有限公司 交互方法和系统
US9742502B2 (en) 2014-04-16 2017-08-22 Beijing Zhigu Rui Tuo Tech Co., Ltd Interaction methods and systems
CN103927009A (zh) * 2014-04-16 2014-07-16 北京智谷睿拓技术服务有限公司 交互方法和系统
CN103927013A (zh) * 2014-04-16 2014-07-16 北京智谷睿拓技术服务有限公司 交互方法和系统
US10521018B2 (en) 2014-06-04 2019-12-31 Beijing Zhigu Rui Tuo Tech Co., Ltd Human body-based interaction method and interaction apparatus
CN108027684A (zh) * 2015-09-16 2018-05-11 三星电子株式会社 电磁干扰信号检测
CN108027684B (zh) * 2015-09-16 2021-07-16 三星电子株式会社 电磁干扰信号检测
CN106598207A (zh) * 2015-10-20 2017-04-26 中兴通讯股份有限公司 一种实现对智能移动设备进行控制的方法及装置
WO2016197886A1 (zh) * 2015-10-20 2016-12-15 中兴通讯股份有限公司 一种实现对智能移动设备进行控制的方法及装置
CN106598207B (zh) * 2015-10-20 2021-06-25 中兴通讯股份有限公司 一种实现对智能移动设备进行控制的方法及装置
CN112566757A (zh) * 2018-08-07 2021-03-26 具象有限公司 使用多模式用户反馈来调整和优化人机交互的系统和方法

Also Published As

Publication number Publication date
US20120162057A1 (en) 2012-06-28
WO2012087851A3 (en) 2013-01-03
CN102854978B (zh) 2015-08-19
US8665210B2 (en) 2014-03-04
HK1178624A1 (zh) 2013-09-13
WO2012087851A2 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
CN102854978B (zh) 使用身体作为天线来感测用户输入
Braun et al. Capacitive proximity sensing in smart environments
Cohn et al. Your noise is my command: sensing gestures using the body as an antenna
Zhang et al. Wall++ room-scale interactive and context-aware sensing
US20170124816A1 (en) Automatic object detection and state estimation via electronic emissions sensing
CN104969156B (zh) 交互感测设备和交互感测方法
Grosse-Puppendahl et al. OpenCapSense: A rapid prototyping toolkit for pervasive interaction using capacitive sensing
Qifan et al. Dolphin: Ultrasonic-based gesture recognition on smartphone platform
Yan et al. Towards touch-to-access device authentication using induced body electric potentials
JP2021133252A (ja) 無線センシング、監視及び認識のための方法、装置及びシステム
EP3359976A1 (en) Radar-enabled sensor fusion
CN110134282A (zh) 对触摸传感器中的可能的信道进行动态分配
KR102067281B1 (ko) 전자기 간섭 신호 검출
US10353526B1 (en) Room-scale interactive and context-aware sensing
CN109547836A (zh) 直播交互方法及装置、电子设备、存储介质
Liu et al. Long-range gesture recognition using millimeter wave radar
Grosse-Puppendahl Capacitive sensing and communication for ubiquitous interaction and environmental perception
Valtonen Technologies for Smart Environments: Capacitive User Tracking and Proactive Fuzzy Control
Fakhrurroja et al. Hand state combination as gesture recognition using kinect v2 sensor for smart home control systems
KR102084209B1 (ko) 전자기 방해 신호 검출
Zhao et al. EMI Spy: Harnessing electromagnetic interference for low-cost, rapid prototyping of proxemic interaction
Braun et al. Capacitive sensor-based hand gesture recognition in ambient intelligence scenarios
Gong et al. Indutivo: Contact-based, object-driven interactions with inductive sensing
Hu et al. Vihand: Gesture recognition with ambient light
Grosse-Puppendahl et al. Ambient gesture-recognizing surfaces with visual feedback

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1178624

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150727

C14 Grant of patent or utility model
C41 Transfer of patent application or patent right or utility model
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20150727

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1178624

Country of ref document: HK