CN105532071A - 多传感器手部检测 - Google Patents

多传感器手部检测 Download PDF

Info

Publication number
CN105532071A
CN105532071A CN201480050431.7A CN201480050431A CN105532071A CN 105532071 A CN105532071 A CN 105532071A CN 201480050431 A CN201480050431 A CN 201480050431A CN 105532071 A CN105532071 A CN 105532071A
Authority
CN
China
Prior art keywords
computing equipment
real time
sensor data
computing device
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480050431.7A
Other languages
English (en)
Inventor
查尔斯·J·休斯
耶尔·G·马圭尔
沙菲格·希林法尔
迈克尔·约翰·麦肯齐·托克斯韦格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN105532071A publication Critical patent/CN105532071A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0251Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0261Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0274Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof
    • H04W52/028Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof switching on or off only a part of the equipment circuit blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

在一个实施方式中,一种方法包括:从计算设备上的不同传感器类型的大量传感器接收实时传感器数据。实时传感器数据对应于由计算设备的用户引起的计算设备的物理状态的转换。该方法也包括:关联来自计算设备上的不同传感器类型的大量传感器的实时传感器数据;基于该关联确定用户对计算设备的预期即将使用;以及基于该确定自动启动计算设备的预定功能。

Description

多传感器手部检测
技术领域
本公开总体涉及移动计算设备。
背景技术
诸如智能手机、平板电脑、或者膝上型电脑等移动计算设备可包括用于确定其位置、方向、或者方位的功能,诸如GPS接收器、指南针、或者陀螺仪。该设备还可包括用于无线通信的功能,诸如,蓝牙通信、近场通信(NFC)或红外线(IR)通信或者利用无线局域网(WLAN)或蜂窝电话网络的通信。这种设备还可包括一个或多个照相机、扫描仪、触摸屏、麦克风或扬声器。移动计算设备还可以执行软件应用程序,诸如,游戏、网络浏览器或社交网络应用程序。利用社交网络应用程序,用户可以与他们的社交网络中的其他用户连接、通信并且共享信息。
发明内容
在具体实施方式中,可以通过根据准确并快速地检测关于人类的手或其他人体部分的物理状态之间的转换(例如,接近设备、与设备进行接触、抓握设备、移动设备、释放设备、移动远离设备)产生的、来自传感器的输入推断用户意图使得能够在一定程度上改善用户体验。通过关联跨多个类型的传感器(例如,电场传感器、光学接近传感器、或加速计)的输入数据,可促进状态之间的这种转换的检测的精确度的提高,以便排除误检。
例如,如果计算设备可检测用户的手部的接近及抓握,则计算设备能够推测用户即将使用计算设备,并且因此,启动任意程序下载和/或上传数据以便将计算设备上的应用程序和/或数据更新至最新。如果该设备仅使用电场传感器,因为移动设备位于裤子口袋中并且仅通过薄织物层与用户的腿部隔开,则可能产生误检。然而,通过关联来自电场传感器的输入与来自其它传感器(例如,光学接近传感器或加速计)的输入,可检测误检,来自其它传感器的输入表示没有尝试抓握设备。在另一示例中,人类手部的抓握的正检测可能需要触发沿着设备的边缘和侧面以具体方式分布的多个电场传感器(例如,通过设备对侧上的两个或更多个数位,结合接触的同时检测来检测设备的一个侧面上的单数位接触)。
在另一示例中,当设备搁置在桌子上时,如果通信设备可检测用户手指的接触,则设备能够触发应用程序功能,例如,自动显示用户可键入状态更新的窗口。具体实施方式可将加速计的标记与电场感测信号相关联。
附图说明
图1示出了示例性移动计算设备。
图2示出了示例性移动计算设备的示例性传感器配置。
图3示出了用于基于推断出的用户意图启动计算设备预先确定的功能的示例性方法。
图4A-图4B示出了示例性传感器数据的转换的示例性检测。
图5示出了与社交网络系统相关联的示例性网络环境。
图6示出了传感器数据的示例性分类。
图7示出了用于确定传感器数据是否对应于客户端系统的预先确定的使用的示例性方法。
图8示出了通过示例性投影的计算传感器数据的分量的示例性隔离。
图9示出了隔离传感器数据的分量的示例性方法。
图10示出了示例性计算系统。
具体实施方式
图1示出了示例性移动计算设备。在具体实施方式中,客户端系统可以是如上所述的移动计算设备10。本公开内容考虑采取任何合适物理形式的移动计算设备10。在具体实施方式中,移动计算设备10可以是以下所描述的计算系统。作为实例并不作为限制性方式,移动计算设备10可以是单板计算机系统(SBC)(诸如,电脑模组(COM)或者系统模组(SOM))、膝上型或者笔记本计算机系统、移动电话、智能电话、个人数字助理(PDA)、平板计算机系统、或者这些中两种或者更多种的组合。在具体实施方式中,移动计算设备10可具有作为输入组件的主触摸传感器12。在电容式触摸传感器的情况下,则可以存在三种类型的电极:发射式、接收式、以及加载式。这些电极可以连接至控制器,该控制器设计成能用电脉冲驱动发射电极。在图1的实例中,触摸传感器12结合在移动计算设备10的前表面上。在图1的实例中,一个或多个次触摸传感器14A至14D可以结合到移动计算设备10的一个或多个表面。在具体实施方式中,一个或多个次触摸传感器14A-14B可具有在移动计算设备10的多个表面的部分上的覆盖范围,诸如,侧表面或底表面的部分。如下所述,可以通过一个或多个触摸传感器12和14A-14D或者传感器类型的任意组合检测到的传感器数据的转换来推断与移动计算设备10相关联的用户的意图。
移动计算设备10可包括:通信部件,用于与以太网或者其他基于有线的网络或无线NIC(WNIC)通信;无线适配器,用于与例如WI-FI网络的无线网络通信;或者调制解调器,用于与诸如第三代移动远程通信(3G)的蜂窝网络,或者长期演进(LTE)网络通信。本公开内容考虑任何合适的网络和用于它的任何合适的通信部件。作为实例并不作为限制性方式,移动计算设备10可与自组织网络、个人局域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或者因特网的一个或者多个部分、或者这些中的两种或者更多种的组合通信。这些网络中的一个或多个中的一个或多个部分可以为有线或者无线。作为另一实例,移动计算设备10可以与无线PAN(WPAN)(诸如,蓝牙WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(诸如,全球移动通信系统(GSM)、3G、或LTE网络)、或其他合适的无线网络或这些中的两种或多于两种的组合通信。在适当的情况下,移动计算设备10可以包括用于这些网络中任一个的任意合适的通信部件。
在具体实施方式中,移动计算设备10可具有多个操作状态。作为实例并不作为限制性方式,当移动计算设备10没被其用户使用达一段时间(例如,几秒)时,移动计算设备10可以进入节电状态。处于省电状态时,为了节约能源并延长电池寿命,移动计算设备10可以在低功率水平下操作。移动计算设备10的显示器可能会变暗或断电。在任何给定时间,例如,根据用户是否正在使用移动计算设备10、自最近使用移动计算设备10已过去的时间量、移动计算设备10的物理环境(例如,在携带式仪器箱、口袋、或抽屉中),移动计算设备10可以处于任意合适的操作状态。
在具体实施方式中,移动计算设备10的应用处理器执行的应用程序可以提示用户在预先确定的时段内执行具体动作以提供传感器数据,该传感器数据可以起到针对诸如支持向量机(SVM)、神经网络、置信传播、或K-means算法的机器学习算法的训练数据的作用。作为实例并不作为限制性方式,用户可以向应用程序指示正在执行特定动作,诸如,骑自行车、将移动计算设备10装在口袋里坐着、或者从口袋中拿出移动计算设备10,并且训练应用程序可以通过一个或多个类型的传感器记录对应于具体动作的传感器数据。在具体实施方式中,每个动作可被分类成与移动计算设备10相关联的大量状态中的特定状态,诸如,与移动计算设备10进行物理接触相关联的动作,或者与移动计算设备10物理接触不相关联的动作。
作为实例并不作为限制性方式,移动计算设备10可以发送传感器数据作为对应于与每个动作相关联的特定状态的测定值和状态值的阵列。例如,训练数据可以是来自移动计算设备10的一个或多个触摸传感器的电容值的阵列。作为另一实例,训练数据可以包括当执行特定动作时由加速计测量的加速度。如上所述,训练数据还可以包括使特定动作与移动计算设备10的特定状态(诸如,与移动计算设备10物理接触)相关联的指示信息。作为实例并不作为限制性方式,“0”可以分配给表示将移动计算设备10搁置在表面上(诸如,桌子)的状态。作为另一实例,“1”可以分配给表示与移动计算设备10进行物理接触(诸如,从桌子上拾起来)的状态。尽管本公开描述了收集特定数量的与移动计算设备相关联的特定状态的训练数据,但本公开考虑与任何合适的计算设备相关联的任何合适数量的状态的训练数据。
在具体实施方式中,至少部分基于实时传感器数据与训练数据的比较,实时传感器数据可被确定为对应于移动计算设备10的一个或多个预先确定的预期使用的事件。如下所述,训练数据可被用于将传感器数据分类成移动计算设备10的多个预先确定的使用并且定义将传感器数据分成移动计算设备10的预先确定的使用的超平面。此外,定义超平面的参数可被发送至移动计算设备10并且如下所述,至少部分基于实时传感器数据对于超平面的比较,移动计算设备10的处理器(例如,传感器集线器)可以确定实时传感器是对应于移动计算设备10的预先确定的预期使用之一的事件。
在具体实施方式中,至少部分基于分析实时传感器数据的向量映射的投影,实时传感器数据可被确定为对应于移动计算设备10的即将发生的使用。如下所述,对应于实时传感器数据的向量在对应于稳态条件的向量上的投影可以减小向量的线性相关性。此外,处理器(例如,传感器集线器)可以通过计算向量的点积计算投影并且如下所述确定移动计算设备10的即将发生的使用。
图2示出了示例性移动计算设备的示例性传感器配置。在具体实施方式中,移动计算设备10的传感器阵列20可以包括一个或多个类型的传感器。一个或多个类型的传感器可以包括触摸传感器、加速计、陀螺仪、光学接近传感器、环境光传感器、图像传感器、麦克风、或者它们的任意组合。不同类型的传感器阵列20可以各自测量不同类型的数据。尽管本公开描述了通过特定类型的传感器收集与移动计算设备相关联的环境数据的收集,但本公开内容考虑通过任意合适类型的传感器收集与移动计算设备相关联的传感器数据。传感器阵列20的一个或多个传感器可以耦接至移动计算设备10的传感器集线器40。作为实例并不作为限制性方式,传感器集线器40可以是低功耗处理器,该低功耗处理器控制传感器阵列20的一个或多个传感器、管理用于传感器的电力、处理传感器输入、聚集传感器数据、并且执行某个传感器功能。在具体实施方式中,传感器阵列20的一个或多个类型的传感器可以连接至控制器42。作为实例并不作为限制性方式,传感器集线器40可以耦接至控制器42,控制器进而耦接至传感器阵列20。在具体实施方式中,传感器监控器可以管理传感器阵列20。在具体实施方式中,如下所述,移动计算设备10的传感器集线器40或者应用处理器检测由传感器阵列20的一个或多个类型的传感器测量的数据的转换并且使来自不同类型的传感器的数据的转换互相关联确定移动计算设备10的即将发生的预期使用。
在具体实施方式中,如上所述,除一个或多个其他类型的传感器之外,移动计算设备10的传感器阵列20还可以包括加速计。可以至少部分地由加速计提供的传感器数据用于推断用户是否意图使用移动计算设备10。当移动计算设备10放在在用户的口袋中时,移动计算设备10可以随着用户移动而移动。然而,这样的运动发生在相对长的时间段。另一方面,当用户与移动计算设备10进行物理接触并且将移动计算设备10从口袋中拿到用户的面前时,计算设备10的移动速度可能会在相对短的时间段内增大。可以基于由加速计提供的传感器数据检测移动计算设备10的移动速度上的这种变化。
在具体实施方式中,如上所述,除一个或多个其他类型的传感器之外,移动计算设备10的传感器阵列20还可以包括陀螺仪。陀螺仪是一种类型的传感器,其被配置为沿着一个或多个位置轴测量角速度。此外,陀螺仪可以用于测量移动计算设备10的方位。作为实例并不作为限制性方式,当移动计算设备10放在用户的口袋中时,其可以基本上沿特定方位保持在原位。然而,当用户与移动计算设备10进行物理接触并且将其拿出口袋拿到用户面前时,在相对短的时间段内可能会发生移动计算设备10的方位上的变化。陀螺仪可以检测并测量移动计算设备10的方位上的变化。如果移动计算设备10的方位发生了显著变化,方位变化连同来自另一类型的传感器的数据(诸如,触摸传感器或者加速计数据)可以是用户可能与移动计算设备10进行物理接触的确证指示。
在具体实施方式中,移动计算设备10的传感器阵列20可以包括光学接近传感器。可对光学接近传感器提供的传感器数据进行分析,以检测移动计算设备10何时近距离接近于特定的物体,诸如,用户的手。在具体实施方式中,移动计算设备10可具有红外线发光二极管(IRLED)放在其后侧的光学接近传感器。作为实例并不作为限制性方式,当用户将移动计算设备10保持在他的手中时,用户的手的手掌可以覆盖IRLED。因此,IRLED可以检测物体何时接近移动计算设备10。在具体实施方式中,物体接近移动计算设备10的确定连同来自另一种类型的传感器的数据(诸如触摸传感器或者加速计数据)可以是用户可能与移动计算设备10进行物理接触的确证指示。
在具体实施方式中,使各个类型的传感器数据互相关联可以用于推断出用户对于移动计算设备10的意图(例如,用户是否真正意指抓握移动计算设备10并且使用它)。如下所述,与单独使用来自单个类型的传感器的数据相比,结合使用多个类型的传感器数据可以获得用户对于移动计算设备10的意图的更准确的推断。作为实例并不作为限制性方式,除了通过一个或多个触摸传感器检测用户的身体部分接近移动计算设备10之外,可以至少部分基于通过加速计检测移动计算设备10的移动速度的显著增大来推断移动计算设备10的使用。作为另一实例,除了通过光学邻近传感器检测用户的身体部分接近移动计算设备10之外,可以至少部分基于通过陀螺仪检测移动计算设备10的方位变化来推断移动计算设备10的使用。在具体实施方式中,如下所述,可以至少部分基于推断的用户对于移动计算设备10意图来启动移动计算设备10的预先确定的功能。作为实例并不作为限制性方式,可使移动计算设备10脱离节电状态进入正常操作状态(例如,打开移动设备的显示器)并且可以至少部分基于推断的用户可能正要使用移动计算设备10来自动解锁移动计算设备10的输入组件。
图3示出了基于即将发生的预期使用来启动计算设备的预先确定的功能的示例性方法。方法可以开始于步骤300,其中,计算设备从计算设备的许多类型的传感器接收实时传感器数据。如下所述,计算设备可以计算传感器数据的导数以确定传感器数据的转换。作为实例并不作为限制性方式,移动计算设备的处理器可以接收传感器数据并且执行操作,诸如,计算作为时间函数的传感器数据的导数。在具体实施方式中,计算设备中之一的传感器包括不同的传感器类型,诸如,触摸传感器、加速计、陀螺仪、光学接近传感器、或者它们的组合。
步骤302,由计算设备使来自不同传感器类型的传感器的实时传感器数据互相关联。在具体实施方式中,处理器可以将卷积运算应用于传感器数据以确定数据是否按时间顺序重叠。可以通过以下等式示出示例性卷积运算:
M = Σ i ∫ 0 ∞ | f ′ ( τ ) | * | g i ′ ( t - τ ) | d τ - - - ( 1 )
M是来自多个类型的传感器的数据的卷积结果,以及f’和g’是来自传感器的数据的导数,例如,f’可以是由加速计测量的数据的导数,g’可以是触摸传感器测量的数据的导数。在具体实施方式中,卷积运算的结果可以确定来自不同类型的传感器的传感器数据的转换是否按时间顺序重叠。在另一实施方式中,先验函数,例如,Heaviside或者sigmoid函数,可以代替导数算子。作为实例并不作为限制性方式,处理器可以用第二类型的传感器(例如,加速计)测量的数据卷积第一类型的传感器(例如,触摸传感器)测量的数据。作为另一实例,移动计算设备的应用处理器或者传感器集线器可以用第二类型的传感器(例如,光学接近传感器)测量的数据卷积第一类型的传感器(例如,触摸传感器)测量的数据。步骤304,由计算设备可以基于相关性确定计算设备的预期即将发生的使用。在具体实施方式中,至少部分基于多个传感器类型的数据的转换按时间顺序重叠。作为实例并不作为限制性方式,计算设备可以至少部分基于来自基本上同时发生的触摸传感器和加速计的实时传感器数据的转换确定计算设备的即将发生的预期使用。
在步骤306中,计算设备可以至少部分基于确定计算设备的预期即将发生的使用来自动启动计算设备的预先确定的功能,此时该方法可结束。作为实例并不作为限制性方式,可以响应于由等式(1)示出的卷积运算M的结果高于预定阈值来启动预先确定的功能。在具体实施方式中,响应于卷积运算的结果高于预定阈值,预先确定的功能可以使与传感器相关联的计算设备断电。尽管本公开内容描述并且示出了如以特定顺序发生的图3的方法的特定步骤,但是本公开内容考虑了以任何合适顺序发生的图3的方法的任何合适步骤。在适当情况下,具体实施方式可重复图3的方法的一个或多个步骤。此外,虽然本公开内容描述并且示出了执行图3的方法的特定步骤的特定部件,但是本公开内容考虑执行图3的方法的任何合适的步骤的任何合适的部件的任意合适的组合,例如,移动计算设备的处理器。
图4A至图4B示出了示例性传感器数据的转换的示例性检测。虽然本公开内容描述了通过特定线性函数(例如,导数函数)预处理传感器数据,但本公开内容考虑了通过这里任意合适的线性函数预处理传感器数据,例如用Heaviside或者sigmoid函数卷积。在具体实施方式中,如图4A的实例中的44和46示出的,可以测量作为时间函数的、来自一个或多个传感器的传感器数据52和54,并且可以分析传感器数据52和54以推断用户对于与传感器相关联的计算设备的意图。在具体实施方式中,来自多个传感器类型的传感器数据52和54可以执行推断用户对于特定计算设备的意图。作为实例并不作为限制性方式,传感器数据52可以是由移动计算设备的触摸传感器测量的数据并且传感器数据54可以是由加速计测量的数据。此外,本公开内容考虑了任何合适的形式的传感器数据52和54,例如,电流、电压、电荷、或它们的组合。
在具体实施方式中,如上所述,可以通过由与计算设备相关联的传感器测量的数据从一个状态到另一状态的转换确定计算设备的预期使用。作为实例并不作为限制性方式,如上所述,传感器数据的转换可以指示移动计算设备被拾起并正要使用。在具体实施方式中,如在图4B的实例中的48和50示出的,可以至少部分基于分别计算传感器数据52和54的导数56和58检测传感器数据52和54的转换。作为实例并不作为限制性方式,在传感器数据52和54变化可能相对小的情况下,在时段49期间能够分别检测传感器数据52和54的导数56和58上的变化。作为另一实例,如上所述,传感器数据的导数56和58可以提供至处理器以确定计算设备的预期即时使用。
图5示出了与社交网络系统相关的示例性网络环境100。网络环境100包括通过网络110彼此连接的用户101、客户端系统130、社交网络系统160、及第三方系统170。尽管图5示出了用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110的具体布置,但是本公开内容考虑用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110的任何合适的布置。作为实例并不作为限制性方式,客户端系统130、社交网络系统160以及第三方系统170中的两个或多于两个可绕开网络110直接彼此连接。作为另一实例,客户端系统130、社交网络系统160以及第三方系统170中的两个或多于两个可物理地或逻辑地整体或部分彼此共置。此外,尽管图5示出了用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110的具体数量,但是本公开内容考虑用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110的任何合适的数量。作为实例并不作为限制性方式,网络环境100可包括多个用户101、客户端系统130、社交网络系统160、第三方系统170以及网络110。
在具体实施方式中,社交网络系统160可以包括一个或多个服务器。每个服务器可以是单式服务器或跨多个计算机或多个数据中心的分布式服务器。服务器可以是各种类型的,例如但不限于,网络服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器、适合于执行在本文中描述的功能或处理的另一服务器、或它们的任意组合。在具体实施方式中,每个服务器可以包括硬件、软件或嵌入式逻辑部件或两个或多于两个的这些部件的组合以用于执行由服务器实施或支持的适当功能。在具体实施方式中,社交网络系统164可包括一个或多个数据存储器。数据存储器可以用于存储各种类型的信息。在具体实施方式中,可以根据特定的数据结构来组织存储在数据存储器中的信息。在具体实施方式中,每个数据存储器可以是关联的、圆柱形的、相关的或者其他适当的数据库。尽管本公开内容描述或示出特定类型的数据库,但本公开内容考虑任何合适类型的数据库。具体实施方式可提供能够使客户端系统130、社交网络系统160或者第三方系统170管理、检索、修改、添加或者删除存储在数据存储器中的信息的接口。
在具体实施方式中,如上所述,从客户端系统130接收的传感器数据可以用作针对在社交网络系统160上执行的机器学习算法的训练数据,机器学习算法如SVM、k-means、贝叶斯推断、或神经网络。作为实例并不作为限制性方式,社交网络系统160的一个或多个服务器可以从一个或多个客户端系统130(例如,移动计算设备)接收训练数据,并且使用机器学习算法以使来自使用客户端系统130的特定活动的传感器数据值与客户端系统130的一个或多个特定状态互相关联。作为实例并不作为限制性方式,执行机器学习算法的一个或多个服务器可以从客户端系统130的传感器(例如,加速计、陀螺仪、环境光传感器、光学接近传感器、或一个或多个客户端系统130的另一传感器)接收感测值。在具体实施方式中,从训练数据中确定的定义超平面的数据可以被发送至客户端系统130,以确定客户端系统130的即将发生的预期使用。在具体实施方式中,后续传感器数据可以由移动计算设备10发送以重新定义超平面。此外,重新定义超平面的更新数据可以由移动计算设备10接收。
在具体实施方式中,用户101可以是与社交网络系统160或者通过社交网络系统160进行交互或者通信的个体(个人用户)、实体(例如,企业、公司或者第三方应用程序)或者(例如,个人或者实体的)群体。在具体实施方式中,社交网络系统160可以是承载在线社交网络的网络可寻址的计算机系统。社交网络系统160可生成、存储、接收、以及发送社交网络数据,例如,用户简档数据、概念简档数据、社交图谱信息、或者与在线社交网络有关的其他合适数据。社交网络系统160可由网络环境100的其他部件直接或者经由网络110访问。在具体实施方式中,社交网络系统160可包括授权服务器(或其他合适的组件),其允许用户101选择启用还是不启用使他们的动作被社交网络系统160记录或者与其他系统(例如,第三方系统170)共享,诸如,通过设定适当的隐私设置。用户的隐私设置可以确定与用户相关联的什么信息可以被记录、与用户相关联的信息可以如何被记录、与用户相关联的信息可以何时被记录、什么人可以记录与用户相关联的信息、谁可以分享与用户相关联的信息、以及为了什么目的与用户相关联的信息可以被记录或者分享。授权服务器可通过阻挡、数据散列、匿名化或者其他视情况而定的合适技术,用于执行一种或多种社交网络系统160的用户的隐私设置。第三方系统170可由网络环境100的其他组件直接或者经由网络110访问。在具体实施方式中,一个或多个用户101可使用一个或多个客户端系统130访问数据、将数据发送至社交网络系统160或者第三方系统170、以及从社交网络系统160或者第三方系统170接收数据。客户端系统130可直接地、通过网络110或者通过第三方系统访问社交网络系统160或第三方系统170。作为实例并不作为限制性方式,客户端系统130可通过社交网络系统160访问第三方系统170。客户端系统130可以是诸如个人电脑、膝上型电脑、蜂窝电话、智能手机、或者平板电脑等任意合适的计算设备。
本公开内容考虑任何合适的网络110。作为实例并不作为限制性方式,网络110的一个或多个部分可以包括自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、互联网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络、或这些中两个或多于两个的组合。网络110可以包括一个或多个网络110。
链路150可将客户端系统130、社交网络系统160以及第三方系统170连接至通信网络110或者彼此连接。本公开内容考虑了任何合适的链路150。在具体实施方式中,一个或多个链路150包括一个或多个有线链路(诸如,数字用户线路(DSL)或电缆数据服务接口规范(DOCSIS))、无线链路(诸如,WI-FI或全球互通微波存取(WiMAX))、或者光链路(诸如,同步光纤网(SONET)或同步数字体系(SDH))。在具体实施方式中,一个或多个链路150都包括自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、互联网的一部分、PSTN的一部分、以蜂窝技术为基础的网络、以卫星通信技术为基础的网络、另一个链路150、或者两个或者多于两个此类链路150的组合。链路150在整个网络环境100中不必相同。一个或多个第一链路150可以在一个或多个方面不同于一个或多个第二链路150。
图6示出了使用示例性机器学习算法对传感器数据进行示例性分类。如上所述,来自客户端系统(例如,移动计算设备)的一个或多个传感器的训练数据可以包括在执行特定活动过程中捕获的、来自每个传感器的传感器数据和对应于与该特定活动相关联的客户端系统的特定状态的指示信息。作为实例并不作为限制性方式,如上所述,传感器数据可以是来自传感器的原始测量数据或者例如已被预处理以计算原始传感器数据的导数的传感器数据。此外,传感器数据可以对应于客户端系统的物理状态(例如,运动)的转换。在具体实施方式中,例如,传感器数据可以通过滤波或卷积运算被进一步处理。作为实例并不作为限制性方式,如上所述,来自各个特定活动的训练数据可以至少部分基于与每组传感器数据相关联的指示信息被分类成与客户端设备相关联的两个特定状态之一。例如,一组或多组传感器数据可以对应于与和移动计算设备物理接触相关联的活动,例如,手握移动计算设备,并且一组或多组传感器数据可以对应于与不和移动计算设备物理接触相关联的活动,例如,将移动计算设备放在桌子上。
如在图6的实例中示出的,针对每个特定动作的训练数据可以表示为N维空间200中的向量202A至202B,其中,N可以等于客户端系统的传感器的数目。作为实例并不作为限制性方式,每个向量202A-202B可以通过核函数映射至N维空间200。此外,每个向量202A-202B可以至少部分基于N元组的传感器数据的导数。如在图6的实例中示出的,可以用与客户端系统相关联的、由超平面206或者N维空间200中的非线性表面分开的两个特定状态中的一个对向量202A至202B进行分类。在具体实施方式中,超平面206可具有N-1维并且可由与每个状态的一个或多个支持向量具有恒定点积的一组点定义。作为实例并不作为限制性方式,支持向量可以定义为针对具有最大导数的每个特定状态的向量并且超平面206与每个支持向量之间的距离可以最大化。在具体实施方式中,定义超平面206的数据可以被发送至客户端系统。在具体实施方式中,可以基于从客户端系统接收的后续传感器数据确定的后续向量修改超平面206。此外,重新定义超平面206的更新数据可以被发送至客户端系统。
在具体实施方式中,客户端系统可以至少部分基于用客户端系统的特定状态对与客户端系统的后续传感器数据对应的向量进行分类来确定客户端系统的即将发生的使用。在具体实施方式中,与后续传感器数据对应的向量的分类可以至少部分基于向量相对于超平面206的位置。作为实例并不作为限制性方式,至少部分基于用与客户端系统物理接触对应的状态(诸如,向量202A定义的状态)对与后续传感器数据对应的向量进行分类,可以推断出客户端系统的用户意图使用客户端系统。此外,当向量与向量202A在超平面206的同一侧时,客户端系统的即将发生的使用可被确定为对应于与客户端系统的物理接触。否则,如果后续向量与向量202B位于超平面206的同一侧时,可以确定客户端系统基本上固定的。在具体实施方式中,客户端系统的处理器可以至少部分基于用客户端系统的特定状态分类后续向量启动客户端系统的预先确定的功能。
图7示出了用于确定传感器数据是否对应于客户端系统的预先确定的使用的示例性方法。方法可以开始于步骤310,其中,计算设备从计算设备上的传感器接收实时传感器数据。在具体实施方式中,实时传感器数据可以对应于由计算设备的用户引起的计算设备的物理状态的转换。步骤312,由计算设备将线性函数应用于来自每个传感器的实时传感器数据。作为实例并不作为限制性方式,线性函数可包括滤波函数、导数函数、Heaviside或sigmoid函数的卷积、或它们的任意组合。此外,移动计算设备的处理器可以接收传感器数据并且执行运算,诸如,计算作为时间函数的传感器数据的导数。步骤314,由计算设备基于导数的元组确定向量。在具体实施方式中,元组可具有等于传感器的数目的维度。在步骤316中,计算设备可以将向量与预先确定的超平面进行比较。如上所述,超平面的维度的数目可以比计算设备的传感器的数目少。
在步骤318中,计算设备可以基于比较确定转换是否是对应于计算设备的任何预先确定的即将发生的使用的事件,此时该方法可结束。在具体实施方式中,可以通过确定向量相对于预先确定的超平面的位置进行确定。尽管本公开内容描述并且示出如以特定顺序发生的图7的方法的特定步骤,但是本公开内容考虑了以任何合适顺序发生的图7的方法的任何合适步骤。在适当情况下,具体实施方式可重复图7的方法的一个或多个步骤。此外,虽然本公开内容描述并且示出了执行图7的方法的特定步骤的特定部件,但是本公开内容考虑执行图7的方法的任何合适的步骤的任何合适的部件的任意合适的组合,例如,移动计算设备的处理器。
图8示出了通过示例性投影的计算的传感器数据的分量的示例性分离。在具体实施方式中,将传感器数据映射至N维空间200可以用于隔离传感器数据的特定分量。作为实例并不作为限制性方式,如下所述,通过确定一个传感器的数据与另一传感器的数据的投影84A可以减小一个传感器对于具有空间重叠程度的另一传感器的线性相关性。在具体实施方式中,如在图1的实例中示出的,移动计算设备可以包括移动计算设备的多个位置中的多个触摸传感器。作为实例并不作为限制性方式,移动计算设备可以包括第一触摸传感器和第二触摸传感器,第一触摸传感器具有沿着移动计算设备的一侧的覆盖范围的触摸敏感区域,第二触摸传感器具有可以包括两个或多于两个表面(例如,侧面和底面)的至少一部分的触摸敏感区域。作为另一实例,可以通过确定传感器数据的投影来减小时间分离程度的传感器数据的线性相关性。例如,可以至少部分基于确定对应于电流传感器数据的向量在对应于先前稳态条件的向量上的投影来隔离电流传感器数据的一部分。
此外,可以通过分析投影84A或84B确定客户端系统的即将发生的使用。作为实例并不作为限制性方式,来自客户端系统的传感器数据可以是来自一个或多个空间上重叠的传感器的时间上分离的数据并且对应于从客户端系统的稳态条件的转换。在具体实施方式中,如上所述,可以使用原始测量数据或者例如已通过计算原始传感器数据的导数进行预处理的传感器数据来计算投影。此外,例如,传感器数据可以通过滤波或卷积运算进一步处理。在具体实施方式中,在特定时间获取的传感器数据可以各自表示为N维空间200中的向量80和82,其中N可以等于客户端系统的传感器的数目。作为实例并不作为限制性方式,每个向量80和82可以通过核函数映射至N维空间200。此外,每个向量80和82可以至少部分基于N元组的传感器数据的导数。
在具体实施方式中,可以至少部分基于向量80和82的点积来确定对应于稳态条件的向量80在对应于实时传感器数据的向量82上的投影84A。如在图4的实例中示出的,向量80和82可以是客户端系统的传感器数据的导数。在具体实施方式中,根据时间上分开的测量向量82与向量80不同的一个或多个部件可以通过向量82在向量80上的投影84A隔离。可以通过以下等式示出向量82在向量80上的投影84A的示例性计算:
84 A = 82 - 82 c o s θ × 80 | 80 | - - - ( 2 )
并且可以通过以下等式示出转换成原点的向量82在向量80上的投影84B的示例性计算:
84 B = 84 A - 82 c o s θ × 80 | 80 | - - - ( 3 )
80是与稳态条件相关联的向量,|80|是向量80的大小,以及θ是由向量80和82形成的角度。
作为实例并不作为限制性方式,稳态条件(即,空间200的向量80)可以对应于移动计算设备可以放在表面上(例如,桌子),并且实时数据(即,向量82)可以对应于和与拾起移动计算设备相关联的物理接触。此外,如由等式(2)示出的,可以通过点积计算在向量80上的投影84A。在具体实施方式中,如下所述,如通过图8的实例的84B示出的,投影84A可以转换成N维空间200的起点,以用于推断用户对于客户端系统的意图。
此外,可以至少部分基于分析投影84B推断出用户对于客户端系统的意图。在具体实施方式中,可以用如上所述的客户端系统的预定即将发生的使用对投影84B进行分类。在具体实施方式中,投影84B可与对应于客户端系统的即将发生的使用的预定投影相比较。作为实例并不作为限制性方式,至少部分基于用对应于与客户端系统物理接触的状态对投影84B进行分类,可以确定特定客户端系统的用户意图使用客户端系统。如上所述,客户端系统的处理器可以至少部分基于对投影84B的分析来推断用户的意图从而启动客户端系统的预先确定的功能。
图9示出了隔离传感器数据的分量的示例性方法。方法可以开始于步骤320,其中,计算设备从计算设备上的传感器接收实时传感器数据。在具体实施方式中,传感器可以位于计算设备的多个表面上。步骤322,由计算设备检测实时传感器数据从稳定状态的转换。作为实例并不作为限制性方式,移动计算设备的处理器可以接收传感器数据并且执行运算,诸如,作为时间函数来计算传感器数据的导数。在步骤324中,计算设备可以基于检测来确定计算设备即将发生的使用,此时该方法可以结束。在具体实施方式中,计算设备可以包括基于导数的元组确定向量并且计算实时传感器数据的向量在计算设备的稳定状态的向量上的投影。在具体实施方式中,可以通过将投影与对应于一个或多个即将发生的使用的预先确定的投影进行比较完成确定。尽管本公开内容描述并且示出如以特定顺序发生的图9的方法的特定步骤,但是本公开内容考虑了以任何合适顺序发生的图9的方法的任何合适步骤。在适当情况下,具体实施方式可重复图9的方法的一个或多个步骤。此外,虽然本公开内容描述并且示出了执行图9的方法的特定步骤的特定部件,但是本公开内容考虑执行图9的方法的任何合适的步骤的任何合适的部件的任意合适的组合,例如,移动计算设备的处理器。
图10示出了示例性计算系统。在具体实施方式中,一个或多个计算机系统60执行此处所描述或者示出的一个或多个方法的一个或者多个步骤。在具体实施方式中,一个或多个计算机系统60提供此处所描述或者示出的功能。在具体实施方式中,在一个或多个计算机系统60上运行的软件执行此处所描述或者示出的一个或多个方法的一个或者多个步骤或者提供此处所描述或者示出的功能。具体实施方式包括一个或多个计算机系统60的一个或者多个部分。此处,在适当情况下,参考计算机系统可包含计算设备。此外,在适当情况下,对于计算机系统的参考可包含一个或多个计算机系统。
本公开内容考虑任意合适数目的计算机系统60。本公开内容考虑采取任意合适物理形式的计算机系统60。作为实例并不作为限制性方式,计算机系统60可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(诸如,电脑模组(COM)或者系统模组(SOM))、台式计算机系统、膝上型或者笔记本计算机系统、交互式自助服务机、大型机、计算机系统网、移动计算机系统10、个人数字助理(PDA)、服务器、平板计算机系统、或者这些中两种或者更多种的组合。在适当情况下,计算机系统60可包括一个或多个计算机系统60;为整体式或者分布式;跨多个位置;跨多台机器;跨多个数据中心;或者驻留在可包括一个或者多个网络中的一个或多个云组件的云中。一个或多个计算机系统60可在基本上没有空间或者时间限制的情况下执行此处所描述或者示出的一个或多个方法的一个或多个步骤,视情况而定。作为实例并不作为限制性方式,一个或多个计算机系统60可实时地或者以批量模式执行此处所描述或者示出的一个或多个方法的一个或多个步骤。一个或多个计算机系统60可在不同的时间或者在不同的位置执行此处所描述或者示出的一个或多个方法的一个或多个步骤,视情况而定。
在具体实施方式中,计算机系统60包括:处理器62、内存64、存储器66、输入/输出(I/O)接口68、通信接口70、以及总线72。尽管本公开内容描述和示出了具有按照特定布置的特定数量的特定组件的特定计算机系统,但是本公开内容考虑具有按照任何合适布置的任何合适数量的任何合适组件的任何合适的计算机系统。
在具体实施方式中,处理器62包括用于执行诸如组成计算机程序的指令的硬件。作为实例并不作为限制性方式,为了执行指令,处理器62可从内部寄存器、内部缓存、内存64、或存储器66检索(或取)指令;解码并执行它们;然后将一个或多个结果写入内部寄存器、内部缓存、内存64、或存储器66。在具体实施方式中,处理器62可包括用于数据、指令、或者地址的一个或者多个内部缓存。本公开内容考虑包括任何合适数量的任何合适的内部缓存的处理器62,视情况而定。作为实例并不作为限制性方式,处理器62可包括一个或多个指令缓存、一个或多个数据缓存、以及一个或多个传输后备缓冲器(TLB)。指令缓存中的指令可以是内存64或者存储器66中的指令副本,并且指令缓存可加快处理器62检索这些指令的速度。在数据缓存中的数据可以是在用于在处理器62中执行指令操作的内存64或存储器66中数据的副本;用于由在处理器62中执行的后续指令访问或用于写入内存64或存储器66的在处理器62中执行的后续指令的结果;或者其他合适的数据。数据缓存可加快处理器62的读或者写操作的速度。TLB可加快处理器62的虚拟地址转译速度。在具体实施方式中,处理器62可包括用于数据、指令、或者地址的一个或者多个内部寄存器。本公开内容考虑包括任何合适数量的任何合适的内部寄存器的处理器62,视情况而定。处理器62可包括一个或多个算术逻辑单元(ALU);可以是多核处理器;或者可包括一个或多个处理器62,视情况而定。尽管本公开内容描述和示出了具体处理器,但是本公开内容考虑任何合适的处理器。
在具体实施方式中,内存64包括用于存储使处理器62执行的指令或者使处理器62运行的数据的主内存。作为实例并不作为限制性方式,计算机系统60可将指令从存储器66或者其他来源(诸如,另一计算机系统60等)加载到内存64中。处理器62然后可将指令从内存64加载到内部寄存器或者内部缓存中。为了执行指令,处理器62可从内部寄存器或者内部缓存检索指令并且将其解码。在执行指令过程中或者之后,处理器62可将一个或者多个结果(其可以是中间结果或者最后结果)写入内部寄存器或者内部缓存中。然后,处理器62可将这些结果中的一个或多个写入内存64中。在具体实施方式中,处理器62仅执行一个或多个内部寄存器或者内部缓存或者内存64中的指令(与存储器66或者其他地方相对)并且仅操作一个或多个内部寄存器或者内部缓存或者内存64(与存储器66或者其他地方相对)中的数据。一个或多个内存总线(其均可以包括地址总线和数据总线)可以将处理器62耦接至内存64。如下所述,总线72可包括一个或多个存储器总线。在具体实施方式中,一个或多个内存管理单元(MMU)驻留在处理器62与内存64之间并且促进由处理器62请求的对内存64的访问。在具体实施方式中,存储器64包括随机存取存储器(RAM)。在适当情况下,该RAM可以是易失性存储器。在适当情况下,该RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。而且,这个RAM可以是单端口或多端口RAM,视情况而定。本公开内容考虑任何合适的RAM。内存64可包括一个或多个内存64,视情况而定。尽管本公开内容描述和示出了具体存储器,但是本公开内容考虑任何合适的存储器。
在具体实施方式中,存储器66包括用于数据或者指令的大容量存储器。作为实例并不作为限制性方式,存储器66可包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带、或者通用串行总线(USB)驱动器、或者这些中的两种或者更多种的组合。存储器66可包括可移动或者不可移动(或者固定)介质,视情况而定。存储器66可在计算机系统60的内部或者外部,视情况而定。在具体实施方式中,存储器66是非易失性的固态存储器。在具体实施方式中,存储器66包括只读存储器(ROM)。ROM可以是掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可更改ROM(EAROM)、或者闪存、或者这些中的两种或者更多种的组合,视情况而定。本公开内容考虑采用任何合适物理形式的大容量存储器66。存储器66可包括促进处理器62与存储器66之间通信的一个或多个存储控制单元,视情况而定。存储器66可包括一个或多个存储器66,视情况而定。尽管本公开内容描述并示出了具体存储器,但是本公开内容考虑任何合适的存储器。
在具体实施方式中,I/O接口68包括提供用于在计算机系统60与一个或者多个I/O设备之间进行通信的一个或者多个接口的硬件、软件、或者硬件和软件。计算机系统60可包括这些I/O设备中的一个或者多个,视情况而定。这些I/O设备中的一个或多个可支持个人与计算机系统60之间的通信。作为实例并不作为限制性方式,I/O设备可包括键盘、键区、麦克风、监控器、鼠标、打印机、扫描仪、扬声器、照相机、触控笔、平板、触摸屏、追踪球、摄影机、其他合适的I/O设备或这些的两个或更多的组合。I/O设备可以包括一个或多个传感器。本公开内容考虑任何合适的I/O设备以及它们的任何合适的I/O接口68。I/O接口68可包括一个或多个设备或者能够使处理器62驱动这些I/O设备中的一个或多个的软件驱动器,视情况而定。I/O接口68可包括一个或多个I/O接口68,视情况而定。虽然本公开内容描述并且示出了具体I/O接口,然而,本公开内容考虑任何合适的I/O接口。
在具体实施方式中,通信接口70包括为在计算机系统60与一个或多个其他计算机系统60或一个或多个网络之间的通信(诸如,例如基于数据包的通信)提供一个或多个接口的硬件、软件或两者。作为实例并不作为限制性方式,通信接口70可包括网络接口控制器(NIC)或者用于与以太网或其他基于有线的网络或者无线NIC(WNIC)通信的网络适配器或者用于与诸如WI-FI网络等无线网络通信的无线适配器。本公开内容考虑任何合适的网络和它的任何合适的通信接口70。作为实例并不作为限制性方式,计算机系统60可与自组织网络、个人局域网(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或者因特网的一个或者多个部分、或者这些中的两种或者更多种的组合通信。这些网络中的一个或多个中的一个或多个部分可以为有线或者无线。例如,计算机系统60可与无线PAN(WPAN)(诸如,蓝牙WPAN等)、WI-FI网络、WI-MAX网络、蜂窝电话网络(诸如,全球移动通信系统(GSM)网络)或者其他合适的无线网络、或者这些中的两种或更多种的组合通信。计算机系统60可包括用于这些网络中的任意的任何合适的通信接口70,视情况而定。通信接口70可包括一个或多个通信接口70,视情况而定。尽管本公开内容描述和示出了具体的通信接口,但是本公开内容考虑任何合适的通信接口。
在具体实施方式中,总线72包括硬件、软件、或者使计算机系统60的部件彼此耦合的硬件和软件。作为实例并不作为限制性方式,总线72可以包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、HYPERTRANSPORT(HT)互连、工业标准结构(ISA)总线、INFINIBAND互连、低管脚数(LPC)总线、存储总线、微通道结构(MCA)总线、外设部件互连(PCI)总线、PCI-Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会局域(VLB)总线、或者另一总线或这些中两个或多于两个的组合。总线72可包括一个或多个总线72,视情况而定。尽管本公开内容描述和示出了具体的总线,然而本公开内容考虑任何合适的总线或者互连。
本文中,计算机可读非易失性存储介质或媒介可以包括一个或多个基于半导体的电路或其他集成电路(IC)(诸如,现场可编程门阵列(FPGA)或专用集成电路(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光碟驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非易失性存储介质、或这些中两个或多于两个的任何合适的组合,视情况而定。计算机可读非易失性存储介质可以是易失的、非易失的,或易失和非易失的组合,视情况而定。
在本文中,除非另有明确表示或通过上下文另有表示,否则“或”是包括性的而不是排除性的。因此,在本文中,除非另有明确表示或通过上下文另有表示,否则“A或B”意味着“A、B、或这两者”。而且,除非另有明确指示或者上下文另有指示,否则,“和”为联合的以及数个的。因此,在本公开中,除非另有明确指示或者上下文另有指示,否则,“A和B”指“A和B,联合地或数个地”。
本公开内容的范围涵盖本领域技术人员应当理解的对本文中描述或示出的示例性实施方式的所有改变、替代、变化、变更以及变形。本公开内容的范围并不限于本文中描述或示出的示例性实施方式。此外,虽然本公开描述并且示出了包括具体部件、元件、功能、操作、或者步骤的相应实施方式,然而,这些实施方式中的任一种均可包括本领域普通技术人员应理解的本公开中任何地方所描述或者示出的部件、元件、功能、操作、或者步骤的任何组合或者任何置换。此外,在所附权利要求对装置或系统或装置或系统的部件适于、被布置成、能够、被配置为、使得能够、可操作为或被操作为执行特定功能的引用涵盖装置、系统、部件,只要该装置、系统或部件如此适于、被设置成、能够、被配置为、使得能够、可操作以或被操作,而不管它或特定功能是否是激活的、开启的或解锁的。

Claims (20)

1.一种方法,包括:
由计算设备从所述计算设备上的不同传感器类型的多个传感器接收多个实时传感器数据,所述多个实时传感器数据对应于由所述计算设备的用户引起的所述计算设备的物理状态的转换;
由所述计算设备将来自所述计算设备上的不同传感器类型的所述多个传感器的所述多个实时传感器数据进行关联;
由所述计算设备基于所述关联确定所述用户对所述计算设备的预期即将使用;以及
由所述计算设备基于所述确定自动启动所述计算设备的预定功能。
2.根据权利要求1所述的方法,其中,所述多个传感器包括:触摸传感器、加速计、陀螺仪、光学接近传感器、环境光传感器、图像传感器、或者上述各项的任意组合。
3.根据权利要求2所述的方法,其中,所述多个实时传感器数据包括:来自所述触摸传感器以及所述加速计的传感器数据。
4.根据权利要求1所述的方法,其中,所述关联包括:由所述计算设备将卷积运算应用至所述多个实时传感器数据,以确定所述多个实时传感器数据是否按时间顺序重叠。
5.根据权利要求4所述的方法,其中,所述启动包括:响应于所述卷积运算的结果高于预定阈值,使所述计算设备掉电。
6.根据权利要求4所述的方法,进一步包括,由所述计算设备至少部分基于所述卷积运算的结果低于预定阈值,保持当前状态。
7.根据权利要求1所述的方法,进一步包括,由所述计算设备计算所述多个实时传感器数据的导数。
8.根据权利要求1所述的方法,其中:
所述计算设备是移动计算设备;以及
所述预期即将使用对应于所述用户接触所述移动计算设备。
9.一种或多种包含软件的计算机可读非易失性存储介质,所述软件在被执行时被配置为:
从计算设备上的不同传感器类型的多个传感器接收多个实时传感器数据,所述多个实时传感器数据对应于由所述计算设备的用户引起的所述计算设备的物理状态的转换;
将来自所述计算设备上的不同传感器类型的所述多个传感器的所述多个实时传感器数据进行关联;
基于所述关联确定所述用户对所述计算设备的预期即将使用;以及
基于所述确定自动启动所述计算设备的预定功能。
10.根据权利要求9所述的介质,其中,所述多个传感器包括:触摸传感器、加速计、陀螺仪、光学接近传感器、环境光传感器、图像传感器、或者上述各项的任意组合。
11.根据权利要求10所述的介质,其中,所述多个实时传感器数据包括:来自所述触摸传感器以及所述加速计的传感器数据。
12.根据权利要求9所述的介质,其中,所述软件被进一步配置为:将卷积运算应用至所述多个实时传感器数据,以确定所述多个实时传感器数据是否按时间顺序重叠。
13.根据权利要求12所述的介质,其中,所述软件被进一步配置为:响应于所述卷积运算的结果高于预定阈值,使所述计算设备掉电。
14.根据权利要求12所述的介质,其中,所述软件被进一步配置为:至少部分基于所述卷积运算的结果低于预定阈值,保持当前状态。
15.根据权利要求9所述的介质,其中,所述软件被进一步配置为:计算所述多个实时传感器数据的导数。
16.根据权利要求9所述的介质,其中:
所述计算设备是移动计算设备;以及
所述预期即将使用对应于所述用户接触所述移动计算设备。
17.一种设备,所述设备包括:
处理器;以及
耦接至所述处理器的一种或多种计算机可读非易失性存储介质,包含软件,所述软件:
从所述设备上的不同传感器类型的多个传感器接收多个实时传感器数据,所述多个实时传感器数据对应于由所述计算设备的用户引起的所述设备的物理状态的转换;
将来自所述设备上的不同传感器类型的所述多个传感器的所述多个实时传感器数据进行关联;
基于所述关联确定所述用户对所述设备的预期即将使用;以及
基于所述确定自动启动所述设备的预定功能。
18.根据权利要求17所述的设备,其中,所述多个传感器包括:触摸传感器、加速计、陀螺仪、光学接近传感器、环境光传感器、图像传感器、或者上述各项的任意组合。
19.根据权利要求18所述的设备,其中,所述多个实时传感器数据包括:来自所述触摸传感器以及所述加速计的传感器数据。
20.根据权利要求17所述的设备,其中,所述软件被进一步配置为:将卷积运算应用至所述多个实时传感器数据,以确定所述多个实时传感器数据是否按时间顺序重叠。
CN201480050431.7A 2013-07-12 2014-07-10 多传感器手部检测 Pending CN105532071A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/941,193 2013-07-12
US13/941,193 US9354727B2 (en) 2013-07-12 2013-07-12 Multi-sensor hand detection
PCT/US2014/046076 WO2015006525A1 (en) 2013-07-12 2014-07-10 Multi-sensor hand detection

Publications (1)

Publication Number Publication Date
CN105532071A true CN105532071A (zh) 2016-04-27

Family

ID=52276697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480050431.7A Pending CN105532071A (zh) 2013-07-12 2014-07-10 多传感器手部检测

Country Status (10)

Country Link
US (1) US9354727B2 (zh)
EP (1) EP3020251B1 (zh)
JP (1) JP6097886B2 (zh)
KR (1) KR101696793B1 (zh)
CN (1) CN105532071A (zh)
AU (1) AU2014287242B2 (zh)
CA (1) CA2917974C (zh)
IL (1) IL243497A (zh)
MX (1) MX348712B (zh)
WO (1) WO2015006525A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201516635A (zh) * 2013-10-18 2015-05-01 Qisda Corp 充電方法及行動電子裝置
US9891696B2 (en) * 2014-10-03 2018-02-13 Google Llc Intelligent device wakeup
KR102251964B1 (ko) * 2014-11-04 2021-05-14 삼성전자 주식회사 센서 데이터를 이용한 기능 수행 방법 및 이를 제공하는 전자 장치
US9552097B2 (en) * 2015-01-28 2017-01-24 Qualcomm Incorporated Techniques for discerning between intended and unintended gestures on wearable touch-sensitive fabric
KR20170138667A (ko) * 2016-06-08 2017-12-18 삼성전자주식회사 어플리케이션을 활성화하는 방법 및 이를 제공하는 전자 장치
US10423212B2 (en) 2017-06-02 2019-09-24 Apple Inc. Techniques for adjusting computing device sleep states using onboard sensors and learned user behaviors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110050619A1 (en) * 2009-08-27 2011-03-03 Research In Motion Limited Touch-sensitive display with capacitive and resistive touch sensors and method of control
CN102449991A (zh) * 2009-05-29 2012-05-09 高通股份有限公司 通过评价基元运动模式来进行运动检测的方法和装置
US20130057489A1 (en) * 2011-09-01 2013-03-07 Google Inc. Receiving input at a computing device
US20130085935A1 (en) * 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109385A (en) * 1989-04-27 1992-04-28 International Business Machines Corporation Enhanced data formats and machine operations for enabling error correction
GB0116310D0 (en) 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
US7016705B2 (en) * 2002-04-17 2006-03-21 Microsoft Corporation Reducing power consumption in a networked battery-operated device using sensors
US7633076B2 (en) * 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
WO2011092549A1 (en) * 2010-01-27 2011-08-04 Nokia Corporation Method and apparatus for assigning a feature class value
US20130002565A1 (en) * 2011-06-28 2013-01-03 Microsoft Corporation Detecting portable device orientation and user posture via touch sensors
US20130033418A1 (en) 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
EP2581816A1 (en) * 2011-10-12 2013-04-17 Research In Motion Limited Apparatus and associated method for modifying media data entered pursuant to a media function
US8743055B2 (en) * 2011-10-13 2014-06-03 Panasonic Corporation Hybrid pointing system and method
US20130265258A1 (en) * 2012-04-08 2013-10-10 N-Trig Ltd. Method for identifying touch on a touch screen
US20140168057A1 (en) * 2012-12-13 2014-06-19 Qualcomm Incorporated Gyro aided tap gesture detection
US9292045B2 (en) * 2013-02-15 2016-03-22 Apple Inc. Apparatus and method for automatically activating a camera application based on detecting an intent to capture a photograph or a video
US9268399B2 (en) * 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130085935A1 (en) * 2008-01-18 2013-04-04 Mitek Systems Systems and methods for mobile image capture and remittance processing
CN102449991A (zh) * 2009-05-29 2012-05-09 高通股份有限公司 通过评价基元运动模式来进行运动检测的方法和装置
US20110050619A1 (en) * 2009-08-27 2011-03-03 Research In Motion Limited Touch-sensitive display with capacitive and resistive touch sensors and method of control
US20130057489A1 (en) * 2011-09-01 2013-03-07 Google Inc. Receiving input at a computing device

Also Published As

Publication number Publication date
US9354727B2 (en) 2016-05-31
EP3020251B1 (en) 2020-10-07
AU2014287242B2 (en) 2017-03-09
EP3020251A4 (en) 2017-02-22
MX2016000426A (es) 2016-09-08
JP6097886B2 (ja) 2017-03-15
EP3020251A1 (en) 2016-05-18
CA2917974A1 (en) 2015-01-15
JP2016529780A (ja) 2016-09-23
AU2014287242A1 (en) 2016-03-03
IL243497A (en) 2016-12-29
KR101696793B1 (ko) 2017-01-16
MX348712B (es) 2017-06-26
KR20160031002A (ko) 2016-03-21
US20150015477A1 (en) 2015-01-15
WO2015006525A1 (en) 2015-01-15
CA2917974C (en) 2017-01-17

Similar Documents

Publication Publication Date Title
CN109919251B (zh) 一种基于图像的目标检测方法、模型训练的方法及装置
CN105532071A (zh) 多传感器手部检测
CN105531645A (zh) 抓握检测的校准
CN111222563B (zh) 一种模型训练方法、数据获取方法以及相关装置
Zhong et al. Advancing Android activity recognition service with Markov smoother
CN105531644A (zh) 分离移动设备电极

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160427