CN109240503A - 管理用户装置的传感信息 - Google Patents

管理用户装置的传感信息 Download PDF

Info

Publication number
CN109240503A
CN109240503A CN201811100451.7A CN201811100451A CN109240503A CN 109240503 A CN109240503 A CN 109240503A CN 201811100451 A CN201811100451 A CN 201811100451A CN 109240503 A CN109240503 A CN 109240503A
Authority
CN
China
Prior art keywords
user
sensor
screen
information
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811100451.7A
Other languages
English (en)
Inventor
J·E·里克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN109240503A publication Critical patent/CN109240503A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0436—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which generating transducers and detecting transducers are attached to a single acoustic waves transmission substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

公开了管理用户装置的传感信息。本发明可提供外部移动装置传感器，所述传感器被配置成管理与所述移动装置外部的物体运动相关联的传感信息。在一些实例中，可不依赖于与所述装置接触来检测所述物体的运动。在一些实例中，装置可包括具有第一传感器(例如，触摸传感器)的屏幕。所述装置也可至少包括所述屏幕外部的第二传感器。指令可由所述装置的处理器执行，以至少确定物体何时悬停在所述屏幕的第一图形用户界面(GUI)元素的上方。此外，在一些情况下，第二GUI元素可提供在所述屏幕上，从而使得所述第二GUI元素呈现在所述屏幕上，邻近所述悬停物体的下方的位置。

Description

管理用户装置的传感信息
本申请是申请日为2014年3月11日、申请号为201480014942.3，题为“管理用户装置的传感信息”的申请的分案申请。
相关申请案的交叉参考
本申请案主张2013年3月13日申请的标题为“管理用户装置的传感信息(MANAGINGSENSORY INFORMATION OF A USER DEVICE)”的第13/799,150号美国专利申请案的优先权权益(代理人案号90204-864364(063300US))。
技术领域
本申请涉及管理用户装置的传感信息。
背景技术
随着移动装置越来越广泛，也越来越先进，越来越多的用户转向使用它们来执行大量的不同功能、特征和/或软件应用程序。例如，移动装置已经可以感知位置和情境。因此，它们可以被配置成检测地理位置以及可有助于正在实施的软件应用功能的其他相关情境信息。此外，随着越来越多的特征被启用，消费者和开发人员同样希望移动装置可取代台式和/或膝上型计算机，或者至少在特征可用性方面具有可比性。然而，至少部分由于非移动装置往往被配置成具有一个或多个外围装置，而移动装置缺乏这些外围装置，因此，许多移动装置仍面临挑战，阻止它们与更多的标准台式和/或膝上型计算系统相匹敌。因此，管理传感信息以及通常可由台式和/或膝上型外围设备提供的其他数据可造成用户装置消费者和开发人员的挑战。
发明内容
在一个实施例中，一种计算机实现的方法包括：通过移动装置的第一传感器针对所述移动装置的屏幕外部且不依赖于与所述屏幕接触的物体进行监测；从所述第一传感器接收识别所述屏幕外部且不依赖于与所述屏幕接触的所述物体的第一信息；至少部分地基于所述第一信息，确定所述物体至少包括用户的脸部的一部分；至少部分地基于从所述第一信息确定的所述用户的脸部的所述部分，确定所述移动装置的多个潜在的操作；从第二传感器接收进一步识别所述物体的第二信息；至少部分地基于所述第二信息，确定所述用户的脸部特征；至少部分地基于对应于用户信息的所述用户的所述脸部特征，确定所述移动装置的所述多个潜在操作中的操作；以及执行所确定的操作。
在一个实施例中，一种装置包括：屏幕，配置成呈现用户界面；第一传感器，配置成不依赖于物体与所述屏幕之间的接触感测关于所述物体的第一信息；第二传感器，配置成感测关于所述物体的特征的第二信息；存储器，存储计算机可执行指令；以及处理器，配置成访问所述存储器并且执行所述计算机可执行指令，以便至少共同进行：从所述第一传感器接收关于所述物体的所述第一信息，所述第一传感器不依赖于与所述屏幕接触而感测所述第一信息；至少部分地基于所述第一信息，确定所述物体包括脸部的至少一部分；至少部分地基于从所述第一信息确定的所述脸部的所述至少一部分，启用所述第二传感器；从所述第二传感器接收关于所述物体的特征的所述第二信息，所述第二信息指示所述脸部的特征；以及至少部分地基于对应于用户信息的所述脸部的特征，执行所述装置的操作。
在一个实施例中，一种系统包括：屏幕；第一传感器，配置成感测所述屏幕外部的物体；第二传感器，配置成感测所述物体的特征；存储器，存储计算机可执行指令；以及处理器，配置成访问所述存储器并且执行所述计算机可执行指令，以便至少共同进行：至少部分地基于由所述第一传感器获取的第一信息，识别所述屏幕外部的所述物体包括脸部的至少一部分；至少部分地基于所述物体被识别为包括所述脸部的所述至少一部分，启用所述第二传感器；至少部分地基于由所述第二传感器获取的第二信息，确定所述物体的特征；将所述特征与存储在所述存储器中的识别所述系统的用户的数据进行比较；以及当所述特征匹配所述数据时，提供对所述系统的访问。
在一个实施例中，一种计算设备包括：屏幕；第一感测装置，用于以第一保真度感测所述屏幕外部且不依赖于与所述屏幕接触的物体的移动；第二感测装置，用于以比所述第一保真度高的第二保真度感测所述移动；以及存储器，存储计算机可执行指令；以及处理器装置，用于访问所述存储器并且执行所述计算机可执行指令，以至少：至少部分地基于由所述第一感测装置感测到所述移动，从所述第一感测装置接收指示所述移动的第一信息；至少部分地基于所述第一信息，确定所述计算设备的用户的潜在动作；在接收请求以执行所述潜在动作之前，执行对应于所述用户的所述潜在动作的指令；至少部分地基于由所述第二感测装置感测到所述移动，从所述第二感测装置接收所述请求的指示；以及至少部分地基于所述请求的指示，提供对应于执行的指令的第二信息。
在一个实施例中，一种计算机实现的方法包括：用于从计算装置的第一传感器接收第一信息的步骤，所述第一信息指示所述计算装置的屏幕外部且不依赖于与所述屏幕接触的物体的移动，由所述第一传感器以第一保真度感测所述移动；用于至少部分地基于所述第一信息确定所述计算装置的用户的潜在动作的步骤；用于在接收请求以执行所述潜在动作之前执行对应于所述用户的所述潜在动作的指令的步骤；用于至少部分地基于由所述计算装置的第二传感器以比所述第一保真度高的第二保真度感测所述移动而从所述第二传感器接收所述请求的指示的步骤；以及用于至少部分地基于所述请求的指示来提供对应于执行的指令的第二信息的步骤。
在一个实施例中，一种计算设备包括：屏幕；第一感测装置，用于以第一保真度感测所述屏幕外部且不依赖于与所述屏幕接触的物体的移动；第二感测装置，用于以比所述第一保真度高的第二保真度感测所述移动；以及管理装置，用于至少部分地基于所述移动来管理所述计算设备的动作，所述管理包括：至少部分地基于由所述第一感测装置感测到所述移动，从所述第一感测装置接收指示所述移动的第一信息；至少部分地基于所述第一信息，确定所述计算设备的用户的潜在动作；在接收请求以执行所述潜在动作之前，执行对应于所述用户的所述潜在动作的指令；至少部分地基于由所述第二感测装置感测到所述移动，从所述第二感测装置接收所述请求的指示；以及至少部分地基于所述请求的指示，提供对应于执行的指令的第二信息。
在一个实施例中，一种用于管理装置传感信息的计算机实现的方法包括：
在被配置成具有可执行指令的计算机系统的控制下，由装置的第一传感器识别与用户相关联的运动，所述运动发生在所述装置的屏幕外部并且包括与所述用户在用户界面元素上方移动相关联的物体，所述用户界面元素呈现在所述装置的屏幕上；至少部分地基于识别的运动，确定所述用户的一个或多个潜在动作；在接收到来自所述用户的请求之前，执行至少与所述一个或多个潜在动作的子集相关联的指令；从所述装置的第二传感器接收所述请求的指示，所述第二传感器被配置成识别与所述装置的屏幕的接触；以及在接收到来自所述用户的所述请求之后，至少部分基于执行的指令，将信息提供给所述用户。
在一个实施例中，一种用于管理装置传感信息的系统包括：屏幕；第一传感器；第二传感器，配置成识别所述屏幕外部的物体；存储器，存储计算机可执行指令；以及处理器，配置成访问所述存储器，其中所述处理器被配置成执行所述计算机可执行指令，以便至少共同进行：确定所述物体何时悬停在所述屏幕上的第一图形用户界面元素上方；并且提供在所述屏幕上的第二图形用户界面元素，以使得所述第二图形用户界面元素呈现在所述屏幕上邻近悬停在所述屏幕上的第一图形用户界面元素上方的所述物体下方的位置。
在一个实施例中，一种用于管理装置传感信息的计算机实现的方法包括：：由装置的传感器识别与用户相关联的运动，所述运动发生在所述装置的屏幕外部；至少部分地基于识别的运动，确定所述用户的一个或多个潜在动作；在接收到来自所述用户的请求之前，执行与所述一个或多个潜在动作的至少一个子集相关联的指令；以及在接收到来自所述用户的请求之后并且在至少部分地基于所述用户与所述屏幕进行物理接触而识别来自所述用户的请求之后，至少部分地基于执行的指令来向所述用户提供信息。
附图说明
根据本发明的各项实施方案将参考附图进行描述，其中：
图1示出根据至少一个实例的用于实施本文所述的传感信息的管理的示例性装置；
图2示出根据至少一个实例的用于实施本文所述的传感信息的管理的示例性结构，所述结构包括经由一个或多个网络连接的一个或多个网络服务计算机和/或用户装置；
图3示出根据至少另一实例的用于实施本文所述的传感信息的管理的示例性装置；
图4示出根据至少另一实例的用于实施本文所述的传感信息的管理的示例性装置；
图5示出根据至少另一实例的用于实施本文所述的传感信息的管理的示例性装置；
图6示出根据至少一个实例的用于实施本文所述的传感信息的管理的示例性流程图；以及
图7示出根据至少一个实例的用于实施本文所述的传感信息的管理的另一示例性流程图。
具体实施方式
以下描述内容将描述各种实施方案。出于解释说明的目的，列出了具体配置和细节，以便全面理解实施方案。然而，所属领域的技术人员将显而易见的认识到，这些实施方案可在没有这些具体细节的情况下进行实践。此外，众所周知的特征可被忽略或简化，以便不掩盖描述的实施方案。
本发明的实施方案尤其涉及管理与用户装置(例如，移动电话、平板电脑、电子书(e-book)阅读器、笔记本电脑或其他便携式计算装置)相关联的传感信息。在一些实例中，传感信息可被管理，以启用用户装置的功能。例如，在一些情况下，一个或多个传感器可监测物体的运动或出现，和/或检测物体(例如，手指、脸、非身体部分的物体等等)在用户装置的外部运动或出现。换言之，传感器(例如，红外传感器、超声传感器等)可被配置成使得不论物体是否在移动，均可检测到物体的运动、热量或其他特性。在一些情况下，至少部分基于检测的运动或出现，可以启用一个或多个装置特征。
在一些实例中，用户可将他或她的手指悬停在用户装置的屏幕上显示的图形用户界面(GUI)元素(例如，图标或链接)的上方。悬停可包括，但不限于，物体处于屏幕或与用户装置相关联的其他界面的可检测距离内。至少部分基于检测到的悬停，用户装置可呈现或以其他方式提供悬停元素，所述悬停元素包括，但不限于，弹出窗口、弹底窗口、闪现窗口等等。通过这种方式，传感信息的检测和/或管理(例如，检测到物体悬停在元素上方的事实)可启动那些在没有外围设备(例如，鼠标)的情况下无法使用的特征。此外，传感信息也可用来突出显示连接或其他图标，从而向用户表明如果他或她触摸到他或她悬停的手指位置下方的屏幕，他或她将可能选择什么链接。
另外，在一些实例中，传感信息可用来预取、预处理或以其他方式抢先为一个或多个潜在的用户动作进行准备。例如，如果用户朝向一组图标移动他或她的手指，那么用户装置可预期选择这组中的一个，并且可被配置成缓存结果，从而当用户选择特定链接时，适当的数据已经被接收和/或处理。与用户选择之后装置再准备请求网页和/或处理数据相比，通过这种方式可更快地将数据(例如，网页)给到用户。其他实例可包括：检测用户准备选择特定图标或链接，以及在用户实际触摸屏幕之前，请求对应于特定图标或链接的网页。
此外，在一些实例中，通过将用户装置一直放到用户脸前，一个或多个不同的用户可以登录或访问用户装置的安全内容。例如，传感信息可包括脸部特征信息，并且传感器可被配置成检测用户的脸部、进一步检测脸部特征，和/或登录用户。此外，在一些实例中，用户可以访问特定的用户简况或仅适于该用户的其他状态。通过这种方式，用户的脸部可充当密码或标记，以用于访问安全内容或装置的其他用户特定信息(例如，简况、联系方式等)。在至少一个实例中，(例如，至少部分基于被配置成检测装置外部的运动并且不依赖于与装置接触的传感器阵列生成的)低保真度传感器栅格可被配置成识别物体何时靠近用户装置。至少部分基于这种识别，随后可启用更敏感的传感器栅格(例如，较高保真度的传感器栅格)。通过这种方式，敏感的传感器栅格可始终不被启用，以便节约电池电量和/或处理资源。此外，在上述任一情况下，根据需要，用户可配置传感器和/或启用/停用传感器和/或传感信息管理系统。
图1描绘说明性用户装置100，例如但不限于，移动电话、平板电脑、电子书阅读器、mp3播放器、遥控装置，或者可被配置成实施本文所述的技术的任何其他计算装置。例如，用户装置100可被配置成管理传感信息，包括但不限于，触摸屏显示器102的外部(例如，不依赖于与触摸屏显示器102接触)、装置100的内部(例如，至少部分基于按钮或者被推动以实现装置100的外壳内的电路的其他致动器)和/或直接位于触摸屏显示器102上(例如，采用选择显示屏上的GUI图标的常用方法)的运动、热量、传导等。因此，传感信息可以是由装置100的传感器收集的任何类型的数据，并且所述数据由装置100或网络服务、网站或者(例如，经由有线或无线网络)与装置100通信的其他网络资源存储、处理或以其他方式管理。如图1所示，在一些实例中，装置100可包括触摸屏显示器102以及一个或多个传感器栅格，例如，外部高效传感器栅格104和/或外部环境传感器栅格106。传感器栅格104、106可以是人眼看不到的；但它们可以从触摸屏显示器102延伸几毫米、几厘米或几英寸；它们可以在一定的配置中投射成单独的传感器路径，从而使得栅格104、106可以有效与触摸屏显示器102平行，但在不同的平面上。当物体穿过或以其他方式干扰传感器栅格线、从一个栅格线穿到另一栅格线等时，物体的运动或出现可被检测到。通过将一个或多个不同传感器栅格线或路径之间的或者从一个传感器栅格104到另一传感器栅格106的相对干扰或接触相关联，可以检测到物体的速度和方向。
此外，图1所示的栅格104，106的每条栅格线均可投射或以其他方式表现一个或多个独立传感器(例如，布置成阵列或其他群集)的传感路径。例如，传感器可耦接到装置100，以使得它们围绕触屏显示器102；嵌在触屏显示器102的下方；和/或使用用于提供一个或多个传感器栅格104，106的任何已知技术连接到装置100。此外，可以利用任何数量和/或类型的传感器。因此，一些传感器可检测运动，而同时其他传感器可检测热量(例如，红外传感器、超声传感器等)。在一些情况下，当使用更多的传感器时，可以建立更高保真度的栅格，例如，外部高效传感器栅格104。而在其他情况下，可利用更少的传感器，以建立较低保真度的栅格，例如，外部环境传感器栅格106。外部环境传感器栅格106可被配置成检测环境运动和/或环境热量，并且对于更精细的检测而言，可能没那么有用(例如，外部环境传感器栅格106可以检测到物体的出现，但可能无法检测物体的特定特性)。然而，与外部高效传感器栅格104相比，外部环境传感器栅格106可使用更少的电池和/或处理资源。因此，在一些实例中，环境传感器栅格106可通常比高效传感器栅格104更活跃(例如，当装置100通电时始终活跃，或者当用户已将传感特征设置为开启时始终活跃)。此外，在一些实例中，除非用户启动或者至少直到环境传感器栅格106识别将被感测的物体，否则高效传感器栅格104可保持不活动。因此，直到环境传感器栅格106识别将被监测、感测、跟踪等的物体为止，可以储存装置100的电池电量。
如图1所示，在一些实例中，触屏显示器102可被配置成提供、呈现或以其他方式显示一个或多个链接108(例如，超链接、代表链接到电子存储内容的链接的图标、代表装置100的本地内容或应用的链接或图标等等)。尽管链接108可不实际显示在栅格104，106中的任一个上，但用户可以将他或她的手指放在触屏显示器102上方的位置，该位置对应于链接108下方的位置。例如，用户可将他或她的手指放在位置F1，该位置对应于链接108正上方的位置。通过这种方式，用户可在链接上方“悬停”，而不实际触摸触屏显示器102。应注意，尽管图1示出用户“悬停”在链接108的上方，距离装置100的距离对应于环境传感器栅格106，但触屏显示器102上方对应于任何传感器栅格和/或传感器路径的任何位置可能已足够(例如但不限于，高效传感器栅格104、相机传感器、并非栅格104，106的一部分但仍能检测物体的持续运动的传感器)。然而，在一些实例中，“悬停”的位置可被请求与链接108以某种方式(例如，本地或基于设置)相关联。
在一些实例中，一旦用户已将物体(例如，他或她的手指)放在对应于链接108上方(例如，正上方)的位置的空间，栅格104，106中的一个或并不与栅格相关的传感器可检测到物体。在特定的时间量后(例如，1秒、2秒，更多或更少)，传感器可识别到物体正在“悬停”。在一些实例中，与“悬停”动作相关联的时间量可以预设或者可由用户配置。在一些实例中，一旦装置100已识别到物体正悬停在链接108或其他GUI元素的上方，悬停元素110便可出现在链接108的附近。悬停元素110可以是链接、图标、窗口或者被配置成提供与链接108相关联的额外信息和/或选项的其他GUI元素。例如，悬停元素110可包括格式化/操作系统(OS)选项(例如，复制链接、移动链接、粘贴链接、发送链接等)和/或其他更多链接专用信息(例如，有关链接的信息、有关链接提及的网页的信息等)。此外，在一些方面，悬停元素110可以出现在触屏显示器102上，从而使得用户可以查看悬停元素110，而不用移动正在“悬停”的物体。例如，如图1所示，当用户的手覆盖触屏显示器102的下部时，悬停元素110可以呈现在链接108的上方。在其他实例中，传感器栅格104，106可以识别触屏显示器102上方的放有其他物体的位置，并且将悬停元素110呈现在触屏显示器102上的这些位置之外的某处，从而用户将无阻碍地查看悬停元素110。此外，在一些实例中，一个栅格(例如，环境栅格106)可被配置成确定无阻碍空间(例如，用户手上的除了正在“悬停”的手指之外的位置)，而另一栅格(例如，高效栅格104)可被配置成确定物体(例如，手指)的“悬停”。此外，在一些实例中，当物体在外部环境传感器栅格106内移动并且在那里悬停得足够长时，外部高效传感器栅格104可被启用，从而可允许感官知觉的更大保真度和/或可允许提供悬停元素110。此外，外部环境传感器栅格106可被配置成检测大体功能，包括但不限于，指示翻页或改变跟踪的滑动。
在一些实例中，环境传感器栅格106中的一些传感器可以是红外传感器，而栅格106的其他传感器可以是超声传感器(或者其他类型的传感器)。类似地，高效传感器栅格104的传感器也可以由红外传感器或超声传感器(或者其他类型的传感器)的组合组成。另外，在一些实例中，一个传感器栅格可全部包括一种类型的传感器(例如，超声传感器)，而其他传感器栅格可全部包括另一种类型的传感器(例如，红外传感器)。此外，在一些实例中，超声传感器和红外传感器的结合可提供额外的特征。例如，超声传感器可提供识别距离的能力，并且红外传感器可提供非常精确地确定栅格内(例如，传感器栅格104或106内)的点的能力。因此，来自超声传感器和红外传感器的结合测量可相当精确地识别装置100附近的物体的地形映射。
图2描绘说明性系统或结构200，其中可以实施用于管理传感信息的技术。在结构200中，一个或多个用户202(例如，装置所有者、账户持有人等)可利用用户计算装置100来访问网络服务应用206、可通过网络服务应用206访问的用户账户，或者经由一个或多个网络208访问网站或其他网络资源。在一些方面，网络服务应用206、网站和/或用户账户可以由计算资源服务或服务供应商托管、管理和/或以其他方式提供，例如，通过使用一个或多个服务供应商计算机210。在一些实例中，一个或多个服务供应商计算机210可提供计算资源，例如但不限于，网站、网站托管、客户端实体、数据存储、数据访问、管理、虚拟化等。一个或多个服务供应商计算机210也可操作以将网站托管、计算机应用开发和/或实施平台、上述组合等提供给一个或多个用户202。
在一些实例中，网络208可包括许多不同类型的网络的任一个或组合，例如，电缆网络、互联网、无线网络、蜂窝网络以及其他专用网络和/或公用网络。尽管所示实例表现出用户202通过网络208来访问网络服务应用206，但所述技术可同样适用于其他距离，其中用户202通过固定电话、经由自助服务机或以任何其他方式借助用户装置100与服务供应商计算机210交互。也应注意，所述技术可应用于其他客户端/服务器布置(例如，机顶盒等)，以及应用于非客户端/服务器布置(例如，本地存储的应用、对等系统等)。
如上文简述，网络服务应用206可允许用户202与服务供应商计算机210交互，例如，以存储、访问和/或管理数据，开发和/或部署计算机应用，和/或托管网络内容。可能布置在服务器群集中或布置成服务器农场的一个或多个服务供应商计算机210可以托管网络服务应用206。这些服务器可被配置成托管可经由用户装置100查看的网站(或网站的组合)或者用户202可访问的网络浏览器。其他服务器结构也可用来托管网络服务应用206。网络服务应用206能够处理来自许多用户202的请求，并且作为响应，为可出现在用户装置100处的各种用户界面(例如但不限于，网站)服务。网络服务应用206可以是支持用户交互的任何类型的网站，包括社交网站、电子零售店、信息网站、博客网站、搜索引擎网站、新闻和娱乐网站等。如上所述，所述技术可以类似地在网络服务应用206的外部实施，例如，用户装置100上运行的其他应用。
服务供应商计算机210可以是任何类型的计算装置，例如但不限于，移动电话、智能电话、个人数字助理(PDA)、膝上型计算机、台式计算机、服务器计算机、瘦客户端装置、平板PC等。另外，应注意，在一些实施方案中，服务供应商计算机210可由实施在托管计算环境中的一个或多个虚拟机执行。托管计算环境可包括一个或多个快速配置和释放的计算资源，所述计算资源可包括计算装置、网络装置和/或存储装置。托管计算环境可也称为云计算环境。在一些实例中，服务供应商计算机210可经由网络208或经由其他网络连接与用户装置100通信。用户装置100可包括一个或多个处理器，所述处理器可能布置在群集中，或者布置成不与彼此相关联的独立服务器。
在一个说明性配置中，服务供应商计算机210可包括至少一个存储器214以及一个或多个处理单元(或处理器)215。处理器215可酌情实施在硬件、计算机可执行指令、固件或其组合中。处理器215的计算机可执行指令或固件实施可包括计算机可执行或机器可执行指令，所述指令用任何合适的编程语言编写，以执行所述各种功能。
存储器214可存储可在处理器215上加载和执行的程序指令，以及在这些程序的执行过程中生成的数据。根据服务供应商计算机210的配置和类型，存储器214可以是易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，只读存储器(ROM)、闪存等)。服务供应商计算机210也可包括额外的可移动存储设备和/或不可移动存储设备，包括但不限于，磁存储设备、光盘和/或磁带存储设备。磁盘驱动器及其相关的计算机可读媒体可提供计算机可读指令、数据结构、程序模块以及计算装置的其他数据的非易失性存储。在一些实施方案中，存储器214可包括多个不同类型的存储器，例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。转到存储器214的更详细内容，存储器214可包括操作系统以及一个或多个应用程序或服务，以用于实施本文所揭示的特征，至少包括网络服务应用206。
在一些实例中，用户装置100也可以是任何类型的计算装置，例如但不限于，移动电话、智能电话、个人数字助理(PDA)、膝上型计算机、瘦客户端装置、平板PC等。在一些实例中，用户装置100可经由网络208或经由其他网络连接与服务供应商计算机210通信。
在一个说明性配置中，用户装置100可包括至少一个存储器218以及一个或多个处理单元(或处理器)224。处理器224可酌情实施在硬件、计算机可执行指令、固件或其组合中。处理器224的计算机可执行指令或固件实施可包括计算机可执行或机器可执行指令，所述指令用任何合适的编程语言编写，以执行所述各种功能。
存储器218可存储可在处理器224上加载和执行的程序指令，以及在这些程序的执行过程中生成的数据。根据用户装置100的配置和类型，存储器218可以是易失性存储器(例如，随机存取存储器(RAM))和/或非易失性存储器(例如，只读存储器(ROM)、闪存等)。用户装置100也可包括额外的存储设备226，所述存储设备可包括可移动存储设备和/或不可移动存储设备。额外的存储设备226可包括，但不限于，磁存储设备、光盘和/或磁带存储设备。磁盘驱动器及其相关的计算机可读媒体可提供计算机可读指令、数据结构、程序模块以及计算装置的其他数据的非易失性存储。在一些实施方案中，存储器218可包括多个不同类型的存储器，例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。
可移动和不可移动的存储器218和额外的存储设备226是计算机可读存储媒体的实例。例如，计算机可读存储媒体可包括用于存储信息的任何方法或技术中实施的易失性或非易失性媒体、可移动或不可移动媒体，例如，所述信息为计算机可读指令、数据结构、程序模块，或其他数据。本文所用的模块可以指代作为用户装置100或服务供应商计算机210的一部分的计算系统(例如，处理器)执行的程序模块。存储器218和额外的存储设备226均是计算机存储媒体的实例。用户装置100也可含有通信连接228，其允许用户装置100与存储的数据库、另一计算装置或服务器、用户终端和/或网络208上的其他装置通信。用户装置100也可包括输入/输出(I/O)装置和/或端口230，例如，用于实现与键盘、鼠标、笔、语音输入装置、触摸输入装置、显示器、扬声器、打印机等的连接。
转到存储器218的更详细内容，存储器218可包括操作系统232以及用于实施本文所揭示的特征的一个或多个应用程序或服务，包括传感器管理模块234、数据管理模块236、动作预测模块238、预取/预处理模块240，和/或用户界面模块242。传感器管理模块234可被配置成管理一个或多个传感器的操作(例如，红外传感器、超声传感器、热传感器、其他运动传感器等)。在一些情况下，传感器管理模块234可被启动，以启用、停用、编程、改编和/或以其他方式控制一个或多个传感器的使用，从而使得图1的栅格104，106或其他传感栅格可被启动。此外，传感器管理模块234可管理其他传感器，例如但不限于，装置100的触屏传感器、麦克风等。在一些实例中，传感器管理模块234也可被配置成至少部分基于不同传感器(或不同组的传感器)识别的信息来启用一个传感器(或一组传感器)。
在一些方面，数据管理模块236可被配置成管理装置100的传感器接收的数据。例如，当传感器识别或以其他方式检测到它们的检测范围内出现物体和/或运动时，数据可被收集。这个数据可被提供到数据管理模块236，以供处理和/或存储。在一些方面，数据可被存储在存储器218中，和/或可被提供到服务供应商计算机210以供存储。此外，在一些方面，动作预测模块238可被配置成确定(也称为预测)用户的一个或多个潜在动作。本文所用的用户潜在动作是用户可能会执行但尚未执行的动作(例如，选择链接或图标)。在一些实例中，用户的潜在动作可包括选择触屏显示器上呈现的每个链接或图标。然而，预取和/或预处理与触屏显示器上的每个链接相关联的数据将不像以编程方式预测和/或确定更可能的选择集合或子集那么有效。因此，与数据管理模块236相结合，动作预测模块238能够确定哪些链接将更可能被选择。例如，如果用户的手指朝向特定的链接移动，那么用户更有可能选择的链接将与手指远离的链接相对。此外，手指的移动速度也可表示潜在动作。例如，在一个链接上方“悬停”的手指可指示很有可能选择该连接或其他邻近的链接。因此，动作预测模块238可预测到选择“悬停”下方的链接可能是潜在动作。动作预测模块238也可被配置成允许软件开发人员至少部分基于预测的动作来配置或以其他方式编程将被预测的不同动作和/或将被执行的不同指令。例如，游戏开发人员可将动作预测模块238配置成包括正在开发的游戏专用的一系列潜在动作。
此外，在一些实例中，预取/预处理模块240可被配置成至少部分基于动作预测模块238确定的潜在动作，将网络和/或其他数据请求发送到服务供应商计算机210。通过这种方式，在用户202实际请求之前，装置100能够代表用户202来预测请求哪些网页。这一改进可以提供先进的速度和/或感知速度，从而将内容提供给用户202。例如，利用网络服务应用206，用户202可经由装置100来流动视频内容。在某些情况下，服务供应商计算机210可被配置在托管计算环境中，并且可对视频内容执行一些处理(例如，在装置100被配置成瘦客户端的情况下)。因此，至少部分基于监测或以其他方式检测用户202的运动，模块234，236，238，240可一起协作，以预测用户何时会暂停和/或播放内容。通过这种方式，暂停和/或播放命令可被预取或以其他方式预处理，以增加服务供应商计算机210和装置100的相对反应时间，从而减少系统的感知时延。此外，在一些实例中，用户界面模块242可被配置成提供GUI和/或GUI元素(包括图1的链接108和/或悬停元素110)。预取/预处理模块240也可被配置成允许软件开发人员至少部分基于装置100前方的运动或物体来配置或以其他方式编程将被执行的不同指令(例如，游戏和/或多媒体动作)。
可存在于用户装置100中的额外类型的计算机存储媒体可包括，但不限于，可编程随机存取存储器(PRAM)、SRAM、DRAM、RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储技术；只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储设备；磁带盒、磁带、磁盘存储设备或其他磁存储装置；或者可用来存储所需信息且可被用户装置100访问的任何其他媒体。上述任一项的组合也应包括在计算机可读媒体的范围内。
或者，计算机可读通信媒体可包括计算机可读指令、程序模块或在数据信号(例如，载波或其他传输方式)内传输的其他数据。然而，本文中所用的计算机可读存储媒体并不包括计算机可读通信媒体。
下文也将参考至少图3到图7来更详细地描述用户装置100的操作的几个额外实例。
图3示出本文所述的用户装置的传感数据的管理的额外实例。例如，图3示出参考图1和图2描述的用户装置100，所述用户装置具有触屏显示器102、高效传感器栅格104和/或环境栅格106，如上所述。在此非限制性实例中，用户可将他或她的手朝向触屏显示器102移动，从而使得环境传感器栅格106可检测到用户的手指在F1处出现或运动。然而，图3并不意图示出用户实际触摸环境传感器栅格206。相反，用户的手指可以穿过传感器路径的平面，或者可由被配置成启动环境传感器栅格106的传感器以其他方式检测到。在一些实例中，在此阶段，当F1出现时，高效传感器栅格104可以不被启用。然而，在一些实例中，它可始终被启用，或者如上所述，用户可配置高效传感器栅格104何时被启用和/或启用的时长。
在一些实例中，F1信号可被发送到传感器管理模块234，所述传感器管理模块可被配置成启用高效传感器栅格104。也就是说，高效传感器栅格104可以休眠，直到环境传感器栅格检测到物体、商品或运动需要高效传感器栅格104监测为止。因此，高效传感器栅格104可以及时启用，以便高效传感器栅格104感测到F2处的用户手。此处，用户可能还是没有与装置100本身接触。然而，高效传感器栅格104能够检测到用户的手相对于触屏显示器102和/或装置100本身的位置、移动方向和/或移动速度。此外，如上所述，在一些实例中，高效传感器栅格104可将位置、运动、速度等信息发送到传感器管理模块234，所述传感器管理模块可至少与动作预测模块238和/或预取/预处理模块240一起协作，以确定用户可能选择链接302，304，306，308中的哪些。当用户将他的手从F2移动到FN时，预期用户选择链接302，304，306，308，装置的模块可开始请求网络服务器或其他基于网络的资源来接收网页、内容或其他信息。
在一些实例中，用户手的速度也可以很有用。例如，如果用户的手从F2缓慢地移动到FN，那么预测用户可能选择链接304比预测选择链接308可更准确。然而，如果反过来是对的，并且用户的手从F2更快地移动到FN，那么用户选择链接308或根本不选择链接的可能性会增加。因此，至少部分基于潜在动作成为实际动作的确定可能性，装置可优先处理预取和/或预处理请求。例如，一系列的预取请求可进行排序，随后按顺序处理。随着与用户手的运动或出现相关联的新数据可以被接收，排序表可动态改变。此外，在一些实例中，GUI元素(例如，突出显示或边界)可提供在一个或多个链接的上方，以指示用户手指的感知位置。例如，当用户的手指在FN处被检测到时，链接308周围的边界可见。通过这种方式，用户可以辨别出他或她的手指在哪里与链接相关。当触屏显示器102上的链接或图标较小，并且在他们触摸屏幕时可能难以辨别用户选择什么链接时，这可尤其有用。如图3所示，在一些实例中，随着手指移动，边界元素可慢慢减少，例如，表示用户手指几分钟前在链接304的上方，然后在链接306的上方，最后现在在链接308的上方。根据需要，可以启动其他GUI元素或指示符，以帮助用户与GUI交互。
图4示出本文所述的用户装置的传感数据的管理的额外实例。在此图中，所示装置100同样具有触屏显示器102、高效传感器栅格104和/或环境传感器栅格106。然而，在此图中，触屏显示器102和传感器栅格104，106均以截面图示出，以便说明与装置100和/或触屏显示器102相关的视角。例如，在一些方面，F1和/或F2处的用户手指可被传感器栅格104，106中的任一个或两个感测到；但手指的这一感测和/或检测可独立于实际接触触屏显示器102(F3处示出)。此外，在一些实例中，如上所述，环境传感器栅格106可首先检测到用户手出现，然后启用高效传感器栅格104。此外，任何其他物体均可被传感器栅格104，106感测、检测和/或监测。例如，用户可将物体(例如，商品目录中用于销售的商品等)放在装置100的附近，并且栅格104，106中的一个或多个可以确定物体的身份和/或特性。例如，如果用户想要通过电子零售店卖出商品，那么用户可将该商品放在触屏显示器102的前方，然后传感器栅格104，106可以识别商品和/或代表用户将信息提供给电子零售店。或者，用户可能想要购买类似商品，并且装置(例如，在识别商品后)可找到同一和/或其他电子零售店出售的类似商品。
此外,如上文所述,在一些实例中,环境传感器栅格106也可被配置成检测或分析大体运动或其他低保真度动作。这些运动和/或动作可用来完成装置100的多媒体或游戏操作。例如,一个人的手滑过装置可被低保真度的传感器(例如,环境传感器栅格106)检测到,以在启用或利用或者在不启用或利用高效传感器栅格104的情况下,快进歌曲、翻页、晃动游戏中的对象、滚动选项等。此外,在一些实例中,装置100可以是车载嵌入式装置(或者嵌入在用户可与之交互的任何类型的单元中的装置)，所述装置可检测和/或分析距离触屏显示器102几英寸外发生的运动。通过这种方式,车辆的驾驶员或操作员可以启用装置100的选项(例如,播放音乐时的下一首或上一首歌曲和/或增加或降低音量,接收方向时的下一方向等等),而同时安全地操作车辆。
图5示出本文所述的用户装置的传感数据的管理的额外实例。在此图中，所示装置100同样具有触屏显示器102、高效传感器栅格104和/或环境传感器栅格106。在此图中，触屏显示器102和传感器栅格104，106再次以截面图示出，以便说明与装置100和/或触屏显示器102相关的视角。图5示出一个实例，其中用户可利用传感器栅格104，106和/或传感管理的其他特征，以用他或她的脸部登录装置100。通过这种方式，用户的脸部可以识别，从而使得装置100可至少部分基于识别的用户脸部来允许登录或其他访问，以确保内容的安全。在一些实例中，用户可将装置100放在他或她脸前，并且在一定距离处，环境传感器106可识别到脸部出现。在一些实例中，如上所述，环境传感器栅格106随后可启用高效传感器栅格104。在一些实例中，高效传感器栅格104随后可检测脸部特征，从而可识别用户。
用户可通过装置来存储脸部扫描(例如，通过不同的脸部毛发布置和/或发型)，从而使得装置100可识别它们，即使用户脸部或轮廓发生改变也能识别。此外，在一些实例中，利用同一装置的多个用户可以登录特定的账户或者访问用户/账户专用的安全内容。尽管图5所示的脸部从触屏显示器102的相对顶部移动到触屏显示器102的相对底部，但功能并不意图限于此。换言之，脸部只需移动靠近装置100和/或触屏显示器102(在一些实例中)，以便被检测到。然而，在其他实例中，传感器栅格104，106均可被配置成检测距装置100相同距离处的商品、手指、脸部等。例如，与实施高效传感器栅格104相比，可使用更少和/或不同的传感器来实施环境传感器栅格106，即使它们可在距装置100相同的距离处投射传感器路径。此外，在一些实例中，高效传感器栅格104可由启用环境传感器栅格106的相同传感器以及在环境传感器栅格106启用时并不启用的一些额外传感器组成。
另外，在一些实例中，用户脸部注册装置可能存在多个状态。例如，用户可通过装置100来注册没有表情的脸部地形图，并且还可注册有表情/表情丰富的脸部地形图(例如，微笑、皱眉、滑稽的表情等)。在一些情况下，环境传感器栅格106可识别用户没有表情的脸部，或者至少识别进入装置100附近的脸。高效传感器栅格104随后可被配置成识别用户何时做出被保存为登录装置的密码的表情。通过这种方式，可实现额外的安全性，从而使得用户可能无法被迫解锁他或她的装置。相反，用户只可以在提供被保存为密码的表情时解锁装置。此外，在一些实例中，用户可相对于装置100的传感器，将他或她的脸放在许多不同角度或距离中的一个处。例如，用户不用每次都参考装置100将他或她的脸放在完全相同的位置，但也可以登录装置100。此外，在一些实例中，每次用户使用他或她的脸登录时，装置100都可以添加到脸部密码库，以便最终了解用户的脸部，从而脸部的任何角度或脸部的改变(例如，伤疤、脸部毛发、眼镜等)均可满足用户登录。
图6和图7示出示例性流程图，展示用于管理用户装置的传感数据的相应过程600和700。这些过程被示为逻辑流程图，其每个操作均表示可在硬件、计算机指令或其组合中实施的操作序列。在计算机指令的背景下，操作表示存储在一个或多个计算机可读存储媒体上的计算机可执行指令，所述指令在被一个或多个处理器执行时实施所述操作。通常，计算机可执行指令包括执行特定功能或实施特定数据类型的例程、程序、对象、部件、数据结构等。所述操作的顺序并不意图被解释为限制性，而是任何数量的所述操作可以采用任何顺序和/或并行组合，以实施所述过程。
此外，在被配置成具有可执行指令的一个或多个计算机系统的控制下，所述过程中的一些、任何或全部均可执行，并且可实施为代码(例如，可执行指令、一个或多个计算机程序，或者一个或多个应用)，所述代码在一个或多个处理器上统一执行、由硬件统一执行或者其组合。如上所述，代码可存储在计算机可读存储媒体上，例如，采用包括多个可由一个或多个处理器执行的多个指令的计算机程序的形式。计算机可读存储媒体可以是非瞬时的。
在一些实例中，图2所示的用户装置100(例如，利用传感器管理模块234、动作预测模块236和/或预取/预处理模块240中的至少一个)可执行图6的过程600。通过监测用户装置的触屏显示器外部并且不依赖于与之接触的物体的移动，过程600可在602处开始。所述监测可由用户装置的至少第一传感器执行。在604处，过程600可从第一传感器接收表示物体的运动或出现的信息。也就是说，第一传感器可识别到物体正在装置上方或之上移动，或者可识别到物体出现(或者没有在移动但仍在那里)。在606处，至少部分基于从第一传感器接收的指示信息，过程600可确定用户的潜在动作。在一些实例中，在608处，接收到用户的请求之前，过程600也可执行对应于潜在动作的指令。换言之，预期到用户可能做出此类选择时，过程600可预取网络数据和/或预处理与潜在请求相关联的数据。在610处，至少部分基于第一传感器识别的物体运动和/或存在，过程600可启用第二传感器。在612处，过程600可接收来自第二传感器的请求。第二传感器可被配置成运动传感器，它具有比(例如，触屏显示器的)第一传感器或触敏传感器更高的保真度。此外，在一些实例中，过程600可在614处结束，其中至少部分基于在612处接收的来自用户的请求，过程600可提供对应于执行指令的信息。
图7示出示例性流程图，展示用于管理用户装置的传感数据的过程700。图2所示的用户装置100(例如，利用传感器管理模块234、动作预测模块236和/或预取/预处理模块240中的至少一个)可执行图7的过程700。通过传感器识别与用户相关联的运动和/或出现，过程700在702处开始。例如，传感器可识别用户或与用户相关联的物体的运动，和/或传感器可识别用户或与用户相关联的物体的出现。在704处，至少部分基于识别的运动和/或出现，过程700可确定用户的潜在动作。在706处，过程700可执行与潜在动作相关联的指令。此外，在一些实例中，在708处，过程700可确定可视区域，用于显示用户界面元素。在一些方面，可视区域可至少部分基于屏幕的区域，其中用户的视野不被阻挡(例如，至少部分基于触屏显示器前方检测和/或识别出的物体)。例如，如果用户的手阻挡了触屏显示器下部的用户视野，那么可视区域可包括触屏显示器中除了被手阻挡的下部之外的所有或一些区域。此外，过程700可在710处结束，其中至少部分基于执行的指令，过程700可将信息提供给用户。在710处，过程700也可在确定的可视区域上提供UI元素(例如，悬停元素等)。在接收到来自用户的请求之后，此信息和/或UI元素可被提供。
上文描述了用于管理用户装置的传感信息的说明性方法和系统。这些系统和方法中的一些或全部可以(但无需)至少部分由诸如至少在上文图2到图7中示出的那些结构实施。
各项实施方案可进一步在各种操作环境中实施，在一些情况下，所述环境可包括可用来操作若干应用中的任一个的一个或多个用户计算机、计算装置或处理装置。用户或客户端装置可包括若干通用个人计算机中的任一个，例如，运行标准操作系统的台式或膝上型计算机，以及运行手机软件且能够支持多个网络和消息传递协议的移动无线手持装置。此类系统还可包括若干个工作站，其运行各种商用操作系统和其他已知应用中的任一个，以用于开发和数据库管理等目的。这些装置还可包括其他电子装置，例如，虚拟终端、瘦客户端、游戏系统以及能够通过网络进行通信的其他装置。
多数实施方案利用所属领域的技术人员将熟悉的至少一个网络，用于支持使用各种商用协议中的任一个进行的通信，例如，TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk。例如，所述网络可以是局域网、广域网、虚拟专用网、互联网、内联网、外联网、公用交换电话网、红外网、无线网及其任意组合。
在利用网络服务器的实施方案中，网络服务器可运行各种服务器或中间层应用中的任一个，包含HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器以及业务应用服务器。服务器还能够响应用户装置的请求来执行程序或脚本，例如，通过执行一个或多个网络应用，所述网络应用可实施为用任何编程语言(例如，C、C#或C++)或任何脚本语言(例如，Perl、Python或TCL)及其组合编写的一个或多个脚本或程序。服务器还可包括数据库服务器，包括但不限于可从和商购到的那些。
所述环境可包括多种数据存储设备和其他存储器及存储媒体，如上文所述。这些可存在于多种位置，例如，在一个或多个计算机本地(和/或驻留)的存储媒体上，或者在网络中任何或所有计算机远程的存储媒体上。在一组特定的实施方案中，信息可存在于所属领域的技术人员熟悉的存储区域网(SAN)中。类似地，归因于计算机、服务器或其他网络装置，用于执行功能所需的文件可根据需要本地存储和/或远程存储。在系统包括计算机装置的情况下，每个此类装置均可包括可经由总线进行电耦合的硬件元件，例如，所述元件包括至少一个中央处理单元(CPU)、至少一个输入装置(例如，鼠标、键盘、控制器、触摸屏或小键盘)，以及至少一个输出装置(例如，显示装置、打印机或扬声器)。此类系统还可包括诸如磁盘驱动器、光学存储装置等一个或多个存储装置，和诸如RAM或ROM等固态存储装置，以及可移动媒体装置、存储卡、闪存卡等。
此类装置还可包括计算机可读存储媒体阅读器、通信装置(例如，调制解调器、网卡(无线或有线)、红外通信装置等)，以及上述工作存储器。计算机可读存储媒体阅读器可与下述存储媒体连接或被配置成接收所述存储媒体：代表远程、本地、固定和/或可移动存储装置的计算机可读存储媒体，以及用于临时和/或更持久地容纳、存储、传输及检索计算机可读信息的存储媒体。所述系统和各种装置通常还包括大量的软件应用、模块、服务或位于至少一个工作存储装置中的其他元件，包括操作系统和应用程序，例如，客户端应用或网络浏览器。应了解，不同于上述内容，替代实施方案可发生很多变化。例如，还可使用自定义硬件，和/或特定元件可实施在硬件、软件(包括可移植软件，如小应用程序)或这两个中。此外，可连接到其他计算装置，例如，网络输入/输出装置。
用于容纳代码或部分代码的存储媒体和计算机可读媒体可包括所属领域已知或使用的任何合适的媒体，包括存储媒体和通信媒体，例如但不限于，用于存储和/或传输诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术中实施的易失性和非易失性媒体、可移动和不可移动媒体，包括RAM、ROM、EEPROM、闪存或其他存储技术；CD-ROM、DVD或其他光学存储设备；磁带盒、磁带、磁盘存储设备或其他磁存储装置；或者可用来存储所需信息且可被系统装置访问的任何其他媒体。基于本发明和本文中提供的教示，所属领域的一般技术人员将了解实施各项实施方案的其他方式和/或方法。
因此，说明书和附图应视为说明性而非限制性的。但显而易见的是，在不偏离权利要求书所阐释的本发明的普遍精神和范围的前提下，可对本发明作各种修改和变化。
其他变化也在本发明的精神内。因此，尽管所揭示的技术可能有多种修改和替代结构，但附图中示出并且上文详细描述了本发明的某些说明性实施方案。然而应理解，本文绝非意图将本发明限于所揭示的一种或多种特定形式，相反，本发明意图涵盖所附权利要求书所界定的本发明的精神和范围内的所有修改、替代结构以及等效物。
在描述所揭示的实施方案的过程中使用了术语“一”、“一个”、“所述”以及类似的词语(尤其是在下文的权利要求书中)，除非本文中另有指明或上下文有明确的相反提示，否者这些术语应被解释为既涵盖单数又涵盖复数。除非另有说明，否则术语“包括”、“具有”、“包含”以及“含有”应被解释为开放性术语(即，表示“包括，但不限于”)。术语“所连接的”应被解释为部分或完全容纳于其中、附接到或接合在一起，即使是存在中介元件时也是如此。除非本文中另有说明，否则本文中所叙述的数值范围仅仅意图用作一种速记和方法，用于按个别方式提及属于相关范围的每个独立的值；并且每个独立的值都并入本说明书中，正如这些值按个别方式陈述于本文中一样。除非本文中另有指明或上下文有明确的相反提示，否则本文中所述的所有方法都可以按任何适当次序加以执行。除非另外主张，否则使用本文中所提供的任何以及所有实例或示范性语言(例如，“例如”)都仅仅为了更好地说明本发明的实施方案，而并非对本发明的范围加以限制。本说明书中任何措辞都不应被解释为将任一非主张的元件指示为实践本发明所必须的。
除非另行说明，否则析取语言(例如，短语“X、Y和Z中的至少一个”)在上下文中应被理解为大体表示一个项目、术语等，可以是X、Y或Z或者其任意组合(例如，X、Y和/或Z)。因此，这些析取语言通常并不(且不应)意图暗示某些实施方案要求分别存在X中的至少一个、Y中的至少一个以及Z中的一个。
本文中描述了本发明的优选实施方案，包括发明人已知的用于实施本发明的最佳模式。阅读上述描述后，所属领域的技术人员可易于明白这些优选实施方案的变化。发明人预期技术人员酌情使用此类变化，并且发明人希望采用本文具体描述之外的其他方式实践本发明。因此，在适用法律允许的情况下，本发明包括所附条款和权利要求书中陈述的主题的所有修改和等效物。此外，除非本文中另有指明或上下文有明确的相反提示，否则本发明涵盖所有可能变化中的上述元件的任何组合。
本文所述的所有参考文献，包括公开案、专利申请案以及专利都以引用的方式并入本文中，正如将每份参考文献个别及具体地指明是通过引用的方式完整地并入本文并于本文获得陈述的那样。
条款1.一种用于管理装置传感信息的计算机实施的方法，其包括：
在被配置成具有可执行指令的计算机系统的控制下，
通过移动装置的第一传感器在所述移动装置的屏幕外部且不依赖于与之接触来监测物体的移动；
当识别到在所述移动装置的所述屏幕的外部且不依赖于与之接触的所述移动时，从所述第一传感器接收指示所述物体的所述移动的信息；
至少部分基于指示所述物体的所述信息，确定所述移动装置的用户的潜在动作；
在接收到请求执行所述潜在动作的指示之前，执行对应于所述用户的所述潜在动作的指令；
从第二传感器接收所述请求的所述指示；以及
至少部分基于所述请求的所述指示，提供对应于执行的指令的信息。
条款2.根据条款1所述的计算机实施的方法，其中所述第一传感器被配置成红外传感器或超声传感器中的至少一个，并且所述第二传感器被配置成触屏传感器。
条款3.根据条款1所述的计算机实施的方法，其中所述第一传感器被配置成环境传感器，并且所述第二传感器被配置成高效传感器。
条款4.根据条款3所述的计算机实施的方法，其中所述环境传感器被配置成比所述高效传感器具有更低的保真度。
条款5.根据条款4所述的计算机实施的方法，其进一步包括至少部分基于从识别所述物体的所述移动的所述第一传感器接收的所述信息，当所述第二传感器不活动时，启用所述第二传感器。
条款6.根据条款1所述的计算机实施的方法，其中表示所述物体的所述移动的所述信息包括以下至少一个：所述物体的移动速度、所述物体的移动方向、所述第一传感器监测到的所述物体的所述移动与所述第二传感器识别的所述物体的移动之间的时间差，或者检测到所述第一传感器监测到的所述物体与检测到所述第二传感器识别的所述物体之间的时间差。
条款7.根据条款1所述的计算机实施的方法，其中执行所述指令包括以下至少一项：将请求提供到服务器；将信息提供到外部计算系统；请求网络服务处理所述信息；或者处理与所述一个或多个潜在动作相关联的数据。
条款8.一种用于管理装置传感信息的计算机实施的方法，其包括：
在被配置成具有可执行指令的计算机系统的控制下，
通过装置的传感器来识别与用户相关联的运动，所述运动发生在所述装置的屏幕的外部；
至少部分基于所述识别的运动，确定所述用户的一个或多个潜在动作；
在接收到来自所述用户的请求之前，执行至少与所述一个或多个潜在动作的子集相关联的指令；以及
在接收到来自所述用户的所述请求之后，至少部分基于执行的指令，将信息提供给所述用户。
条款9.根据条款8所述的计算机实施的方法，其中与所述用户相关联的所述运动包括与所述用户相关联的物体在用户界面元素的上方移动，所述用户界面元素呈现在所述装置的所述屏幕上。
条款10.根据条款9所述的计算机实施的方法，其中与所述用户相关联的所述物体包括以下至少一个：所述用户的手、所述用户的手指、所述用户的脸或者所述用户持有的商品。
条款11.根据条款9所述的计算机实施的方法，其中所述用户的所述一个或多个潜在动作包括以下至少一个：悬停在所述用户界面元素上方或选择所述用户界面元素。
条款12.根据条款8所述的计算机实施的方法，其中提供给所述用户的所述信息包括呈现在所述装置的所述屏幕上的第二用户界面元素。
条款13.根据条款12所述的计算机实施的方法，其中所述用户界面元素是第一用户界面元素，以及其中所述第二用户界面元素呈现在所述装置的所述屏幕中邻近所述第一用户界面元素的区域上。
条款14.根据条款13所述的计算机实施的方法，其进一步包括至少部分基于与所述用户相关联的所述物体的大小或与所述用户相关联的所述物体的位置中的至少一个，确定所述屏幕的可视区域，所述可视区域足够大，能呈现所述第二用户界面元素，并且其中所述第二用户界面元素呈现在所述可视区域中。
条款15.根据条款12所述的计算机实施的方法，其中所述用户的所述一个或多个潜在动作包括选择呈现在所述屏幕上的所述第一用户界面元素或所述第二用户界面元素中的至少一个。
条款16.根据条款15所述的计算机实施的方法，其中执行至少与所述一个或多个潜在动作的子集相关联的所述指令包括以下至少一项：将对应于选择呈现在所述屏幕上的所述第一用户界面元素的请求发送到服务器，或者将对应于选择呈现在所述屏幕上的所述第二用户界面元素的请求发送到服务器。
条款17.根据条款15所述的计算机实施的方法，其中执行至少与所述一个或多个潜在动作的子集相关联的所述指令包括以下至少一项：处理与选择呈现在所述屏幕上的所述第一用户界面元素相关联的数据，或者处理与选择呈现在所述屏幕上的所述第二用户界面元素相关联的数据。
条款18.根据条款15所述的计算机实施的方法，其中执行至少与所述一个或多个潜在动作的子集相关联的所述指令包括：在所述屏幕上提供与所述用户相关联的物体位于所述屏幕的图形用户界面元素的上方的指示。
条款19.根据条款8所述的计算机实施的方法，其中在接收到来自所述用户的所述请求之后，所述信息被提供给所述用户，以及至少部分基于所述用户与所述屏幕进行物理接触，识别所述用户的所述请求。
条款20.根据条款8所述的计算机实施的方法，其中所述传感器被配置成提供所述装置的所述屏幕外部的传感器栅格，所述传感器栅格被配置成感测以下至少一项：所述装置的所述屏幕的外部发生的运动，以及位于所述装置的所述屏幕的外部但不与所述装置接触的物体。
条款21.一种传感信息管理装置，其包括：
屏幕，其被配置成呈现用户界面；
传感器，其被配置成不依赖于与所述屏幕接触识别物体；
存储器，其存储计算机可执行指令；以及
处理器，其被配置成访问所述存储器以及执行所述计算机可执行指令，以便至少共同进行：
从所述传感器接收与所述传感器不依赖于与所述屏幕接触识别的所述物体相关联的第一信息；
从所述传感器接收与所述传感器不依赖于与所述屏幕接触识别的所述物体相关联的第二信息；
至少部分基于所述第一信息和所述第二信息，确定所述传感信息管理装置将要执行的动作；以及
至少部分基于确定的动作，在呈现于所述屏幕上的所述用户界面中提供新的用户界面元素。
条款22.根据条款21所述的系统，其中所述处理器进一步被配置成执行所述计算机可执行指令，以便共同进行：
在接收到所述第一信息或所述第二信息之前，在呈现于所述屏幕上的所述用户界面中提供第一用户界面元素；以及
在提供所述第一用户界面元素之后，提供所述新的用户界面元素。
条款23.根据条款22所述的系统，其中与所述物体相关联的所述第一信息指示所述物体相对于所述第一用户界面元素的位置。
条款24.根据条款23所述的系统，其中与所述物体相关联的所述第二信息指示所述物体处于所述位置的时间量。
条款25.根据条款24所述的系统，其中所述新的用户界面元素包括：悬停元素，其指示用户悬停在所述第一用户界面元素上方；至少部分基于所述位置的所述新的用户界面元素；以及所述物体处于所述位置的所述时间量。
条款26.根据条款21所述的系统，其中所述传感器被配置以生成用于不依赖于与所述屏幕接触识别所述物体的传感器栅格，所述传感器栅格生成于所述屏幕的外部。
条款27.根据条款21所述的系统，其中将要执行的所述动作包括至少部分基于对应于所述用户的物理特征的所述第一信息或所述第二信息中的至少一个，将用户登录到所述装置。
条款28.一种用于管理装置传感信息的系统，其包括：
屏幕，其具有第一传感器；
第二传感器，其被配置成识别所述屏幕外部的物体；
存储器，其存储计算机可执行指令；以及
处理器，其被配置成访问所述存储器，其中所述处理器被配置成执行所述计算机可执行指令，以便至少共同进行：
确定所述物体何时悬停在所述屏幕上的第一图形用户界面元素的上方；以及
在所述屏幕上提供第二图形用户界面元素，从而使得所述第二图形用户界面元素呈现在所述屏幕上，邻近悬停在所述第一图形用户界面元素上方的所述物体下方的位置。
条款29.根据条款28所述的系统，其中所述第一传感器是触敏传感器。
条款30.根据条款28所述的系统，其中所述第二传感器被配置成检测所述第一传感器无法检测的所述屏幕外部的物体。
条款31.根据权利要求28所述的系统，其中所述处理器进一步被配置成执行所述计算机可执行指令，以至少共同进行：
至少部分基于通过所述第二传感器获取的信息，确定从所述用户的角度看，未被所述物体覆盖的所述屏幕的位置；以及
在从所述用户的角度看，未被所述物体覆盖的确定位置上，提供所述第二图形用户界面元素。

Claims (56)

1.一种计算机实现的方法，包括：
通过移动装置的第一传感器针对所述移动装置的屏幕外部且不依赖于与所述屏幕接触的物体进行监测；
从所述第一传感器接收识别所述屏幕外部且不依赖于与所述屏幕接触的所述物体的第一信息；
至少部分地基于所述第一信息，确定所述物体至少包括用户的脸部的一部分；
至少部分地基于从所述第一信息确定的所述用户的脸部的所述部分，确定所述移动装置的多个潜在的操作；
从第二传感器接收进一步识别所述物体的第二信息；
至少部分地基于所述第二信息，确定所述用户的脸部特征；
至少部分地基于对应于用户信息的所述用户的所述脸部特征，确定所述移动装置的所述多个潜在操作中的操作；以及执行所确定的操作。
2.如权利要求1所述的计算机实现的方法，其中，所述第一传感器被配置成环境传感器，并且所述第二传感器被配置成高效传感器。
3.如权利要求2所述的计算机实现的方法，其中，所述环境传感器被配置成比所述高效传感器具有更低的保真度。
4.如权利要求3所述的计算机实现的方法，还包括至少部分地基于从所述第一传感器接收到的所述第一信息，启用所述第二传感器，所述第一信息识别所述物体是所述用户的脸部。
5.如权利要求1所述的计算机实现的方法，其中，所述多个潜在操作包括以下中的至少一个：将所述用户登录到所述移动装置、将所述用户登录到所述移动装置的用户简况中、或提供对所述移动装置的安全内容的访问。
6.如权利要求1所述的计算机实现的方法，还包括：
在接收所述第二信息之前，至少部分地基于从所述第一信息确定的所述用户的脸部的所述部分，从所述移动装置的本地存储器预取所述用户特征，其中根据所述第二信息与所述用户信息的比较、至少部分地基于所述用户的脸部特征与所述用户信息之间的匹配确定所述操作。
7.一种装置，包括：
屏幕，配置成呈现用户界面；
第一传感器，配置成不依赖于物体与所述屏幕之间的接触感测关于所述物体的第一信息；
第二传感器，配置成感测关于所述物体的特征的第二信息；
存储器，存储计算机可执行指令；以及处理器，配置成访问所述存储器并且执行所述计算机可执行指令，以便至少共同进行：
从所述第一传感器接收关于所述物体的所述第一信息，所述第一传感器不依赖于与所述屏幕接触而感测所述第一信息；
至少部分地基于所述第一信息，确定所述物体包括脸部的至少一部分；
至少部分地基于从所述第一信息确定的所述脸部的所述至少一部分，启用所述第二传感器；
从所述第二传感器接收关于所述物体的特征的所述第二信息，所述第二信息指示所述脸部的特征；以及
至少部分地基于对应于用户信息的所述脸部的特征，执行所述装置的操作。
8.如权利要求7所述的装置，其中所述第一信息识别所述脸部的部分在所述屏幕的阈值距离内。
9.如权利要求7所述的装置，其中所述脸部的特征包括脸部毛发构型、发型、所述脸部的视角或脸部表情中的至少一个。
10.如权利要求9所述的装置，其中所述操作包括如果所述脸部的至少一个特征匹配所述用户信息则提供对所述装置的用户界面的访问。
11.如权利要求9所述的装置，其中所述操作包括如果所述脸部的至少一个特征和所述脸部表情匹配所述用户信息则提供对所述装置的用户界面的访问。
12.如权利要求9所述的装置，其中所述第一传感器或所述第二传感器被配置成生成用于不依赖于与所述屏幕接触感测所述物体的传感器栅格，所述传感器栅格生成于所述屏幕的外部。
13.如权利要求7所述的装置，其中所述用户信息包括与所述用户信息相关联的用户的脸部特征数据。
14.如权利要求7所述的装置，其中要被执行的所述操作包括将用户登录到所述装置、将所述用户登录到用户简况、或提供对安全内容的访问。
15.如权利要求7所述的装置，其中启用所述第二传感器包括启用配置成具有比所述第一传感器更高的保真度的多个传感器。
16.如权利要求7所述的装置，其中执行所述操作包括以下中的至少一个：向服务器提供请求、向外部计算系统提供信息、请求要由网络服务器处理的信息、或处理与所述操作相关联的数据。
17.一种系统，包括：
屏幕；
第一传感器，配置成感测所述屏幕外部的物体；
第二传感器，配置成感测所述物体的特征；存储器，存储计算机可执行指令；以及
处理器，配置成访问所述存储器并且执行所述计算机可执行指令，以便至少共同进行：
至少部分地基于由所述第一传感器获取的第一信息，识别所述屏幕外部的所述物体包括脸部的至少一部分；
至少部分地基于所述物体被识别为包括所述脸部的所述至少一部分，启用所述第二传感器；
至少部分地基于由所述第二传感器获取的第二信息，确定所述物体的特征；
将所述特征与存储在所述存储器中的识别所述系统的用户的数据进行比较；以及
当所述特征匹配所述数据时，提供对所述系统的访问。
18.如权利要求17所述的系统，其中所述特征包括脸部表情。
19.如权利要求18所述的系统，其中要被提供的所述访问的等级至少部分地基于所述脸部表情。
20.如权利要求19所述的系统，其中所述访问的等级由所述用户来配置。
21.一种计算设备，包括：
屏幕；
第一感测装置，用于以第一保真度感测所述屏幕外部且不依赖于与所述屏幕接触的物体的移动；
第二感测装置，用于以比所述第一保真度高的第二保真度感测所述移动；以及
存储器，存储计算机可执行指令；以及
处理器装置，用于访问所述存储器并且执行所述计算机可执行指令，以至少：
至少部分地基于由所述第一感测装置感测到所述移动，从所述第一感测装置接收指示所述移动的第一信息；
至少部分地基于所述第一信息，确定所述计算设备的用户的潜在动作；
在接收请求以执行所述潜在动作之前，执行对应于所述用户的所述潜在动作的指令；
至少部分地基于由所述第二感测装置感测到所述移动，从所述第二感测装置接收所述请求的指示；以及
至少部分地基于所述请求的指示，提供对应于执行的指令的第二信息。
22.如权利要求21所述的计算设备，其中所述第一感测装置和所述第二感测装置形成所述屏幕外部的传感器栅格。
23.如权利要求22所述的计算设备，其中所述传感器栅格被配置成感测以下中的至少一个：所述物体或发生在所述屏幕外部的所述物体的移动。
24.如权利要求21所述的计算设备，其中所述第一感测装置包括环境传感器，且其中所述第二感测装置包括高效传感器。
25.如权利要求21所述的计算设备，其中所述第一感测装置包括红外传感器或超声传感器中的至少一个，且其中所述第二感测装置包括触摸屏传感器。
26.如权利要求21所述的计算设备，其中所述处理器装置在执行所述计算机可执行指令时还至少部分地基于由所述第一感测装置感测到所述移动而启用所述第二感测装置。
27.如权利要求21所述的计算设备，其中指示所述移动的所述第一信息识别与所述移动相关联的参数，且其中至少部分地基于所述参数确定所述潜在动作。
28.如权利要求21所述的计算设备，其中所述参数包括以下中的至少一个：所述移动的速度、所述移动的方向、由所述第一感测装置监测到的移动与由所述第二感测装置感测到的所述物体的移动之间的时间差、或由所述第一感测装置对所述物体进行的感测与由所述第二感测装置对所述物体进行的感测之间的时间差。
29.如权利要求21所述的计算设备，其中执行所述指令包括以下中的至少一个：向服务器提供请求、向外部计算系统提供信息、请求由网络服务器进行信息处理、或处理与所述潜在动作相关联的数据。
30.一种计算机实现的方法，包括：
用于从计算装置的第一传感器接收第一信息的步骤，所述第一信息指示所述计算装置的屏幕外部且不依赖于与所述屏幕接触的物体的移动，由所述第一传感器以第一保真度感测所述移动；
用于至少部分地基于所述第一信息确定所述计算装置的用户的潜在动作的步骤；
用于在接收请求以执行所述潜在动作之前执行对应于所述用户的所述潜在动作的指令的步骤；
用于至少部分地基于由所述计算装置的第二传感器以比所述第一保真度高的第二保真度感测所述移动而从所述第二传感器接收所述请求的指示的步骤；以及
用于至少部分地基于所述请求的指示来提供对应于执行的指令的第二信息的步骤。
31.如权利要求30所述的计算机实现的方法，其中所述潜在动作包括以下中的至少一个：悬停在所述屏幕处的用户界面元素上方或选择所述用户界面元素。
32.如权利要求30所述的计算机实现的方法，其中所述物体的移动与显示在所述屏幕处的第一用户界面元素相关联，且其中所述第二信息包括显示在所述屏幕的邻近所述第一用户界面元素的区域上的第二用户界面元素。
33.如权利要求32所述的计算机实现的方法，还包括：至少部分地基于所述物体的大小或所述物体的位置中的一个或多个，确定所述屏幕的可视区域，其中所述可视区域的大小设定为用于显示所述第二用户界面元素。
34.如权利要求32所述的计算机实现的方法，其中所述潜在动作包括以下中的至少一个的用户选择：所述第一用户界面元素或所述第二用户界面元素。
35.如权利要求30所述的计算机实现的方法，其中执行所述指令包括在接收所述请求以执行所述潜在动作之前预取所述指令。
36.如权利要求35所述的计算机实现的方法，其中执行所述指令还包括在所述屏幕上显示所述潜在动作的指示。
37.一种计算设备，包括：
屏幕；
第一感测装置，用于以第一保真度感测所述屏幕外部且不依赖于与所述屏幕接触的物体的移动；
第二感测装置，用于以比所述第一保真度高的第二保真度感测所述移动；以及
管理装置，用于至少部分地基于所述移动来管理所述计算设备的动作，所述管理包括：
至少部分地基于由所述第一感测装置感测到所述移动，从所述第一感测装置接收指示所述移动的第一信息；
至少部分地基于所述第一信息，确定所述计算设备的用户的潜在动作；
在接收请求以执行所述潜在动作之前，执行对应于所述用户的所述潜在动作的指令；
至少部分地基于由所述第二感测装置感测到所述移动，从所述第二感测装置接收所述请求的指示；以及
至少部分地基于所述请求的指示，提供对应于执行的指令的第二信息。
38.如权利要求37所述的计算设备，其中所述第一感测装置和所述第二感测装置形成传感器栅格以用于识别不依懒于与所述屏幕接触的所述物体。
39.如权利要求37所述的计算设备，其中所述第二感测装置被配置成不依懒于所述物体与所述屏幕的接触来感测所述物体的移动。
40.如权利要求37所述的计算设备，其中指示所述物体的移动的所述第一信息识别所述物体相对于所述屏幕上的用户界面元素的位置，其中执行所述指令包括至少部分地基于所述物体的所述位置而在所述屏幕上指示悬停在所述用户界面元素上。
41.一种用于管理装置传感信息的计算机实现的方法，包括：
在被配置成具有可执行指令的计算机系统的控制下，
由装置的第一传感器识别与用户相关联的运动，所述运动发生在所述装置的屏幕外部并且包括与所述用户在用户界面元素上方移动相关联的物体，所述用户界面元素呈现在所述装置的屏幕上；
至少部分地基于识别的运动，确定所述用户的一个或多个潜在动作；
在接收到来自所述用户的请求之前，执行至少与所述一个或多个潜在动作的子集相关联的指令；
从所述装置的第二传感器接收所述请求的指示，所述第二传感器被配置成识别与所述装置的屏幕的接触；以及
在接收到来自所述用户的所述请求之后，至少部分基于执行的指令，将信息提供给所述用户。
42.如权利要求41所述的计算机实现的方法，其中与所述用户相关联的所述物体包括以下中的至少一个：所述用户的手、所述用户的手指、所述用户的脸部或由所述用户持有的商品。
43.如权利要求41所述的计算机实现的方法，其中所述用户的所述一个或多个潜在动作包括以下中的至少一个：悬停在所述用户界面元素上方或选择所述用户界面元素。
44.如权利要求41所述的计算机实现的方法，其中提供给所述用户的所述信息包括呈现在所述装置的所述屏幕上的第二用户界面元素。
45.如权利要求44所述的计算机实现的方法，其中所述用户界面元素是第一用户界面元素，且其中所述第二用户界面元素呈现在所述装置的所述屏幕的邻近所述第一用户界面元素的区域上。
46.如权利要求45所述的计算机实现的方法，还包括至少部分地基于与所述用户相关联的所述物体的大小或与所述用户相关联的所述物体的位置中的至少一个，确定所述屏幕的可视区域，所述可视区域足够大以呈现所述第二用户界面元素，且其中所述第二用户界面元素呈现在所述可视区域中。
47.如权利要求44所述的计算机实现的方法，其中所述用户的所述一个或多个潜在动作包括选择呈现在所述屏幕上的所述第一用户界面元素或所述第二用户界面元素中的至少一个。
48.如权利要求44所述的计算机实现的方法，其中执行至少与所述一个或多个潜在动作的子集相关联的所述指令包括以下中的至少一项：将对应于选择呈现在所述屏幕上的所述第一用户界面元素的请求发送到服务器，或者将对应于选择呈现在所述屏幕上的所述第二用户界面元素的请求发送到服务器。
49.如权利要求47所述的计算机实现的方法，其中执行至少与所述一个或多个潜在动作的子集相关联的所述指令包括以下中的至少一项：处理与选择呈现在所述屏幕上的所述第一用户界面元素相关联的数据，或者处理与选择呈现在所述屏幕上的所述第二用户界面元素相关联的数据。
50.如权利要求47所述的计算机实现的方法，其中执行至少与所述一个或多个潜在动作的子集相关联的所述指令包括：在所述屏幕上提供与所述用户相关联的物体位于所述屏幕的图形用户界面元素的上方的指示。
51.如权利要求41所述的计算机实现的方法，其中所述传感器被配置成提供所述装置的所述屏幕外部的传感器栅格，所述传感器栅格被配置成感测以下中的至少一项：发生在所述装置的所述屏幕的外部的运动，以及位于所述装置的所述屏幕的外部但不与所述装置接触的物体。
52.一种用于管理装置传感信息的系统，包括：
屏幕；
第一传感器；
第二传感器，配置成识别所述屏幕外部的物体；
存储器，存储计算机可执行指令；以及
处理器，配置成访问所述存储器，其中所述处理器被配置成执行所述计算机可执行指令，以便至少共同进行：
确定所述物体何时悬停在所述屏幕上的第一图形用户界面元素上方；并且
提供在所述屏幕上的第二图形用户界面元素，以使得所述第二图形用户界面元素呈现在所述屏幕上邻近悬停在所述屏幕上的第一图形用户界面元素上方的所述物体下方的位置。
53.如权利要求52所述的系统，其中所述第一传感器是触敏传感器。
54.如权利要求52所述的系统，其中所述第二传感器被配置成检测所述第一传感器无法检测的所述屏幕外部的物体。
55.如权利要求52所述的系统，其中所述处理器进一步被配置成执行所述计算机可执行指令，以至少共同进行：
至少部分地基于通过所述第二传感器获取的信息，确定从所述用户的角度看，未被所述物体覆盖的所述屏幕的位置；以及
在从所述用户的角度看未被所述物体覆盖的确定位置上，提供所述第二图形用户界面元素。
56.一种用于管理装置传感信息的计算机实现的方法，包括：
由装置的传感器识别与用户相关联的运动，所述运动发生在所述装置的屏幕外部；
至少部分地基于识别的运动，确定所述用户的一个或多个潜在动作；
在接收到来自所述用户的请求之前，执行与所述一个或多个潜在动作的至少一个子集相关联的指令；以及
在接收到来自所述用户的请求之后并且在至少部分地基于所述用户与所述屏幕进行物理接触而识别来自所述用户的请求之后，至少部分地基于执行的指令来向所述用户提供信息。
CN201811100451.7A 2013-03-13 2014-03-11 管理用户装置的传感信息 Pending CN109240503A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/799,150 2013-03-13
US13/799,150 US9164609B2 (en) 2013-03-13 2013-03-13 Managing sensory information of a user device
CN201480014942.3A CN105009036B (zh) 2013-03-13 2014-03-11 管理用户装置的传感信息

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480014942.3A Division CN105009036B (zh) 2013-03-13 2014-03-11 管理用户装置的传感信息

Publications (1)

Publication Number Publication Date
CN109240503A true CN109240503A (zh) 2019-01-18

Family

ID=51525332

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480014942.3A Active CN105009036B (zh) 2013-03-13 2014-03-11 管理用户装置的传感信息
CN201811100451.7A Pending CN109240503A (zh) 2013-03-13 2014-03-11 管理用户装置的传感信息

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480014942.3A Active CN105009036B (zh) 2013-03-13 2014-03-11 管理用户装置的传感信息

Country Status (5)

Country Link
US (3) US9164609B2 (zh)
EP (1) EP2972688B1 (zh)
JP (2) JP6163249B2 (zh)
CN (2) CN105009036B (zh)
WO (1) WO2014164912A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164609B2 (en) 2013-03-13 2015-10-20 Amazon Technologies, Inc. Managing sensory information of a user device
US20140317428A1 (en) * 2013-04-23 2014-10-23 Htc Corporation Pre-processing Operation Method and Related Electronic Device
US20140362518A1 (en) * 2013-06-10 2014-12-11 Wei Huang Thermal management of a portable computing device
US10141929B2 (en) 2013-08-13 2018-11-27 Samsung Electronics Company, Ltd. Processing electromagnetic interference signal using machine learning
US10101869B2 (en) 2013-08-13 2018-10-16 Samsung Electronics Company, Ltd. Identifying device associated with touch event
US10073578B2 (en) 2013-08-13 2018-09-11 Samsung Electronics Company, Ltd Electromagnetic interference signal detection
US9170736B2 (en) * 2013-09-16 2015-10-27 Microsoft Corporation Hover controlled user interface element
US9792961B2 (en) 2014-07-21 2017-10-17 Advanced Micro Devices, Inc. Distributed computing with phase change material thermal management
KR102361247B1 (ko) * 2015-09-08 2022-02-11 엘지디스플레이 주식회사 인-셀 터치 타입 디스플레이 장치, 터치회로, 디스플레이 드라이버 및 인-셀 터치 타입 디스플레이 장치 구동방법
CN105930058A (zh) * 2016-04-21 2016-09-07 青岛海信移动通信技术股份有限公司 一种移动终端应用启动方法、装置及移动终端
US10776408B2 (en) * 2017-01-11 2020-09-15 International Business Machines Corporation Natural language search using facets
CN107291308A (zh) * 2017-07-26 2017-10-24 上海科世达-华阳汽车电器有限公司 一种手势识别装置及其识别方法
US10712931B2 (en) * 2017-08-29 2020-07-14 Apple Inc. Systems for modifying finger sensations during finger press input events
CN107742072B (zh) * 2017-09-20 2021-06-25 维沃移动通信有限公司 人脸识别方法及移动终端
CN107656656B (zh) * 2017-10-24 2021-05-18 业成科技（成都）有限公司 声波式触控装置及其触控判断方法
US10956548B2 (en) * 2018-10-09 2021-03-23 Lenovo (Singapore) Pte. Ltd. User authentication via emotion detection
CN110559645B (zh) * 2019-07-18 2021-08-17 荣耀终端有限公司 一种应用的运行方法及电子设备
CN111523523B (zh) * 2020-06-29 2020-09-25 深圳市汇顶科技股份有限公司 检测显示屏与指纹传感器之间距离的方法、装置和显示屏
CN113741765B (zh) * 2021-09-22 2023-03-10 北京字跳网络技术有限公司 页面跳转方法、装置、设备、存储介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101836219A (zh) * 2007-11-01 2010-09-15 索尼爱立信移动通讯有限公司 基于面部表情生成音乐播放列表
CN102326133A (zh) * 2009-02-20 2012-01-18 皇家飞利浦电子股份有限公司 用于使得设备进入活动模式的系统、方法和装置
CN102609130A (zh) * 2010-12-29 2012-07-25 微软公司 计算设备中的触摸事件预期
US20120262398A1 (en) * 2011-04-14 2012-10-18 Kim Jonghwan Mobile terminal and 3d image controlling method thereof
CN102789572A (zh) * 2012-06-26 2012-11-21 五邑大学 一种活体人脸安全认证装置及方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06119090A (ja) * 1992-10-07 1994-04-28 Hitachi Ltd 省電力制御方式
JP3794686B2 (ja) * 2002-07-11 2006-07-05 株式会社シーイーシー リンク先画面表示システム、リンク先画面表示プログラム及び該プログラムを格納した記憶媒体
EP1567927B1 (en) * 2002-11-29 2013-07-10 Koninklijke Philips Electronics N.V. System and method for user interface with displaced representation of touch area
JP2005242777A (ja) * 2004-02-27 2005-09-08 Toshiba Corp 顔照合装置および通行制御装置
JP4649933B2 (ja) * 2004-09-30 2011-03-16 マツダ株式会社 車両用情報表示装置
ITMI20042004A1 (it) 2004-10-21 2005-01-21 St Microelectronics Srl "dispositivo per la correzione del fattore di potenza in alimentatori a commutazione forzata."
JP2006338236A (ja) * 2005-06-01 2006-12-14 Matsushita Electric Ind Co Ltd 眼画像撮影装置およびそれを用いた認証装置
JP2007081720A (ja) 2005-09-13 2007-03-29 Sanyo Electric Co Ltd 符号化方法
JPWO2007119818A1 (ja) * 2006-04-14 2009-08-27 日本電気株式会社 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP2009003867A (ja) * 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
JP5015675B2 (ja) 2007-06-27 2012-08-29 株式会社リコー 加熱装置および定着装置ならびに画像形成装置
US20100287032A1 (en) 2009-05-07 2010-11-11 Roy Wallace Systems and methods for matching desired purchases and sales of mis-matched items
JP2010287032A (ja) * 2009-06-11 2010-12-24 Mitsubishi Electric Corp 入力装置
TW201104529A (en) 2009-07-22 2011-02-01 Elan Microelectronics Corp Touch device, control method and control unit for multi-touch environment
JP5316338B2 (ja) * 2009-09-17 2013-10-16 ソニー株式会社 情報処理装置、データ取得方法及びプログラム
US9357118B2 (en) 2010-02-15 2016-05-31 Sony Corporation Photograph prediction including automatic photograph recording with autofocus and method
CN102845076B (zh) * 2010-03-26 2014-04-02 夏普株式会社 显示装置、控制装置、电视接收机、显示装置的控制方法、程序及记录介质
US20110252349A1 (en) * 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
KR101251478B1 (ko) 2010-12-03 2013-04-05 기아자동차주식회사 직동식 ｃｄａ 기구
US8994646B2 (en) 2010-12-17 2015-03-31 Microsoft Corporation Detecting gestures involving intentional movement of a computing device
JP5652652B2 (ja) * 2010-12-27 2015-01-14 ソニー株式会社 表示制御装置および方法
KR101889838B1 (ko) * 2011-02-10 2018-08-20 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
AU2012253292B2 (en) * 2011-05-12 2015-10-29 Apple Inc. Presence sensing
WO2012157272A1 (ja) * 2011-05-16 2012-11-22 パナソニック株式会社 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム
US8661339B2 (en) * 2011-05-31 2014-02-25 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
KR101423536B1 (ko) 2011-06-14 2014-08-01 한국전자통신연구원 인쇄매체 기반 혼합현실 구현 장치 및 방법
US9110502B2 (en) 2011-12-16 2015-08-18 Ryan Fink Motion sensing display apparatuses
US9164609B2 (en) 2013-03-13 2015-10-20 Amazon Technologies, Inc. Managing sensory information of a user device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101836219A (zh) * 2007-11-01 2010-09-15 索尼爱立信移动通讯有限公司 基于面部表情生成音乐播放列表
CN102326133A (zh) * 2009-02-20 2012-01-18 皇家飞利浦电子股份有限公司 用于使得设备进入活动模式的系统、方法和装置
CN102609130A (zh) * 2010-12-29 2012-07-25 微软公司 计算设备中的触摸事件预期
US20120262398A1 (en) * 2011-04-14 2012-10-18 Kim Jonghwan Mobile terminal and 3d image controlling method thereof
CN102789572A (zh) * 2012-06-26 2012-11-21 五邑大学 一种活体人脸安全认证装置及方法

Also Published As

Publication number Publication date
WO2014164912A1 (en) 2014-10-09
US9459731B2 (en) 2016-10-04
US20140267167A1 (en) 2014-09-18
US9746957B2 (en) 2017-08-29
JP2016517082A (ja) 2016-06-09
EP2972688A1 (en) 2016-01-20
CN105009036B (zh) 2018-10-16
US9164609B2 (en) 2015-10-20
US20160370935A1 (en) 2016-12-22
EP2972688B1 (en) 2019-06-05
EP2972688A4 (en) 2016-11-09
US20150338999A1 (en) 2015-11-26
JP2017208107A (ja) 2017-11-24
JP6407363B2 (ja) 2018-10-17
CN105009036A (zh) 2015-10-28
JP6163249B2 (ja) 2017-07-12

Similar Documents

Publication Publication Date Title
CN105009036B (zh) 管理用户装置的传感信息
KR102278822B1 (ko) 가상 현실 입력의 수행
US20210318898A1 (en) Tenant-side detection, classification, and mitigation of noisy-neighbor-induced performance degradation
US10895961B2 (en) Progressive information panels in a graphical user interface
US10108791B1 (en) Authentication and fraud detection based on user behavior
US9213436B2 (en) Fingertip location for gesture input
US9268407B1 (en) Interface elements for managing gesture control
CN106605202A (zh) 根据触摸输入的偏手性检测
CN107526521B (zh) 向触摸手势应用偏移的方法及系统以及计算机存储介质
TWI622941B (zh) 移動裝置、用於預測使用者行為的方法、及非暫時性電腦可讀取儲存媒體
CN107209905A (zh) 针对个性化和任务完成服务而对应用去主题归类
CN104335561A (zh) 生物识别发起的通信
CN103620620A (zh) 在设备交互中使用空间信息
CN103797481B (zh) 基于手势的搜索
CN116368468A (zh) 用于经由操作系统用户界面提供选项卡预览的系统和方法
CN107077193A (zh) 通过倾斜姿势导航数字内容
US9400575B1 (en) Finger detection for element selection
CN109074372A (zh) 使用拖放来应用元数据
KR20140091693A (ko) 간접 상호작용 디바이스를 위한 상호작용 모델
TW201234259A (en) Systems and methods for screen data management, and computer program products thereof
WO2018129269A1 (en) Execution of multiple applications on a device
CN108182022A (zh) 支持页面聚焦的、基于触摸或手势的浏览体验的导航用户接口
WO2016004585A1 (en) Method and system for personalized presentation of content
BR102015004976A2 (pt) método para adaptar a interface de usuário e as funcionalidades de aplicações móveis de acordo com o nível de experiência do usuário
CN112306606A (zh) 一种用于呈现控件样式的方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118