CN107852566A - 基于背景的手势识别和控制 - Google Patents
基于背景的手势识别和控制 Download PDFInfo
- Publication number
- CN107852566A CN107852566A CN201580071868.3A CN201580071868A CN107852566A CN 107852566 A CN107852566 A CN 107852566A CN 201580071868 A CN201580071868 A CN 201580071868A CN 107852566 A CN107852566 A CN 107852566A
- Authority
- CN
- China
- Prior art keywords
- mobile device
- equipment
- user
- gesture
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4604—LAN interconnection over a backbone network, e.g. Internet, Frame Relay
- H04L12/462—LAN interconnection over a bridge based backbone
- H04L12/4625—Single bridge functionality, e.g. connection of two networks over a single bridge
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/08—Access security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/008—Alarm setting and unsetting, i.e. arming or disarming of the security system
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/14—Central alarm receiver or annunciator arrangements
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/32—Remote control based on movements, attitude of remote control device
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/60—Context-dependent security
- H04W12/63—Location-dependent; Proximity-dependent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/60—Context-dependent security
- H04W12/68—Gesture-dependent or behaviour-dependent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
- Selective Calling Equipment (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
Abstract
描述了由用户设备接收位置数据的移动设备和方法,其中用户设备被配置为对一个或多个不同的远程系统/设备执行多个不同的控制动作,从传感器接收手势数据,处理位置数据和手势数据以确定执行控制动作的命令并且确定所述远程系统/设备中的要在其上执行命令的特定的远程系统/设备,并且使包括所确定的命令的消息被发送到所述远程系统/设备中所确定的特定的系统/设备以由所述系统/设备中的特定的系统/设备执行所确定的控制动作。
Description
优先权要求
本申请依据35U.S.C.§119(e)要求于2014年12月30日提交的标题为“ContextualBased Gesture Recognition and Control”的临时美国专利申请62/097,648以及标题为“Contextual Based Gesture Recognition and Control”的美国专利申请14/982,113的优先权,两者的全部内容通过引用并入本文。
背景技术
本发明书涉及对电子设备和系统(诸如报警/入侵系统)的控制。
企业和消费者常常有需要用户输入以进行控制/管理的系统。这种用户系统是普遍存在的。这种系统的示例包括商业/住宅监控和/或入侵和/或报警系统,用于检测处所的状况的存在,以及用于向中央监控站发送信息(诸如来自相机的视频或来自检测器/传感器设备的消息)。
在这些监控和/或入侵和/或报警类型的系统中,存在用于移动安全管理系统/应用的开发技术。目前一种此类方法是集成安全移动安全管理应用,其提供直观的安全系统控制、用户管理和远程位置管理特征。该应用将远程控制安全性与在AndroidTM智能电话或平板电脑上查看直播流媒体视频的功能相结合。该应用还允许诸如从移动设备对入侵系统进行布防和解除布防、接收文本和电子邮件警报、管理和绕过区域(zone)、对用户访问的远程管理等功能。
发明内容
但是,移动安全管理应用的常规做法的主要限制之一是,为了使用户与例如家庭内的各种可控物品进行交互,需要用户手动地交互或执行应用,例如使用移动计算机系统或固定计算机系统的web应用或移动智能电话设备上的移动应用的执行。这种类型的交互常常导致消费者决定设备应当反应的时间与设备实际反应的时间之间的滞后。这种类型的交互可能会让一些用户感到困惑或难以学习,因为许多系统需要通过移动安全管理应用的菜单等进行复杂的用户交互。
根据一方面,移动设备包括被配置为接收移动设备的位置数据的电路系统,该设备被配置为对一个或多个远程系统和/或设备执行多个不同的控制动作(其中所述系统和/或设备远离用户的身体),从内置在移动设备中的传感器接收手势数据,确定一个或多个远程系统和/或设备中的要对其执行命令的至少一个,处理位置数据和手势数据以确定对一个或多个远程系统和/或设备中所确定的至少一个执行控制动作的命令,以及使包括所确定的命令的消息从移动设备被发送到系统/设备中所确定的特定的一个以便由系统/设备中的该特定的一个执行所确定的控制动作。
附加的方面包括存储在计算机可读硬件设备上的方法、系统和计算机程序产品,其中计算机可读硬件设备可以包括各种类型的计算机存储设备,包括存储器和磁盘存储。
上述方面中的一个或多个可以提供以下一个或多个优点。
这些技术提高了设备/系统对用户要在特定的设备/系统上执行的期望操作的响应时间,从而使用户的体验更加无缝且直观。
在附图和下面的描述中阐述本发明的一个或多个实施例的细节。根据说明书和附图以及根据权利要求和本文所讨论的各种示例,本发明的其它特征、目的和优点是清楚的。
附图说明
图1是在处所的示例安全系统的示意图。
图2是描绘用户移动设备的细节的框图。
图3、4和4A-4B是示出由用户移动设备中的处理器执行的示例处理的流程图。
图5A-5H是示出由智能手表设备的处理器执行各种处理的界面的示例的智能手表设备显示面的图示。
具体实施方式
下面描述的是允许用户通过与客户端、移动设备的间接用户交互来与远程设备/系统进行交互的技术。为了解释的目的,移动设备是蜂窝电话或智能手表,并且示例性设备/系统是通常在用户的房屋内可见的设备/系统,诸如门上的电子锁、安全系统、遥控扬声器、遥控窗帘/百叶窗等。在下面的示例中,被远程控制的系统是安全系统(例如,物理入侵检测系统)。其它系统/设备可以以下述方式进行控制。
现在参考图1,布置10包括在处所14的安全系统12。在这种布置10中,处所14是住宅,但处所可以替代地是任何类型的处所,例如商业、工业建筑物等。安全系统12包括控制面板16和分散在整个处所中的各种可能的多个传感器/检测器28,以及小键盘30。术语“传感器”和“检测器”在本文中可互换使用。传感器/检测器28无线(或有线)耦接到面板16。安全系统12通过一个或多个数据网络24(仅示出了一个)(诸如互联网)与中央监控站18和一个或多个授权的用户设备20(仅示出了一个)通信。控制面板16与一个或多个检测器28通信,并从检测器28接收关于被监控的处所的状态的信息。
检测器28的示例包括运动检测器、摄像机、玻璃破裂检测器、有毒气体传感器、烟/火检测器、麦克风、接触/接近开关等。检测器28可以硬连线到控制面板16或者可以无线地与控制面板16通信。检测器28感测/检测其中状况(诸如运动、玻璃破裂、气体泄漏、火灾和/或进入点的破坏等)的存在,并且例如经由有线或无线地向控制面板16发送电子消息。基于从检测器接收的信息,控制面板16确定是否触发报警,例如通过触发在处所14的一个或多个警报器(未示出)和/或向监控站18和/或向用户设备20发送警报消息。在一些实现方式中,一些检测器28可以无线地向用户设备20发送电子消息。
用户访问控制面板16以控制安全系统12。示例性控制动作包括使安全系统解除布防、使安全系统布防、输入控制面板16的预定的标准以触发警报、停止已被触发的警报、添加新的检测器、改变检测器设置、实时观看监控状态等。
用户可以直接在处所14访问安全系统12,例如通过连接到控制面板16的小键盘30。在一些实现方式中,控制面板16还可以包括示出图形用户界面的显示器(未示出),以辅助用户对安全系统12的控制。显示器可以是触摸屏显示器类型,使得用户可以通过显示器直接与控制面板和安全系统交互。
用户还可以通过用户设备20访问控制面板16,用户设备20可以在处所14或者远离处所14。与控制面板交互的一种常规方法是经由在用户设备20上呈现用户界面屏幕或窗口的常规应用。为了允许用户通过用户设备20访问控制面板16,并且为了保护安全系统12免受未经授权的访问,控制面板16、监控中心18和/或用户设备20实现一个或多个认证级别。认证可以是各种类型,包括用户生物认证、来自用户的输入(例如提供给用户的安全码或PIN)、由用户创建的密码,和/或提供给用户的RFID芯片。在一些实现方式中,可以使用主要和次要级别的认证。
经授权的用户获得对安全系统12的访问权,以请求安全系统12执行上述控制动作(或其它控制/管理动作)中的一个或多个。无论访问是通过与安全系统12的控制面板16的本地(或直接)物理交互进行、经由小键盘30进行还是通过用户设备20远程(或间接)进行,安全系统12都经由控制面板16上的网络连接来接收命令并接收配置系统12的消息,以便在用户被确定为针对这些请求被授权的人时执行在请求中指定的控制动作。
在图1中还示出,移动设备访问管理应用21驻留在用户设备20上,移动设备访问管理应用21产生允许用户通过与一个或多个客户端、移动设备(例如,在其上执行移动设备访问管理应用21的设备20)的间接交互来(通过控制面板16)与远程设备/系统(例如,系统12)交互的消息。在一些实现方式中,移动设备访问管理应用21还可以经由使用用户设备20上的图形用户界面等的常规直接交互来提供访问。移动设备访问管理应用21在用户设备20上执行并且与用户存在和用户手势相结合来产生控制系统12的这种命令。用户设备可以是智能电话或可穿戴部件,诸如智能手表(如图4A-4I所示)。
现在参考图2,用户设备20(智能手表或智能电话、平板计算设备或其它便携式移动手持用户设备)包括处理器设备32、可操作地耦接到处理器设备32的存储器34、存储装置36、接口38、显示器33、网络接口卡35、经由接口38耦接的用户设备(例如小键盘38a和相机38b)、一个或多个总线37等,以及GPS(全球定位)系统收发器39。
由处理器设备32与存储器34和/或存储装置36相关联地执行移动设备访问管理应用21。移动设备访问管理应用21从用户设备接收用户输入并产生控制消息,该控制消息经由在系统12和用户设备20之间建立的网络连接经由网络接口卡35发送到控制面板16(图1)。网络接口卡35向/从由用户设备20远程控制并连接到网络的系统(或设备)发送数据。网络可以是本地网络和/或互联网的一部分。
使用户设备“智能”的要求(例如,在智能电话或智能手表中)要求设备20具有能够在移动操作系统(例如,智能电话、平板电脑、PDA或其它移动设备的操作系统)的控制下执行应用21(并且一般而言可以执行其它类型的应用)的处理器设备。移动操作系统支持特定的“移动”特征,诸如运动控制和GPS。移动操作系统包括在个人计算机操作系统中发现的一些特征以及其它特征(诸如对显示器25的触摸屏控制、蜂窝和/或蓝牙、连接Wi-Fi、连接、GPS移动导航、相机/摄像机等)。
移动设备访问管理应用21经由运行内置在移动设备(诸如智能电话和手表)中的应用的加速度计、红外检测器来将存在识别(例如,基于射频或基于运动检测器或诸如GPS的其它技术)与手势或运动识别捕获相结合。通过结合存在和手势的这些元素,向用户提供在特定位置做手势并让特定设备/系统在最短时间内对手势作出反应并提供期望行为的能力。移动设备访问管理应用21使得能够通过将存在识别与手势或运动识别相结合来在用户的整个处所中利用手势进行对设备/系统的控制。
一种类型的手势是用户的移动设备20以若干预定义的模式中的一种来移动。另一种类型的手势是指点设备的用户划过移动设备的触摸屏显示部分的移动,如下面将在5A-5H中讨论的。
移动设备访问管理应用21可以是提供安全系统控制和用户管理特征的安全管理应用的一部分,其中移动设备访问管理应用21与安全管理应用集成。可替代地,移动设备访问管理应用21可以是独立的应用。
在一方面,移动设备访问管理应用21处理被动请求和主动请求。移动设备访问管理应用21的这种实现方式将被在本文的描述中被用作实施例,注意移动设备访问管理应用21可以被配置为仅处理被动请求。
被动请求不涉及由用户做出的显式请求,而是通过客户端设备20中的处理来推断请求。被动请求的示例包括用户设备20的存在检测,检测到用户设备(并且可能是用户)正在接近可以由移动设备访问管理应用22控制或交互的设备/系统。用户设备接近设备/系统的检测也可以涉及用户设备20识别出用户已经执行了设备20捕获并识别的手势。由发送消息以在设备/系统上进行控制(或以其它方式执行动作)的设备20处理存在检测以及适当的手势检测。
请求可以是主动请求。主动请求涉及由用户在客户端设备20上执行的显式请求动作。主动请求的示例包括用户访问显示用于要被控制的设备/系统的控制功能的常规图形用户界面、主动将数据输入到设备并使设备20向要被控制的设备/系统发送消息。
现在参考图3,示出了移动设备访问管理应用21的细节。在一方面,用户设备20上的移动设备访问管理应用21接收42在系统/设备上执行动作的主动请求。客户端设备20上的服务器进程确定44对控制动作的请求是否伴随着手势,即,是否做出了主动请求。
当客户端设备20上的服务器进程确定已经做出了主动请求(手势+存在)时,服务器进程根据存在和手势来解译46b请求(参见图4)。否则,当客户端设备20上的服务器进程确定所做的请求不伴随有手势(仅存在)时,服务器进程将请求解译46a为被动请求。
无论是被动还是主动请求,客户端设备20上的服务器进程针对该请求确定48任何(一个或多个)附加动作是否存在,并且,当该确定被满足时,服务器进程根据被动请求执行50处理。当由于未能满足(一个或多个)附加动作中的任何一个或多个,客户端设备20上的服务器进程没有完全确定该被动或主动请求时,服务器进程执行根据请求向用户发送重试的消息54的指令,并且,如果操作未成功完成,则执行其它动作。
无论是作为解译46b请求的服务器进程的一部分,还是作为确定是否需要附加动作的服务器进程的一部分,移动设备访问管理应用21还将使用位置数据来确定移动设备是否在距离移动设备访问管理应用21寻求控制的设备的预定义距离内。例如,如果需要设备/系统与移动设备的接近度,则移动设备20可以存储指示每个设备/系统是否存在对设备/系统与移动设备的接近度的需要的参数。如果有该需要,则将包括值。因此,例如,可以设置指示控制安全系统的移动设备必须在处所的50英尺内的协议。
例如,如果处理是要使系统12解除布防并且系统12在执行动作之前需要其它信息(诸如认证),或者如果系统12需要确定该动作对于用户是否被授权或有效,则系统12将在执行与接收到的请求相关联的动作之前将该处理作为确定特征48的一部分来执行。如果附加处理被成功执行,则执行50与该请求对应的动作。否则,系统12可以采取其它动作,诸如重试或锁定或仅退出。
依赖于要由客户端设备20控制的系统的性质,客户端设备上的移动设备访问管理应用21与要被控制的设备/系统上的对应的应用相关联地执行必要的处理。
现在参考图4,移动设备访问管理应用21处理被动请求以及上面讨论的主动请求。在该模式下,客户端设备20上的服务器进程接收62指示用户在地理位置中的存在的信息。移动设备访问管理应用21使用一个或多个算法基于存在信息来确定64被动请求的存在。这些算法依赖于移动设备访问管理应用21寻求控制的设备/系统、要控制的设备/系统的当前状态以及用户设备20相对于要控制的设备/系统的位置,如由存在数据确定的。即,为了处理接收到的存在数据以确定用户是否已经做出隐式请求,服务器进程确定距离要被控制的设备/系统的距离和/或确定用户设备20在特定位置内的存在。
服务器进程还确定56所做出的被动请求是否需要手势66。如果服务器进程确定所做出的被动请求不需要手势,则服务器进程确定或执行68控制动作所需的任何其它处理。对“控制动作所需的其它处理”的需求依赖于请求中涉及的特定控制动作并且可能不是所有请求所需的处理。
另一方面,如果服务器进程确定所做出的被动请求需要手势,则服务器进程捕获70用户手势(如果没有捕获任何手势,则进程可以退出或等待捕获手势或采取未示出的其它动作)。执行动作的一些请求要求同时接收手势,而其它请求可能不要求。要求后续接收手势的那些请求处理手势以使应用21确定请求具体需要什么动作。为了处理捕获的手势,服务器进程应用以下规则集合:首先检测手势,然后将检测到的手势映射成识别出的手势并识别手势72。
服务器进程基于请求、存在信息和识别的手势来应用规则集合以确定或解译74请求,从而确定或解译在请求中涉及什么特定的控制动作。如果移动设备访问管理应用21确定76由请求指定的唯一动作,则移动设备访问管理应用21确定动作是否需要其它处理68。
因此,不论是对于仅需要存在信息的动作还是需要存在数据和手势数据二者的动作,通过发送78执行命令的消息并在用户设备20上从被控制的系统/设备接收80确认该动作的执行的消息,移动设备访问管理应用21采取适当的预定义动作来控制远程系统/设备。如果没有从存在数据和手势数据确定请求,则进程使用户设备20发出重试消息或以其它方式退出请求处理82。
现在参考图4A和4B,所描述的技术涉及识别用户位置并提供用户目前在哪里以及在做什么的背景的计算机处理。可以使用若干方式来识别用户的设备在处所内的位置(例如,包括使用射频(r.f)检测器、运动检测器和其它存在传感器技术的房屋)。可以使用若干方式来识别手势或识别要与其进行交互的设备,方式包括特定于手势的动作(运动),以及内置在例如手表和智能电话中的图像识别。
如图4A中所示,客户端设备20上的处理64(图3)包括从位置传感器类型传感器接收存在数据62(图3)。处理64处理来自许多不同类型的传感器的数据,包括Wi-Fi(或其它R.F.信号)以用于利用部署在处所中的对应传感器进行三角测量,以及处理全球定位系统数据(GPS)以找出与消费者的当前位置关联的坐标。可以使用其它传感器,尤其是当有用户在某个位置的存在的一些现有知识时。因此,例如,可以使用处理湿度的传感器来指示用户处于高湿度区域中,其中,如果先前通过Wi-Fi或GPS确定用户在用户的家中,则可以使用该设备推断用户在浴室或厨房里。
客户端设备上的处理64还包括处理64a来自这些传感器的这种数据,以建立用户在处所的空间内的位置坐标。客户端设备20上的处理64a处理来自数据库的数据,该数据库保存关于用户可以通过被动请求来控制的设备/系统的数据。移动设备访问管理应用21的处理64还确定64b客户端设备20是否在可以经由被动请求来控制的此类设备/系统中的一个或多个的范围内。若否,则客户端设备继续64a处理来自传感器的数据。处理64从数据库中检索64c被确定为在客户端设备的范围内并且可以利用被动请求来控制的设备的那些记录。
如图4B中所示,除了处理存在数据(图4A),客户端设备20上的处理64(图3)还可以处理64d来自其它不同类型的传感器的数据,包括来自气压计、光度计、湿度检测器和温度计的传感器数据,以提供对用户的当前状态的洞察。例如,客户端设备上的光度计确定环境光照条件,并且,例如,处理可以确定用户的位置在黑暗的位置并且手势为向上,因此处理可以推断用户希望灯打开。另一个例子是温度计指示温度低于正常舒适阈值,并且用户执行处理推测为增加热量的命令的圆形顺时针手势。
各种其它传感器包括用户设备20上的陀螺仪传感器、重力传感器、磁力计以及旋转矢量传感器或取向传感器。这些后述的传感器是具有过滤和净化的数据以便于解译的传感器的组合。其它传感器包括加速度计,以便获知倾斜、俯仰、滚动,以及用于取向数据的其它传感器。
对于由用户通过用户设备请求的所选择的控制动作,在实现一个或多个认证过程之前或之后,用户设备20可以被配置为通过移动设备访问管理应用22来执行此类动作。移动设备访问管理应用从例如内置在设备中的r.f.检测器接收存在识别数据,或者从运动检测器设备接收运动识别数据。可以使用其它存在识别方法。移动设备访问管理应用21在接收到存在信息时可以确定客户端设备20的位置。在某个时间点,移动设备访问管理应用21接收手势并处理手势以识别手势,诸如利用图像识别,或者使用其它传感器(诸如加速度计,以便实现倾斜、俯仰、滚动),或者在手表上的表盘等上执行简单的手表自动化控制操作。
可以被控制的示例性物品包括设备(诸如音频设备,以使设备播放、暂停、移动到下一个或前一个轨道、静音等)、车库门开启系统、具有电子锁的外门、灯、百叶帘/窗帘、恒温器、电器继电器以及使安全系统布防/解除布防并在安全系统上执行其它动作,如图1中那样。
使用示例场景:
用户走到用户的房屋,并且当用户接近房屋的前门时,用户客户端设备20(例如,用户的智能手表)具有接收例如从门上的电子锁发送的信号的蓝牙接收器/发送器。因此,在手表上执行的移动设备访问管理应用21识别例如从门上的电子锁发送的信号,并将该信号作为请求来处理。移动设备访问管理应用21确定用户的手表是否在前门的预定距离内(例如通过GPS坐标,以及或者通过用户例如扭动他/她的手来提供手势以模拟开门或者仅仅通过走向门的动作),移动设备访问管理应用处理请求,并且在手表上执行的移动设备访问管理应用21将信号发送到门上的电子锁,从而使门上的电子锁解锁。在手表上执行的移动设备访问管理应用21可以是认证过程,该认证过程使用户能够并且只有用户能够让移动设备访问管理应用21执行。
继续该示例,手表内部的运动检测器识别运动,也识别手表的存在,从而向手表发送通知消息,以便让用户解除布防(例如,使发出警报延迟30秒),提示用户在手表上输入代码,一旦输入,房屋报警器就被解除布防。
用户走进厨房并且用户在厨房中的存在被识别出。用户向上挥动一只手并且手表将该手势识别为打开厨房中的灯光的命令。手表向系统发送打开灯的命令。用户将他的手朝着蓝牙控制的音频设备向前推。手表和设备进行连接,并且默认的播放列表开始播放。用户离开房间并且灯关闭(手表的存在已被移除),音乐停止。用户在起居室里将他/她的手向外挥动,并且百叶窗打开以允许光进入。用户旋转他/她的手(以用于唤醒的命令手势),然后顺时针旋转,以使用手表上可视地显示的界面来增加房间的温度。用户决定离开房屋。用户的存在已被移除,因此门锁上,百叶窗关闭,灯关闭,恒温器调节,并且用户的手表接收到用户已离开房屋并且应当使房屋报警系统“布防”的通知消息。用户确认并输入他/她的个人识别码(pin),以使报警系统布防。
现在参考图5A-5H,示出了作为智能手表90的用户设备20的示例。智能手表90可以是对于用户设备20具有图2中所讨论的特征的功能的任何商业可用的智能手表。智能手表90具有面显示器部92。面显示器92经由LCD、LED、电子墨水或其它合适的显示技术电子地生成。所示出的智能手表90的面92将呈现各种屏幕,一般而言,如下面所讨论的,在选择来自较高级屏幕的图标时,在顶级或高级屏幕的层次结构中呈现下级屏幕。
图5A示出了如正常手表那样具有面92的智能手表90,其中外观是面92显示具有当前时间的屏幕94a。
图5B示出了具有面92的智能手表90,其中移动设备访问管理应用21正呈现出现在面92上的界面94b(顶级或高级屏幕)。在该实现方式中,通过用户滑动(例如表面92上的箭头96b所指示的向上滑动),移动设备访问管理应用21进入安全应用,其中用户可以提供密码(如果应用被这样配置)。可替代地,可以通过语音识别命令来调用安全应用。
图5C示出了具有面92的智能手表90,其中移动设备访问管理应用21呈现显示在面显示器上的界面(替代的上级屏幕),从而提供与自动化和安全操作相关联的可滚动项目94c(图标)。在该实现方式中,显示电子锁应用图标96c-1、灯应用图标96c-3、相机应用图标96c-2和恒温器应用图标96c-4。其它应用(app)可以通过向上/向下滑动来提供和显示,诸如通过移动设备访问管理应用21来控制安全系统的安全应用。
图5D示出了具有面92的智能手表90,其中面92具有通过选择恒温器应用96c-4(图5C)产生的恒温器界面94d。从恒温器界面94d,可以通过在面显示器92上显示的移动设备访问管理应用21来控制恒温器。从这个屏幕,利用在合适的可控恒温器(未示出)附近的智能手表90或者直接控制这种恒温器的计算设备(未示出),通过用户从白色刻度向左或向右滑动他/她的手指来调节温度点,背景基于制热、制冷而改变颜色。
图5E示出了具有面92的智能手表90,其中面92呈现界面屏幕94e,界面屏幕94e来自移动设备访问管理应用21的锁应用96c-1(图5C)的选择。通过靠近门的智能手表90,通过用户在门图标上滑动他/她的手指,锁将解锁。可替代地,在锁应用模式下,用户可以仅仅接近门,并且最靠近的门的门上的锁将通过智能手表解锁,从而使面92显示具有被编程为由应用21控制的电子锁(未示出)的门的图标。应用将产生被发送到电子锁的适当消息,从而使门(最靠近智能手表90的门)被显示(例如前门96e以绿色显示),基于处理器根据手表和锁应用的配置处理接近度数据和/或接近度和手势数据而被自动解锁。
图5F示出了具有面92的智能手表90,其中面92呈现移动设备访问管理应用21的灯应用,从而在面显示器上显示图标94f。在客户端设备20在灯附近的情况下,通过在灯图标上滑动用户的手指,灯将打开。可替代地,用户通过仅接近灯将使面显示被编程的灯图标,从而使其中一个灯(例如,对于前门以绿色显示的灯)基于处理器根据手表和灯应用的配置处理接近度数据和/或接近度和手势数据而被自动打开。
图5G-5H示出了智能手表面,其具有启用的移动设备访问管理应用的安全应用以及在面显示器上显示的用于使图1中的安全系统布防和解除布防的图标。通过轻击智能手表的面92,移动设备访问管理应用21产生适当的信号,以将图1的安全系统在布防状态与解除布防状态之间切换。
一般而言,系统的使用示例包括防盗报警器、火灾报警器(用于检查确认报警器的核对标记手势)、停车或门禁控制设备,以及照明、闭路电视(CCTV)(如果用户被授权访问并且用户位于相机附近,则用户可指向相机以流传输视频)。可以使用视频流传输技术将视频作为小剪辑流传输到移动设备。
其它使用示例包括访问控制、恒温控制,例如,如上面所讨论的,示出基于顺时针或逆时针旋转上升或下降的数字的圆形手势(或者在手表的表盘上,或者通过用户的持有附接到用户的手腕的移动设备或手表的手),以改变恒温器上的温度以及控制音乐。另一个使用示例是对对讲机的控制,例如,用户不在对讲机按钮附近,但是手表具有麦克风和扬声器,并且来自对讲机的信号被转发到手表,并且信号从手表发送到对讲机的情况。其它控制场景包括对车库、百叶窗、残疾人便利设施、电器和电视或其它娱乐电子产品的控制。其它示例包括电气池盖(手臂在池附近挥动启用马达来打开或关闭池)、解锁计算机工作站(示例–当用户在附近时上下上下的拍击可以解锁我们的工作站)、解锁电话或其它设备(示例–在电话的4英寸以内轻轻地左右左右摇晃手腕以解锁屏幕)。在两个智能设备之间交换数据或信息(示例–握手提示手表接受接触卡)。其它使用示例包括利用接近和向上扫过或画圆的用户手势进行车辆解锁,以基于车辆和用户的GPS坐标远程启动。
在每个使用示例中,远程受控的系统和/或设备中特定的一个对于可以由用户设备控制的每个命令具有格式以及该系统/设备可以在其上接收命令的IP地址。智能手表处理器根据针对特定系统/设备指定的格式的命令产生消息,以执行由系统/设备中特定的一个确定的控制动作。
因此,所描述的实现方式涉及识别用户的当前位置以及响应于手势而基于手势和位置来执行智能的动作。
其它使用示例可以涉及办公楼自动化、安全和防火系统、家庭自动化及其它行业。各种可穿戴传感器和基于位置的技术的使用使用户设备能够做出智能的决策,这将使作业、生活和交互更加无缝和高效。
对于控制安全系统的安全应用,由/从用户设备20生成的信息被发送到中央监控站。示例监控站可以是图1中的单个物理监控站或中心。但是,它也可以可替代地由多个监控中心/站形成,其中每一个位于不同的物理位置,并且每一个都与数据网络通信。中央监控站18包括一个或多个监控服务器,每个监控服务器处理来自由该监控站服务的订户的面板和/或用户设备的消息。可选地,监控服务器还可以参与双向音频通信或以其它方式经网络与适当装备的互连面板和/或用户设备通信。
监控服务器可以包括处理器、网络接口和存储器(未示出)。监控服务器可以物理地采取机架安装的卡的形式,并且可以与一个或多个操作员终端通信。示例监控服务器是SURGARDTM SG-System III Virtual或类似的接收器。
每个监控服务器的处理器充当每个监控服务器的控制器,并且与每个服务器通信并控制整体操作。处理器可以包括存储处理器可执行指令的存储器或者与其通信,其中指令控制监控服务器的整体操作。合适的软件可以存储在每个监控服务器的存储器中,该合适的软件使每个监控服务器能够针对不同的安全系统认证用户,确定所请求的控制动作是否可以基于从其发送请求的用户设备的位置在安全系统执行,或者执行其它功能。软件可以包括合适的互联网协议(IP)栈和应用/客户端。
示例用户设备包括显示器和小键盘,并且,在一些实现方式中,用户设备是智能电话。小键盘可以是物理小键盘,或者可以是在显示器的一部分中显示的虚拟小键盘。用户可以通过小键盘和显示器与在用户设备上运行的(一个或多个)应用交互。用户设备还包括相机、免提电话和麦克风。
在结构上,用户设备还包括用于执行软件指令并执行功能的处理器,其中功能诸如用户设备的原始预期功能(诸如蜂窝电话呼叫、互联网浏览等)以及附加功能(诸如对于安全系统的用户认证过程、与安全系统和/或安全系统的监控站的通信,和/或地理限制的应用以控制要由安全系统执行的动作。用户设备的存储器存储与执行软件指令相关联的软件指令和/或操作数据。可选地,指令和数据也可以存储在用户设备的存储设备(未示出)中。用户设备还包括在不同元件(诸如用户设备的相机、显示器、小键盘、处理器、存储器等)之间提供连接的一个或多个设备接口。用户设备还包括用于与(一个或多个)外部网络(诸如图1的网络)以及其它设备进行通信的一个或多个网络接口。
存储器存储用户设备和服务器使用的程序指令和数据。所存储的程序指令可以在用户设备上执行功能。存储在存储器中的程序指令还存储允许网络通信和建立与网络的连接的软件部件。例如,软件部件可以包括互联网协议(IP)栈,以及用于各种接口(包括接口和小键盘)的驱动器部件。适用于用户设备的操作、建立连接和经网络通信的其它软件部件(诸如操作系统)对于普通技术人员将是清楚的。
虽然描述了方法和系统的某些实施例,但是这些实施例中可以包括变化,或者也可以使用其它实施例。其它实施例在以下权利要求的范围内。
Claims (12)
1.一种移动设备,包括:
电路系统,被配置为:
接收所述移动设备的位置数据,所述设备被配置为对一个或多个远程系统和/或设备执行多个不同的控制动作,所述系统和/或设备远离用户的身体;
从内置在所述移动设备中的传感器接收手势数据;
确定所述一个或多个远程系统和/或设备中的要对其执行命令的至少一个;
处理所述位置数据和所述手势数据,以确定对所述一个或多个远程系统和/或设备中所确定的至少一个执行控制动作的命令;
以及
使包括所确定的命令的消息从所述移动设备被发送到所述系统/设备中所确定的特定的系统/设备,以由所述系统/设备中的所述特定的系统/设备执行所确定的控制动作。
2.如权利要求1所述的移动设备,其中所述电路系统包括处理器,并且所述处理器还被配置为:
针对访问所述系统/设备中的所述特定的系统/设备并对其执行控制动作,认证用户。
3.一种移动设备,包括:
处理器设备;
全球定位收发器设备;
存储器,与所述处理器设备通信;以及
存储设备,存储用于由所述处理器使用所述存储器执行的计算指令的程序,所述程序包括被配置为使所述处理器执行以下操作的指令:
从所述全球定位收发器设备接收所述移动设备的位置数据,
所述移动设备被配置为对一个或多个远程系统和/或设备执行多个不同的控制动作,所述系统和/或设备远离用户的身体;
从内置在所述移动设备中的传感器接收手势数据;
确定所述一个或多个远程系统和/或设备中的要对其执行命令的至少一个;
处理所述位置数据和所述手势数据,以确定对所述一个或多个远程系统和/或设备中所确定的至少一个执行控制动作的命令;
以及
使包括所确定的命令的消息从所述移动设备被发送到所述系统/设备中所确定的特定的系统/设备,以由所述系统/设备中的所述特定的系统/设备执行所确定的控制动作。
4.如权利要求3所述的移动设备,其中所述设备包括加速度计。
5.如权利要求3所述的移动设备,其中所述设备包括近场收发器。
6.如权利要求3所述的移动设备,其中所述处理器还被使得在特定的系统/设备执行所述控制动作之后向所述用户设备发送消息。
7.如权利要求3所述的移动设备,其中所述移动设备是智能手表。
8.如权利要求3所述的移动设备,其中所述用户设备是包括显示设备的智能手表,并且所述程序包括执行以下操作的指令:
在所述显示设备上呈现图形用户界面。
9.如权利要求8所述的移动设备,其中呈现所述图形用户界面的指令包括执行以下操作的指令:
呈现包括与由所述移动设备中的所述处理器执行以控制所述系统和/或设备的应用对应的图标的屏幕。
10.如权利要求3所述的移动设备,其中呈现所述图形用户界面的指令包括执行以下操作的指令:
在选择所述图标中的一个时呈现第二屏幕集合,所述第二屏幕集合呈现被用来执行所述控制动作的第二图标集合。
11.一种系统,包括:
移动设备,包括:
处理器设备;
全球定位收发器设备;
存储器,与所述处理器设备通信;以及
存储设备,存储用于由所述处理器使用所述存储器执行的计算指令的程序,所述程序包括被配置为使所述处理器执行以下操作的指令:
从所述全球定位收发器设备接收所述移动设备的位置数据,所述移动设备被配置为对一个或多个远程系统和/或设备执行多个不同的控制动作,所述系统和/或设备远离用户的身体;
从内置在所述移动设备中的传感器接收手势数据;
确定所述一个或多个远程系统和/或设备中的要对其执行命令的至少一个;
处理所述位置数据和所述手势数据,以确定对所述一个或多个远程系统和/或设备中所确定的至少一个执行控制动作的命令;以及
使包括所确定的命令的消息从所述移动设备被发送到所述系统/设备中所确定的特定的系统/设备,以由所述系统/设备中的所述特定的系统/设备执行所确定的控制动作;以及
远程系统/设备,接收所述消息并执行所确定的命令。
12.如权利要求11所述的系统,其中所述系统是安全系统并且所述移动设备是智能手表,并且,当所述移动设备在所述安全系统的限定的接近度以内时,所述移动设备使所述安全系统布防或解除布防。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462097648P | 2014-12-30 | 2014-12-30 | |
US62/097,648 | 2014-12-30 | ||
US14/982,113 | 2015-12-29 | ||
US14/982,113 US20160187995A1 (en) | 2014-12-30 | 2015-12-29 | Contextual Based Gesture Recognition And Control |
PCT/US2015/068013 WO2016109636A1 (en) | 2014-12-30 | 2015-12-30 | Contextual based gesture recognition and control |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107852566A true CN107852566A (zh) | 2018-03-27 |
CN107852566B CN107852566B (zh) | 2020-12-18 |
Family
ID=56164091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580071868.3A Active CN107852566B (zh) | 2014-12-30 | 2015-12-30 | 基于背景的手势识别和控制 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160187995A1 (zh) |
EP (1) | EP3241372B1 (zh) |
CN (1) | CN107852566B (zh) |
WO (1) | WO2016109636A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111971718A (zh) * | 2018-04-19 | 2020-11-20 | 开利公司 | 用于入侵系统控制的生物测定反馈 |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10721087B2 (en) | 2005-03-16 | 2020-07-21 | Icontrol Networks, Inc. | Method for networked touchscreen with integrated interfaces |
US20170118037A1 (en) | 2008-08-11 | 2017-04-27 | Icontrol Networks, Inc. | Integrated cloud system for premises automation |
US10127802B2 (en) | 2010-09-28 | 2018-11-13 | Icontrol Networks, Inc. | Integrated security system with parallel processing architecture |
US12063220B2 (en) | 2004-03-16 | 2024-08-13 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US9729342B2 (en) | 2010-12-20 | 2017-08-08 | Icontrol Networks, Inc. | Defining and implementing sensor triggered response rules |
US11916870B2 (en) | 2004-03-16 | 2024-02-27 | Icontrol Networks, Inc. | Gateway registry methods and systems |
US11343380B2 (en) | 2004-03-16 | 2022-05-24 | Icontrol Networks, Inc. | Premises system automation |
US20050216302A1 (en) | 2004-03-16 | 2005-09-29 | Icontrol Networks, Inc. | Business method for premises management |
US11811845B2 (en) | 2004-03-16 | 2023-11-07 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
US11190578B2 (en) | 2008-08-11 | 2021-11-30 | Icontrol Networks, Inc. | Integrated cloud system with lightweight gateway for premises automation |
US11244545B2 (en) | 2004-03-16 | 2022-02-08 | Icontrol Networks, Inc. | Cross-client sensor user interface in an integrated security network |
US11677577B2 (en) | 2004-03-16 | 2023-06-13 | Icontrol Networks, Inc. | Premises system management using status signal |
US10237237B2 (en) | 2007-06-12 | 2019-03-19 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US11700142B2 (en) | 2005-03-16 | 2023-07-11 | Icontrol Networks, Inc. | Security network integrating security system and network devices |
US20120324566A1 (en) | 2005-03-16 | 2012-12-20 | Marc Baum | Takeover Processes In Security Network Integrated With Premise Security System |
US20110128378A1 (en) | 2005-03-16 | 2011-06-02 | Reza Raji | Modular Electronic Display Platform |
US12063221B2 (en) | 2006-06-12 | 2024-08-13 | Icontrol Networks, Inc. | Activation of gateway device |
US7633385B2 (en) | 2007-02-28 | 2009-12-15 | Ucontrol, Inc. | Method and system for communicating with and controlling an alarm system from a remote server |
US8451986B2 (en) | 2007-04-23 | 2013-05-28 | Icontrol Networks, Inc. | Method and system for automatically providing alternate network access for telecommunications |
US11646907B2 (en) | 2007-06-12 | 2023-05-09 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US12003387B2 (en) | 2012-06-27 | 2024-06-04 | Comcast Cable Communications, Llc | Control system user interface |
US11212192B2 (en) | 2007-06-12 | 2021-12-28 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US11218878B2 (en) | 2007-06-12 | 2022-01-04 | Icontrol Networks, Inc. | Communication protocols in integrated systems |
US11831462B2 (en) | 2007-08-24 | 2023-11-28 | Icontrol Networks, Inc. | Controlling data routing in premises management systems |
US11916928B2 (en) | 2008-01-24 | 2024-02-27 | Icontrol Networks, Inc. | Communication protocols over internet protocol (IP) networks |
US20170185278A1 (en) * | 2008-08-11 | 2017-06-29 | Icontrol Networks, Inc. | Automation system user interface |
US11758026B2 (en) | 2008-08-11 | 2023-09-12 | Icontrol Networks, Inc. | Virtual device systems and methods |
US11792036B2 (en) | 2008-08-11 | 2023-10-17 | Icontrol Networks, Inc. | Mobile premises automation platform |
US11729255B2 (en) | 2008-08-11 | 2023-08-15 | Icontrol Networks, Inc. | Integrated cloud system with lightweight gateway for premises automation |
US8638211B2 (en) | 2009-04-30 | 2014-01-28 | Icontrol Networks, Inc. | Configurable controller and interface for home SMA, phone and multimedia |
TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
US8836467B1 (en) | 2010-09-28 | 2014-09-16 | Icontrol Networks, Inc. | Method, system and apparatus for automated reporting of account and sensor zone information to a central station |
US11750414B2 (en) | 2010-12-16 | 2023-09-05 | Icontrol Networks, Inc. | Bidirectional security sensor communication for a premises security system |
US9594567B2 (en) | 2013-02-21 | 2017-03-14 | Dell Products, Lp | Configuring a trusted platform module |
US10360364B2 (en) | 2013-03-13 | 2019-07-23 | Lookout, Inc. | Method for changing mobile communication device functionality based upon receipt of a second code |
US9763097B2 (en) * | 2013-03-13 | 2017-09-12 | Lookout, Inc. | Method for performing device security corrective actions based on loss of proximity to another device |
US11017069B2 (en) * | 2013-03-13 | 2021-05-25 | Lookout, Inc. | Method for changing mobile communications device functionality based upon receipt of a second code and the location of a key device |
US9786997B2 (en) | 2013-08-01 | 2017-10-10 | Centurylink Intellectual Property Llc | Wireless access point in pedestal or hand hole |
US10154325B2 (en) | 2014-02-12 | 2018-12-11 | Centurylink Intellectual Property Llc | Point-to-point fiber insertion |
US10276921B2 (en) | 2013-09-06 | 2019-04-30 | Centurylink Intellectual Property Llc | Radiating closures |
US9780433B2 (en) | 2013-09-06 | 2017-10-03 | Centurylink Intellectual Property Llc | Wireless distribution using cabinets, pedestals, and hand holes |
US11405463B2 (en) | 2014-03-03 | 2022-08-02 | Icontrol Networks, Inc. | Media content management |
DE202015005394U1 (de) | 2014-08-02 | 2015-12-08 | Apple Inc. | Kontextspezifische Benutzerschnittstellen |
US10452253B2 (en) | 2014-08-15 | 2019-10-22 | Apple Inc. | Weather user interface |
US20160217631A1 (en) * | 2015-01-27 | 2016-07-28 | Robert Bosch Gmbh | Method and system for integrating wearable articles into operation of building management systems |
WO2016144385A1 (en) * | 2015-03-08 | 2016-09-15 | Apple Inc. | Sharing user-configurable graphical constructs |
KR102354943B1 (ko) * | 2015-05-20 | 2022-01-25 | 삼성전자주식회사 | 전자 장치가 외부 기기를 제어하는 방법 및 상기 전자 장치 |
US10623162B2 (en) | 2015-07-23 | 2020-04-14 | Centurylink Intellectual Property Llc | Customer based internet of things (IoT) |
US10375172B2 (en) | 2015-07-23 | 2019-08-06 | Centurylink Intellectual Property Llc | Customer based internet of things (IOT)—transparent privacy functionality |
WO2017017115A1 (en) * | 2015-07-28 | 2017-02-02 | Koninklijke Philips N.V. | Check-in service on personal help button |
CN113521710A (zh) | 2015-08-20 | 2021-10-22 | 苹果公司 | 基于运动的表盘和复杂功能块 |
KR102406307B1 (ko) * | 2016-01-05 | 2022-06-08 | 삼성전자주식회사 | 잠금 장치 제어를 위한 방법 및 그 장치 |
US10412064B2 (en) | 2016-01-11 | 2019-09-10 | Centurylink Intellectual Property Llc | System and method for implementing secure communications for internet of things (IOT) devices |
EP3398038B1 (en) * | 2016-02-04 | 2024-01-17 | Apple Inc. | Controlling electronic devices and displaying information based on wireless ranging |
US10832665B2 (en) * | 2016-05-27 | 2020-11-10 | Centurylink Intellectual Property Llc | Internet of things (IoT) human interface apparatus, system, and method |
DK179925B1 (en) * | 2016-06-12 | 2019-10-09 | Apple Inc. | USER INTERFACE FOR MANAGING CONTROLLABLE EXTERNAL DEVICES |
US10249103B2 (en) | 2016-08-02 | 2019-04-02 | Centurylink Intellectual Property Llc | System and method for implementing added services for OBD2 smart vehicle connection |
WO2018035484A1 (en) * | 2016-08-18 | 2018-02-22 | Apple Inc. | System and method for interactive scene projection |
US10110272B2 (en) * | 2016-08-24 | 2018-10-23 | Centurylink Intellectual Property Llc | Wearable gesture control device and method |
US10687377B2 (en) | 2016-09-20 | 2020-06-16 | Centurylink Intellectual Property Llc | Universal wireless station for multiple simultaneous wireless services |
JP6517179B2 (ja) * | 2016-11-15 | 2019-05-22 | 京セラ株式会社 | 電子機器、プログラムおよび制御方法 |
US9867112B1 (en) | 2016-11-23 | 2018-01-09 | Centurylink Intellectual Property Llc | System and method for implementing combined broadband and wireless self-organizing network (SON) |
US10426358B2 (en) | 2016-12-20 | 2019-10-01 | Centurylink Intellectual Property Llc | Internet of things (IoT) personal tracking apparatus, system, and method |
US10222773B2 (en) | 2016-12-23 | 2019-03-05 | Centurylink Intellectual Property Llc | System, apparatus, and method for implementing one or more internet of things (IoT) capable devices embedded within a roadway structure for performing various tasks |
US10193981B2 (en) | 2016-12-23 | 2019-01-29 | Centurylink Intellectual Property Llc | Internet of things (IoT) self-organizing network |
US10637683B2 (en) | 2016-12-23 | 2020-04-28 | Centurylink Intellectual Property Llc | Smart city apparatus, system, and method |
US10735220B2 (en) | 2016-12-23 | 2020-08-04 | Centurylink Intellectual Property Llc | Shared devices with private and public instances |
US10150471B2 (en) | 2016-12-23 | 2018-12-11 | Centurylink Intellectual Property Llc | Smart vehicle apparatus, system, and method |
US10146024B2 (en) | 2017-01-10 | 2018-12-04 | Centurylink Intellectual Property Llc | Apical conduit method and system |
KR102638911B1 (ko) * | 2017-02-24 | 2024-02-22 | 삼성전자 주식회사 | 복수의 IoT 장치들을 제어하기 위한 방법 및 장치 |
DK179412B1 (en) | 2017-05-12 | 2018-06-06 | Apple Inc | Context-Specific User Interfaces |
US10627794B2 (en) | 2017-12-19 | 2020-04-21 | Centurylink Intellectual Property Llc | Controlling IOT devices via public safety answering point |
CN110415391B (zh) * | 2018-04-27 | 2024-03-05 | 开利公司 | 使用可佩戴设备的无缝进入控制系统 |
US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
CN117376505A (zh) | 2018-05-07 | 2024-01-09 | 苹果公司 | 用于查看实况视频馈送和录制视频的用户界面 |
US11327650B2 (en) | 2018-05-07 | 2022-05-10 | Apple Inc. | User interfaces having a collection of complications |
US11960701B2 (en) | 2019-05-06 | 2024-04-16 | Apple Inc. | Using an illustration to show the passing of time |
US11363071B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User interfaces for managing a local network |
US10904029B2 (en) | 2019-05-31 | 2021-01-26 | Apple Inc. | User interfaces for managing controllable external devices |
US11287895B2 (en) * | 2020-02-21 | 2022-03-29 | Toyota Motor Engineering & Manufacturing North America, Inc. | System for remote vehicle door and window opening |
DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
CN118012306A (zh) | 2020-05-11 | 2024-05-10 | 苹果公司 | 用于管理用户界面共享的用户界面 |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
US11589010B2 (en) | 2020-06-03 | 2023-02-21 | Apple Inc. | Camera and visitor user interfaces |
US11921992B2 (en) | 2021-05-14 | 2024-03-05 | Apple Inc. | User interfaces related to time |
US20220365667A1 (en) * | 2021-05-15 | 2022-11-17 | Apple Inc. | User interfaces for managing accessories |
WO2022245669A1 (en) | 2021-05-15 | 2022-11-24 | Apple Inc. | User interfaces for group workouts |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
US20230236547A1 (en) | 2022-01-24 | 2023-07-27 | Apple Inc. | User interfaces for indicating time |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1680931A2 (en) * | 2003-11-04 | 2006-07-19 | Universal Electronics, Inc. | System and method for controlling device location determination |
CN102789218A (zh) * | 2012-07-20 | 2012-11-21 | 大连理工大学 | 一种基于多控制器的Zigbee智能家居系统 |
CN102939576A (zh) * | 2010-06-16 | 2013-02-20 | 高通股份有限公司 | 用于基于手势的远程控制的方法和装置 |
US20130113993A1 (en) * | 2011-11-04 | 2013-05-09 | Remote TelePointer, LLC | Method and system for user interface for interactive devices using a mobile device |
CN103155428A (zh) * | 2010-10-06 | 2013-06-12 | 三星电子株式会社 | 便携式终端中用于自适应手势识别的装置和方法 |
CN103324425A (zh) * | 2012-12-13 | 2013-09-25 | 重庆优腾信息技术有限公司 | 一种基于手势的命令执行的方法与装置 |
CN103377671A (zh) * | 2012-04-20 | 2013-10-30 | 鸿富锦精密工业(深圳)有限公司 | 远程控制方法与系统以及使用所述方法之移动设备 |
US20140266669A1 (en) * | 2013-03-14 | 2014-09-18 | Nest Labs, Inc. | Devices, methods, and associated information processing for security in a smart-sensored home |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007009870B4 (de) * | 2007-02-28 | 2018-05-17 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Steuerung eines automatischen Abschaltvorgangs und/oder Anschaltvorgangs einer Brennkraftmaschine in einem Kraftfahrzeug |
WO2008124302A1 (en) * | 2007-03-30 | 2008-10-16 | Proxwear, Llc | Clothing and accessories that operate radio frequency identification enabled security devices |
US8224313B2 (en) * | 2008-09-24 | 2012-07-17 | Centurylink Intellectual Property Llc | System and method for controlling vehicle systems from a cell phone |
KR101565768B1 (ko) * | 2008-12-23 | 2015-11-06 | 삼성전자주식회사 | 휴대단말의 잠금 모드 해제 방법 및 장치 |
US8350694B1 (en) * | 2009-05-18 | 2013-01-08 | Alarm.Com Incorporated | Monitoring system to monitor a property with a mobile device with a monitoring application |
US8494544B2 (en) * | 2009-12-03 | 2013-07-23 | Osocad Remote Limited Liability Company | Method, apparatus and computer program to perform location specific information retrieval using a gesture-controlled handheld mobile device |
US8964298B2 (en) * | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
US9141150B1 (en) * | 2010-09-15 | 2015-09-22 | Alarm.Com Incorporated | Authentication and control interface of a security system |
US20120254032A1 (en) * | 2011-03-29 | 2012-10-04 | Research In Motion Limited | Mobile wireless communications device configured to authorize transaction based upon movement sensor and associated methods |
US20120280789A1 (en) * | 2011-05-02 | 2012-11-08 | Apigy Inc. | Systems and methods for controlling a locking mechanism using a portable electronic device |
US8489065B2 (en) * | 2011-05-03 | 2013-07-16 | Robert M Green | Mobile device controller application for any security system |
US20130053007A1 (en) * | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Gesture-based input mode selection for mobile devices |
US20130083003A1 (en) * | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
US9298912B2 (en) * | 2012-04-24 | 2016-03-29 | Behaviometrics Ab | System and method for distinguishing human swipe input sequence behavior and using a confidence value on a score to detect fraudsters |
US9330514B2 (en) * | 2012-07-25 | 2016-05-03 | Utc Fire & Security Corporation | Systems and methods for locking device management |
US9122966B2 (en) * | 2012-09-07 | 2015-09-01 | Lawrence F. Glaser | Communication device |
US9600645B2 (en) * | 2012-09-21 | 2017-03-21 | Google Inc. | Smart invitation handling at a smart-home |
US9477313B2 (en) * | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
US11237719B2 (en) * | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
WO2015112108A1 (en) * | 2012-11-28 | 2015-07-30 | Visa International Service Association | Multi disparate gesture actions and transactions apparatuses, methods and systems |
US9119068B1 (en) * | 2013-01-09 | 2015-08-25 | Trend Micro Inc. | Authentication using geographic location and physical gestures |
US9680726B2 (en) * | 2013-02-25 | 2017-06-13 | Qualcomm Incorporated | Adaptive and extensible universal schema for heterogeneous internet of things (IOT) devices |
US20140279508A1 (en) * | 2013-03-14 | 2014-09-18 | TollShare, Inc. | Selective operation of executable procedures based on detected gesture and context |
US8972722B2 (en) * | 2013-07-30 | 2015-03-03 | Google Inc. | Controlling a current access mode of a computing device based on a state of an attachment mechanism |
WO2015039050A1 (en) * | 2013-09-13 | 2015-03-19 | Nod, Inc | Using the human body as an input device |
US9111214B1 (en) * | 2014-01-30 | 2015-08-18 | Vishal Sharma | Virtual assistant system to remotely control external services and selectively share control |
US9584503B2 (en) * | 2014-06-19 | 2017-02-28 | Vmware, Inc. | Authentication to a remote server from a computing device having stored credentials |
US20160178906A1 (en) * | 2014-12-19 | 2016-06-23 | Intel Corporation | Virtual wearables |
-
2015
- 2015-12-29 US US14/982,113 patent/US20160187995A1/en not_active Abandoned
- 2015-12-30 EP EP15876233.6A patent/EP3241372B1/en active Active
- 2015-12-30 CN CN201580071868.3A patent/CN107852566B/zh active Active
- 2015-12-30 WO PCT/US2015/068013 patent/WO2016109636A1/en active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1680931A2 (en) * | 2003-11-04 | 2006-07-19 | Universal Electronics, Inc. | System and method for controlling device location determination |
CN102939576A (zh) * | 2010-06-16 | 2013-02-20 | 高通股份有限公司 | 用于基于手势的远程控制的方法和装置 |
CN103155428A (zh) * | 2010-10-06 | 2013-06-12 | 三星电子株式会社 | 便携式终端中用于自适应手势识别的装置和方法 |
US20130113993A1 (en) * | 2011-11-04 | 2013-05-09 | Remote TelePointer, LLC | Method and system for user interface for interactive devices using a mobile device |
CN103377671A (zh) * | 2012-04-20 | 2013-10-30 | 鸿富锦精密工业(深圳)有限公司 | 远程控制方法与系统以及使用所述方法之移动设备 |
CN102789218A (zh) * | 2012-07-20 | 2012-11-21 | 大连理工大学 | 一种基于多控制器的Zigbee智能家居系统 |
CN103324425A (zh) * | 2012-12-13 | 2013-09-25 | 重庆优腾信息技术有限公司 | 一种基于手势的命令执行的方法与装置 |
US20140266669A1 (en) * | 2013-03-14 | 2014-09-18 | Nest Labs, Inc. | Devices, methods, and associated information processing for security in a smart-sensored home |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111971718A (zh) * | 2018-04-19 | 2020-11-20 | 开利公司 | 用于入侵系统控制的生物测定反馈 |
CN111971718B (zh) * | 2018-04-19 | 2022-08-05 | 开利公司 | 用于入侵系统控制的生物测定反馈 |
Also Published As
Publication number | Publication date |
---|---|
EP3241372A4 (en) | 2018-08-01 |
EP3241372A1 (en) | 2017-11-08 |
EP3241372B1 (en) | 2020-09-23 |
CN107852566B (zh) | 2020-12-18 |
US20160187995A1 (en) | 2016-06-30 |
WO2016109636A1 (en) | 2016-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107852566A (zh) | 基于背景的手势识别和控制 | |
US11143521B2 (en) | System and method for aiding responses to an event detected by a monitoring system | |
US10223904B2 (en) | Automatic security system mode selection | |
US10192426B2 (en) | Systems and methods of privacy within a security system | |
US20220301401A1 (en) | Control access utilizing video analytics | |
US8120459B2 (en) | Access authentication system and method using smart communicator | |
US10991218B2 (en) | Sharing video stream during an alarm event | |
EP4047578A1 (en) | Facial recognition by a security / automation system control panel | |
US10062265B2 (en) | Adaptive exit arm times based on real time events and historical data in a home security system | |
US9799182B1 (en) | Systems and methods for a smart door chime system | |
EP3188148B1 (en) | Intrusinon alarm system with learned and dynamic entry delays | |
EP3811252B1 (en) | Network activity validation | |
JP2008306534A (ja) | 機器制御システム、携帯端末及び制御装置 | |
US10303137B2 (en) | Structure modes for controlling various systems in closed environments | |
EP4047577A1 (en) | Security / automation system with cloud-communicative sensor devices | |
US12046121B2 (en) | Security / automation system control panel with short range communication disarming | |
US11521384B1 (en) | Monitoring system integration with augmented reality devices | |
JP2019191959A (ja) | 管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |