CN110415390A - 使用由移动设备的用户执行的设备姿势的姿势进入控制系统 - Google Patents

使用由移动设备的用户执行的设备姿势的姿势进入控制系统 Download PDF

Info

Publication number
CN110415390A
CN110415390A CN201810397467.2A CN201810397467A CN110415390A CN 110415390 A CN110415390 A CN 110415390A CN 201810397467 A CN201810397467 A CN 201810397467A CN 110415390 A CN110415390 A CN 110415390A
Authority
CN
China
Prior art keywords
posture
mobile device
user
component
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810397467.2A
Other languages
English (en)
Inventor
A.蒂瓦里
P.费尔南德斯-奥雷拉纳
K.斯里瓦斯塔瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaili Co
Carrier Corp
Original Assignee
Kaili Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaili Co filed Critical Kaili Co
Priority to CN201810397467.2A priority Critical patent/CN110415390A/zh
Priority to US17/045,631 priority patent/US12028715B2/en
Priority to PCT/US2019/029062 priority patent/WO2019210031A1/en
Publication of CN110415390A publication Critical patent/CN110415390A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/22Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08Access security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/68Gesture-dependent or behaviour-dependent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/60Indexing scheme relating to groups G07C9/00174 - G07C9/00944
    • G07C2209/63Comprising locating means for detecting the position of the data carrier, i.e. within the vehicle or within a certain distance from the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30Security of mobile devices; Security of mobile applications
    • H04W12/33Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

姿势进入系统包括本地进入组件、移动设备、电子存储介质和处理器。本地进入组件适于在进入状态与非进入状态之间操作,并且包括控制器和信号接收器,所述控制器用于实现状态之间的致动。所述移动设备包括惯性测量单元传感器系统,所述惯性测量单元传感器系统被配置为测量所述移动设备的运动,以有条件地检测指示用户获得进入的意图的设备姿势。存储介质被配置为存储应用和预编程的设备姿势。所述处理器被配置成从所述传感器系统接收所述测量的运动,并且执行所述应用以将所述测量的运动与所述预编程的设备姿势进行比较,并且根据比较,经由所述接收器向所述本地进入组件的控制器输出命令信号以实现状态之间的致动。

Description

使用由移动设备的用户执行的设备姿势的姿势进入控制系统
技术领域
本公开涉及进入控制系统,更具体地,涉及利用由移动设备的用户执行的设备姿势的姿势进入控制系统。
背景技术
进入控制系统用于多种应用,包括结构、建筑物和/或部件,包括保险箱、地铁闸机、儿童安全存储容器和许多其它应用。在建筑物的非限制性示例中,许多这样的结构必须有安全防护,即在任何给定时刻进入和离开建筑物的人的身份和数量应当是已知的。实现该任务的一种已知方式是向需要进入的所有个人分配识别卡(badge)。然后要求每个人在位于任何入口点附近的读取器处执行刷识别卡进入任务。在一个示例中,读取器可以经由磁条对识别卡进行识别。另一个示例是使用RFID读取识别卡。不利的是,这样的过程要求每个人例如在允许进入之前分别刷他们的识别卡。此任务可能很耗时。
更多当前的进入控制系统使用智能手机代替识别卡。这种智能手机使用背后的关键技术是允许短距离通信的近场通信(NFC)。使用此应用,智能手机和本地进入控制读取器都必须具有NFC硬件。其它选项可以包括读取器的人机接口设备(HID),其能够以受控方式检测例如智能手机在读取器前面的扭转以显示意图。然而,智能手机和阅读器都必须能够独立地检测意图。此外,当前的方法仍然要求用户取出智能手机并使用智能手机执行特定动作。这样的取出和/或动作对于用户来说可能是令人沮丧的和耗时的。
需要对进入系统做出改进,以在减少或不减少部件的情况下进一步优化操作的简易性。
发明内容
根据本公开的一个非限制性实施例的姿势进入系统包括:本地进入组件,其适于在进入状态与非进入状态之间操作,本地进入组件包括控制器和信号接收器,控制器用于实现进入状态与非进入状态之间的致动;移动设备,其包括惯性测量单元(IMU)传感器系统,惯性测量单元(IMU)传感器系统被配置为测量移动设备的运动以有条件地检测指示移动设备的用户获得进入的意图的设备姿势;一个或多个电子存储介质,其被配置为存储应用和预编程的设备姿势;以及,一个或多个处理器,其被配置为从IMU传感器系统接收所测量的运动,且执行该应用以将所测量的运动与预编程设备姿势进行比较,且根据比较经由接收器向本地进入组件的控制器输出命令信号以实现从非进入状态到进入状态的致动。
除了前述实施例之外,所测量的运动是包括设备姿势和用户做出的独立运动的复合运动。
作为替代或补充,在前述实施例中,独立运动是用户行走,并且设备姿势是手持移动设备的用户的手的挥动。
作为替代或补充,在前述实施例中,该应用包括RSSI模块,该RSSI模块被配置为检测从本地进入组件广播的信标信号的信号强度的周期性变化,并且将信号强度的周期性变化与指示正在执行设备姿势的预编程RSSI数据进行比较。
作为替代或补充,在前述实施例中,设备姿势是模仿刷进入卡。
作为替代或补充,在前述实施例中,移动设备包括一个或多个电子存储介质和一个或多个处理器。
作为替代或补充,在前述实施例中,一个或多个电子存储介质中的至少一个和一个或多个处理器中的至少一个是被配置与移动设备双向通信的基于云的服务器的一部分。
根据另一非限制性实施例的姿势进入系统包括:本地进入组件,其适于在进入状态与非进入状态之间操作,本地进入组件包括控制器和信号接收器,控制器用于实现进入状态与非进入状态之间的致动,其中本地进入组件被配置为广播信标信号;以及,移动设备,其被配置为由用户携带并接收信标信号,该移动设备包括存储介质,存储介质被配置为存储应用和预编程设备姿势,应用包括RSSI模块;处理器,其被配置为执行该应用并将预编程设备姿势与信标信号的信号强度的测量周期变化相关联,以至少部分地确定用户是否执行设备姿势。
除了上述实施例之外,移动设备包括惯性测量单元(IMU)传感器系统,惯性测量单元(IMU)传感器系统被配置为测量移动设备的运动以有条件地确定是否执行了设备姿势。
根据另一非限制性实施例的操作姿势进入系统的方法包括以下步骤:由本地进入组件广播信标信号;由移动设备检测信标信号;在本地进入组件附近挥动述移动设备;由移动设备感测信标信号的信号强度的周期性变化;将所感测到的信号强度的周期性变化与指示移动设备正在挥动的预编程RSSI数据进行比较;以及,如果所感测到的信号强度的周期性变化与预编程的RSSI数据相配,则从移动设备向本地进入组件发送进入命令信号。
除非另外明确指出,前述特征和元件可以以各种组合而非排他地组合。根据以下描述和附图,这些特征和元件及其操作将变得更加明显。然而,应当理解,以下描述和附图在本质上是示例性的而非限制性的。
附图说明
通过下面对所公开的非限制性实施例的详细描述,各种特征对于本领域技术人员将变得显而易见。伴随详细描述的附图可以简要描述如下:
图1是使用无设备姿势并应用于门的进入控制系统的示意图;
图2是进入控制系统的另一示意图;
图3是操作进入控制系统的方法的流程图;
图4是确定进入控制系统的移动设备的运动、所在部位和位置的方法的流程图;
图5是应用设备姿势的进入控制系统的另一实施例的示意图;
图6是设备姿势的第一示例的示意图;
图7是设备姿势的第二示例的示意图;
图8是设备姿势的第三示例的示意图;
图9是设备姿势第四示例的示意图;
图10是用户携带包含进入控制系统的移动设备的第一类型容纳件的示意图;
图11是与图10有关的进入控制系统和执行第一无设备姿势的示意图;
图12是与图10有关的进入控制系统和执行第二无设备姿势的示意图;
图13是用户携带包含进入控制系统的移动设备的第二类型的容纳件并执行第一容纳件姿势的示意图;
图14是用户携带包含进入控制系统的移动设备的第二类型容纳件并执行第二容纳件姿势的示意图;
图15是用户携带包含进入控制系统的移动设备的第二类型容纳件并执行第三容纳件姿势的示意图;
图16是用户的示意图,示出了与基于姿势的进入控制系统的自适应意图模式检测特征有关的移动设备26的各种位置、所在部位和使用;
图17是示出自适应意图模式检测特征的基于姿势的进入控制系统的示意图;
图18是示出作为基于姿势的进入控制系统的一个实施例的无缝进入控制系统的固有姿势的顺序部分的流程图;
图19是示出基于姿势的进入控制系统的基于云的实施例的示意图;
图20是基于姿势的进入控制系统的另一实施例的应用的示意图,该基于姿势的进入控制系统是敲击姿势进入控制系统;
图21是移动设备26的透视图;
图22是操作作为基于姿势的进入控制系统的另一实施例的基于前期姿势的进入控制系统的方法的流程图;
图23是训练基于姿势的进入控制系统的方法的流程图;和
图24是示出作为基于姿势的进入控制系统的基于软件的应用的预编程场景数据的一部分的用户特定模型的曲线图。
具体实施方式
参考图1,在门22的一个非限制性应用中示出了基于姿势的进入控制系统20,该门22提供用户进出建筑物、结构、房间等的入口。在该实施例中,进入控制系统20适于在期望进入的用户23(例如,人)做出检测到的有意姿势时解锁门。尽管本申请被应用于门22,但是可以设想到和理解,进入控制系统20也可以应用于需要进入控制的任何东西,包括例如计算机、地铁闸机、保险箱、儿童安全存储隔间等。如将变得更加明显的,在一些实施例中,有意姿势可以是无设备姿势(参见图1中的箭头25),或者在其它实施例中可以是设备姿势(参见图6中的箭头94)。
参考图1和2,并且在一个实施例中,进入控制系统20包括锁或进入组件24、用户23携带的移动设备26以及无线接口28。移动设备26适于通过无线接口28与锁组件24无线通信。锁组件24可以包括闩锁30(例如,锁定插销)、驱动器32、控制器34和接收器36,接收器36可以是具有双向通信能力的收发器并且包括天线。接收器36被配置为经由无线接口28且从移动设备26接收无线进入或命令、信号(见箭头38)。进入信号38被发送到控制器34。控制器34可处理信号38,并基于该信号启动驱动器32以将闩锁30从非进入状态移动到进入状态(即,锁定位置和解锁位置)。在一个实施例中,进入组件24是进入读取器(例如,RFID读取器)。信号38的示例可以是蓝牙、Wifi或可以是短程的其它通信信号。进入组件24可以是本地进入组件24,并且通常位于门或其它部件附近,组件24适于控制对门或其它部件的进入。
控制器34可以是中央处理单元(CPU)、多处理器、微控制器单元(MCU)、数字信号处理(DSP)、专用集成电路以及能够执行软件指令或以其它方式可控制以根据预定逻辑进行操作的其它设备中的一个或多个的任意组合。在一个示例中,驱动器32是具有由控制器操作的继电器的电动机。在另一示例中,驱动器32是电磁驱动器。无线接口28是允许移动设备26与锁组件24之间通信的任何当前或将来的无线接口。无线接口28的非限制性示例包括蓝牙、蓝牙低能量(BLE)、射频识别(RFID)、近场通信(NFC)、IEEE 802.11标准中的任何标准以及其他标准。
在一个实施例中,移动设备26包括发射机40、控制器42和至少一个检测系统(即,三个示出为46、48、50),发射机40可以是具有天线的收发机。至少一个检测系统可以包括惯性测量单元(IMU)传感器系统46、环境检测系统48、内部活动(即,使用)通知模块50以及用于一般地确定移动设备26相对于用户23的运动、位置、所在部位和使用的其他模块。移动设备26的非限制性示例包括智能手机、移动电话、钥匙链、手表(即智能手表)以及通常由用户23携带的其它类似设备。
移动设备26的控制器42包括处理器56和存储介质58。可选地,处理器56是中央处理单元(CPU)、多处理器、微控制器单元(MCU)、数字信号处理器(DSP)、专用集成电路以及能够执行软件指令或以其它方式可控制以根据预定逻辑进行操作的其它设备中的一个或多个的任意组合。存储介质58可选地是读和写存储器(RAM)和只读存储器(ROM)的任意组合。存储介质58还可以包括永久存储器,其可以是存储具有软件指令的计算机程序(即,应用)的固态存储器、磁存储器或光存储器中的任何一个或其组合。
在一个实施例中,并且类似于移动设备26的控制器42,锁组件24的控制器34可以包括处理器70和存储介质72。可选地,处理器70是中央处理单元(CPU)、多处理器、微控制器单元(MCU)、数字信号处理器(DSP)、专用集成电路以及能够执行软件指令或以其它方式可控制以根据预定逻辑进行操作的其它设备中的一个或多个的任意组合。存储介质72可选地是读和写存储器(RAM)和只读存储器(ROM)的任意组合。存储介质72还可以包括永久存储器,其可以是存储具有软件指令的计算机程序(即,应用)的固态存储器、磁存储器或光存储器中的任何一个或其组合。可以设想和理解,在一个实施例中,控制器42可以不包括存储介质72,并且可以仅包括控制电路,控制电路能够从移动设备26接收信号38作为起始锁组件24的致动的命令信号。
基于姿势的进入控制系统20还可以包括应用60。在一个实施例中,应用60是基于软件的,并且至少部分地存储在存储介质58中,以供控制器42的处理器56检索和执行。应用60可以包括计算机指令62和预编程数据的数据库。例如,预编程数据包括凭证数据64和场景数据66。在一个实施例中,场景数据66指示用户23的“复合”运动,该“复合”运动不一定包括姿势,而是取决于(即,根据)移动设备26在用户23上的携带部位。
在另一实施例中,应用60可以至少部分地存储在云(即,远程服务器)中包含的至少一个存储介质中,并且至少部分地由云的至少一个处理器执行。
为了清楚起见,这里使用的术语“有意姿势”是由用户23执行以获得进入的动作(例如,物理运动)。在一个示例中,获得的进入可以通过门22(见图1),但是也可以进入任何物理结构和/或电子系统(例如计算机)。出于本公开的目的,有意姿势的示例可以包括无设备姿势、设备姿势和固有姿势。
术语“无设备姿势”是指通常物理上不包括移动设备26的有意姿势(参见图1中的姿势25)。例如,如果用户23做出的无设备姿势25是右手74的挥动,则移动设备26不在右手74中,而是可以位于用户23人身上的任何其他地方。相反,术语“设备姿势”(见图6中的姿势94)表示移动设备23本身正被用作有意姿势的一部分。在本示例中,设备姿势94将包括移动设备26的挥动。更具体地并且与本示例一致,移动设备26将处于正挥动的右手74中(参见图5和6)。最后,术语“固有姿势”(见图18中的姿势341)是作为无缝进入控制系统的一部分应用的姿势。也就是说,例如打开门的典型动作(或准备开门做出的典型运动)是姿势。固有姿势在用户23打算获得进入的意义上是“有意的”。固有姿势的具体示例可以是伸手够门把手或拉门把手。
确定移动设备相对于用户的运动、位置和所在部位:
需要确定移动设备26的运动(即,复合运动)以通过区分用户同时做出的一个或多个运动来识别用户23做出的有意姿势。确定移动设备26相对于用户23的位置和/或所在部位可以帮助从测量的移动设备26的复合运动来区分用户23做出的多个运动。作为补充或替代,当存在两个进入组件24时,如果相应的门22被紧密地定位在一起,确定移动设备26相对于用户23的所在的部位可能是有利的。在这种情况下,知道移动设备26所在的部位将防止或减少用户23经由无设备的有意姿势通过错误的门获得进入的机会。
惯性测量单元(IMU)传感器系统46可以包括加速度计80、陀螺仪82和其他适于检测加速度和因此在至少一个维度上以及可选地在三个维度上移动的装置中的一个或多个装置。环境检测系统48可包括视觉相机84(即,计算机视觉系统)、温度传感器86、光传感器88和接近传感器90中的一个或多个,其适于在区分复合运动以确定用户23是否正在做出无设备有意姿势时至少提高置信度水平。
内部活动通知模块50还可以有助于优化置信度水平,并且可以是应用60的一部分或者可以是单独的计算机软件指令。例如,活动通知模块50可以通知应用60用户23正在经由移动设备26发短信或正在进行电话通话。当区分复合运动时,应用60然后可以将运动的一部分归属于例如发短信活动。在一个实施例中,并且取决于应用60如何处理信息数据,视觉相机84可以是IMU传感器系统46的一部分(即,拍摄多个照片以确定运动),和/或可以是内部活动通知模块50的一部分(即,用户23正在经历拍摄照片以获得乐趣的活动)。
在一个实施例中,视觉相机84适于通过捕获周围环境的图像并分析图像随时间的差异来检测移动。温度传感器86适于测量温度。在一个实施例中,温度数据至少部分地指示用户23的体温。例如,如果移动设备26位于用户23穿着的衣服的后口袋56(见图1)中,则温度数据可以与比移动设备26位于用户23带着的钱包或背包中的温度更高的温度相关联。接近传感器90适于确定移动设备26与用户23的接近程度。例如,移动设备26可以搁在桌子上,可以在后口袋56中,可以在钱包中,或者可以在背包中。接近传感器90还可用于确定用户23的大部分是否位于传感器90与进入组件24之间,这可能导致组件24与移动设备26之间的信号的一定程度的衰减。
光传感器88适于测量邻近移动设备26的光的水平。从光传感器88发送到处理器42的光数据可以指示用户23做姿势时移动设备26所在的部位。例如,移动设备26可以在用户23穿的衣服的后口袋56中。
在操作中,IMU传感器系统46使得能够识别基于姿势的意图,并且环境检测系统48以及可选地活动通知模块50用于提高有意姿势识别的可靠性。在一个示例中,这是通过应用60对从系统46、48和模块50获得的信息进行融合以及使用机器学习算法和/或预编程场景数据66来实现的。参考图4,确定移动设备26相对于用户23的所在的部位和/或位置的方法包括在框200处,运动设备26活动处于待机状态或以其他方式被阻止。
在框202,IMU传感器系统46检测周期性移动(即,复合运动),并将信息发送到控制器42。在框204,应用60经由至少一个算法和预编程场景数据66的至少一部分确定复合运动的至少一部分是行走的特征。在框206处,环境检测系统48的温度传感器86和/或光传感器88将信息(即,确认参数数据)发送到由应用60使用的控制器42,以确定移动设备26在例如后口袋或背包中(即,光传感器88检测黑暗环境)。此外,IMU传感器系统46还可以帮助检测移动设备26的相对位置。例如,移动设备26相对于地面或地板表面的角度可以指示前口袋相对于后口袋的部位等。在框208,活动通知模块50可以向应用60提供指示用户23当前使用(例如,发短信)移动设备26的信息。这种当前使用可以提供移动设备23的可能位置(即,竖直、水平或其间的位置)和/或作为复合运动的一部分的移动设备运动的指示,这种运动最终可以与有意姿势区分。为了完成框206和208,应用60可以采用算法和/或预编程场景数据66。
基于软件应用的训练;
参考图2并且在操作中,应用60可以包括经由移动设备26的人机接口设备(HID)91(见图2)传送到用户23的训练指令(即,设置或校准指令)。训练指令可以在由用户23在各种部位(例如,后口袋、前口袋、右手打姿势时在左手等)或以各种方式(例如,背包、钱包等)携带移动设备26的情况下和/或在与移动设备26执行某些活动(例如,发短信、通话等)时指示用户23执行各种运动。当用户23执行各种运动和/或例程时,应用60可以利用从IMU传感器系统46、环境检测系统48和内部活动通知模块50中的至少一个接收的信息来构建场景数据66,并由此对其进行预编程。
例如,应用60可以指示用户23在移动设备26在后口袋56中的情况下行走。然后,系统46、48和模块50中的至少一个检测运动和其它参数,并且将所得信息预编程为场景数据66的一部分。作为另一事件的一部分,应用60然后可以指示用户23在移动设备26处于相同部位的情况下执行相同的行走,但是同时执行旨在使进入组件24响应(即解锁)的选定姿势。同样,由系统46、48和模块50中的一个或多个检测到的所得到的运动被记录为场景数据66的一部分。类似的指令可以在用户23在他或她的身上重新定位移动设备26的情况下并且在做出姿势和没有做出姿势的情况下执行各种移动而进行。一旦完成训练指令,场景数据66通常可以类似于数据的矩阵或阵列。
在一个实施例中,应用60可以包括机器学习技术和/或算法(例如深度学习)。通过机器学习算法,可以越来越多地针对给定用户的特定交互训练姿势识别。此外,通过进行某种形式的“连续”训练,应用60具有在一段时间内顺应用户的改变习惯(即,可能由损伤引起)的能力。
在一个示例中,应用60可以包括(一种或多种)机器学习算法,机器学习算法被配置为根据由检测系统46、48、50中的一个或多个生成的显式意图信号来确定或确认用户意图,并且通过将意图信号与用户特定的、预定义的模式相匹配来确定用户认证(即,移动设备26实际上属于用户23)。用户意图和用户认证可以从IMU信号、音频信号、RSSI(例如蓝牙)和来自例如可佩戴移动设备26的其它数据推断。在另一实施例中,虽然用户意图可以通过敲击的次数或模式来确认,但是用户授权可以通过敲击的强度、敲击之间的延迟和/或从一次敲击到下一次敲击的强度变化来确认。
参考图23,并且在一个实施例中,应用60可以包括训练操作模式。在框500,并且经由HID 91,用户23可以选择训练模式。在该模式中,并且在框502处,用户23由应用60经由HID 91提示,并且可以从支持的姿势类型库中选择有意姿势类型作为场景数据66的一部分。在框504,应用60提示用户23,并且用户23可以执行用于意图的所选择的姿势类型的重复。在框506,机器学习算法从所选姿势类型的重复执行中收集和分析数据,以构建与所选姿势类型相关联的用户特定模型,并作为场景数据66的一部分。在框508,机器学习算法确定用户特定模型具有足够高的品质和置信度,并且应用60经由HID 91通知用户91模型完成。姿势类型的非限制性示例可以包括由用户23在移动设备26上轻敲固定次数(即,规定模式,见图20)、敲门22、向移动设备26的麦克风130内发出的用户特定语音命令(见图2)以及其他姿势类型。
在训练操作模式之后,应用60可以进入部署模式。在此模式中,经由算法部署统计机器学习技术,算法可以在云360(即,远程服务器,见图19)中并且由云360支持。在该示例中,应用60的至少一部分可以在云360中,并且云用于构建用户特定模型。在一个实施例中,可以通过使用机器学习算法随时间改进用户特定模型。这样,随着时间的推移,特定用户23变得更容易识别。在框510处,用户23然后可以执行预训练姿势(即,预编程到应用60中)的列表以发信号通知意图并认证它们。
更具体地,在训练操作模式中,收集反映为了训练的目的而对用户23强制执行的特定动作的数据。这可以被认为定义了执行姿势的“正确方式”的基本事实。可选地,应用60还可以收集关于如何不执行特定动作的数据以进一步增强学习。
一旦完成训练模式并收集数据,就用数据来训练算法以提取相关信息/特征,这些特征检测是否以正确的方式执行了特定动作或姿势。结果是随后部署的训练模型(即,用户特定模型)。
参考图24,示出了具有三个部分118A、118B、118C的曲线图118,其通常反映了其中姿势类型可以是在移动设备26上轻敲的建模过程的一个示例。每个曲线图部分118A、118B、118C的X轴在公共持续时间上。曲线图部分118A示出了在轻敲期间由移动设备26的移动引起的原始加速度计数据。曲线图部分118B示出了相应的音频数据。曲线图部分118B示出了用星形符号突出显示的轻敲确认的提取特征。尖峰模式和尖峰之间的时间间隔对于用户23是唯一的,并且可以用作认证(即,代码)。
训练和部署模式的完成产生用户特定检测模型,该用户特定检测模型基于来自检测系统46、48、50中的一个或多个的观察到的信号既用作姿势确认又用作用户认证。该模型还提供了用户认证的置信度水平,该置信度水平可以随着进一步使用而改进。该置信度水平可用于允许或拒绝进入例如建筑区域。
从移动设备测量的复合运动来区分单独的用户移动:
在一个实施例中,应用60可以依赖于这样的观察,即,无设备姿势(例如,挥手)产生可以使用移动设备26的IMU传感器系统46、环境检测系统48和/或内部活动通知模块50捕获的人体的微小周期性运动(即,复合运动的一部分)。训练机器学习算法以将指示姿势的相关联的微小运动与可在行走或通话期间观察到的其它更明显的身体移动区分开。
可选地,移动设备26的控制器42可以从光系统54接收数据。在一个示例中,可以应用光数据来确定移动设备26是携带在手中,还是携带在口袋、背包或钱包中。环境检测系统48的温度传感器86可以向控制器42输出温度数据,以确定例如移动设备26是在手或口袋中,而不是在背包或钱包中。当应用60比较或试图匹配复合运动与预编程场景数据66时,温度和/或光数据可以作为附加数据应用于复合运动以提高匹配置信度水平。
在一个实施例中,所选择的无设备有意姿势可以是没有移动设备26的手74(见图1)的挥动。即,移动设备26位于用户23上或附近的其他地方。换句话说,用户23不需要取出他/她的移动设备26来执行任何设备功能或输入。用户23仅需要执行正确的有意姿势以获得通过例如门22的进入。其他有意姿势的示例可以包括人手臂的从左到右运动、人手74的从上到下运动、头部和/或肩部的运动或任何其他独特的运动。
在一个实施例中,有意姿势可以是秘密姿势,因此不需要移动设备26与进入组件24之间的进一步认证。在该示例中,进入组件24可以相对简单,并且不需要预编程。
在另一个实施例中,进入组件24可以被预编程为仅接受命令信号38,该命令信号38带有或伴随有通常预编程到两个控制器34、42中的认证码。因此,控制器34能够将从移动设备26接收的认证码(即,信号38的一部分)与预编程到存储介质72中的代码76相匹配。
参考图2和3,并且在姿势进入控制系统20的正常操作期间;在框100处,进入组件24的控制器34可经由收发器36广播信标信号(见图2中的箭头78)。在一个示例中,信标信号78可以被编码为移动设备26与进入组件24之间的认证过程的一部分。在一个示例中,广播信标信号78可以是蓝牙无线电类型。在其他示例中,信号78可以是Wifi/小区无线电或者可以是可听频谱。还可以设想和理解,在保持姿势过程新颖性的同时,可以应用本领域技术人员已知的利用进入组件24认证移动设备26的其他方式。
在框102处,移动设备26的收发器40可在大体上处于规定距离内时接收信标信号78。一旦接收到,在框104,移动设备26通常启动应用60。在另一实施例中,应用60可以不需要由信标信号启动。因此,在一些应用中,进入组件24可能不适合于广播信标信号。
在框106处,当在进入组件24的大致附近和/或应用60处于活动状态时,应用60可以接受和处理来自移动设备26的IMU传感器系统46的复合运动数据,以确定用户23的活动(即,行走、通话、静立等)和来自环境检测系统48和/或内部活动通知模块50的其他影响数据或信息,以确定诸如移动设备所在的部位、位置和/或使用等影响参数。在框108处,应用60以预定置信度水平将复合运动数据和影响参数数据与预编程场景数据66匹配,以确定用户23是否正在执行指示进入意图的有意姿势(例如,无设备有意姿势)。
在框110处,并且在一个示例中,用户23可以在移动设备26位于后口袋中的情况下行走,并且同时用右手74执行无设备有意姿势。在框112,应用60确定移动设备26位于用户23上的何处,确定用户23正在行走,并且通过将复合运动和其他影响参数数据(例如,光、温度等)与场景数据66进行比较来确定正在执行无设备有意姿势。在框114,并且在移动设备26的控制器42识别出无设备有意姿势之后,移动设备26向进入组件24广播命令信号38。在框116处,进入组件24从非进入状态致动到进入状态,由此门22可由用户23打开。
在一个实施例中,前提条件可以是在移动设备26可以识别或接受姿势之前用户23不行走。在该实施例中,可以应用移动设备26的加速度计系统和/或陀螺仪系统来确认用户23除了姿势本身的运动之外通常是不动的。
通过RSSI检测和/或确认有意姿势:
再次参考图2,由进入组件24经由收发器36广播的信标信号78可以由控制器42经由收发器40接收,并且通常作为接收信号强度指示(RSSI)。更具体地并且作为可选实施例,基于姿势的进入控制系统20可以进一步包括RSSI模块92,其可以是基于软件的并且是应用60的一部分。在其他实施例中,RSSI模块92可以由移动设备26的单独传感器系统来实现,该传感器系统可以包括软件和硬件。
在操作中,除了由RSSI模块92提供的附加特征之外,基于姿势的进入控制系统20可以如框100-116(见图3)中所描述的那样执行。更具体地,在框102处由移动设备26接收的信标信号78也由RSSI模块92处理,RSSI模块92被配置为通过信号78检测指示有意姿势穿过(即,接近进入组件24并在进入组件24前面重复穿过)的信号强度的周期性变化。在一个示例中,它可以是用户23的手臂在进入组件26的前面来回穿过。在另一实施例中,用户23的手在进入组件24上的放置也可以实现RSSI。
如以上框110中所描述的,场景数据66可进一步包括预编程的RSSI数据,其指示当执行无设备姿势时检测到的预期的信号强度的周期性变化。RSSI模块92可以将测量的信号强度的周期性变化与预编程的RSSI数据进行比较,以进一步确认或提高无设备姿势发生的置信度水平。
在另一实施例中,场景数据66可以仅包括预编程的RSSI数据。在该实施例中,应用60确定执行无设备姿势可以仅基于预编程的RSSI数据。因此,可以不需要IMU传感器系统46。
设置在用户携带的容纳件中的移动设备:
如前所述,移动设备26可以位于远离正在执行的有意姿势(即,无设备姿势25)的紧邻处。例如,移动设备26可以通常抵靠用户23的身体(例如后口袋)而不是在执行无设备姿势的手74中携带(参见图1)。
参考图10和11,用户23可以执行通常无设备的姿势25,但是移动设备26位于用户携带的容纳件95中。容纳件95的非限制性示例包括手提包(见图10-12)、背包(见图13-15)和适于为用户23存储和/或携带个人物品(包括移动设备26)的其它容纳件。
在一个实施例中,容纳件95适于由用户23的特定身体部件携带。例如,手提包由用户23的手74携带,背包由用户23的背部或躯干96携带。对于无设备姿势25的高置信度检测,容纳件95由执行无设备姿势25(即,有意的身体姿势)的身体部件携带。例如,如果容纳件95是手提包或钱包,则抓握手提包的手74可以执行无设备姿势25,从而用正做姿势的手拿着手提包。
移动设备26的运动通常使用至少IMU传感器系统46如先前所述地测量。在一种情况下,移动设备26的测量运动可以是当用户执行有意身体姿势25(即,无设备姿势)时由用户23行走而动态创建的复合运动。在这种情况下,行走的动作可以使用户23在前后方向上摆动手臂和手74(即,常规的身体运动,见图10中的箭头97)。摆动的手74携带手提包95,从而使移动设备经历相关联的常规容纳件运动(见图10中的箭头98)。
参考图11并在手提包的容纳件95示例的延续中,有意的身体姿势25可以是与抓握手提包95的用户23的手74相关联的手腕的扭转。有意身体姿势25创建相关联的容纳件姿势(参见箭头99)。在一个实施例中,容纳件姿势99可以是有意身体姿势25的放大。在其他实施例中,姿势99可以与姿势25大致相同,或者可以不同但期望相同。
因此,测量的移动设备26的运动是复合运动,该复合运动包括直接附属于有意身体姿势25的容纳件姿势99和附属于常规身体运动97的常规容纳件运动98。因此,复合运动表示常规身体运动97和有意身体姿势25乘以参数因子。参数因子可以表示容纳件95(即背包或手提包)的类型以及移动设备26相对于用户23和容纳件95的位置和所在的部位。参数因子可以是场景数据66的一部分,并且环境检测系统48可以帮助确定移动设备26的位置和所在部位以及容纳件95的类型。
在一个实施例中,有意身体姿势25使得相关联的容纳件姿势99与常规容纳件运动98相反。例如,姿势99的方向横向于或垂直于运动方向98。这将通过应用60改进的运动区分来有助于更高的置信度水平。
参考图12,示出了容纳件姿势99的另一示例,其中手提包被竖直摇动。在该示例中,有意的身体姿势可以是手74的重复提升和降低。
参考图13-15,容纳件95的另一个示例被示出为背在用户23的背部或躯干101上的背包。在图13中,容纳件姿势99可以由躯干101的扭转(即,有意的身体姿势25)引起。在图14中,容纳件姿势99可以由用户23腰部的弯曲引起。在图15中,容纳件姿势99可以由用户23的躯干101或腰部的左右弯曲引起。
检测设备姿势:
如前所述,确定无设备姿势的发生可以通过分析所测量的移动设备26的复合运动和其他影响参数来实现。例如,如果移动设备26在后口袋56中,并且右手74正在执行无设备姿势,则分析移动设备26经历的复合运动作为无设备姿势发生的间接指示。
参考图2和图5,并且在另一实施例中,移动设备26可用于执行姿势(即,设备姿势)。在该示例中,设备姿势通常被直接测量为移动设备26的运动。然而,仍然可以理解,由移动设备26测量的运动仍然可以是一种复合运动。
例如,设备姿势(参见图6中的箭头94)通常可以是移动设备26的大致水平的挥动。如果除了执行设备姿势94之外用户23保持完全静止,则移动设备26可以直接测量设备姿势94,并且不需要复合运动的运动区分。然而,如果用户23在执行设备姿势94的同时正在行走,则还将利用设备姿势94测量行走运动,从而产生测量的复合运动。也就是说,行走运动产生一种噪声,该噪声可能干扰对进入意图的可靠解释。
如前所述,可以利用以有意姿势是设备姿势94的规定条件建立的适当场景数据66来分析该示例中的复合运动。设备姿势94的其他非限制性示例可以包括在进入组件24前方沿基本竖直的方向挥动移动设备26(即,模拟刷虚拟进入卡,见图7)、朝向和远离进入组件24重复移动该移动设备26(见图8)、在进入组件前方大致扭转移动设备26约90度(见图9)以及其他姿势。
类似于无设备姿势的示例,在设备姿势94的示例中,进入组件24可以不执行运动检测或测量。所有这样的分析可以保留在作为移动设备26的一部分的应用60中。可选地,移动设备26可以包括RSSI模块92,RSSI模块92可以测量信标信号78的信号强度周期性变化,该信号强度周期性变化是由于移动设备26重复地穿过信标信号路径或无线接口28移动的结果。
敲击/轻敲姿势进入控制系统:
参考图2和20,在一个实施例中,基于姿势的进入控制系统20可以是敲击姿势进入控制系统。在该实施例中,移动设备26的用户23执行敲击,敲击可以是预定义的敲击频率。本实施例中的术语“敲击”将包括轻敲的动作。敲击可在移动设备26、进入组件24、门22(见图1)、接近进入组件24和/或门22的壁区域、或方便地位于进入点附近的任何其它表面上执行。
敲击姿势进入控制系统20的移动设备26可以进一步包括麦克风130和应用60的敲击模块132。麦克风130可以足够灵敏以检测宽范围的频率和量值(即响度),以跟踪通过重复敲击例如移动设备26的表面(例如前表面)、门22的表面、门框136的表面、进入设备24的表面、门22提供进入所经过的壁138的表面或其它表面而产生的声音。敲击是由用户23执行的有意姿势(参见图20中的敲击姿势140)。敲击或轻敲移动设备26可以被认为是作为有意姿势类型的设备姿势,敲击任何其他表面可以被认为是作为有意姿势类型的无设备姿势。
在一个实施例中,应用60的敲击模块132被配置为接收由敲击姿势140造成的可听声音的签名或与之相关的信息。敲击模块132然后可以将所测量的可听声音的频率模式(即敲击或敲击的频率)与预编程的频率模式进行比较。在一个实施例中,如果测量的频率模式与预编程的频率模式充分相配或基本匹配,则敲击模块132可以确定由用户23执行敲击姿势140,并且实现命令信号38向进入组件24的发送。
在另一实施例中,敲击姿势进入控制系统20可以被配置为进一步确认(例如,独立地确认)敲击姿势的执行,以增强可靠性并减少或消除错误姿势确认。一个这样的确认可以包括使用类似于先前描述的IMU传感器系统46。例如,如果移动设备26在后口袋56(见图1)中并且用户23在门22上执行敲击姿势140,则移动设备23仍然可以测量归因于敲击动作的运动(即,移动设备的运动)。在某些情况下(例如,用户行走),所测量的实际运动可以是复合运动,并且应用60被配置为从复合运动解密多个运动。一旦被解密,将可归因于敲击的运动的频率模式与预编程的运动频率模式进行比较(即,可以与可听频率模式相同),如果运动频率模式与预编程的频率模式相配或基本匹配,则再次证实执行敲击姿势的确认。
在另一实施例中,敲击姿势进入控制系统20可使用其它感测数据来重新证实姿势确认。例如来自环境检测系统48的光传感器数据和/或如前所述由信标信号78的波动产生并由RSSI模块92产生的RSSI数据。在一个实施例中,敲击姿势140可以是无设备姿势。在该示例中,并且如果应用了IMU感测系统46,则还可以以先前描述的方式确定移动设备26所在的部位。应用于检测敲击姿势140的检测过程可以融合所描述的各种方法以及可选的移动设备定位方法,以提供良好意图标记作为应用60的一部分。
参考图2、20和21,并且在另一实施例中,敲击姿势140可以在移动设备26的前表面148上执行。移动设备26与图21所示的X-Y-Z坐标相关联。如果敲击姿势140在表面148上执行,则如前所述评估可听敲击声音。利用IMU感测系统46并由敲击模块132进行的检测的重新确认可评估仅沿Z轴的运动,以屏蔽沿其它坐标产生的运动噪声。也就是说,敲击在前表面148上进行,敲击的方向基本上垂直于前表面148。
可以理解和设想,敲击移动设备26而不是门22可以防止打扰用户23想要进入的门22另一侧的人。还应当理解,在敲击姿势140被接受之前前提条件可以适用。这种前提条件可以是要求用户23在进入组件24或门22的预定接近范围内。此外,可以在用户23到达门之前对移动设备26进行敲击。相反,敲门的示例是当用户23已经到达时。因此,在敲击移动设备26的示例中,当用户走向门22时,能使用户23执行动作。然后,当用户23到达时,门22可以解锁。
自适应意图模式检测
参考图16和17,基于姿势的进入控制系统20可以是灵活的,并且能够针对包括设备姿势94(见图6)和无设备姿势25(见图1)的不同有意姿势进行自动调整。此外,当确定用户23是否正在执行有意姿势25、94时,进入控制系统20可以针对移动设备26的运动阵列(即,复合运动)、所在部位和位置进行调整。
图16示出了非限制性的多个移动设备26所在的部位和使用,其中应用60能够适应以确定是否正在执行有意姿势25、94。因此,通过确定移动设备运动、所在部位、位置和/或使用,应用60还能够从多个预编程姿势中选择适当的预编程姿势。
如前所述,惯性测量单元(IMU)传感器系统46、环境检测系统48和内部活动通知模块50一起能够提供应用60使用的信息,以确定是否正在执行有意姿势25、94。
在图16中示出了潜在的许多移动设备26所在的部位、位置和使用的示例,并且可以包括表示移动设备26位于用户23耳朵302处并且使用通话或呼叫以及基本竖直位置的描绘300。描绘304表示移动设备26位于前衬衫口袋306中,因此具有大体上竖直的位置且处于相对黑暗的环境中。描绘308表示移动设备26在用户23的手74中,被定位成约30度用于发短信,并且正使用发短信功能。描绘310表示移动设备26位于前裤兜312中,因此具有基本竖直的位置并且处于相对黑暗的环境中。描绘314表示移动设备26位于后裤兜56(也见图1)中,因此具有基本竖直的位置并且处于相对黑暗的环境中。描绘316表示悬着的移动设备26。例如,用户23可以简单地在手74中手持移动设备26。描绘318是手提包(即容纳件95,也参见图10)中的移动设备26,因此处于黑暗环境中,描绘320是背包(即容纳件95,也参见图13)中的移动设备26。
参考图17,进入控制系统20的应用60可以包括活动通知模块50、环境模块322、运动模块324、选择模块326和多个模式模块(即,五个被示为328A、328B、328C、328D、328E)。活动通知模块50被配置为确定移动设备26的当前使用和/或对移动设备26的当前使用进行分类。使用示例包括发短信、通话、待机等。环境模块322被配置为从环境检测系统48接收环境信息(见箭头330)并对其进行分类。如前所述,环境信息330可以包括光级数据、温度数据、位置数据、所在部位数据、摄影数据、声音数据和其他数据。运动模块324被配置为接收来自IMU传感器系统46的运动信息(见箭头332)并对其进行分类。运动信息的非限制性示例包括先前描述的复合运动,并且该复合运动可以发生在多种场景中,包括当用户23行走、静立、携带容纳件95、执行使用以及可以产生运动的多种其他事件时。模块50、322、324中的一个或多个可以包括算法(其可以是自学习算法)和预编程数据(即,场景数据66的一部分),以对信息330、332和供选择模块326使用的其他数据进行细化和/或分类。
选择模块326被配置为应用来自模块50、322、324的信息输出,从而选择模式模块328中的一个。在一个实施例中,模式模块328中的每一个可以至少部分地与相应的描绘300、304、308、310、318、320相关联。选择模块326可以包括预编程的数据矩阵334和算法。预编程的数据矩阵334可以表示从模块50、322、324接收的运动和参数(即环境和使用)数据。至少从数据矩阵334中,选择模块能够选择适当的模式模块328。该选择可以在执行有意姿势25、94之前或期间发生。
每个模式模块328A、328B、328C、328D、328E可以包括先前场景数据66的相应的预编程场景数据66A、66B、66C、66D、66E。多个模式模块328中的每一个还可以包括用于所示出的每个相应模式模块的一系列意图检测算法336中的相应一个(即,参见336A、336B、336C、336D、336E)。在操作中,选择模块326被配置为通过选择适当的模块328A、328B、328C、328D、328E来大体上激活适当的算法336A、336B、336C、336D、336E。每个算法336A、336B、336C、336D、336E根据其应用的上下文来表征。例如,当用户23将移动设备26握在手74中时,算法336A可能适合,但是当移动设备26在后裤兜56中时,算法336A可能不太适合。因此,选择模块326实时地启用和禁用不同模式模块328。
在操作中,当适当的选定模式模块328有条件地检测到有意姿势25、94时,模式模块可将命令信号38输出到进入组件24。
无缝进入控制系统:
参考图2和18,并且在一个实施例中,基于姿势的进入控制系统20可以是无缝进入控制系统,其适于在用户提供表示例如打开门22的有意期望和初始动作的固有姿势334(见图18)之后允许用户23进入。更具体地,固有姿势334是被引导以获得进入的典型用户练习336的初始部分。
无缝进入控制系统20的移动设备26可以是可佩戴的移动设备。可佩戴移动设备26的示例包括智能手表、智能眼镜和智能鞋。术语“智能”意在指示可佩戴移动设备26包括处理器56和先前描述的其它特征/部件。
进入组件26还可以包括用于生成信标信号78的短程通信设备337(例如,近场通信(NFC))。在一个示例中,短程通信设备337可以是蓝牙设备,信标信号78是蓝牙信号,并且可佩戴移动设备26被配置为处理蓝牙信号。在一个示例中,环境检测系统48的接近传感器90可以用于测量信标信号78的强度,并且通过该测量,应用可以确定可佩戴移动设备26与进入组件24的接近度。
移动设备26还可以包括磁力计338和确认基本事实模块340,作为应用60(见图2)的一部分。磁力计338可用于确认例如抓住门22把手342作为固有姿势334的一部分。如图18中最佳示出的,用户练习336的固有姿势334部分可以是由用户做出的有序运动集合。有序的一组运动可以取决于可佩戴移动设备26的类型和所希望进入的类型。
为了解释和理解的简单性,这只是应用的一个非限制性实施例,将获得的进入类型描述为通过门22(见图1)的进入。同样在本实施例中,移动设备26的类型是智能手表。在该示例中,用户练习336的固有姿势334可以在框342处始于行走减速和/或完全停止。在框344,用户23可以抬起手74,用手携带智能手表26,以便够到门22把手346。在框348处,手74可以抓住把手346,准备拉开或推开门22。固有姿势334的这种抓握动作可以由可佩戴移动设备26的磁力计338感测到。
在操作中,并且在应用60执行并确认固有姿势334之后,可佩戴移动设备26将命令信号38发送到进入组件24以实现从非进入状态到进入状态的致动,如前文所述。在进入组件24处于进入状态的情况下,并且在框350处,用户23可以通过拉开门22(见箭头352)来完成进入练习336。
应用60的确认基本事实模块340(见图2)被配置为从IMU感测系统46接收指示拉动352的信息,拉动352指定进入练习336的最后步骤。该确认拉动352可以通过预编程确认拉动来验证,该预编程确认拉动可以是先前描述的场景数据66的一部分。通过确认用户23确实进行了拉动352,模块340能够进一步确认固有姿势的准确确定。然后,该确认可用于进一步改进机器学习算法336(见图17)和/或由应用60执行的其他应用算法。
在可佩戴移动设备26是智能眼镜的示例中,智能眼镜可以佩戴在用户23的头上,并且固有姿势334的一部分可以包括当接近进入组件24时用户凝视,以及当接近门22的把手346时头部倾斜。
在可佩戴移动设备26是智能鞋的示例中,智能鞋可穿在用户23的脚上,并且固有姿势334的一部分可包括用户23的脚轻踏。
基于前期姿势的进入控制系统:
参考图2和22,基于姿势的进入控制系统20可以是基于前期姿势的进入控制系统。在此实施例中,移动设备26被配置为在用户执行设备姿势或无设备姿势(即,主要姿势)之前其自身预先准备。即,系统结合来自多个姿势的显式姿势来应用隐式行为检测。前期事件或过程可以是或可以包括固有姿势334(见图18)的执行。在用户23执行固有姿势334之后,用户23需要在规定的持续时间内执行主要姿势。固有姿势334的一个非限制性示例可以是当用户23接近进入组件24时减慢行走的动作。
参考图2,具有任何相关硬件的应用60还可以包括定时器或时钟142和基于卫星的定位模块144(例如,全球定位系统(GPS))。在另一实施例中,基于卫星的定位模块144可以是单独于应用60的设备,其被配置为向应用60发送相关的位置信息。
为了检测前期事件(即固有姿势334),IMU感测系统46可以是活动的。当用户23在接近组件24的规定附近时,可以触发IMU感测系统46的激活。可以以多种方式中的任何一种来证明用户23在附近的存在。例如,可以使用以下中的任何一个或多个:基于卫星的定位模块144、环境检测系统48的接近传感器90、从进入组件24的短程通信设备337生成的信标信号78的检测以及其他。
在一个非限制性实施例中,用户23的进入意图的隐式检测可以依赖于用户将在接近与进入组件24相关联的目的地门22时将减速并停止的直觉,并且执行主要的、有意的姿势以指示意图。可以利用这种直觉来提高姿势检测的可靠性。
参考图22,示出了操作基于前期姿势的进入控制系统20的方法。在框400,启动IMU感测系统46,其中启动由应用60的运动模块324执行的IMU分析。在框402,运动模块324确定例如用户23是否正在行走。在框404处,并且如果用户23正在行走,则运动模块324确定用户23是否正在减慢行走(即,固有姿势334)。如果行走正在减速,则检测固有姿势334(在该示例中)。
在框406,并且在经由固有姿势334检测或确认用户23之后,应用60可以启动定时器142,由此运行规定的持续时间。在框408,并且在规定的持续时间期间,移动设备26监视主要的、有意的姿势的发生。如果检测到主要的、有意的姿势,并且在框410处,应用60实现命令信号38到进入组件24的输出(例如,打开门22)。设想到并理解,主要的、有意的姿势可以是设备姿势、无设备姿势和/或另一固有姿势。
在框412处,作为可选步骤,并且如果还没有检测到主要有意姿势,则应用的运动模块324(或通过其他方式)可以确定用户23是否已经例如完全停止行走。如果否,则应用60继续监视主要的、有意的姿势的执行。当姿势检测不处于高置信度水平时,该可选步骤可能是有帮助的。如果用户23已经停止行走,并且在框414,应用60确定持续时间是否已经期满。如果持续时间尚未期满,则应用60继续监视主要的、有意的姿势的执行。如果持续时间已经期满,则过程被去激活,或者如果用户23保持在进入组件24附近,则运动模块324被重新启动以检测前期固有姿势(即,由用户23执行的前期事件)。
可以设想和理解,在过程期间的任何阶段(例如,在框408),移动设备26可以向用户23提供听觉和/或视觉通知。例如,移动设备26可以通知用户23移动设备正在等待主要的、有意的姿势的执行。作为另一示例并且在持续时间期满时,移动设备26可以通知用户23检测到主要的、有意的姿势失败。
在一个实施例中,前期事件可以被预编程,并且主有意姿势可以由用户23从多个预编程姿势中预先选择。主要的、有意的姿势的非限制性示例可以包括:接近进入组件24的手74的挥动(即,无设备姿势或身体姿势25的类型,见图1);轻敲门22或进入组件24(一种无设备或身体姿势25,见图20);触发惯性运动的特定身体姿势,其中移动设备附连到用户的身体(也参见图1);将身体运动施加到包含移动设备26并由用户23携带的容纳件95(即,容纳件运动99,见图12-15);移动设备26在进入组件24附近的挥动(即,设备姿势94的类型,见图6-9)。
基于云、基于姿势的进入控制系统:
参考图19,基于姿势的进入控制系统20可以包括云360(即,远程服务器)的使用。在此实施例中,应用60可位于云360中,因此可将由IMU感测系统46、环境检测系统48及其它部件收集的信息330、332无线地从移动设备26发送到云360以进行处理。命令信号38可以直接从云360发送到进入组件24,或者返回到移动设备26,然后移动设备26将信号38发送到进入组件24。
基于云的架构的优势包括某些或全部计算的性能以及云中数据的存储。这允许使用可能更强大的算法,但可能以通信延迟为代价。另一个优点可以是移动设备26不需要直接与进入组件24通信,而是云360直接向进入组件24传送命令信号以用于进入许可。
本公开的优点和益处包括实现姿势检测,而不需要将移动设备26握在手里。另一优点包括识别例如用户23打算进入的门22的能力,作为意图检测的一部分。还有其他优点包括可靠的意图检测以及相对便宜和牢靠的设计。
上述各种功能可以由计算机程序实现或支持,该计算机程序由计算机可读程序代码形成,并且体现在计算机可读介质中。计算机可读程序代码可以包括源代码、目标代码、可执行代码等。计算机可读介质可以是能够被计算机访问的任何类型的介质,并且可以包括只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频盘(DVD)或其他非暂时形式。
在此描述的各种实施例的说明中使用的术语仅用于描述特定实施例的目的,而不旨在进行限制。如在各种所描述的实施例和所附权利要求的说明中使用的,单数形式“一”、“一个”和“该”、“所述”也旨在包括复数形式,除非上下文清楚地另外指示。还应当理解,这里使用的术语“和/或”是指并包括相关联的所列项目中一个或多个的任何和所有可能的组合。还应当理解,当在本说明书中使用时,术语“包括”、“包含”和/或“具有”指定所叙述的特征、整体、步骤、操作、元件和/或部件的存在,但不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或其组的存在或添加。
如本文所用,根据上下文,术语“如果,在......的情况下(if)”可选地被解释为表示“当”或“在”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为表示“在确定[所陈述的条件或事件时]时”或“响应于确定[所陈述的条件或事件时]”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”,这取决于上下文。
这里使用的术语,诸如部件、应用、模块、系统等,旨在指计算机相关实体,或者硬件、硬件和软件的组合,或者软件执行。作为示例,应用可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。在服务器上运行的应用和服务器可以是部件。一个或多个应用可以驻留在进程和/或执行线程内,并且应用可以本地化在一个计算机上和/或分布在两个或多个计算机之间。
虽然已经参考一个或多个示例性实施例描述了本公开,但是本领域技术人员将理解,在不脱离本公开的范围的情况下,可以进行各种改变并且可以用等同物替代其元件。此外,在不脱离本公开的基本范围的情况下,可以进行许多修改以使特定情况或材料适应本公开的教导。因此,预期本公开不限于作为用于执行本公开的最佳模式而公开的特定实施例,而是本公开将包括属于权利要求范围内的所有实施例。

Claims (10)

1.一种姿势进入系统,包括:
本地进入组件,其适于在进入状态与非进入状态之间操作,所述本地进入组件包括控制器和信号接收器,所述控制器实现所述进入状态与所述非进入状态之间的致动;
移动设备,包括惯性测量单元(IMU)传感器系统,所述惯性测量单元(IMU)传感器系统被配置为测量所述移动设备的运动以有条件地检测指示所述移动设备的用户获得进入的意图的设备姿势;
一个或多个电子存储介质,其被配置为存储应用和预编程的设备姿势;和
一个或多个处理器,其被配置为从所述IMU传感器系统接收所述测量运动,且执行所述应用以将所述测量运动与所述预编程设备姿势进行比较,且根据所述比较经由所述接收器向所述本地进入组件的控制器输出命令信号以实现从所述非进入状态到所述进入状态的致动。
2.根据权利要求1所述的姿势进入系统,其中所测量的运动是包括所述设备姿势和由所述用户做出的独立运动的复合运动。
3.根据权利要求2所述的姿势进入系统,其中,所述独立运动是所述用户行走,并且所述设备姿势是手持所述移动设备的所述用户的手的挥动。
4.根据权利要求1所述的姿势进入系统,其中,所述应用包括RSSI模块,所述RSSI模块被配置为检测从所述本地进入组件广播的信标信号的信号强度的周期性变化,并将所述信号强度的周期性变化与指示正在执行的所述设备姿势的预编程RSSI数据进行比较。
5.根据权利要求1所述的姿势进入系统,其中,所述设备姿势是对模仿刷进入卡。
6.根据权利要求1所述的姿势进入系统,其中,所述移动设备包括所述一个或多个电子存储介质和所述一个或多个处理器。
7.根据权利要求1所述的姿势进入系统,其中,所述一个或多个电子存储介质中的至少一个和所述一个或多个处理器中的至少一个是被配置为与所述移动设备进行双向通信的基于云的服务器的一部分。
8.一种姿势进入系统,包括:
本地进入组件,其适于在进入状态与非进入状态之间操作,所述本地进入组件包括控制器和信号接收器,所述控制器实现所述进入状态与所述非进入状态之间的致动,其中所述本地进入组件被配置为广播信标信号;和
移动设备,其被配置为由用户携带并接收所述信标信号,所述移动设备包括存储介质,所述存储介质被配置为存储应用和预编程设备姿势,所述应用包括RSSI模块;处理器,其被配置为执行所述应用并将所述预编程设备姿势与所测量的信标信号的信号强度的周期性变化相关联以至少部分地确定所述用户是否执行设备姿势。
9.根据权利要求8所述的姿势进入系统,其中,所述移动设备包括惯性测量单元(IMU)传感器系统,所述惯性测量单元(IMU)传感器系统被配置为测量所述移动设备的运动以有条件地确定是否执行了所述设备姿势。
10.一种操作姿势进入系统的方法,包括:
由本地进入组件广播信标信号;
由移动设备检测所述信标信号;
在所述本地进入组件附近挥动所述移动设备;
由所述移动设备感测所述信标信号的信号强度的周期性变化;
将所述感测到的信号强度的周期性变化与指示所述移动设备正在挥动的预编程RSSI数据进行比较;和
如果所述感测到的信号强度的周期性变化与所述预编程的RSSI数据相配,则从所述移动设备向所述本地进入组件发送进入命令信号。
CN201810397467.2A 2018-04-27 2018-04-27 使用由移动设备的用户执行的设备姿势的姿势进入控制系统 Pending CN110415390A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810397467.2A CN110415390A (zh) 2018-04-27 2018-04-27 使用由移动设备的用户执行的设备姿势的姿势进入控制系统
US17/045,631 US12028715B2 (en) 2018-04-27 2019-04-25 Gesture access control system utilizing a device gesture performed by a user of a mobile device
PCT/US2019/029062 WO2019210031A1 (en) 2018-04-27 2019-04-25 Gesture access control system utilizing a device gesture performed by a user of a mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810397467.2A CN110415390A (zh) 2018-04-27 2018-04-27 使用由移动设备的用户执行的设备姿势的姿势进入控制系统

Publications (1)

Publication Number Publication Date
CN110415390A true CN110415390A (zh) 2019-11-05

Family

ID=66857967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810397467.2A Pending CN110415390A (zh) 2018-04-27 2018-04-27 使用由移动设备的用户执行的设备姿势的姿势进入控制系统

Country Status (3)

Country Link
US (1) US12028715B2 (zh)
CN (1) CN110415390A (zh)
WO (1) WO2019210031A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157734B1 (en) * 2020-12-01 2021-10-26 Motorola Solutions, Inc. Autonomous self-learning artificial intelligence intent system for access control

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150329121A1 (en) * 2014-05-13 2015-11-19 Samsung Electronics Co., Ltd. Mobile terminal and method for controlling application for vehicle
CN105898089A (zh) * 2014-05-14 2016-08-24 Lg电子株式会社 移动终端、移动终端的控制方法、车辆的控制系统及车辆
CN106125917A (zh) * 2016-06-20 2016-11-16 南京大学 一种基于射频识别技术的手势隔空交互系统及其工作方法
CN106296878A (zh) * 2015-05-20 2017-01-04 无锡卓信信息科技有限公司 一种基于无线信号的门禁系统及访客权限控制方法
CN106934887A (zh) * 2017-02-27 2017-07-07 南京聚鲲物联网科技有限公司 一种集成位置判断与运动方向的智能蓝牙门禁装置及控制方法
US9781604B1 (en) * 2015-02-09 2017-10-03 Symantec Corporation Systems and methods for detecting illegitimate devices on wireless networks
WO2017180563A1 (en) * 2016-04-11 2017-10-19 Carrier Corporation Capturing user intent when interacting with multiple access controls
US20170310673A1 (en) * 2016-04-20 2017-10-26 Huami Inc. Security system with gesture-based access control
WO2018006326A1 (zh) * 2016-07-07 2018-01-11 深圳企管加企业服务有限公司 一种通过移动终端和图片密码验证智能门禁的方法及系统
CN107667375A (zh) * 2015-05-01 2018-02-06 亚萨合莱有限公司 使用可穿戴设备确定进入或外出

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212760A1 (en) 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US8339363B2 (en) 2005-05-13 2012-12-25 Robert Bosch Gmbh Sensor-initiated exchange of information between devices
JP5089079B2 (ja) 2006-05-08 2012-12-05 任天堂株式会社 プログラム、情報記憶媒体及び画像生成システム
US20080136678A1 (en) 2006-12-11 2008-06-12 International Business Machines Corporation Data input using knocks
EP2034389A1 (en) 2007-09-07 2009-03-11 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Method and system for linking appliances
US8228292B1 (en) 2010-04-02 2012-07-24 Google Inc. Flipping for motion-based input
EP2395446A1 (en) 2010-06-14 2011-12-14 Gemalto SA Method for pairing a first device with a second device
US20120190301A1 (en) 2011-01-24 2012-07-26 Intuit Inc. Motion-based interaction between a portable electronic device and a stationary computing device
US20130159939A1 (en) 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
US20130127591A1 (en) 2011-11-20 2013-05-23 International Business Machines Corporation Secure facilities access
US9245100B2 (en) 2013-03-14 2016-01-26 Google Technology Holdings LLC Method and apparatus for unlocking a user portable wireless electronic communication device feature
US9832206B2 (en) 2013-03-21 2017-11-28 The Trustees Of Dartmouth College System, method and authorization device for biometric access control to digital devices
CN104868897B (zh) 2014-02-25 2018-03-20 南充鑫源通讯技术有限公司 动作感应开关的控制方法及装置
US20150288687A1 (en) 2014-04-07 2015-10-08 InvenSense, Incorporated Systems and methods for sensor based authentication in wearable devices
EP3227815B1 (en) 2014-12-04 2020-10-14 Assa Abloy AB Using sensor data to authenticate a user for a computer device
US10152838B2 (en) 2014-12-04 2018-12-11 Assa Abloy Ab Using sensor data to authenticate a user
US9680840B2 (en) 2015-07-07 2017-06-13 Samsung Electronics Co., Ltd. Password protected device unlock based on motion signature and proximity
US20170177929A1 (en) * 2015-12-21 2017-06-22 Intel Corporation Crowd gesture recognition
US10071730B2 (en) * 2016-08-30 2018-09-11 GM Global Technology Operations LLC Vehicle parking control
US10223849B2 (en) * 2017-03-16 2019-03-05 Robert Bosch Gmbh Intelligent wireless access system and method for a vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150329121A1 (en) * 2014-05-13 2015-11-19 Samsung Electronics Co., Ltd. Mobile terminal and method for controlling application for vehicle
CN105898089A (zh) * 2014-05-14 2016-08-24 Lg电子株式会社 移动终端、移动终端的控制方法、车辆的控制系统及车辆
US9781604B1 (en) * 2015-02-09 2017-10-03 Symantec Corporation Systems and methods for detecting illegitimate devices on wireless networks
CN107667375A (zh) * 2015-05-01 2018-02-06 亚萨合莱有限公司 使用可穿戴设备确定进入或外出
CN106296878A (zh) * 2015-05-20 2017-01-04 无锡卓信信息科技有限公司 一种基于无线信号的门禁系统及访客权限控制方法
WO2017180563A1 (en) * 2016-04-11 2017-10-19 Carrier Corporation Capturing user intent when interacting with multiple access controls
US20170310673A1 (en) * 2016-04-20 2017-10-26 Huami Inc. Security system with gesture-based access control
CN106125917A (zh) * 2016-06-20 2016-11-16 南京大学 一种基于射频识别技术的手势隔空交互系统及其工作方法
WO2018006326A1 (zh) * 2016-07-07 2018-01-11 深圳企管加企业服务有限公司 一种通过移动终端和图片密码验证智能门禁的方法及系统
CN106934887A (zh) * 2017-02-27 2017-07-07 南京聚鲲物联网科技有限公司 一种集成位置判断与运动方向的智能蓝牙门禁装置及控制方法

Also Published As

Publication number Publication date
US20210166511A1 (en) 2021-06-03
US12028715B2 (en) 2024-07-02
WO2019210031A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
CN110415389A (zh) 姿势进入控制系统和预测移动设备相对于用户所在部位的方法
CN110413135A (zh) 姿势进入控制系统和操作方法
CN110415388A (zh) 敲击姿势进入控制系统
US10503883B1 (en) Radar-based authentication
CN110301118A (zh) 用于智能助理计算设备的位置校准
CN110415391A (zh) 使用可佩戴设备的无缝进入控制系统
CN110415386A (zh) 基于姿势的进入控制系统的预编程场景数据的建模
CN110415392A (zh) 基于前期姿势的进入控制系统
TW201239775A (en) Key fob with protected biometric sensor
CN106510164B (zh) 行李箱控制方法及装置
CN105388820A (zh) 智能监测设备及其监测方法、监测系统
CN108629278A (zh) 基于深度相机实现信息安全显示的系统及方法
CN110415390A (zh) 使用由移动设备的用户执行的设备姿势的姿势进入控制系统
CN110268405A (zh) 基于行为验证使用者的方法和系统
CN110415387A (zh) 包括设置在由用户携带的容纳件中的移动设备的姿势进入控制系统
CN109284591A (zh) 人脸解锁方法及装置
CN109271863A (zh) 人脸活体检测方法及装置
JP7109175B2 (ja) 錠の閉め忘れを防止するためのシステム
JP2016188477A (ja) 入室管理装置
CN110383276A (zh) 基于行为验证使用者的方法和系统
CN109726537A (zh) 信息获取方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination