CN114827344A - 由用户设备进行的鲁棒的基于雷达的姿势识别 - Google Patents

由用户设备进行的鲁棒的基于雷达的姿势识别 Download PDF

Info

Publication number
CN114827344A
CN114827344A CN202210329665.1A CN202210329665A CN114827344A CN 114827344 A CN114827344 A CN 114827344A CN 202210329665 A CN202210329665 A CN 202210329665A CN 114827344 A CN114827344 A CN 114827344A
Authority
CN
China
Prior art keywords
radar
user
state
context
radar system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210329665.1A
Other languages
English (en)
Other versions
CN114827344B (zh
Inventor
洪正旭
帕特里克·M·阿米胡德
约翰·戴维·雅各布斯
阿贝尔·塞勒什·门格斯图
莱昂纳多·朱斯蒂
维格内什·萨奇达南达姆
德文·詹姆斯·欧赖利·斯特恩
伊万·波派列夫
布兰登·巴贝尔洛
泰勒·里德·库格勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210329665.1A priority Critical patent/CN114827344B/zh
Publication of CN114827344A publication Critical patent/CN114827344A/zh
Application granted granted Critical
Publication of CN114827344B publication Critical patent/CN114827344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3259Power saving in cursor control device, e.g. mouse, joystick, trackball
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
    • H04M1/724634With partially locked states, e.g. when some telephonic functional locked states or applications remain accessible in the locked states
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及由用户设备进行的鲁棒的基于雷达的姿势识别。雷达系统代表应用订户检测基于雷达的姿势。状态机基于惯性传感器数据来在多个状态之间转换。不门控状态使雷达系统能够将基于雷达的姿势输出给应用订户。状态机还包括软门控状态,该软门控状态防止雷达系统将基于雷达的姿势输出给应用订户。硬门控状态完全地防止雷达系统检测基于雷达的姿势。该技术和系统使雷达系统能够确定何时不执行姿势识别,使用户设备能够自动地重新配置雷达系统以满足用户需求。通过这样做,相对于用于基于雷达的姿势识别的许多常见技术和系统,该技术节省电力、提高准确性或降低时延。

Description

由用户设备进行的鲁棒的基于雷达的姿势识别
分案说明
本申请属于申请日为2019年10月10日的中国发明专利申请201980006096.3的分案申请。
技术领域
本申请涉及利用场境敏感门控和其他场境敏感控制的基于雷达的姿势识别技术和系统。
背景技术
一些计算设备(也称为“用户设备”)包括用于检测输入的雷达系统。例如,雷达系统提供雷达场,雷达系统从该雷达场识别在雷达场内或通过雷达场做出的二维和三维(也称为“触摸无关”)的基于雷达的姿势。雷达系统可以不断评估雷达场内的反射,频繁地转换为姿势识别状态以解释哪些可能是基于雷达的姿势输入。然而,响应于意外的或假阳性的雷达输入而转换到姿势识别状态,如果错误识别的基于雷达的姿势触发或用于执行功能,则浪费电力并可能导致故障。
发明内容
本文档介绍了利用场境敏感门控和其他场境敏感控制的基于雷达的姿势识别技术和系统。该技术和系统使用来自多个传感器的传感器数据来定义用户设备的场境。多个传感器可以包括诸如惯性测量单元(IMU)的低功率传感器设备,并且不包括诸如相机的高功率传感器设备。传感器数据可以是来自IMU的惯性传感器数据、来自接近传感器的接近数据、来自雷达系统的雷达数据或任何其他传感器数据。传感器数据定义了用户设备的场境,诸如用户活动或计算环境的特性。在某些场境下,当雷达系统对于基于雷达的姿势识别不可靠或较不可靠时,这些技术和系统使用户设备能够自动禁用或“门控”基于雷达的姿势识别。为此,用户设备可以限制对姿势识别模型的输入或来自姿势识别模型的输出。用户设备还可禁用姿势识别模型,以完全防止雷达系统执行基于雷达的姿势识别。当场境改变为不太可能引起姿势识别错误或引起假阳性的不同场境时,用户设备可以重新启用基于雷达的姿势识别。如果用户设备在基于雷达的姿势不太可能的环境中操作,则用户设备将自动门控姿势识别。门控姿势识别防止在用户设备上执行的应用或其他订户响应于门控时获得的雷达输入而执行功能。通过这样做,本技术防止了假阳性姿势识别触发姿势识别的订户的操作。对于使用基于雷达的姿势识别系统的计算系统,防止假阳性可以节省电力并提高可用性和用户满意度。
例如,描述了一种装置,包括:代表应用订户检测基于雷达的姿势的雷达系统;接收惯性传感器数据的惯性测量单元;以及状态机,该状态机基于惯性传感器数据和场境敏感转换函数在多个状态之间转换以控制雷达系统,该状态机包括:不门控状态,在该不门控状态中状态机使雷达系统能够向应用订户输出基于雷达的姿势的指示;软门控状态,在该软门控状态中状态机阻止雷达系统向应用订户输出基于雷达的姿势的指示;以及硬门控状态,在该硬门控状态中状态机阻止雷达系统检测基于雷达的姿势。
本文档还描述了由以上概述的装置执行的方法和本文阐述的其他方法,以及具有用于执行本文阐述的方法和其他方法的指令的计算机可读介质。本文档还描述了用于执行这些方法的系统和方法。
提供本概述是为了介绍具有场境敏感门控和其他场境敏感控制的基于雷达的姿势识别的简化概念,下面将在详细描述和附图中对其进行进一步描述。本概述不旨在辨别所要求保护的主题的必要特征,也不旨在用于确定所要求保护的主题的范围。
附图说明
本文档中参考以下附图描述了利用场境敏感门控和其他场境敏感控制的基于雷达的姿势识别的一个或多个方面的细节。在整个附图中使用相同的标记来指代相似的特征和组件:
图1图示了示例环境,其中可以实现用于利用场境敏感门控和其他场境敏感控制的基于雷达的姿势识别技术。
图2图示了图1中阐述的认证系统的示例。
图3图示了由图2的认证系统认证的示例用户。
图4图示了图1的用户设备的实施方式,其可以响应于对用户与用户设备接涉(engage)的意图的确定而更改状态,包括认证系统的功率状态。
图5图示了用户设备的示例信息、功率和访问状态。
图6-1图示了作为用户设备的部分的示例雷达系统。
图6-2图示了示例收发器和处理器。
图6-3图示了功率消耗、姿势帧更新速率和响应延迟之间的示例关系。
图6-4图示了示例成帧结构。
图7图示了图6-1的雷达系统的接收天线元件的示例布置。
图8图示了图6-1的雷达系统的示例实施方式的附加细节。
图9图示了可以由图6-1的雷达系统实现的示例方案。
图10图示了用于通过IMU和/或雷达的认证管理的示例方法。
图11图示了用于认证管理的示例场景。
图12图示了用于降低用户设备的状态的示例方法。
图13图示了用于降低用户设备的状态的示例场景。
图14图示了用于维持认证状态的示例方法。
图15图示了用于维持认证状态的示例场景。
图16图示了用于维持认证状态的另一示例场景。
图17图示了用于利用场境敏感门控和其他场境敏感控制的基于雷达的姿势识别的示例方法。
图18图示了用于利用场境敏感门控和其他场境敏感控制的基于雷达的姿势识别的示例方法。
图19图示了实现图17和图18的方法的决策树。
图20图示了用于实现图17和图18的方法的状态机的状态图。
图21图示了用于实现基于雷达的姿势识别的基于移动的门控的框图。
具体实施方式
总览
本文档描述了利用场境(context)敏感门控和其他场境敏感控制的基于雷达的姿势(gesture)识别技术和系统。作为示例,用户设备(UE)(例如,计算设备)包括雷达系统,该雷达系统除其他用途外用于检测来自用户的输入。UE从诸如接近传感器或移动传感器的多个传感器接收传感器数据,以开发UE的场境。
场境定义了UE的用户活动、设备特性或操作环境。场境可以指定定向、加速度、位置或与对象的接近度。位置、温度、亮度、压力和其他环境特性也可以定义场境。多个传感器可以包括移动传感器,诸如用于生成定义UE的移动的惯性数据的惯性测量单元(IMU)。多个传感器可以包括接近传感器、光传感器或温度传感器,仅举几例。当雷达系统在接近模式下操作(启用或不启用姿势识别)时,雷达系统是接近传感器。UE可能依靠提供准确传感器数据的传感器,同时消耗尽可能少的功率,尤其是对于UE依靠电池电力的情况。
基于由传感器数据定义的场境,UE确定是否防止雷达系统识别基于雷达的姿势和/或是否防止UE的组件使用识别的基于雷达的姿势来执行功能。雷达系统进行的门控姿势识别防止UE浪费计算资源和电力来解释基于雷达的姿势或者响应于从无意或非用户输入而做出的姿势识别而执行功能(甚至发生故障)。
在没有门控的情况下,UE从雷达数据中过度解释基于雷达的姿势,从而浪费了计算资源来处理错误姿势,或甚至响应于此而发生故障。通过基于场境对来自雷达系统的输出进行门控,相对于用于基于雷达的姿势识别的其他技术和系统,所公开的技术和系统使UE能够节省电力、提高准确性、提高用户满意度和可用性或降低时延。
通过一个示例,假设由智能电话获得的传感器数据指示用户正在握持智能电话。这些技术和系统使智能电话的雷达系统能够在这种场境下识别基于雷达的姿势,因为用户在握持智能电话时向智能电话输入基于雷达的姿势的可能性很高。传感器数据随后指示用户也在带着智能电话行走。在这种场境下,智能电话也继续使用雷达系统识别基于雷达的姿势,因为即使在行走时,用户可能希望在握持智能电话的同时有意地在智能电话处做姿势。接下来,传感器数据指示用户仍在行走,但不再握持智能电话,智能电话远离用户定向,和/或智能电话被对象(例如背包隔室)遮挡。例如,由于在背包隔室中时用户不太可能与智能电话进行交互,这些技术和系统使智能电话能够禁用雷达系统,或者至少调整雷达系统以防止雷达系统用于在这种场境下识别基于雷达的姿势。当智能电话识别出新的场境时,当场境适合基于雷达的姿势识别时,智能电话重新评估是否启用基于雷达的姿势识别,并启用由雷达系统进行的基于雷达的姿势识别。
最终,用户将智能电话放置在诸如桌子的表面上,并且传感器数据指示用户没有握持智能电话并且智能电话被定向为屏幕面朝上。如果接近数据指示用户正伸到智能电话上,则智能电话基于用户接下来做什么选择地启用或防止雷达系统识别基于雷达的姿势。如果智能电话检测到指示用户在已经伸到智能电话上之后正在拿起智能电话的移动,则智能电话利用雷达系统识别基于雷达的姿势。如果智能电话未检测到指示用户在伸到智能电话上之后正在拿起智能电话(例如,用户正在抓住桌上智能电话旁的一杯咖啡)的移动,则智能电话防止使用雷达系统的姿势识别。
这些仅仅是所描述的技术和设备可以如何用于门基于雷达的姿势识别的一些示例。在整个本文档中描述了其他示例和实施方式。现在,本文转向示例操作环境,之后描述示例设备、方法和系统。
操作环境
图1说明了示例环境100,其中可以实现用于基于雷达的姿势识别的场境敏感的门控和其他场境敏感的控制的技术。示例环境100包括用户设备(UE)102(例如,智能电话),其包括雷达系统104、雷达管理器106、多个传感器108、移动管理器110、状态管理器112、认证系统114和显示器116或与之相关联。
在示例环境100中,雷达系统104通过传送一个或多个雷达信号或波形来提供雷达场118,如下面参考图7至图9所述。雷达场118是空间的体积,雷达系统104可以从该空间中检测雷达信号和波形的反射(例如,从该空间的体积中的对象反射的雷达信号和波形,在本文中通常也称为雷达数据)。雷达系统104还使UE 102或另一电子设备能够从雷达场118内的反射来感测和分析该雷达数据,例如,以识别由体积空间中的用户做出的基于雷达的姿势(例如,触摸无关的姿势)。雷达场118可以采用各种形状和形式中的任何一种。例如,雷达场118可以具有参考图1和图7描述的形状。在其他情况下,雷达场118可以采取从雷达系统104延伸的半径,围绕雷达系统104的体积的形状(例如,球体、半球、部分球体、波束或圆锥形)或不均匀的形状(例如,以适应来自雷达场118中障碍物的干扰)。雷达场118可以从雷达系统104延伸诸如英寸到十二英尺(小于三分之一米到四米)的各种距离中的任何距离。雷达场118可以是预定义的、用户可选择的或经由另一种方法(例如,基于功率要求、剩余电池寿命或另一因素)确定的。
在雷达场118中来自用户120的反射使雷达系统104能够确定关于用户120的各种信息,诸如用户120的身体位置和姿态,其可以指示各种不同的非语言肢体语言提示、身体位置或身体姿态,它们可以被雷达系统104识别为用户120做出的触摸无关的姿势。提示、位置和姿态可以包括用户120参考UE 102的绝对位置或距离、用户120参考UE 102的位置或距离的变化(例如,用户120或用户的手或用户120握持的对象是正在靠近UE 102或远离UE102移动)、当朝向或远离UE 102移动时用户120(例如,手或非用户对象)的速度、用户120是否转向朝向或远离UE 102、用户120是否倾斜朝向、摆动朝向、伸向或指向UE 102等等。还可以分析这些反射来确定认证,或增加认证的置信度,诸如通过分析雷达数据(例如,用户面部的散射中心)来识别人的身份。UE 102可以使用这些反射来定义场境(例如,UE 102的操作环境),以执行基于雷达的姿势识别的场境敏感门控以及其他场境敏感控制。当用户120向UE 102提供输入时,这些反射还可以用于确定雷达系统104识别的触摸无关的姿势或向其添加置信度。
雷达管理器106被配置为基于来自雷达系统104的雷达数据来确定用户与UE 102接涉、不接涉或保持接涉的意图。可以从雷达系统104识别出的触摸无关的姿势,例如,上述各种提示、位置、姿态和距离/速度,诸如基于手臂或姿势(例如,手或手臂伸向、滑过)、眼睛姿势(例如,眼睛注视的移动)或头部姿势(例如,朝向UE 102定向的头或面部的移动)中推断出用户的意图。对于手或手臂伸出,雷达管理器106确定用户正在以使得指示触摸或拿起UE 102的可能意图的方式伸手或定向手臂。示例包括用户伸向无线附接的扬声器上的音量按钮、伸向与平板计算机相关联的无线或有线鼠标或伸向UE 102本身。可以基于仅手移动、手臂和手移动或者以准许手臂的手触摸或抓住UE102的方式的手臂弯曲或伸直来确定该伸向。
也可以基于用户的或用户的头或眼睛注视UE 102、或用户或他们的面部朝向UE102定向的移动,或者在某些情况下,基于用户的或用户的头或眼睛注视UE 102的相关联外部设备、或用户或他们的面部朝向UE 102的相关联外部设备定向的移动来推断用户的接涉意图。针对用户的眼睛看向UE 102的移动,雷达管理器106确定用户的眼睛正在看UE 102的方向,诸如通过跟踪用户的眼睛。针对用户头部使他们或他们的面部朝向UE 102定向(例如,面部定向)的移动,雷达管理器106确定各个点(例如,如下所述的散射中心)现在被定向,使得用户的面部指向UE 102。因此,用户无需执行被设计为控制或激活UE 102的动作——诸如激活(按下)UE 102上的按钮或触摸有关的姿势(例如,在触摸板或屏幕上)或触摸无关的姿势(例如,使用雷达系统104)——以便雷达管理器106确定用户意图与UE 102接涉(或不接涉或保持接涉)。
如上所述,雷达管理器106还被配置为确定用户不与UE 102接涉的意图。类似于用户接涉的意图,通过从指示缺乏触摸无关的姿势、或者用户的手或手臂正在从UE 102移开(例如,缩回)、眼睛移开的移动、或者头部或面部远离UE 102(例如,面部定向改变为远离看着UE 102)的移动的雷达数据推断出,雷达管理器106确定用户不接涉的意图。确定用户不接涉的意图的其他方式不仅是上面提到的接涉的相反或停止,还包括指示用户已走开、移动他们或移动他们的身体远离或已经与不同的未关联对象或设备接涉的雷达数据。因此,雷达管理器106可以基于确定用户与某些其他对象、设备或用户设备进行接涉的意图来确定不与UE 102接涉的意图。例如,假设用户正在看智能电话并与之交互。指示不与该智能电话接涉的示例接涉意图包括用户正在看电视屏幕而不是看着智能电话、开始与附近的物理上存在的人交谈、或者正在伸向可能与之接涉以替换与智能电话的接涉的诸如电子书或媒体播放器的另一设备。
雷达管理器106还被配置为确定用户维持与UE 102的接涉的意图。这种接涉的维持可以是主动的或被动的。对于主动接涉,雷达管理器106可以基于雷达数据确定用户正在通过触摸无关的姿势进行交互等。雷达管理器106还可以或者替代地通过非雷达数据来确定主动接涉(例如,利用UE 102的其他组件的帮助来执行)。这些非雷达数据包括用户正在向UE 102或外围设备输入数据或控制UE 102或外围设备的指示。因此,通过触摸、键入或音频数据,用户被确定为正在通过显示器116的触摸屏输入进行触摸(例如,在软键盘上轻敲或执行姿势)、在外围键盘上键入、或者被确定为正在口述音频输入。针对接涉的被动维持,雷达管理器106独立地或通过UE 102的其他组件的帮助来确定用户正在消费内容或将UE102提供给其他人以消费内容,诸如将他们或他们的面部指向用户UE 102、看着显示器116或者以使UE 102的显示定向为用户或第三方可见的方式握持UE 102。维持被动接涉的其他示例包括用户的存在,诸如通过雷达管理器106确定用户120处于UE 102的可及范围内(例如,距UE 102两米、一米半、一米或半米)内。下面描述雷达管理器106确定用户意图接涉、不接涉或保持接涉的示例性方式的细节。
此外,雷达管理器106还使用来自雷达系统104的雷达数据来确定用户执行的姿势。这些姿势可以涉及用户触摸诸如桌子、显示器116或他们的或他们的衬衫袖子的某个表面或触摸无关的姿势。触摸无关的姿势可以在空中、在三维中执行和/或在无需手或手指触摸输入设备但不排除触摸某个对象的情况下执行。可以基于由雷达系统104获得的雷达数据来识别或确定这些姿势,然后将这些姿势输出到在UE 102上执行的应用或其他订户,或用作执行操作的输入,诸如,以指示与UE 102接涉。
示例姿势包括类似于手语(例如ASL或美国手语)的姿势,这些姿势是多种多样的、复杂的单手或多手姿势,或简单的多手或单手姿势,诸如向左滑动、向右滑动、向上滑动或向下滑动、平的手提升或降低(例如,以提升或降低UE 102或通过UE 102控制的电视或立体声的音乐音量),或朝前或朝后滑动(例如,从左到右或从右到左)以改变音乐和视频曲目、停止闹钟、不理会电话或者甚至玩游戏。这些只是可通过这些姿势控制的并且可以通过雷达系统104和雷达管理器106启用的许多示例姿势和功能中的几个。因此,尽管本文档在某些方面涉及接涉和状态管理,该文档中没有任何内容应该被误解为指示接涉和状态管理方面不能用于附加地或替代地配置雷达系统104和雷达管理器106以执行姿势识别。
显示器116可以包括任何合适的显示设备,诸如触摸屏、液晶显示器(LCD)、薄膜晶体管(TFT)LCD、面内开关(IPS)LCD、电容式触摸屏显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、超级AMOLED显示器等。如所指出的,显示器116可以以各种级别被供电,诸如以具有触摸输入的完全饱和度被供电、没有触摸输入的降低饱和度被供电以及低饱和度和低功率(例如,灰色时钟)或没有功率。
多个传感器108可以是被配置为生成指示UE 102的场境的传感器数据或者换句话说对UE 102的操作环境或周围的指示的各种传感器设备中的任何一个。多个传感器108包括用于测量移动的惯性测量单元(IMU),所述移动在此被定义为包括特定力、角速度、定向、振动、加速度、速度和包括三个轴(例如X,Y和Z)中的每一个的俯仰、滚转和偏航的位置。IMU只是传感器108的一个示例。用于感测移动的多个传感器108的其他示例包括加速度计、陀螺仪和/或磁力计。多个传感器108可以包括接近传感器、光传感器、定位传感器、罗盘、温度传感器、大气压力传感器或任何其他传感器以检测对象的存在或接近。多个传感器108可包括以与姿势识别模式相对的接近模式或其他模式操作的接近传感器,诸如雷达系统104。
UE 102可以主要依靠于电池电力,并且因此,多个传感器108可以排除如相机的高功率传感器,而是主要包括低功率传感器,该低功率传感器提供用于开发准确场境的准确传感器数据。通过避免使用如相机的高功率传感器来驱动门控决策,替代地使用来自如IMU的低功率传感器的传感器数据,UE 102比如果使用相机使用更少的功率来进行门控决策而更有效地操作。
移动管理器110被配置为基于从传感器108获得的惯性数据或其他传感器数据来确定UE 102的移动。移动管理器被配置为确定UE 102的移动以使UE 102能够定义场境。示例移动包括UE 102被抬起(例如,被拿起)、朝向或远离用户120定向以及振动。示例移动可以指示停止由UE 102的用户120进行的物理接触、UE 102在无生命对象(例如,桌子、汽车控制台、沙发臂、枕头、地板、扩展坞)上的放置以及UE 102在例如口袋、袋子或钱包的封闭的容器内的放置。进一步的示例移动包括指示UE 102正在被握持的那些动作、指示UE 102正在被正在行走、骑自行车、乘车或以其他方式移动的人握持的移动、指示诸如处于横向、纵向向上、纵向向下或其组合的携带定向的UE 102如何被握持的移动。示例移动进一步包括没有被握持的UE 102,或者指示UE 102没有被握持而是将其携带在正在行走的人身上的移动等。
这些移动可以指示用户与UE 102的潜在接涉、不接涉或维持接涉。例如,UE 102的移动可以指示用户设备正朝着用户120移动或者定向或者正远离用户120移动/定向、正在太快地移动或太快地改变移动而无法针对许多可能的用户接涉类型来与其交互、正在由用户120握持(经由自然的人类移动、呼吸、心跳)或者正在由于机械或非用户源而振动(例如,车辆的振动、周围的声音使UE 102摇动、音乐导致UE 102振动)。因此,指示与UE 102潜在不接涉的定向远离可以包括UE 102的定向改变,使得在其中用户120可能已经看向显示器160的先前定向现在不可能正这样做。用户120在一个定向上键入或阅读,然后将电话翻过来或侧翻或放在口袋中等,仅是指示定向远离并因此潜在不接涉的移动的一个示例。可以指示维持的接涉的示例移动包括指示用户正在维持UE 102的握持或放置或者正在维持相对于UE 102的其或其定向的振动,其中该定向先前指示与UE 102的接涉或与UE102的接涉一致。
雷达系统104依靠雷达管理器106、移动管理器110和传感器108来定义用于驱动由雷达系统104做出的门控决策的UE 102的场境。由传感器108生成的传感器数据,结合由移动管理器110和雷达管理器106确定的移动和用户意图,有助于定义UE 102的场境。
由移动管理器110确定的移动可以指示用户120如何或是否与UE 102交互。由移动管理器110检测的加速度或振动可以对应于当用户120正在行走或以其他方式带着UE 102移动时观察到的类似的振动和加速度,并且因此移动可以指示用户如何行走或移动。由移动管理器110确定的移动改变可以指示携带位置和定向的改变,作为关于用户120如何或是否与UE 102交互的进一步信息。由移动管理器110推断出的移动模式或移动的缺少可以类似于在握持场境中当用户120正在查看UE 102或者握持UE 102时通常观察到的移动。在当UE 102被包含在用户120所穿的衣服的口袋中或背包或公文包中、飞机或火车上的头顶上的储物箱、车辆的控制台或杂物箱中或其他储物围护时的这种条件下,移动和移动模式可以指示存放场境。
场境可以由移动以外的其他信息定义。例如,接近传感器或雷达系统104可以检测雷达系统104(或UE 102的其他部分)是否被接近UE 102的对象遮挡。遮挡的证据可以指示UE 102处于存放场境,以及缺少遮挡可能表示其他。诸如环境光传感器、气压计、位置传感器、光学传感器、红外传感器等的其他传感器可以向UE 102提供信号,该信号进一步定义UE102的操作环境或场境以改善姿势识别和其他描述的技术。相对海拔、阴影、环境声音、环境温度等是可以由雷达系统104通过传感器108捕获以使UE 102能够定义场境的信号的进一步示例。
状态管理器112管理UE 102的状态,诸如功率、访问和信息状态,并且在一些示例中,基于以上定义的场境来管理状态。UE 102及其组件的这种管理部分地基于由雷达管理器106和移动管理器110进行的确定、来自传感器108的传感器数据以及由此定义的场境来执行。例如,状态管理器112可以诸如通过预期从用户120接收用于输入密码的触摸输入而更改UE 102的显示器116以供电来管理对认证系统114的组件的功率、管理对计算机处理器的功率以执行认证中使用的计算、或者管理对成像系统的功率以执行基于图像的面部认证、管理对雷达(例如,雷达系统104)或其他组件的功率。当基于雷达的姿势识别被门控时,状态管理器112可以指示雷达管理器106使雷达系统104处于接近或禁用模式,并且当基于雷达的姿势识别没有被门控时,状态管理器112可以指示使雷达系统104处于启用或姿势识别模式。
如上所述,对UE 102的管理是基于由雷达管理器106和移动管理器110的确定,其分别确定接涉、不接涉或维持接涉的意图和UE 102的移动。状态管理器112可以单独地基于这些确定或者也可以基于包括当前状态、当前接涉、正在运行的应用以及这些应用所示的内容等等的定义UE 102的场境的其他信息来这样做。通过考虑场境,状态管理器112可以提高用户意图是与UE 102接涉、不接涉或维持接涉的整体确定的准确性、鲁棒性和速度。
定义场境的“多个确定”(例如,雷达管理器106和移动管理器110的确定)可以作为管理UE 102的状态的部分同时或按阶段执行,或者这些之一可以单独使用。例如,假设对于用于认证的组件,UE 102处于低功率状态。雷达管理器106可以基于朝向UE 102的移动或伸向UE 102来确定用户120意图向UE 102进行认证。在某些情况下,状态管理器112仅将此视为对于状态管理器112而言不足以使UE 102被更改为高功率状态(例如,用于认证、用于解释基于雷达的姿势)的场境。因此,状态管理器112可以使认证组件中的一些被供电到中间状态,而不是高功率状态(例如,图5的高功率状态504-1)。例如,在认证系统114使用红外传感器执行面部识别的情况下,在预期认证用户的情况下,状态管理器112可以将这些传感器和显示器116供电到更高的功率,并且对于显示器116的情况,向用户指示UE 102正在“醒来”并且因此响应越来越快。作为附加步骤,状态管理器112可以在完全对认证组件——这里是红外传感器——供电之前等待直到移动管理器110确定场境指示用户已经移动、拿起、抬起UE 102等等。尽管不是必需的,但是状态管理器112可以使组件尝试进行认证,而无需来自用户的进一步输入,从而使认证对于用户120无缝。
然而,在某些情况下,状态管理器112响应于惯性数据和雷达数据两者来确定供电或以其他方式准备UE 102的状态,所述惯性数据和雷达数据例如是雷达管理器106确定用户意图接涉并且移动管理器110确定用户正在拿起UE 102。
因此,状态管理器112可以等待直到用户的意图是通过拿起UE 102进行接涉的较高置信度,诸如移动管理器110指示用户刚刚已开始触摸UE 102。在这种情况下,状态管理器112可以仅基于雷达管理器116的确定来增加功率,但是可以这样做以达到显示器或认证系统114或其组件的中间功率级别,而不是等待直到移动管理器110指示用户触摸以为这些组件完全供电。但是,如上所述,状态管理器112可以仅在基于雷达数据确定接涉的意图时将状态更改为较高的功率级别,或者仅在基于雷达数据确定不接涉的意图时将状态变换为较低的那些级别。
图1示出了在示例环境100-1、100-2和100-3下状态管理器112可以管理UE 102的状态的许多示例方式中的一个。
在环境100-1中,假设用户120被认证并且UE 102处于功率、访问和信息的高级别状态。该认证通过显示高饱和度和高亮度的星符号(在环境100-1中122处示出)的显示器116指示给用户120。在环境100-1中,用户120将UE 102放置在桌子上。UE 102在桌子上的这种放置导致传感器108感测到惯性数据然后提供惯性数据给移动管理器110。移动管理器110基于该惯性数据确定UE 102已经移动但现在正在仍静止。UE 102之前处于移动场境中,并且现在处于静止场境中。此时,移动管理器110可以将此移动确定传递给雷达系统104、雷达管理器106或状态管理器112,但是在三个任一个情况下,这都是用于确定是否将状态从高级别降低到中间级别或者较低级别的数据点。如所指出的,降低这些状态可以节省电力、保持信息私密和访问安全,并且仍然为用户120提供无缝的用户体验。例如,基于移动确定,雷达系统104形成用于管理其输出的场境。在检测一些轻微移动但用户120没有握持UE 102的环境100-1中,雷达系统104可以确定在其中UE 120正靠放在平坦的固定表面上的环境100-1。因为UE 120的场境是除了轻微移动之外的静止场境,所以该场境满足基于雷达的姿势识别的要求。
继续该示例,考虑环境100-2,其中用户120从UE 102缩回他们的手。该缩回分别由雷达系统104和雷达管理器106感测和分析。通过这样做,雷达管理器106确定用户120意图不与UE 102接涉。基于来自雷达管理器106的确定和来自移动管理器110的移动确定,状态管理器112可以降低UE 102的状态中的一个或多个。这里降低意图对应于用户120与UE 102的接涉级别。状态管理器112的该降低是通过降低显示器116的饱和度和亮度达到中间功率级别,在低亮度和饱和度星符号处显示(在124处显示)。注意,状态管理器112可以将状态降低到功率、访问和/或信息的低级别,但是这里,状态管理器112将状态降低到中间级别,因为不与雷达管理器106接涉的意图指示用户120正在缩回他们或他们的手臂,但是他们的身体仍然朝向UE 102定向,并且用户120仍然在看着UE 102。这是使状态适应用户的接涉的一个示例,因为缩回指示某种程度的不接涉,但可以单独指示雷达管理器106进行的不接涉确定中的某些继续接涉或某种程度的不确定性。例如,缩回确定可以用作用于定义UE 102的第二场境的接近信息。雷达系统104在环境100-2中形成用于管理其姿势识别能力的第二场境。在检测到缩回而没有向UE 102的任何移动的情况下,雷达系统104可以确定环境100-2是不满足触摸无关的姿势识别的要求的存放场境,因为该场境指示该设备现在处于用户120的可及范围之外。
结束该示例,考虑环境100-3。在此,用户120正在读书,而UE 102位于桌子上。用户120以某个种角度远离UE 102并朝向他们的书来定向他们的身体,并且用户120正看着书而不是UE 102。基于关于用户120的定向的该附加信息,雷达管理器106确定用户120意图(可能已经)不与UE 102接涉。此时,雷达管理器106将该不接涉确定的附加意图提供给状态管理器112,状态管理器112然后将UE 102的状态降低到低水平,在显示器116处以较低的功率使用示出(在126处仅以低亮度和饱和度示出一天中的时间)。虽然未示出,但是状态管理器112还解除对用户120的认证(例如,锁定UE 102)。关于用户120定向或用户120正意图不与UE 102接涉的确定的此附加信息可以用作定义UE 102的第三场境的接近信息。雷达系统104响应于检测到不接涉和读书的意图而形成第三场境。雷达系统104可以确定环境100-3不是满足基于雷达的姿势识别的要求的场境,因为该场境指示该设备现在处于用户120的接近影响范围之外。
如该示例中所示,本文描述的技术可以管理用户设备的状态以提供涉及认证和基于雷达的姿势识别的无缝用户体验。与其他技术相比,这些技术使得能够利用降低的功率消耗和更好的隐私和安全性来这样做。状态管理可以实现维持或增加功率、访问和信息的级别。如进一步示出的,在没有门控的情况下,UE 102可以从由雷达系统104获得的雷达数据中过度解释基于雷达的姿势,从而浪费计算资源处理并随后丢弃错误的姿势。通过基于场境来对雷达系统104的姿势识别进行门控,相对于用于基于雷达的姿势识别的其他技术和系统,所公开的技术和系统使UE 102能够节省电力、提高准确性或降低解释和响应基于雷达的输入的时延。
更详细地,考虑图2所示的认证系统114的一个示例。这只是一个示例,因为考虑了状态管理器112可控制的其他认证系统,诸如通过触摸敏感显示器的密码输入、使用雷达系统104的雷达认证或指纹读取器,仅举几例。
图示了认证系统114的该示例,其示出了UE 102(被示为智能电话)的内部200。在所描绘的配置中,UE 102包括雷达系统104的雷达集成电路202、扬声器204、前置相机206以及作为传感器108的示例的接近传感器208和环境光传感器210。作为传感器108的进一步示例,UE 102还包括面部解锁传感器212,该面部解锁传感器212包括近红外(NIR)泛光照明器214和近红外(NIR)点投影仪216,两者均在用户上投影红外光或近红外光。面部解锁传感器212还包括两个NIR相机218-1和218-2,它们位于UE 102的相对侧。NIR相机218-1和218-2感测由用户反射的红外光和近红外光。该反射的近红外光可用于确定面部特征,并利用这些特征,基于与先前存储的面部特征信息的比较来确定用户是否被认证。NIR泛光照明器214例如利用NIR光“泛光”环境,其在接收来自用户(和其他对象)的反射时提供图像。即使在低环境光或没有环境光的情况下,该图像包括用户的面部,并且因此可以用于确定面部特征。NIR点投影仪216提供NIR光反射,可以对其进行分析以确定对象的深度,包括用户面部的特征。因此,(例如,在设置面部认证时先前地)可以创建用户的深度图(例如,谱深度图),并且可以确定当前深度图,并将其与所存储的、先前创建的深度图进行比较。此深度图有助于防止对用户面部的图片或其他二维渲染(而不是人的实际面部)进行认证。
这种用户面部特征的映射可以安全地存储在UE 102上,并且基于用户的偏好,既可以在UE 102上安全,又可以防止外部实体可用。
认证系统114包括面部解锁传感器212,但也可以包括其他组件,诸如前置相机206、接近传感器208和环境光传感器210,以及用于分析数据的处理器、用于存储、缓存或缓冲传感器数据的存储器(也可能具有多个功率状态)等等。
如以下所述的方法中指出的,面部解锁传感器212感测IR(红外)和NIR(近红外)数据以执行面部识别,这是技术可以认证用户并因此更改访问状态(例如,解锁UE 102)的一种方式。为了节省电力,面部解锁传感器212在不使用时以低功率状态(其也可以是简单地关断)操作。特别地,NIR泛光照明器214和NIR点投影仪216在关断状态下不辐射。然而,与从低功率或无功率状态转换到中间功率状态和/或高功率状态相关联的预热序列可以用于NIR泛光照明器214和NIR点投影仪216。通过将这些组件之一或两者供电,可以有时将认证用户的时延降低半秒或更多。假设每天许多用户认证他们的设备数十次甚至数百次,则这可以节省用户时间并改善他们的体验。如本文指出的,通过雷达管理器106基于雷达系统104提供的雷达数据来确定用户正意图与他们或者他们的设备进行接涉来降低该时间延迟。这由状态管理器112进行管理。实际上,这些技术可以前摄地检测接涉的用户意图和初始化预热序列。该技术甚至可以在用户触摸UE 102之前进行,尽管这不是必需的。因此,该技术使NIR泛光照明器214和NIR点投影器216能够被充足供电以用于认证用户,这降低了用户等待面部识别完成所花费的时间。
在继续进行到UE 102中的其他组件之前,考虑面部解锁传感器212的方面。认证系统114的此示例组件可以以相对于显示器116的平面只有十度使用面部识别来认证用户。因此,用户无需拿起电话并将传感器转向他们或他们的面部,诸如以70到110或80到100度的角度,而是使用面部解锁传感器212,认证系统114被配置为甚至在用户拿起UE 102之前对其进行认证。这在图3中示出,其示出了用户120,其面部的部分以一个角度被用于面部识别(例如,他们的下巴、鼻子或者颧骨),该角度可以相对于显示器116的平面304只有十度。还示出了当用户120的面部距离面部解锁传感器212超过一米时,如面部距离306处示出的,用户120被认证。通过这样做,即使UE 102上边朝下或以反常的角度被定向,该技术也准许几乎无缝和即时的认证。
更详细地,考虑图4,该图图示了UE 102(包括雷达管理器106、移动管理器110和状态管理器112)的示例实施方式400,其可以实现用于通过IMU和雷达进行认证管理的技术。图4的UE 102用包括UE 102-1、平板电脑102-2、膝上型计算机102-3、台式计算机102-4、计算手表102-5、计算眼镜102-6、游戏系统102-7、家庭自动化和控制系统102-8以及微波炉102-9的各种示例设备来图示。UE 102还可以包括其他设备,诸如电视、娱乐系统、音频系统、汽车、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全系统和其他家庭电器。注意,UE 102可以是可穿戴的、不可穿戴的但移动的或相对不移动的(例如,台式机和电器)。
UE 102包括惯性测量单元408作为上述传感器108的示例。UE102的示例性总体横向尺寸可以是例如大约八厘米乘大约十五厘米。雷达系统104的示例性占地面积可以被更加限制,诸如包括天线在内的大约四毫米乘六毫米。需要结合功率和处理限制在这样的空间限制的封装中容纳UE 102的许多其他期望的特征的对于雷达系统104的这种限制的占地面积的要求,可能导致基于雷达的姿势识别的准确性和效率中的折衷,可以鉴于本文的教导来克服其中至少一些。
UE 102还包括一个或多个计算机处理器402和一个或多个计算机可读介质404,其包括存储器介质和存储介质。在计算机可读介质404上实现为计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器402执行,以提供本文所述的功能性中的一些或者全部,诸如雷达管理器106、移动管理器110和状态管理器112的功能中的一些或全部(在计算机可读介质404中示出的,尽管这不是必需的)。
UE 102还可以包括网络接口406。UE 102可以使用网络接口406来通过有线、无线或光纤网络通信数据。作为示例而非限制,网络接口406可以通过局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、区域网(WAN)、内部网、互联网、端对端网络、点对点网络或网状网络来通信数据。
在各方面,雷达系统104至少部分地以硬件实现。雷达系统104的各种实施方式可以包括片上系统(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板或其任何组合。雷达系统104通过传送和接收其自身的雷达信号来作为单基地雷达操作。在一些实施方式中,雷达系统104还可以与外部环境内的其他雷达系统104合作以实现双基地雷达、多基地雷达或网络雷达。然而,UE 102的约束或限制可能影响雷达系统104的设计。例如,UE 102可能具有可用于操作雷达的限制的功率、限制的计算能力、大小约束、布局限制、使雷达信号衰减或失真的外部壳体等等。如下面进一步描述的,雷达系统104包括几个特征,这些特征使得在存在这些约束的情况下能够实现先进的雷达功能性和高性能。
在说明状态管理器112可以起作用的附加示例方式之前,考虑图5,图5图示了UE102可以按照其中操作的可以由状态管理器112管理的许多信息、功率和访问状态。
图5说明了UE 102可以按照其中操作的访问、信息和功率状态,可以通过所描述的技术来管理其中的每个。为了视觉简洁,以三个级别的粒度示出了设备状态500的这些示例级别和类型,尽管为访问状态502、功率状态504和信息状态506每个设想了许多级别。访问状态502利用三个示例级别的粒度被示出,高访问状态502-1、中间访问状态502-2和低访问状态502-3。类似地,功率状态504被示出三个示例级别的粒度,高功率状态504-1、中间功率状态504-2和低功率状态504-3。同样地,信息状态506被示出三个示例级别的粒度,高信息状态506-1、中间信息状态506-2和低信息状态506-3。
更详细地,访问状态502与设备的用户对UE 102的数据、应用和功能可用的访问权限有关。这种访问可能很高,有时被称为UE 102的“解锁”状态。这种高访问级别可以简单地包括设备的应用和功能,也可以包括通过UE 102对诸如银行账户、社交媒体账户等的各种账户的访问。许多诸如UE 102的计算设备要求认证以提供高访问,诸如高访问状态502-1。然而,UE 102可以准许各种中间访问级别,诸如准许用户访问UE 102的一些但不是全部账户、服务或组件的状态。示例包括允许用户拍照,但不访问先前捕获的照片。其他示例包括允许用户应答电话但是在拨打电话时不访问联系人列表。这些只是UE 102可以准许的许多中间权限中的一些,如利用中间访问状态502-2所示的。最后,访问状态502可以避免准许访问,如低访问状态502-3所示。在设备可以被接通的情况下,发送警报之类的通知以唤醒用户等,但不准许访问UE 102的功能(或者UE 102可能简单地被关断,因此不准许访问)。
以三个示例级别的粒度示出了功率状态504,高功率状态504-1、中间功率状态504-2和低功率状态504-3。功率状态504与诸如雷达系统104、显示器116或其他功率消耗组件的UE 102的一个或多个组件相关,该其他功率消耗组件诸如处理器、相机、麦克风、语音助手、触摸屏、传感器、雷达和作为认证系统114的部分的组件(其也可以包括列出的先前组件)。在给组件供电以及通常功率状态504的场境中,词语功率、供电、增加功率、降低功率等可以包括对电源管理集成电路(PMIC)的控制;管理从PMIC延伸的电源导轨;断开和闭合电源导轨、PMIC和一个或多个电路组件(例如,所提及的NIR组件、相机、显示器和雷达)之间的开关;以及提供电源电压以准确且安全地操作组件,这可以包括斜升(ramp)或分配施加的电压或管理电流涌入(in-rush)。
关于雷达系统104,可以通过以不同占空比收集雷达数据(例如,较低的频率可能使用更少的功率,而较高的频率可能使用更多的功率)、在组件处于不活跃时关闭各种组件或调整功率放大级别来降低功率状态504。通过这样做,雷达系统104可以在高功率状态504-1下使用大约90mW的功率,在中间功率状态504-2下使用30到60mW的功率或者在低功率状态504-3下使用小于30mW的功率(例如,在从2到20mW雷达系统104可以操作,同时仍提供一些可用的雷达数据,诸如用户存在)。这些功率使用级别中的每一个允许不同的分辨率和距离。参考图6-1描述关于雷达系统104(和UE 102)的功率管理的附加细节。
在上述更改状态的场境中,状态管理器112基于雷达管理器106和移动管理器110进行的确定,可以对UE 102的各个组件进行供电或断电。
例如,状态管理器112可以将认证系统114或显示器116的功率从较低功率状态更改(例如,低功率状态504-3更改为中间功率状态504-2或将这些中的任一个更改为高功率状态504-1)。通过这样做,UE 102可以更快速或更容易地与用户接涉或认证用户。因此,状态管理器112可以将功率状态504更改为比用于UE 102的系统或与UE 102相关联的特定功率消耗实体的当前情况更高或更低的功率。进一步描述作为上述图2的一部分的示例组件,包括对面部解锁传感器212及其组件、NIR泛光照明器214和NIR点投影仪216以及NIR相机218-1和218-2供电或断电,降低对这些组件、显示器、麦克风、触摸输入传感器等的功率。
UE 102的第三示例状态是信息状态506,其以高信息状态506-1、中间信息状态506-2和低信息状态506-3被图示。更详细地,信息状态506与提供给例如图1的用户120的用户的信息量有关。在通知的场境中,高信息状态506-1提供最高信息级别,并且通常假设UE102是解锁的或以其他方式被认证,或者具有提供高级别信息的用户偏好而无需认证。示例包括,对于高信息状态506-1,当接收到呼叫时显示呼叫者的姓名、号码以及甚至相关联的图像。类似地,当接收到文本或电子邮件或其他类型的消息时,通过显示器116或音频扬声器、外围设备等自动呈现内容。这假设高级别接涉,尽管用户的偏好可以确定需要什么接涉。这里假设用户的接涉与提供的信息量之间存在某种相互关系,因此,通过确定接涉,这些技术可以使呈现的信息适应于该确定。降低信息的示例,例如中间信息状态506-2,包括:在接收到呼叫时呈现铃声但不呈现呼叫者的姓名/身份,指示已经收到文本消息或电子邮件,但仅接收到主题行或仅地址或正文中的部分内容但并非其全部等等。低信息状态506-3很少呈现或根本不呈现与用户120个人相关联的信息,但是可以包括一般性或被广泛被认为是常识或不敏感的信息,诸如显示器116显示当前日期、时间、天气状况、电池电力状态或UE 102处于开启状态。低信息状态506-3的其他示例包括白屏或黑屏以及当接收到文本消息时仅指示已接收到消息的可听见的“砰(ping)”或者呼叫的铃声,但不包括姓名、号码或有关呼叫者的其他信息。
图6-1图示了雷达系统104的示例实施方式600。在示例600中,雷达系统104包括至少一个以下组件中的每个:通信接口602、天线阵列604、收发器606、处理器608以及系统介质610(例如,一个或多个计算机可读存储介质)。处理器608可以被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如,UE 102的计算机处理器402)或其一些组合。可以被包括在UE 102的计算机可读介质404中或与之分离的系统介质610包括以下模块中的一个或多个:衰减缓解器614、数字波束形成器616、角度估计器618、功率管理模块620、或姿势识别模块621。这些模块可以补偿或缓解将雷达系统104集成到UE 102中的影响,从而使雷达系统104能够识别小或复杂的姿势、在用户的不同定向(例如,“伸(reach)”)之间进行区分、连续监视外部环境或实现目标虚警率。通过这些特征,可以在诸如图4中图示的设备的各种不同设备内实现雷达系统104。
使用通信接口602、雷达系统104可以将雷达数据提供给雷达管理器106。通信接口602可以是基于雷达系统104与UE 102分离实现或集成在UE 102中实现的无线或有线接口。取决于应用,雷达数据可以包括原始或最少处理的数据、同相且正交(I/Q)数据、距离多普勒数据、包括目标位置信息(例如,范围、方位角、俯仰角)的处理的数据、杂波图数据等。通常,雷达数据包含雷达管理器106可用于向状态管理器112提供接涉、不接涉或保持接涉的用户意图的信息。
天线阵列604包括至少一个发射天线元件(未示出)和至少两个接收天线元件(如图7所示)。在某些情况下,天线阵列604可以包括多个发射天线元件,以实现能够一次发射多个不同波形(例如,每个发射天线元件一个不同的波形)的多输入多输出(MIMO)雷达。多个波形的使用可以增加雷达系统104的测量准确性。对于包括三个或更多个接收天线元件的实施方式,接收天线元件可以以一维形状(例如,线)或二维形状定位。一维形状使得雷达系统104能够测量一个角度尺寸(例如,方位角或俯仰角),而二维形状使得能够测量两个角度尺寸(例如,方位角和俯仰角)。参照图7进一步描述接收天线元件的示例二维布置。
图6-2图示了示例收发器606和处理器608。收发器606包括可以根据雷达系统104的操作状态经由功率管理模块620单独地接通或关断的多个组件。注意,功率管理模块620可以是独立的,与状态管理器112集成或在状态管理器112的控制下,诸如在状态管理器112正在对用于认证用户的组件(例如,认证系统114)进行供电或断电的情况下。收发器606被示出为包括至少一个以下组件中的每个:有源组件622、电压控制的振荡器(VCO)和电压控制的缓冲器624、多路复用器626、模数转换器(ADC)628、锁相环(PLL)630和晶体振荡器632。如果接通,则即使雷达系统104没有活跃地使用这些组件发射或接收雷达信号,这些组件中的每一个也消耗功率。有源组件622例如可以包括耦合到电源电压的放大器或滤波器。VCO624基于由PLL 630提供的控制电压来生成频率调制的雷达信号。晶体振荡器632生成用于信号生成、频率转换(例如,上变频或下变频)或雷达系统104内的定时操作的参考信号。通过接通或关断这些组件,功率管理模块620使得雷达系统104能够在活跃和不活跃操作状态之间快速切换,并在各个不活跃时间段期间节省电力。这些不活跃时间段可能为微秒(μs)、毫秒(ms)或秒(s)的数量级。
处理器608被示出为包括消耗不同量的功率的多个处理器,诸如低功率处理器608-1和高功率处理器608-2。作为示例,低功率处理器608-1可以包括嵌入在雷达系统104内的处理器,而高功率处理器可以包括计算机处理器402或雷达系统104外部的一些其他处理器。功率消耗中的差异可能是由于可用内存或计算能力不同而引起的。例如,相对于高功率处理器608-2,低功率处理器608-1可以利用更少的内存、执行更少的计算或者利用更简单的算法。尽管有这些限制,但低功率处理器608-1仍可处理用于较不复杂的基于雷达的应用的数据,诸如接近检测或运动检测(基于雷达数据而不是惯性数据)。相反,高功率处理器608-2可以利用大量的内存、执行大量的计算或者执行复杂的信号处理、跟踪或机器学习算法。高功率处理器608-2可以处理用于受关注的基于雷达的应用的数据,诸如姿势识别、面部识别(用于认证系统114),并通过角度模糊的分辨率或区分多个用户及其特征来提供准确的高分辨率数据。
为了节省电力,功率管理模块620可以控制是使用低功率处理器608-1还是高功率处理器608-2来处理雷达数据。在一些情况下,低功率处理器608-1可执行分析的部分并将数据传递到高功率处理器608-2上。示例数据可以包括杂波图、原始或最少处理的雷达数据(例如,同相且正交数据或距离多普勒数据)或数字波束成形数据。低功率处理器608-1还可以执行一些低级别分析以确定在环境中是否有任何感兴趣事物以用于高功率处理器608-2进行分析。以这种方式,可以通过限制高功率处理器608-2的操作来节省电力,同时在由基于雷达的应用请求高保真或准确的雷达数据的情况下利用高功率处理器608-2。关于图6-1进一步描述了可能影响雷达系统104内的功率消耗的其他因素。
姿势识别模型621从由雷达系统104获得的雷达数据中解释姿势,诸如触摸无关的姿势。姿势可以是(例如,在雷达系统104输出微波发射的表面附近执行的)二维姿势。姿势可以是在空中执行的三维姿势。
基于雷达数据,姿势识别模型621辨别用户用包括他们的手指、手、眼、头、嘴等的他们的身体做出的提示、形状和标志。姿势识别模型621将用户的移动与预定姿势的匹配形状、标志和移动进行匹配。响应于确定雷达数据匹配特定姿势,姿势识别模型621将姿势的指示输出到其他组件以执行功能,例如以控制操作系统或应用功能,诸如认证用户120。
姿势识别模型621可以是机器学习模型,诸如神经网络,其被训练以从雷达数据中辨别触摸无关的姿势。例如,可以使用训练数据来训练姿势识别模型621,该训练数据包括雷达数据的样本以及与雷达数据匹配的姿势的对应部分。基于训练数据,姿势识别模型621确定规则以应用于由雷达系统104接收的雷达数据的样本,使得当接收到相似的雷达数据时,辨别姿势的对应部分并用于构造姿势预测。在执行规则时,姿势识别模型621可以输出对从雷达数据预测的所识别的姿势的指示。
在某些情况下,对所识别的姿势的指示可能伴随着置信度或分数。置信度指示雷达数据104已适用于所辨别的姿势的置信度。姿势识别模型621可以基于场境来调整对所辨别的姿势的置信度。例如,姿势识别模型621在用户不移动的环境中检测姿势时应用高置信度,相对地在用户移动的环境中检测相似姿势时则应用低置信度。姿势识别模型621在大对象遮挡雷达系统104的环境中检测姿势时可以应用低置信度,相对地在用户正在观看UE102的环境中检测类似姿势时可以应用高置信度。依赖于检测到的姿势的应用或其他组件可以取决于与该姿势相关联的置信度或分数来丢弃或处理该姿势。所描述的技术和系统可以将置信度或分数应用于门控姿势,因此该姿势被丢弃并且不用于执行功能。
下面更详细地阐述这些和其他能力和配置,以及图1、2、4和6-9的实体作用和交互的方式。这些实体可以进一步被划分、合并等等。图1的环境100和图2至图9的详细图示图示了能够采用所描述的技术的许多可能的环境和设备中的一些。图6-9描述了雷达系统104的附加细节和特征。在图6-9中,在UE 102的场境中描述雷达系统104,但是如上所述,所描述的系统和技术的特征和优点的适用性并不一定必需如此限制,并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
图7图示了接收天线元件702的示例布置700。例如,如果天线阵列604包括至少四个接收天线元件702,则接收天线元件702可以布置在如图4中部所示的矩形布置704-1中。替选地,如果天线阵列604包括至少三个接收天线元件702,则可以使用三角形布置704-2或L形布置704-3。
由于UE 102的大小或布局约束,接收天线元件702之间的元件间隔或接收天线元件702的数量对于雷达系统104将要监视的角度可能不是理想的。特别地,元件间隔可能导致存在角度模糊,这使得常规雷达估计目标的角度位置是挑战性的。因此,常规雷达可以限制视场(例如,要监视的角度),以避免具有角度模糊的模糊区域,并且从而降低错误检测。例如,常规雷达可将视场限制在大约-45度至45度之间的角度,以避免使用8毫米(mm)的波长和6.5mm的元件间隔(例如,元件间隔为波长的90%)发生的角度模糊。因此,常规雷达可能无法检测到超出视场的45度限制的目标。相反,雷达系统104包括数字波束形成器616和角度估计器618,其解析角度模糊并使雷达系统104能够监视超过45度限制的角度,诸如大约-90度至90度之间的角度,或高达大约-180度和180度的角度。可以跨一个或多个方向(例如,方位角和/或俯仰角)应用这些角度范围。因此,雷达系统104可以针对包括小于、大于或等于雷达信号的中心波长的一半的元件间隔的各种不同的天线阵列设计实现低虚警率。
使用天线阵列604,雷达系统104可以形成导向(steer)或未导向、宽或窄或整形(shaped)(例如,半球、立方体、扇形、圆锥形或圆柱体)的波束。作为示例,一个或多个发射天线元件(未示出)可以具有未导向的全向辐射模式,或者可以能够产生宽波束,诸如宽发射波束706。这些技术中的任何一种使得雷达系统104能够照亮大体积的空间。然而,为了实现目标角度准确性和角度分辨率,接收天线元件702和数字波束形成器616可以用于生成数千个窄和导向波束(例如,3000个波束、7000个波束或9000个波束),诸如窄接收波束708。以这种方式,雷达系统104可以有效地监视外部环境并准确地确定外部环境内的反射的到达角度。
返回到图6-1,收发器606包括用于经由天线阵列604发射和接收雷达信号的电路和逻辑。收发器606的组件可以包括用于调节雷达信号的放大器、混频器、开关、模数转换器、滤波器等。收发器606还可以包括用于执行诸如调制或解调的同相/正交(I/Q)操作的逻辑。收发器606可以被配置用于连续波雷达操作或脉冲雷达操作。可以使用各种调制来产生雷达信号,其包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器606可以在诸如在1千兆赫(GHz)与400GHz之间、在4GHz与100GHz之间或在57GHz与63GHz之间的频率范围(例如,频谱)内生成雷达信号。频谱可以被划分为具有相似带宽或不同带宽的多个子谱。带宽可以在500兆赫(MHz)、1GHz、2GHz等的数量级。作为示例,不同的频率子谱可以包括大约57GHz至59GHz,59GHz至61GHz、或61GHz至63GHz之间的频率。具有相同带宽并且可以是连续的或不连续的多个频率子谱也可以因为相干性而被选择。可以使用单个雷达信号或多个雷达信号在时间上同时或单独发射多个频率子谱。连续频率子谱使雷达信号具有更宽的带宽,而非连续频率子谱可以进一步强调振幅和相位差,这使角度估计器618能够解析角度模糊。衰减缓解器614或角度估计器618可以使收发器606利用一个或多个频率子谱来提高雷达系统104的性能,如关于图8和9进一步描述的。该技术的一些实施例是特别有利的,诸如当UE 102是手持智能电话,雷达信号在57Ghz-64Ghz频带中,峰值有效等效全向辐射功率(EIRP)在10dBm-20dBm(10mW-100mW)范围内,且平均功率谱密度约为13dBm/MHz时,已经发现这可以适当地解决辐射健康和共存问题,同时还在智能电话和用户附近提供了一个大小适合的雷达检测“气泡(bubble)”(例如,范围至少为一米,且通常可达或超过两米),在所述“气泡”中通过IMU和雷达进行认证管理的所描述的方法在节省电力的同时提供了特别良好的节省时间的便利。
功率管理模块620管理功率使用以平衡性能和功率消耗。例如,功率管理模块620与雷达管理器106通信,以使雷达系统104使用预定义的雷达功率状态来收集数据。每个预定义的雷达功率状态可以与特定的成帧结构、特定的发射功率级别或特定的硬件(例如,图6-2的低功率处理器608-1或高功率处理器608-2)相关联。调整这些中的一个或多个影响雷达系统的104功率消耗。但是,降低功率消耗影响性能,诸如下面所述的姿势帧更新速率和响应延迟。
图6-3图示了功率消耗、姿势帧更新速率634和响应延迟之间的示例关系。在图636中,雷达功率状态638-1、638-2和638-3与不同功率消耗级别和不同的姿势帧更新速率634相关联。姿势帧更新速率634表示雷达系统104通过发射和接收一个或多个雷达信号来活跃地监视外部环境的频率。通常来讲,功率消耗与姿势帧更新速率634成比例。因此,较高的姿势帧更新速率634导致雷达系统104消耗更大量的功率。
在图636中,雷达功率状态638-1利用最小量的功率,而雷达功率状态638-3消耗最大量的功率。作为示例,雷达功率状态638-1消耗几毫瓦(mW)数量级(例如,在大约2mW和4mW之间)的功率,而雷达功率状态638-3消耗若干毫瓦数量级(例如,在大约6mW和20mW之间)的功率。就姿势帧更新速率634而言,雷达功率状态638-1使用几赫兹数量级(例如,大约1Hz或小于5Hz)的更新速率,而雷达功率状态638-3使用数十赫兹的数量级(例如,大约20Hz或大于10Hz)的姿势帧更新速率634。
图640描绘了针对不同雷达功率状态638-1至638-3的响应延迟与姿势帧更新速率634之间的关系。通常来讲,响应延迟与姿势帧更新速率634和功率消耗两者成反比。特别地,当姿势帧更新速率634增加时,响应延迟成指数地降低。与雷达功率状态638-1相关联的响应延迟可以在数百毫秒(ms)数量级(例如1000ms或大于200ms),而与雷达功率状态638-3相关联的响应延迟可以在若干毫秒数量级(例如,50ms或小于100ms)。对于雷达功率状态638-2,功率消耗、姿势帧更新速率634和响应延迟在雷达功率状态638-1和雷达功率状态638-3的功率消耗、姿势帧更新速率634和响应延迟之间。例如,雷达功率状态638-2的功率消耗约为5mW,姿势帧更新速率约为8Hz并且响应延迟在约100ms和200ms之间。
代替以雷达功率状态638-1或雷达功率状态638-3操作,功率管理模块620在雷达功率状态638-1、638-2和638-3(以及这些雷达功率状态638之间的子状态)之间动态切换,以便基于环境内的活动一起管理响应延迟和功率消耗。作为示例,功率管理模块620激活雷达功率状态638-1以监视外部环境或检测接近的用户。稍后,如果雷达系统104确定用户显示出接涉的意图或可能开始这样做或开始执行姿势,则功率管理模块620激活雷达功率状态638-3。不同的触发可以使功率管理模块620在不同的雷达功率状态638-1至638-3之间切换。示例触发包括运动或缺少运动、用户的出现或消失、用户移入或移出指定区域(例如,由范围、方位角或高程定义的区域)、与用户相关联的运动的速度变化、由雷达管理器106确定的接涉意图(例如,“伸”,尽管某些接涉意图需要附加的功率,诸如面部特征跟踪)或者反射信号强度的变化(例如,由于在雷达截面积中的变化)。通常,指示用户与UE 102交互的较低可能性的触发或使用较长的响应延迟来收集数据的偏好可导致雷达功率状态638-1被激活以节省电力。
通常,功率管理模块620确定何时和如何节约功率,并递增地调整功率消耗以使雷达系统104能够在UE 102的功率限制内操作。在某些情况下,功率管理模块620可以监视剩余的可用电量并且相应地(例如,由于低电池)调整雷达系统104的操作。例如,如果剩余电量低,则功率管理模块620可以继续在雷达功率状态638-1下操作,而不是切换到雷达功率状态638-2或638-3中的任何一个。
每个功率状态638-1至638-3可以与特定的成帧结构相关联。成帧结构指定与雷达信号的发射和接收相关联的配置、调度和信号特性。通常,设置成帧结构,以便可以基于外部环境收集适当的雷达数据。可以对成帧结构进行定制,以促进针对不同应用(例如,接近检测、特征识别或姿势识别)收集不同类型的雷达数据。在整个每个成帧结构级别的不活跃时间期间,功率管理模块620可以关断图6-2中收发器606内的组件以节省电力。参照图6-4进一步描述示例成帧结构。
图6-4图示了示例成帧结构642。在所描绘的配置中,成帧结构642包括三种不同类型的帧。在最高级别,帧结构642包括一系列姿势帧644,其可以处于活跃状态或不活跃状态。通常来讲,相对于不活跃状态,活跃状态消耗更大量的功率。在中间级别,成帧结构642包括一系列特征帧(FF)646,其可以类似地处于活跃状态或不活跃状态。不同类型的特征帧包括脉冲模式特征帧648(在图6-4的左下示出)和突发模式特征帧650(在图6-4的右下示出)。在低级别,成帧结构642包括一系列雷达帧(RF)652,它们也可以处于活跃状态或不活跃状态。
雷达系统104在活跃雷达帧(RF)652期间发射和接收雷达信号。在某些情况下,针对诸如搜索和跟踪、杂波图生成、用户位置确定等的基本雷达操作可以单独分析雷达帧652。将在每个活跃雷达帧652期间收集的雷达数据在完成雷达帧652之后可以被保存到缓冲器中或者直接提供给图6-1的处理器608。
雷达系统104分析跨多个雷达帧652(例如,跨与活跃特征帧646相关联的雷达帧652的组)的雷达数据,以辨别与一个或多个姿势相关联的特定特征。示例特征类型包括特定运动类型、与特定附肢(例如,手或各个手指)相关联的运动以及与姿势的不同部分相关联的特征。为了识别用户120在活跃姿势帧644期间执行的姿势,雷达系统104分析与一个或多个活跃特征帧646相关联的雷达数据。
取决于姿势的类型,姿势帧644的持续时间可以在毫秒或秒的数量级(例如,在大约10ms至10s之间)上。在活跃姿势帧644出现之后,雷达系统104是不活跃的,如不活跃姿势帧644-3和644-4所示。不活跃姿势帧644的持续时间由深度睡眠时间654表征,该深度睡眠时间可以为数十毫秒或更多的数量级(例如,大于50ms)。在示例实施方式现中,雷达系统104可以关断收发器606内的所有组件以在深度睡眠时间654期间节省电力。
在所描绘的成帧结构642中,每个姿势帧644包括K个特征帧646,其中K是正整数。如果姿势帧644处于不活跃状态,则与该姿势帧644相关联的所有特征帧646也都处于不活跃状态。相反,活跃姿势帧644包括J个活跃特征帧646和K-J个不活跃特征帧646,其中J是小于或等于K的正整数。特征帧646的数量可以基于姿势的复杂度,并且可以包括几个到一百个特征帧646(例如,K可以等于2、10、30、60或100)。每个特征帧646的持续时间可以在毫秒的数量级(例如,在大约1ms与50ms之间)上。
为了节省电力,活跃特征帧646-1至646-J出现在不活跃特征帧646-(J+1)至646-K之前。不活跃特征帧646-(J+1)至646-K的持续时间由睡眠时间656表征。以这种方式,连续执行不活跃特征帧646-(J+1)至646-K,使得相对于将不活跃特征帧646-(J+1)至646-K与活跃特征帧646-1至646J交织的其他技术,雷达系统104可处于断电状态更长的持续时间。通常来讲言,增加睡眠时间656的持续时间使得雷达系统104能够关断收发器606内需要更长启动时间的组件。
每个特征帧646包括L个雷达帧652,其中L是可以等于或可以不等于J或K的正整数。在一些实施方式中,雷达帧652的数量可以跨不同特征帧646变化并且可以包括几帧或几百帧(例如,L可以等于5、15、30、100或500)。雷达帧652的持续时间可以在数十或数千微秒的数量级(例如,在大约30μs和5ms之间)上。可以针对特定的检测范围、范围分辨率或多普勒敏感度对特定功能帧646中的雷达帧652进行定制,这有助于检测特定特征和姿势。例如,雷达帧652可以利用特定类型的调制、带宽、频率、发射功率或定时。如果特征帧646处于不活跃状态,则与该特征帧646相关联的所有雷达帧652也处于不活跃状态。
脉冲模式特征帧648和突发模式特征帧650包括雷达帧652的不同序列。通常来讲,活跃脉冲模式特征帧648内的雷达帧652发射在时间上通过预定量分开的脉冲。相反,活跃突发模式特征帧650内的雷达帧652跨突发模式特征帧650的一部分连续地发射脉冲(例如,脉冲没有通过预定的时间量被分开)。
在每个活跃脉冲模式特征帧648内,雷达帧652的序列在活跃状态和不活跃状态之间交替。每个活跃雷达帧652发射雷达信号(例如,啁啾(shirp)),其由三角形图示。雷达信号的持续时间以活跃时间658为表征。在活跃时间658期间,收发器606内的组件被供电。在包括在活跃雷达帧652内的剩余时间和随后的不活跃雷达帧652的持续时间的短空闲时间660期间,雷达系统104通过关断收发器606内具有在短空闲时间660的持续时间内的启动时间的组件来节省电力。
活跃突发模式特征帧650包括M个活跃雷达帧652和L-M个不活跃雷达帧652,其中M是小于或等于L的正整数。为了节省电力,活跃雷达帧652-1至652-M在不活跃雷达帧652-(M+1)至652-L之前发生。不活跃雷达帧652-(M+1)到652-L的持续时间以长空闲时间662表征。通过将不活跃雷达帧652(M+1)至652-L分组在一起,雷达系统104相对于在脉冲模式特征帧648期间发生的短空闲时间660,可以处于断电状态更长的持续时间。附加地,功率管理模块620可以关断收发器606内具有长于短空闲时间660并且短于长空闲时间662的启动时间的附加组件。
活跃突发模式特征帧650内的每个活跃雷达帧652发射雷达信号的部分。在该示例中,活跃雷达帧652-1至652-M在发射频率增加的雷达信号的部分和频率降低的雷达信号的部分之间交替。
成帧结构642使得电力能够通过每个帧类型内的可调整占空比被节省。第一占空比664基于相对于特征帧646的总数量(K)的活跃特征帧646的数量(J)。第二占空比665基于相对于雷达帧652的总数量(L)的活跃雷达帧652的数量(例如,L/2或M)。第三占空比668基于相对于雷达帧652的持续时间的雷达信号的持续时间。
考虑功率状态638-1的示例成帧结构642,其消耗大约2mW的功率并且具有在大约1Hz和4Hz之间的姿势帧更新速率634。在该示例中,成帧结构642包括具有在大约250ms与1秒之间的持续时间的姿势帧644。姿势帧644包括31个脉冲模式特征帧648(例如,L等于31)。31个脉冲模式特征帧648中的一个处于活跃状态。这导致占空比664大约等于3.2%。每个脉冲模式特征帧648的持续时间在大约8ms和32ms之间。每个脉冲模式特征帧648由八个雷达帧652组成。在活跃脉冲模式特征帧648内,所有八个雷达帧652都处于活跃状态。这导致占空比665等于100%。每个雷达帧652的持续时间在大约1毫秒和4毫秒之间。每个活跃雷达帧652内的活跃时间658在大约32μs和128μs之间。这样,所得占空比668约为3.2%。已经发现该示例成帧结构642产生良好的性能结果。这些良好的性能结果是关于良好的姿势识别和存在检测方面,同时在低功率状态(例如,低功率状态504-3)的手持智能电话的应用场境中产生了良好的功率效率结果。
基于成帧结构642,功率管理模块620可以确定雷达系统104未活跃地收集雷达数据的时间。基于该不活跃时间段,功率管理模块620可以通过调整雷达系统104的操作状态并关断收发器606的一个或多个组件来节省电力,如下文进一步描述的。
如所指出的,功率管理模块620可以在不活跃时间段期间通过关断收发器606内的一个或多个组件(例如,压控振荡器、多路复用器、模数转换器、锁相环或晶体振荡器)来节省电力。如果雷达系统104未活跃地发射或接收雷达信号,则出现这些不活跃时间段,其可以在微秒(μs)、毫秒(ms)或秒(s)的数量级。此外,功率管理模块620可以通过调整由信号放大器提供的放大量来修改雷达信号的发射功率。另外,功率管理模块620可以控制雷达系统104内不同硬件组件的使用以节省电力。例如,如果处理器608包括较低功率处理器和较高功率处理器(例如,具有不同量的存储器和计算能力的处理器),则功率管理模块620可以在利用较低功率处理器以用于低级别分析(例如,检测运动、确定用户的位置或监视环境)和较高功率处理器以用于雷达管理器106请求高保真或准确的雷达数据的情况(例如,用于实现认证系统114的高功率状态504-1以用于使用雷达数据来对用户进行认证)之间切换。
除了上述内部功率节省技术之外,功率管理模块620还可以通过单独或在认证系统114的指令下激活或去活在UE 102内的其他外部组件或传感器来节省UE 102内的功率。这些外部组件可以包括扬声器、相机传感器、全球定位系统、无线通信收发器、显示器、陀螺仪或加速度计。因为雷达系统104可以使用少量的功率来监视环境,功率管理模块620可以基于用户所在的位置或用户正在做什么而适当地接通或关断这些外部组件。以此方式,UE102可以无缝地响应于用户并且节省电力,而无需使用自动关闭(shut-off)定时器或者用户物理地触摸或口头控制UE 102。
图8图示了UE 102内的雷达系统104的示例实施方式800的附加细节。在示例800中,天线阵列604被定位在UE 102的外部壳体的下方,诸如玻璃盖或外部罩。取决于其材料属性,外部壳体可以用作衰减器802,其使雷达系统104发射和接收的雷达信号衰减或失真。衰减器802可以包括不同类型的玻璃或塑料,其中一些可以存在于显示屏、外部壳体或UE102的其他组件,并且具有大约四到十之间的介电常数(例如,相对介电常数)。因此,衰减器802对于雷达信号806是不透明的或半可穿透的,并且可以使发射或接收的雷达信号806的部分被反射(如反射部分804所示的)。对于常规雷达,衰减器802可以降低可以被监视的有效范围,防止小目标被检测到或者降低整体准确性。
假设雷达系统104的发射功率受到限制,并且不希望重新设计外部壳体,则雷达信号806的一个或多个衰减有关的属性(例如,频率子谱808或导向角810)或衰减器802的衰减有关的特性(例如,衰减器802与雷达系统104之间的距离812或衰减器802的厚度814)被调整以减轻衰减器802的影响。这些特性中的一些可以在制造期间被设置,或者在雷达系统104的操作过程期间由衰减缓解器614调整。例如,衰减缓解器614可以使收发器606使用所选择的频率子谱808或导向角810来发射雷达信号806,使平台将雷达系统104移近或远离衰减器802以改变距离812,或提示用户应用另一衰减器以增加衰减器802的厚度814。
衰减缓解器614可以基于衰减器802的预定特性(例如,存储在UE 102的计算机可读介质404中或系统介质610内的特性)或通过处理雷达信号806的返回以测量衰减器802的一个或多个特性来进行适当调整。即使衰减有关的特性中的一些是固定的或受约束的,衰减缓解器614可以考虑这些限制条件,以平衡每个参数并实现目标雷达性能。结果,衰减缓解器614使雷达系统104能够实现增强的准确性和更大的有效范围,用于检测和跟踪位于衰减器802的相对侧的用户。这些技术提供了增加发射功率的替代方案,这增加雷达系统104的功率消耗或更改衰减器802的材料属性,一旦设备投入生产,这可能既困难又昂贵。
图9图示了由雷达系统104实现的示例方案900。方案900的部分可以由处理器608、计算机处理器402或其他硬件电路执行。可以定制方案900以支持不同类型的电子设备和基于雷达的应用(例如,雷达管理器106),并且尽管设计约束也使雷达系统104能够实现目标角度准确性。
收发器606基于接收天线元件702对所接收的雷达信号的单独响应来产生原始数据902。所接收的雷达信号可以与由角度估计器618选择的有助于角度模糊分辨率的一个或多个频率子谱904相关联。例如,可以选择频率子谱904以降低旁瓣的数量或降低旁瓣的幅度(例如,将幅度降低0.5dB、1dB或更大)。可以基于目标角度准确性或雷达系统104的计算限制来确定频率子谱的数量。
原始数据902包含针对时间段、不同的波数以及分别与接收天线元件702相关联的多个信道的数字信息(例如,同相和正交数据)。对原始数据902执行快速傅立叶变换(FFT)906以生成预处理数据908。预处理数据908包括跨时间段、针对不同范围(例如,范围档(range bin))以及针对多个信道的的数字信息。对预处理数据908执行多普勒滤波过程910以生成距离多普勒数据912。多普勒滤波过程910可以包括生成针对多个范围档、多个多普勒频率以及针对多个信道的幅度和相位信息的另一FFT。数字波束形成器616基于距离多普勒数据912产生波束形成数据914。波束形成数据914包含方位角和/或俯仰角的集合的数字信息,该数字信息表示由数字波束形成器616针对其形成不同导向角或波束的视场。尽管未描绘,数字波束形成器616可以替代地基于预处理数据908来生成波束形成数据914,并且多普勒滤波处理910可以基于波束形成数据914来生成距离多普勒数据912。为了降低计算的数量,数字波束形成器616可以基于感兴趣的范围、时间或多普勒频率间隔来处理距离多普勒数据912或预处理数据908的部分。
数字波束形成器616可以使用单视波束形成器916、多视干涉仪918或多视波束形成器920来实现。通常,单视波束形成器916可以用于确定性对象(例如,具有单个相位中心的点源目标)。对于非确定性目标(例如,具有多个相位中心的目标),多视干涉仪918或多视波束形成器920用于相对于单视波束形成器916提高准确性。人类是非确定性目标的示例,并且具有多个相位中心922,这些相位中心922可以基于不同的方面角度进行变化,如924-1和924-2所示的。由多个相位中心922生成的相长或相消干涉(constructive ordestructive interference)中的变化可能使传统雷达系准确地确定角度位置是具有挑战性的。然而,多视干涉仪918或多视波束形成器920执行相干平均以提高波束形成数据914的准确性。多视干涉仪918相干地对两个信道进行平均以生成可用于准确地确定角度信息的相位信息。另一方面,多视波束形成器920可以使用诸如傅立叶、Capon、多信号分类(MUSIC)或最小方差无失真响应(MVDR)的线性或非线性波束形成器对两个或更多个信道进行相干地平均。经由多视波束形成器920或多视干涉仪918提供的增加的准确性使雷达系统104能够识别小姿势或在用户的多个部分(例如,面部特征)之间进行区分。
角度估计器618分析波束形成数据914以估计一个或多个角度位置。角度估计器618可以利用信号处理技术、模式匹配技术或机器学习。角度估计器618还解析可能由于雷达系统104的设计或雷达系统104监视的视场而导致的角度模糊。在幅度图926内示出了示例角度模糊(例如,幅度响应)。
幅度图926描绘了针对目标的不同角度位置和不同导向角度810可能发生的幅度差。示出了针对位于第一角度位置930-1上的目标的第一幅度响应928-1(用实线说明)。类似地,示出了针对位于第二角度位置930-2上的目标的第二幅度响应928-2(用虚线说明)。在此示例中,跨在-180度和180度之间的角度考虑了差异。
如振幅图926所示,对于两个角度位置930-1和930-2存在模糊区域。第一幅度响应928-1在第一角度位置930-1处具有最高峰,而在第二角度位置930-2处具有较小峰。尽管最高峰对应于目标的实际位置,但较小峰使第一角度位置930-1模糊,因为它在常规雷达可能不能确信地确定目标是在第一角度位置930-1还是第二角度位置930-2的某个阈值内。相反,第二幅度响应928-2在第二角度位置930-2处具有较小峰,而在第一角度位置930-1处具有较高峰。在这种情况下,较小峰对应于目标的位置。
虽然常规雷达可能被限制为使用最高峰幅度来确定角度位置,但是角度估计器618替代地分析幅度响应928-1和928-2的形状的细微差异。形状的特性可以包括例如滚降、峰或零点宽度、峰或零点的角度位置、峰和零点的高度或深度、旁瓣的形状、幅度响应928-1或928-2内的对称性或幅度响应928-1或928-2内缺乏对称性。可以在相位响应中分析相似的形状特性,这可以提供附加信息来解析角度模糊。因此,角度估计器618将唯一的角度签名或模式映射到角度位置。
角度估计器618可以包括算法或工具套,其可以根据UE 102的类型(例如,计算能力或功率限制)或雷达管理器106的目标角度分辨率进行选择。在一些实施方式中,角度估计器618可以包括神经网络932、卷积神经网络(CNN)934或长短期记忆(LSTM)网络936。神经网络932可以具有各种深度或数量的隐藏层(例如,三个隐藏层、五个隐藏层或十个隐藏层),并且还可以包括不同数量的连接(例如,神经网络932可以包括完全连接的神经网络或部分连接的神经网络)。在某些情况下,CNN 934可用于增加角度估计器618的计算速度。LSTM网络936可用于使角度估计器618能够跟踪目标。使用机器学习技术,角度估计器618采用非线性函数来分析幅度响应928-1或928-2的形状并生成角度概率数据938,其指示用户或用户的部分在一个角度档(angular bin)内的可能性。角度估计器618可以针对诸如两个角度档的一些角度档提供角度概率数据938,以提供目标在UE 102的左侧或右侧的概率,或者针对数千个角度档(例如,以提供用于连续角度测量的角度概率数据938)。
基于角度概率数据938,跟踪器模块940产生角度位置数据942,其辨别目标的角度位置。跟踪器模块940可以基于在角度概率数据938中具有最高概率的角度档或基于预测信息(例如,先前测量的角度位置信息)来确定目标的角度位置。跟踪器模块940还可以保持对一个或多个移动目标的跟踪,以使雷达系统104能够确信地区分或辨别目标。其他数据也可以用于确定角度位置,包括范围、多普勒、速度或加速度。在一些情况下,跟踪器模块940可以包括alpha-beta跟踪器、卡尔曼滤波器、多重假设跟踪器(MHT)等等。
量化器模块944获得角度位置数据942,并对数据进行量化以产生量化的角度位置数据946。可以基于雷达管理器106的目标角度分辨率来执行量化。在某些情况下,可以使用更少的量化级别使得量化的角度位置数据946指示目标是在UE 102的右侧还是左侧,或者辨别目标位于其中的90度象限。这对于诸如用户接近检测的某些基于雷达的应用可能是充足的。在其他情况下,可以使用更大数量的量化级别,以使得量化的角度位置数据946在一度的一部分、一度、五度等的准确性内指示目标的角度位置。该分辨率可用于诸如姿势识别的更高分辨率的基于雷达的应用,或用于本文所述的注意状态或交互状态的实施方式。在一些实施方式中,数字波束形成器616、角度估计器618、跟踪器模块940和量化器模块944被一起实现在单个机器学习模块中。
在所描述的实施方式的优点中——包括其中使用雷达确定接涉、不接涉或保持接涉的用户意图的实施方式,还包括其中使用雷达检测被归类为对与电子设备进行接涉或交互的用户意图的指示的用户动作的实施方式,使用大多数现代智能电话上设置的设备上相机可能替代地可实现的所述实施方式中的一个——是雷达系统的功率使用充足地小于相机系统的功率使用,而结果的适当性通常是利用雷达系统比利用相机系统更好。例如,使用上文所述的雷达系统,可以以范围从个位数毫瓦到几十毫瓦(例如10mW、20mW、30mW或40mW)的平均功率来实现期望的用户意图检测,其甚至包括用于处理雷达向量数据以进行确定的处理功率。在这些低功率级别下,在所有时间启用雷达系统104是可容易接受的。这样,例如,在智能电话雷达系统始终处于启用状态的情况下,仍然可以为已经距他们的智能电话在房间另一边坐下的用户提供当前描述的令人愉悦且无缝的体验达许多小时。
相反,大多数当今的智能电话设置的光学相机通常以数百毫瓦的功率(例如,比40毫瓦高的数量级,其为400毫瓦)操作。在这样的功率速率下,光学相机将是不利的,因为它们将明显降低大多数当今的智能电话的电池寿命,以至于使光学相机始终处于开启状态是非常不切实际的,即使不是禁止的。雷达系统的附加优点是视场可以相当大,足以容易地检测用户从任何方向行走,即使(对于在其中雷达芯片与自拍相机朝向相同的大体方向的许多典型实施方式)平放并面朝上放在桌子上,而且此外,凭借其多普勒处理能力,可以在从多个方向检测移动体的甚至相对微小的移动时非常有效。
附加地,雷达系统可以在相机系统的性能降低或受到限制的环境中运行。例如,在较低光环境中,相机系统可能具有降低的检测形状或移动的能力。相反,雷达系统在较低光下与在全光下执行地相一样好。雷达系统还可以通过一些障碍物来检测存在和姿势。例如,如果智能电话在口袋或夹克或裤子中,则相机系统无法检测到用户或姿势。但是,即使织物阻挡相机系统,雷达系统仍然可以检测其场中的对象。与智能电话的机载摄像机系统相比,使用雷达系统的另一个优势是隐私,因为用户可以享受本文描述的令人愉悦且无缝的体验的优势,而与此同时不需要担心摄像机为此目的拍摄他们的视频。
图1、2、4和6-9的实体可以被进一步划分、组合、与其他传感器或组件一起使用等等。以这种方式,具有雷达系统104和传感器108的不同配置的UE 102的不同实施方式可以用于使用场境敏感门控和其他场境敏感控制来实现基于雷达的姿势识别。图1的示例性操作环境100和图2至9的详细图示说明了能够采用所描述的技术的许多可能的环境和设备中的一些。
示例方法
本节说明了示例方法,这些方法可以分别操作,也可以全部一起或部分一起操作。描述了各种示例方法,为了便于阅读,每种方法都在小节中阐述;这些小节标题不旨在限制这些方法的每个与其他方法之间的互操作性。
认证管理
图10描绘了用于通过IMU和雷达来管理认证的示例方法1000,并且是管理用户设备的功率状态的一个示例。方法1000被示为指定执行但是不必限于所示的用于各个框进行的操作的顺序或组合的操作的框的集合。此外,可以重复、组合、重组或链接任何操作中的一个或多个,以提供各种各样的附加和/或替代方法。在以下讨论的部分中,可以参考图1的示例操作环境100或其他附图中详细描述的实体或过程,其参考仅作为示例。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在1002处,由用户设备基于雷达数据来确定用户的接涉意图,该接涉意图指示用户意图与用户设备进行接涉。如上所述,可以通过确定用户120正在伸向UE 102、正在看着UE 102或正在朝向UE 102倾斜或使其或其身体朝向UE 102定向来指示接涉意图,仅举三个示例。
在1004处,替代地或除了通过雷达数据对接涉意图的确定之外,还基于惯性数据来确定用户设备的移动。该移动可以指示用户120正在拿起UE 102、触摸UE 102以及如上所述的其他移动。
在1006处,响应于对接涉意图的确定,并且在某些情况下,响应于对用户设备的移动的确定,认证系统的功率消耗组件的功率状态被更改。功率消耗组件的功率状态从第一功率状态更改为第二功率状态,第二功率状态比第一功率状态消耗更大的功率。这种更改可以是仅基于使用雷达数据确定的接涉意图,或者也可以是经由通过惯性数据确定的移动。此外,可以基于移动确定来进一步提高功率消耗组件或其他被供电的部件的功率状态。如上所述,该移动确定可以确认接涉的用户120的意图,还提供接涉意图,或者以其他方式为确定添加速度和/或鲁棒性以向认证系统添加功率、资源等。注意,在某些情况下,即使尚未确定用户意图接涉,认证系统的组件仍保持被供电。在这种情况下,该技术响应于接涉意图被确定而行动以执行认证过程。在这种情况下,即使没有为该过程节省电力,时延被降低。然而,该技术可以避免使用与认证系统不相关联的资源,从而以其他方式节省电力。
认证系统的功率消耗组件被更改为的功率状态可能或可能不足以使认证系统能够对用户执行认证过程。在某些情况下,功率消耗组件的第二功率状态不是高功率状态504-1。在这种情况下,第二功率状态是如上所述的中间功率状态504-2。在某些情况下,此中间功率状态504-2对诸如包含仍能够提供传感器数据以进行认证而无需完全供电(例如,以全光而非黑暗等方式捕获用户的图像等)的中间功率状态的相机的功率消耗组件的性能是充足的。另一示例是显示器116,其可以被供电以接受对于密码的触摸输入,而无需将显示器的亮度供电至全功率。另一情况包括雷达系统104,其中在用户的面部距离雷达系统104相当近的范围内,不需要全功率来向认证系统114提供足够准确的面部特征。
在某些情况下,对组件的供电是诸如预热序列的中间步骤,其可以通过给组件额外的时间来准备组件或简单地降低时延。在这种情况下,诸如如果在组件准备好进行认证之前确定不接涉意图,用户120移动UE 102从而阻止认证(例如,在口袋里)等等,状态管理器112可以确定不进行到高功率。在一些情况下,供电是中间步骤,然后其如在1004处所图示的响应于确定用户120已经移动了UE 102而被完全供电并且供电至足以执行认证过程的功率。该预热序列将组件供电至中间功率状态504-2,并且然后,在某一短时间段后,对该组件充足供电以在认证过程中使用(例如,供电至高功率状态504-1)。在这种情况下,该组件处于高功率(或接近于高功率),而处于预热序列之后的预热后序列中。对于诸如某些红外或近红外(IR、NIR)传感器的在不需要时如果处于接通而消耗大量功率而且需要花费大量时间来供电的组件,执行预热序列的中间功率状态可以节省大量电力或降低明显且潜在的破坏用户体验的时延。
上面描述了认证系统的示例功率消耗组件,诸如图1的认证系统114的面部解锁传感器212、显示器116的触摸屏、雷达系统104和处理器608(例如,高功率处理器608-2)。有关用于认证的面部识别系统的许多潜在功率消耗组件的特定详细信息,参见图2及其描述。
在1008处,由认证系统执行认证过程。这样做时,认证系统114以诸如第二功率状态或第三更高功率状态的更改的功率状态使用功率消耗组件。认证过程有效地认证了用户或确定用户不被认证,其指示不应准许对UE 102的访问。如所述的,认证过程可以通过面部识别、指纹读取、密码或通过触摸或音频接口(例如,显示器112的触摸屏数据输入组件)的其他凭证输入等。认证过程将用户的辨别特征或证书与可比较的特征或证书的一些安全存储进行比较,以确定用户的身份为认证的,并且因此被准许访问UE 102。这可以像比较通过显示器的触摸屏输入的六位数密码一样简单,或者需要更多的计算和系统复杂性,诸如基于从功率消耗组件接收的传感器数据来确定面部特征,并将所确定的面部特征与面部特征库进行比较。虽然不是必需的,但是该面部特征库可以对于UE 102被本地存储并且在UE102利用认证系统114进行面部特征初始化期间被创建。此外,该库可以被安全地存储在UE102处,诸如以嵌入在与UE 102集成的安全芯片上的形式。这是可以维护用户120的隐私的一种方式。
在整个本公开中,描述了示例,其中计算系统(例如,UE 102、客户端设备、服务器设备、计算机或其他类型的计算系统)可以分析与用户相关联的信息(例如,雷达、惯性和面部识别传感器数据),诸如,在操作1008处刚刚提到的面部特征。但是,可以将计算系统配置为仅在计算系统收到来自计算系统的用户的使用数据的明确准许后使用信息。例如,在UE102分析面部特征的传感器数据以认证用户102的情况下,可以向各个用户提供机会以提供输入来控制UE 102的程序或特征是否可以收集和利用数据。各个用户可以持续控制哪些程序可以或不可以使用传感器数据来进行。另外,收集的信息可以在传输、存储或以其他方式使用之前以一种或多种方式进行预处置,以便去除个人可辨别的信息。例如,在UE 102与另一设备共享传感器数据(例如,以训练在另一设备上执行的模型)之前,UE 102可以对传感器数据进行预处置以确保数据中嵌入的任何用户辩别的信息或设备辩别的信息被去除。因此,用户可以控制是否收集有关用户和用户设备的信息,以及如果收集,计算设备和/或远程计算系统将可以如何使用这些信息。
返回到方法1000,在1010处,替代地或附加地,响应于确定用户设备已经移动或正在移动,更改显示器的功率状态。这种更改可以是对显示器的触摸输入接收能力供电或简单地改变显示器的视觉呈现。一个示例包括向显示器116增加亮度,使得用户触摸UE 102,用户看到UE 102意识到用户的意图,并且因此很可能准备与用户120进行接涉。类似地,UE102可以响应于在1002处确定的接涉意图来这样做。
在某些情况下,认证过程执行某一时间段或在没有成功的情况下迭代(例如,某些预设数目或时间段)。在这种情况下,如1012处所示的,方法1000可以通过重新执行认证过程而继续,或者响应于在1004处的移动的确定而继续该过程。该替代方案在图10中用虚线箭头中的一些示出。
在1014处,响应于在1008处的用户的认证过程(或在1012处的重新执行)成功,用户被认证,并且UE 102的访问状态被更改。该更改可以将UE 102的访问从低、没有或中间访问状态增加到高访问状态,并且在这种情况下,UE 102被“解锁”。但是,不需要这种高访问状态(例如,图5的高访问状态502-1)。某些认证级别可以保留访问、功率或信息以用于后续认证。示例包括认证用户以使用UE 102的应用和/或账户(例如,购买音乐的账户、银行账户等)中的一些但不是全部,以及需要那些保留的访问账户和应用的附加认证。例如,除了高访问状态502-1之外,状态管理器112可以使UE 102处于高信息状态506-1中。这种对信息状态的更改的示例包括呈现最后接涉的应用或网页,包括在最后接涉的部分,诸如网页上的十页文章的第四页或者半路进入歌曲或视频,其再现了用户120最后与UE 102进行接涉或进行认证的位置。状态管理器112可以响应于对用户120的认证而快速并无缝地更改这些状态。
通过示例的方式,考虑将方法1000应用于图11所图示的场景1100的一个实施例。场景1100包括五个部分,每个部分按时间顺序跟随在前部分后。在场景1100的第一部分处,如场景部分1100-1所示的,用户1102没有正在看、触摸或以其他方式与智能电话1104接涉。这里假设智能电话1104处于分别低访问、低功率以及低信息状态501-3、504-3和506-3(例如,智能电话1104看起来已关闭,但具有充足的电力来确定接涉意图)中。假定该场景部分1100-1是在图10中的1002处的方法的操作之前的情况。第二部分在1100-2处示出,在此期间用户1102转向并看,但是没有触摸智能电话1104。此时,在操作1002,该技术基于雷达数据来确定用户1102意图与智能电话1104进行接涉。这种接涉意图被确定而无需使用伸出移动而是基于用户1102看向智能电话1104并将他们的身体朝向智能电话1104定向。该技术在操作1002处通过雷达管理器106进行此确定,其将此确定传递给状态管理器112。此后,状态管理器112在操作1006处更改认证系统114的功率消耗组件(面部解锁传感器212)的功率状态。注意,这在用户伸向或拿起智能电话1104之前很好地完成了,从而降低了时延并且使认证系统114准备好认证用户。
还假设,在接下来的半秒内,当功率消耗组件正在被供电时,用户1102移动靠近并伸向智能电话1104(用手1106示出伸)。这在第三部分1100-3处示出。此时,认证系统114执行认证过程(操作1008),但是假设认证过程在一定数目的迭代和/或一时间段内不成功。该技术可以停止对用户1102进行认证的尝试,从而节省电力。然而,这里,如部分1100-4所示,用户1102触摸智能电话1104。在操作1004处,这通过图1的传感器108感测到的惯性数据被确定为智能电话1104的移动。该移动确定被传递到状态管理器112。基于该移动,状态管理器112继续使认证系统114尝试认证用户1102,如方法1000的操作1012所图示的。此外,在操作1010处,并且还基于该移动,状态管理器112照明智能电话1104的显示器1108。该照明或对显示器1108的供电可以在场景部分1100-2、1100-3或1100-4处执行,但此处是响应于确定用户1102对智能电话1104的触摸而示出(在1110处以时间和通知信息示出)。通过这样做,给了用户1102智能电话1104意识到用户1102正意图接涉的反馈。
如所述的,状态管理器112使认证系统114继续认证过程,并且通过这些继续的尝试,认证用户1102。这在部分1100-5处示出,从而导致智能电话1104处于不同的状态,分别高访问、高功率和高信息状态502-1、504-1和506-1,其中高访问状态502-1示出有显示器1108呈现解锁图标1112。这些状态级别可以由状态管理器112自动提高,从而为用户1102提供无缝的用户体验。
在该示例场景1100中,由传感器108提供的惯性数据使状态管理器112以较高的置信度级别查明用户1102意图与智能电话1104接涉并且因此用户1102想要被认证,并且因此证明附加的功率。这只是一个示例场景,其示出了如何使用来自IMU的惯性数据和来自雷达系统的雷达数据来快速、简单且用降低的功率消耗对用户进行认证。
降低高级别状态
图12描绘了用于通过IMU和雷达降低高级别状态的示例方法1200。方法1200被示为指定执行的操作但是不必限于所示的用于执行各个框进行的操作的顺序或组合的框集合。此外,可以重复、组合、重组或链接任何操作中的一个或多个,以提供各种各样的附加和/或替代方法,其包括本文档中阐述的其他方法(例如,方法1000、1400、1700和1800)。在以下讨论的部分中,可以参考图1的示例操作环境100或其他附图中详细描述的实体或过程,对其的参考仅作为示例。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
可选地,在1202处并且在操作1204或1206之前,确定不活跃时间段已经到期。与仅依赖于时间段的到期的一些其他常规技术相反,方法1200可以使用或避免使用不活跃时间段来降低用户设备的高级别状态。尽管不需要此不活跃定时器,在某些情况下使用定时器,即使短定时器,可以节省电力。更详细地,当接收到与用户设备的最后用户动作时,诸如当用户设备接收到对触摸屏或按钮的最后触摸、音频命令或姿势输入时,不活跃定时器启动。注意,尽管一些常规技术仅使用定时器,并且由于该常规定时器通常持续几分钟(例如,一分钟、三分钟、五分钟或十分钟),所以方法1200可以使用相对短的时间段,诸如,半秒、一秒、三秒、五秒、十秒或二十秒。通过这样做,用户设备暴露信息,使不适当的可用访问等等的可能性非常低,而使用短的不活跃时间段可以通过在不活跃时间段避免执行1204和/或1206的操作来操作以节省一些量的电力。
在1204处,在用户设备的高级别状态期间,在此期间用户正在与用户设备交互或最近已经与用户设备交互,移动被确定。移动管理器110基于从与UE 102集成的传感器108接收的惯性数据来确定该移动。如虚线箭头所示,该操作可以可选地响应于操作1206和/或1202(未示出)。该确定的移动可以是上面阐述的各种移动中的一个或多个,所述各种移动诸如指示用户120正在拿起UE 102、带着UE 102行走、将UE 102放下、放在口袋或围护中或者简单地触摸UE 102附近或触摸UE 102的移动。在一些情况下,移动管理器110确定移动是或不是足以更改UE 102的状态,并因此传递给状态管理器112。示例包括上面提到的那些,诸如不超过阈值移动、由环境振动引起的那些移动以及在移动时不足以改变正在进行的移动的那些移动。因此,移动管理器110可以确定当用户120带着UE 102行走时UE 102正在移动,但是可以确定该移动不是足以指示用户120可能不与UE 102接涉的可能的改变。另一看待这的方式是移动可以是基于改变,而不是简单地UE102的当前移动。示例改变包括移动然后不移动,诸如用户带着UE 102行走并将其放置在桌子上。尽管来自传感器108的惯性数据可能无法捕获用户120将UE 102放在桌子上,但是在操作1204处,对在存在紧前面的移动(用户120带着UE 102行走)时惯性数据示出很少至没有移动的确定基于此紧前面的移动仍被确定为移动。
更详细地,这些技术可以使用户设备的状态适应于用户的接涉。因此,在某些情况下,由于用户高度与用户设备接涉,因此用户设备处于高级别状态。例如,方法1200可以在操作1204或1206之前确定用户正在与用户设备进行交互。对用户的接涉的这种确定可以是基于指示由用户进行接涉的意图的先前雷达数据、基于来自用户的音频或触摸输入、从用户并通过音频或触摸传感器接收的命令或输入、成功认证过程等。
在1206处,由用户设备基于雷达数据来确定不接涉意图。雷达管理器106从雷达系统104接收雷达数据,并使用该雷达数据来确定用户是否意图与UE 102不接涉。该不接涉意图包括以上阐述的各种类型,诸如用户120从UE 102手缩回、面部定向相对于UE 102改变、用户120转向远离UE 102或将他们或他们的背部朝向UE 102定向等。
如虚线箭头所示,该操作1206可以可选地响应于操作1204(和/或1202,未示出)。在这些情况下,状态管理器112或雷达管理器106通过避免确定用户120的不接涉意图来行动以节省电力直到确定移动之前,对于在1204处的移动确定反之亦然。通过这样做,可以节省电力。因此,功率管理模块620可以由技术指示以保持雷达系统104处于降低的功率,直到在1204处确定移动为止。一旦确定移动,状态管理器112使功率管理模块620为雷达系统104供电,以准备确定用户120是否以指示不接涉意图的方式行动。
在1208处,响应于对移动和/或不接涉意图的确定,用户设备的高级别状态被降低为中间级别状态或低级别状态。更详细地,参见示例高级别状态1208-1,其可以是涉及访问、功率或信息的一个或多个状态,例如,图5中所示的那些状态(高访问状态502-1、高功率504-1或高信息状态506-1)。状态管理器112响应于对移动或不接涉意图或两者的确定,确定降低UE 102的状态中的一个或多个。这在图12中用箭头示出,其示出了从高级别1208-1到中间级别1208-2或低级1208-3的降低。这些仅是功率、访问和信息的各种粒度中的两个。如图5所说明的,中间级别1208-2和低级别1208-3包括中间访问状态502-2、中间功率状态504-2和中间信息状态506-2,其中每个在上面描述。以三个低状态,低访问状态502-3、低功率状态504-3和低信息状态506-3示出了低级别1208-3。这些状态已在上面详细描述。注意,在操作1208处,状态管理器112可以将这些状态中的任何一个、两个或所有三个状态降低,将任意每一个降低到相同的级别或不同的级别。因此,状态管理器112可以将高访问状态502-1降低到中间或低状态,并且将功率状态和信息状态保持在高级别或级别的混合。类似地,状态管理器112可以将功率状态504降低到低功率状态504-3,同时将UE 102保持在高访问状态502-1(例如,“解锁”)。
通过示例的方式,考虑将方法1200应用于图13所图示的场景1300。场景1300包括三个部分,每个部分按时间顺序跟随在前部分。在场景1300的第一部分之前,假定用户1302与智能电话1304活跃地接涉,并且智能电话1304处于高级别状态,即高功率、访问和信息状态。在场景部分1300-1所示的第一部分,用户1302行走到达桌子,并将智能电话1304放置在桌子上。在操作1204处,传感器108接收针对触摸在桌子上的智能电话1304的惯性数据或者当在被放置在桌子上之前惯性数据指示移动(基于用户1302带着智能电话1304行走)时惯性数据的缺少。基于这些惯性数据中的一个或两个,移动管理器110确定智能电话1304的移动,并将该确定传递给雷达管理器106和/或状态管理器112。
假设雷达管理器106立即响应于移动数据而提供雷达场118(为简洁起见未显示,示例参见图1)或者已经这样做,并且因此接收指示用户1302的身体位置等的雷达数据。基于该雷达数据,雷达管理器106针对第一迭代(并且可能多个其他迭代)确定在操作1206处针对身体、手臂和手放置,用户1302在场景部分1300-1没有意图不接涉。这是由于用户1302使身体定向朝向智能电话1304,并且用户的手和手臂朝向智能电话1304定向。因此,高信息状态1306-1不被更改。
然而,在场景部分1300-2处,假设大约两秒钟后,用户1302拿起他们的咖啡杯,并开始走开,同时将其身体转向远离智能电话1304。此时,雷达管理器106基于用户1302的身体定向部分转向远离智能电话1304以及用户1302的手臂和手朝向咖啡杯定向而不是智能电话1304来确定用户1302正意图不与智能电话1304接涉。雷达管理器106将该确定传递给状态管理器112。
在操作1208,响应于接收到移动和不接涉意图确定,状态管理器112将智能电话1304的信息状态从场景部分1300-1所示的高信息状态1306-1降低到中间信息状态1306-2。示出了这些示例信息状态,其中在场景部分1300-1处显示的信息示出了来自两个文本消息的内容和一天中的时间。紧接在用户1302转动他们的身体并拿起咖啡杯后,信息状态降低到中间信息状态1306-2,示出一天中的时间以及减少的有关文本消息的信息(示出发送者的名字,但没有上下文)。该中间的信息量对于用户1302可能是有用的,因为用户1302可能改变他们关于接涉的想法,或者想要回头看智能电话1304以查看是否有诸如来自不同人的文本的新的通知到达。
此外,或者代替示出中间信息状态1306-2,并且作为操作1208的一部分,状态管理器112可以立即或者在首先处于中间状态之后进行到低级别。这里假设状态管理器112响应于雷达管理器106的附加确定指示用户1302意图不接涉或者其较高的置信度级别(例如,这里示出为高置信度,因为用户1302现在距离智能电话1304几米远并使背部完全转向智能电话1304)而将信息状态进一步降低为低信息状态1306-3,如场景部分1300-3所示的,仅显示一天的当前时间。
虽然该示例示出了对信息状态的改变,但是访问和功率也可以或者替代地被改变。这部分地用与在场景部分1300-1处示出的解锁图标1310示出,其指示高访问级别(例如,图5的高级别访问502-1)。在状态管理器112接收移动数据和不接涉意图之后的场景部分1300-2处,状态管理器112将访问降低到低级别,这利用锁定图标1312指示给用户。此外,功率状态可以诸如通过降低场景部分1300-2和/或1300-3处的智能电话1304的显示器(未示出)的亮度来更改。
维持认证状态
图14描绘了用于维持认证状态的示例方法1400。方法1400被示为指定执行但是不必限于所示的用于执行各个框进行的操作的顺序或组合的操作的框的集合。此外,可以重复、组合、重组或链接任何操作中的一个或多个,以提供各种各样的附加和/或替代方法,包括本文档中阐述的其他方法(例如,方法1000、1200、1700和1800)。在以下讨论的部分中,可以参考图1的示例操作环境100或其他附图中详细描述的实体或过程,参考仅作为示例。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在讨论方法1400之前,请注意,上述任何一种方法可以全部或部分地与方法1400相结合。例如,考虑图10中方法1000的性能。该方法1000描述了导致用户的认证的认证管理的一个示例。响应于该认证,用户设备进入认证状态。上面更详细地描述了这种状态。因此,在方法1400之前执行方法1000(或用户的认证的某些其他方式)。
在1402处,在用户设备的认证状态期间,确定用户设备的潜在的由用户进行的不接涉。对潜在的由用户进行的不接涉的此确定可以包括如上所述确定由用户进行不接涉的意图,以及下面阐述的其他确定。同样,如上所述,认证状态准许用户访问用户设备的数据、应用、功能、账户或组件中的一个或多个。认证状态的示例包括上面在图5中所述的高访问状态502-1和中间访问状态502-2。尽管在处于认证状态时(通常基于用户偏好或操作系统默认设置),UE 102可以准许这些访问状态中的任一个,但是认证状态假设用户的先前认证。然而,用户选择的偏好或设置可以准许UE 102的高或中间访问而无需认证。因此,尽管认证状态可以包括上述高和中间访问状态所准许的访问,但是高和中间访问不一定是认证状态。
如图14所说明的,对潜在不接涉的确定可以可选地响应于(或通过执行)操作1404或操作1406以及本文所述的其他方式来执行,诸如通过在方法1200的操作1206中确定不接涉的意图。在1404处,确定不活跃时间段的到期。如上所述,该不活跃时间段可以在接收到最后的用户动作、与用户设备的活跃接涉结束(或最后被接收)时或在确定了最后的接涉意图时开始。例如,当用户最后触摸触敏显示器或按钮、说出最后接收的音频命令或执行最后确定的触摸无关的姿势(例如,使用上述的雷达系统104来确定姿势)时,不活跃定时器(例如时间段)开始。
在1406处,基于与用户设备集成在一起的惯性测量单元(IMU)的惯性数据,确定用户设备的移动。上面描述了示例移动和惯性数据,诸如从图1的传感器108接收到的惯性数据。因此,移动确定是其中该方法可以诸如通过将UE 102放置在储物柜、袋子或口袋中(尽管放置在袋子或口袋中的情况以后可以确定为被动接涉,如下所述)确定用户潜在不接涉的一种方式。
在1408处,基于雷达数据确定由用户进行的与用户设备的被动接涉。被动接涉的这种确定可以响应于在1402处对潜在不接涉的确定(以虚线箭头示出),或者它可以与该确定无关或者与该确定相一致。在某些情况下,响应于潜在不接涉的确定而执行操作1408可以节省电力或降低时延。例如,方法1400可以响应于潜在不接涉的确定而对雷达系统104的组件(也参见图6-1和6-2)供电。这可以如上所述节省电力,或者为雷达系统104提供附加时间来准备确定用户是否与雷达系统104被动地接涉。
在图1的场境中,雷达管理器106确定用户120与UE 102被动地接涉。该被动接涉可由雷达管理器106以多种方式确定,该方式可以是与其他方式排他的或重叠的。例如,雷达管理器106可以基于指示用户120的手正以维持用户设备102的显示器116的定向握持用户设备102的雷达数据来确定用户被动地接涉。因此,如果用户120稳定地握持UE 102(或足够稳定以观看内容或准许另一人观看内容),则用户120被动地接涉。上面描述了确定被动接涉的其他示例,其包括用户120正在看UE 102或者将他们或他们的身体朝向UE 102定向。
此外,雷达管理器106可以基于指示用户120存在——诸如通过位于UE 102的两米之内——的雷达数据,来确定被动接涉。也可以或替代地使用其他距离,诸如1.5米、一米甚至半米。实际上,雷达管理器106可以通过大致在UE 102的可及范围内来确定用户120被动地接涉。雷达管理器106可以通过指示用户120被动地接涉来明确地这样做,或者简单地将指示距UE 102的距离的信息传递到状态管理器112。状态管理器112然后基于用户120的接近以及在某些情况下诸如其他人(或缺乏其)、用户120是否在车辆(汽车、公共汽车、火车)中、在桌子处等等的场境来确定被动接涉。例如,坐在他们或他们的家中的用户可能比坐在拥挤的咖啡店或火车中的用户具有更大的准许距离。
在1410处,响应于对由用户进行的与用户设备的被动接涉的确定,维持认证状态。可以继续对认证状态的此维持,直到确定了另一潜在的不接涉,或者达某一时间段,在其之后可以再次执行方法1400。认证状态的一个示例是图5的高访问状态502-1。在许多情况下,该认证状态是UE 102的解锁状态,但是在某些其他情况下,认证状态准许一些但不是全部的对UE 102的访问,诸如上述的中间访问状态502-2。
对UE 102的认证状态的此维持不需要维持其他状态。例如,在用户120在UE 102的两米之内但可能或者可能不看向UE 102或者朝向UE 102定向的情况下,状态管理器112可以降低UE 102的功率状态或信息状态,诸如从图5所示的高功率状态504-1和高信息状态506-1到中间或低功率或信息状态。但是,如果被动接涉包括用户看UE 102,功率或信息状态也可以被维持,诸如以继续通过显示器116向用户120呈现内容。
可选地,方法1400可以进行到操作1412,在操作1412中基于雷达数据来确定非用户的存在或接涉意图。该雷达数据可以是相同的或稍后接收的雷达数据,诸如在被动接涉所基于的雷达数据之后的数秒或数分钟内接收到的来自雷达系统104的雷达数据。因此,在1412处,雷达管理器106确定非用户存在或意图与UE 102进行接涉。因此,如果非用户伸向UE 102或看UE 102的显示器116,雷达管理器106可以确定这种存在或意图,并将其传递给状态管理器112。
在1414处,响应于确定非用户存在或意图与用户设备进行接涉,停止对认证状态的维持。因此,如果非用户走到、伸向或看UE 102的显示器116,则状态管理器112停止维持UE 102的认证状态(或主动解除认证)。与该停止一起,状态管理器112还可以降低其他状态,诸如有效降低或消除呈现给非用户的信息的信息状态。例如,假设认证的用户正在地铁上阅读私人电子邮件。如果坐在他们后面的人看显示器、可能阅读私人电子邮件,则状态管理器112可以锁定UE 102并停止显示私人电子邮件。这可以快速、无缝地执行,从而进一步提高了用户的隐私性。
在1416处,可选地在停止维持认证状态之后,该方法可以响应于确定非用户不再存在或不再意图接涉而返回到认证状态。继续上面的示例,当地铁中的非用户将视线从UE102的显示器116移开时,状态管理器112可以通过认证过程来对用户120进行重新认证或简单地通过切换回认证状态而无需重新认证。因此,用户120可以在停止引起解除认证的情况后立即简单地返回到先前的状态。尽管诸如本文所述的系统和过程的某些认证过程既快速又功率有效,但是不执行认证过程可能更快、更功率有效。在返回到认证状态时,状态管理器112可以将信息状态返回到先前的级别,并且可以在与最后呈现给用户120的内容匹配的内容处。在该示例中,当非用户视线离开时,显示器116在UE 102最后呈现给用户120的同一位置处呈现私人电子邮件。通过这样做,向用户提供了认证的无缝管理和改进的信息隐私。注意,用户120的选择可以比技术的操作重要,诸如用户选择以解除认证。在某些情况下,用户120简单地关断UE 102,这在本文描述的方法中是准许的。
通过场景1500考虑图15所图示的另一示例。场景1500包括四个部分。在第一部分1500-1处,假设用户1502已经通过诸如凭证或面部特征分析而向智能电话1504认证,并且因此智能电话1504处于认证状态1506。该认证状态1506允许用户1502访问智能电话1504,这通过用户1502通过观看关于火山爆发的电视节目来访问智能电话1504的内容而示出。
场景1500被示出为沿着两个不同的路径发散。在一个路径中,当用户120停止触摸智能电话1504或向智能电话1504提供输入时,在这里其是在用户120放松观看电视节目时,不活跃定时器开始。在另一情况下,不活跃定时器可以开始或不开始,但是将确定潜在的不接涉而无需其到期。因此,在场景部分1500-2,在三分钟的不活跃之后,不活跃定时器到期。返回图14,由于在操作1404处不活跃时间段到期,操作1402确定已经发生了潜在的由用户进行的不接涉。对于场景部分1500-3所示的第二路径,操作1402通过执行操作1406基于惯性数据确定智能电话1504的移动已经发生,来确定已经发生了用户的潜在不接涉。该移动的原因是用户1502将他们的脚放在智能电话1504所靠放的桌子的边缘上。
雷达管理器106响应于这些潜在不接涉的确定中的任一个,基于雷达数据,确定用户1502与智能电话1504被动地接涉。此操作在1408处执行。这里假设确定用户1502的存在或他们正在看智能电话1504,其中任一指示用户1502处于被动地接涉。
作为响应,在操作1410处,状态管理器112维持认证状态。所有这些可以无缝地执行而无需用户1502注意它已经被执行。如场景部分1500-4中所示的,智能电话1504简单地继续通过任一路径来呈现电视节目。
考虑图16的另一场景1600,其可以遵循场景1500或者是替代的独立场景。场景1600包括三个场景部分,在第一场景部分1600-1中,用户1502正在观看关于火山的电视节目,类似于图15所示的,这里在智能电话1504的内容1602处被标记。智能电话1504在节目的此呈现期间处于认证状态,诸如图15中所述的认证状态1506。
然而,在场景部分1600-2中,非用户1604与用户1502坐在沙发上。该非用户1604是用户1502的同事,因此用户1502转头并开始与非用户1604讲话。用户1502的这些动作可以被认为是潜在的不接涉,如上所述,转头或说话或两者。如果考虑用户1502的潜在不接涉,则状态管理器112降低智能电话1504的状态,诸如以降低访问状态或信息状态,如图5和图12所述(例如,方法1200的操作1206和1208)。
然而,假设雷达管理器106通过方法1400的操作1412并基于雷达数据确定非用户1604的存在。基于非用户1604的该存在,状态管理器112在状态管理器112先前行动以维持智能电话1504的认证状态之后(例如,通过图15中所示的操作1410),停止维持认证状态1506。因此,状态管理器112可以使智能电话1504降低到未认证状态1604,如场景部分1600-2的放大图所示。通过锁定图标1606以及通过停止呈现内容1602来向用户1502示出该改变。
在场景部分1600-3处,非用户1604已离开,用户1502返回看智能电话1504。雷达管理器106确定不再存在非用户1604,并向状态管理器112指示该确定,状态管理器112然后将智能电话1504返回到认证状态1506。注意,状态管理器112还可能需要确定用户1502正意图与智能电话1504进行接涉,或者可以基于非用户1604离开智能电话1504的存在简单地返回到认证状态。还注意到,本文档中描述的技术可以使用户无缝地回到他们离开的点,从而提供出色的用户体验。这在图16中示出,其中状态管理器112使智能电话1504返回到相同的电视节目以及最后呈现给用户1502的相同或几乎相同的点处。对于一些实施例,该技术允许用户在设置屏幕或类似设备配置屏幕中在步骤1416处指令智能电话1504是否将响应于确定非用户不再存在或意图接涉而返回到认证状态,与智能电话1504是否将停留在未认证状态直到执行了使用认证系统的功率消耗组件的更严格的认证过程(例如,上述步骤1006)为止相对。换句话说,这些技术可以通过设置或类似的设备配置来提供用户选择的设置,其使得一旦存在非用户的迹象(taint),即使那里不再有迹象,智能电话1504也保持解除认证。
姿势识别管理
图17描绘了用于具有场境敏感门控和其他场境敏感控制的基于雷达的姿势识别的示例方法1700。方法1700被示为指定执行但不必限于所示的用于执行各个框执行进行的操作的顺序或组合的操作的框的集,。此外,可以重复、组合、重组或链接任何操作中的一个或多个,以提供各种各样的附加和/或替代方法,例如方法1000、1200、1400和1800。在以下讨论部分中,可以参考图1的示例操作环境100或其他附图中详细描述的实体或过程,参考仅作为示例。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在操作1702处,从多个传感器108接收传感器数据。例如,接近传感器208生成指示对象的接近的传感器数据(例如,通过以接近模式操作而被配置为接近传感器的雷达系统104)。IMU 408可以产生指示移动的传感器数据,而其他传感器108可以生成用于定义场境的其他传感器数据。
雷达系统104可以在低功率、接近模式(例如,低功率状态504-3)下可操作,以生成具有足够分辨率和质量的传感器数据以检测接近。雷达系统104还可以在高功率、姿势识别模式(例如,高功率状态504-1)下操作,以相对于在接近模式下产生的传感器数据生成改善的传感器数据。在姿势识别模式下,雷达系统104生成的传感器数据104具有比以接近模式更高的分辨率或更高的质量,因为传感器数据用于更复杂的姿势识别任务。在操作1702从多个传感器接收的传感器数据可以指示粗略移动和接近,而从雷达系统104收集以执行基于雷达的姿势识别的传感器数据可以指示更精确的移动、接近或遮挡。
传感器数据可以将接近指示为对象的二进制测量,或者指示为进一步指定与对象的靠近度的可变测量。接近可以指示雷达系统104或UE 102的其他部分是否被对象遮挡(意指相对于UE 102用户120被对象遮挡或反之亦然),较大量的存在指示遮挡,并且较少量的存在指示很少或没有遮挡。传感器数据可以定义对于确定UE 102的位置、速度、加速度、速率、旋转、定向或其他移动或定位特性有效的移动。
在操作1704处,确定UE的场境。在操作1702处获得的传感器数据指示当用户120与UE 102交互时UE 102的操作环境。传感器数据可以包括指示移动是有意还是无意的模式或签名。UE 102可以包括或访问使用机器学习训练的机器学习的活动分类器,以识别对应于特定用户活动或设备场境的传感器数据中的模式或签名。机器学习的活动分类器将通知输出到使用活动识别执行其他任务的应用和其他订户。在移动数据中辨别的加速度或振动对应于当用户120行走或以其他方式带着UE 102移动时IMU 408或其他传感器108记录为传感器数据的类似振动和加速度。
识别的活动或移动可以指示不同的情况。场境的示例包括行走场境、骑车场境、驾驶场境、搭乘场境或与识别的活动相对应的其他活动场境。移动可以指示通常在用户120观看或握持UE 102时所观察到的位置和定向以及移动或缺少移动。缺少移动可以指示就座的场境、静止的场境、未使用的场境或存放场境。相反的移动可以对应于相反的活动,例如,某些移动可以指示用户正在拿起UE 102,并且相反或不同的移动可以指示用户将UE 102放下。
在操作1706处,确定场境是否满足基于雷达的姿势识别的要求。如果来自传感器108(例如,接近传感器208和IMU 408)的传感器数据超时与在基于雷达的姿势识别通常被接收时UE 102期望用于检测的传感器数据相匹配,则UE 102可以确定场境满足要求。当场境不满足基于雷达的姿势识别的要求时,UE 102可以确定相反的是真的,并防止或以其他方式丢弃雷达系统104识别的姿势。
例如,UE 102可以在UE 102的当前场境中调节基于雷达的姿势识别。如果用户120在行走同时正在握持UE 102,场境满足基于雷达的姿势识别的要求,但如果用户120在行走同时没有握持UE 102时,则不满足。然而,行走时将UE 102携带在口袋或背包中并不是满足基于雷达的姿势识别的要求的场境(除非在准许通过中间材料的姿势检测的情况下)。
存放场境是传感器数据指示UE 102被定位在:用户120所穿的衣服的口袋、背包中的隔层、公文包或手提箱、飞机、出租车、汽车、船、公共汽车或火车的储物箱、车辆的控制台或杂物箱或其他围护。当传感器数据指示用户120正在握持UE 102时,辨别握持或携带场境。根据指示UE 102未被握持、不动或相对于UE 102所靠放的表面基本不移动的传感器数据,静止场境是明显的。行进场境指示UE 102正在移动,而不管UE 102是被握持还是被存放,例如,如果用户120带着UE 102行走、驾驶、骑车或以其他方式移动。
场境部分基于UE 102是在行进、被握持还是被存放而满足基于雷达的姿势识别的要求。例如,被握持并且行进是雷达系统104识别基于雷达的姿势的场境,然而,被存放并且行进可能不是雷达系统104识别基于雷达的姿势的场境。
场境的满足还可以取决于定向、特别是携带定向。如果用户120正在行走并握持UE102,则如果用户未以特定方式握持UE 120,则场境可能仍不满足基于雷达的姿势识别的要求。例如,当用户120行走同时用户120以横向和/或以纵向朝下的定向(例如,UE 102的触摸屏指向地面)握持UE 102可能不满足基于雷达的姿势识别的要求,因为用户120可能不想在这种场境下与UE 102进行交互。相反,在行走同时用户120以不同定向(例如,纵向朝上同时UE 102的触摸屏指向天空或用户120的面部)握持UE 102可能满足基于雷达的姿势识别的要求,因为用户120可能在行走同时观看UE 102的触摸屏。
UE 102可以对用户120是否或如何握持UE 102来调节基于雷达的姿势识别。例如,如果在骑车或驾驶同时用户120没有握持UE 120——诸如,如果UE 102在静止场境中,在骑车或驾驶同时固定到自行车车架上的安装支架或附接到汽车排气口或仪表板——则场境满足基于雷达的姿势识别的要求。然而,用户握持UE 102的类似骑车或驾驶场境可能不满足基于雷达的姿势识别的要求。
基于雷达的姿势识别可以由UE 102基于来自对象或对象附近的遮挡来调节。例如,响应于在UE 102已经处于存放或静止场境中同时检测到对象的接近,雷达系统104启用姿势识别模型621。当UE 102已经处于存放或静止场境中时,响应于检测到对象的遮挡,相反的可能是真的,在这种情况下,雷达系统104禁用姿势识别模型621。例如,面朝上(触摸屏朝上)放置在平坦的服务上的UE 102可以是静止场境,其中检测到与对象的接近或没有遮挡,因此启用姿势识别。面朝下(触摸屏朝下)放置在平坦表面上的UE 102是相反的静止场境,其中检测到遮挡并因此对姿势识别进行了门控。
显著运动可以调节姿势识别模型621。如果UE 102处于UE 102经历频繁或剧烈移动或移动中的改变的显著运动场境中,则该场境可能不太适合基于雷达的姿势检测。例如,如果在手中携带UE 102的用户120去跑步,则雷达系统104门控姿势识别模型621以确保雷达系统104不错误地触发任何姿势调节的事件。
雷达系统104可以对不同类型的姿势或不同类型的场境应用不同的敏感度级别。具有显著运动的场境可能触发大多数基于雷达的姿势的门控,而具有少量运动的场境可能仅触发某些基于雷达的姿势的门控。作为示例,雷达系统104可以在高振动的制造场境中识别粗略控制(例如,全手)姿势,但是相同场境可能不适用于特定的精细控制(例如,单个手指)的基于雷达的姿势,其中UE 102或用户120不稳定且正在移动。雷达系统104对精细控制姿势的姿势识别特征进行门控,同时继续在相同的场境中识别粗略控制的姿势,而不是试图在高振动场境中识别精细控制的基于雷达的姿势。雷达系统104将不同的敏感度级别应用于精细控制姿势,使得它们比粗略控制姿势更容易被触发。雷达系统104对粗略控制姿势应用不同的敏感度级别,以避免像精细控制姿势那样容易地被触发。
在海洋场境中,用户120作为船上的乘客与UE 102进行交互。用户120可以握持UE102,或者UE 102可以是内置在船上的计算设备。船随海浪移动。在暴风雨的环境中,雷达系统104可以识别某些基于雷达的姿势在UE 102经历俯仰或定向中的大改变时可能难以识别,并且对基于雷达的姿势进行门控,而不冒险输出假阳性。当暴风雨的环境平静下来并且俯仰和定向的改变消退时,雷达系统104自动停止门控并启用在暴风雨期间已被门控的基于雷达的姿势。
雷达系统104可以针对特定场境门控所有基于雷达的姿势,或者仅门控某些类型的基于雷达的姿势。例如,对于伸和抓住的姿势,特别是伸以拿起UE 102,雷达系统104可以通过在用户120伸出并且然后拿起UE 102以触发面部认证系统114时从传感器数据进行识别来降低对面部认证系统114的假阳性。这与响应于仅识别伸出而触发面部认证系统114相反。当传感器数据指示UE 102处于安静或嘈杂的环境或具有间歇性通信信号的环境时,雷达系统104可以门控应答电话呼叫的基于雷达的姿势。在用户120可能想要应答电话的情况下,当雷达系统104确定UE 102在办公室位置或膝上型计算机附近的桌子上时,雷达系统104使用姿势识别模型621自动取消门控并且启用电话应答的基于雷达的姿势。
UE 102可以关于场境是否指示用户120正在握持UE 102、场境是否指示用户120正在行走或两者来调节基于雷达的姿势识别。如果UE 102确定用户120正握持UE 102并且用户120正在行走,则场境满足触摸无关的姿势识别的要求。如果UE 102确定用户120没有握持UE 102并且用户120正在行走,则场境不满足触摸无关的姿势识别的要求。如果来自接近传感器208和IMU 408的传感器数据超时与用户120正在行走并握持UE 102时UE 102期望检测到的传感器数据相匹配,则UE 102可以确定场境满足要求。当场境不满足要求时,UE 102可以确定相反的是真的并且丢弃雷达系统104识别的姿势。
在伸-抓住场境中,当UE 102面朝上位于桌子上时,用户120伸到UE 102上。用户120可能正在伸出以抓住UE 102。用户120可能正在伸出以抓住UE 102之外的某些东西。在1706,确定场境不满足对基于雷达的姿势识别的要求可以是响应于在对象到达UE 102附近之后确定用户120没有拿起UE 102。如果用户在伸出(例如,用户120到达附近)之后没有抓住并拿起UE 102,则UE 102门控来自姿势识别模型621的输出(例如,以防止认证算法执行面部认证),从而防止订户(例如,应用、组件、系统服务)获得姿势的指示。在1706处确定场境满足对基于雷达的姿势识别的要求可以是响应于在对象进入UE 102附近之后确定用户120正在拿起UE 102。如果用户在伸出后确实抓住并拿起了UE 102,则UE 102启用来自姿势识别模型621的输出(例如,启用认证算法执行面部认证),从而使订户能够获得姿势的指示。通过这种方式使用场境敏感的门控和其他场境敏感的控制,降低伸出并且抓住的假阳性。
传感器108中的其他,诸如环境光传感器、气压计、位置传感器、光学传感器、红外传感器等,可以向UE 102提供信号,以进一步定义UE 102的场境以改善姿势识别和其他描述的技术。在1706处,确定场境满足基于雷达的姿势识别的要求可以是响应于位置信息、一天中的时间、大气压力、环境光、环境音频以及用于定义门控或不门控雷达系统104的场境的其他传感器信息。例如,将UE 102指定为靠近电影院的位置并且处于弱光条件下同时检测到大且频繁的环境噪声的场境不是适于基于雷达的姿势识别的场境。而在火车站附近同时检测到低光条件和嘈杂的环境噪声是适于基于雷达的(触摸无关的)姿势识别的场境。
在操作1706中,当场境不满足使用雷达系统的基于雷达的姿势识别的要求时,对由雷达系统获得的雷达数据进行门控,并且该方法进行到B(下面在图18的说明中进行描述)。当在操作1706处,场境满足使用雷达系统的基于雷达的姿势识别的要求时,在操作1708处,将由雷达系统获得的雷达数据输入到从所输入的雷达数据中确定基于雷达的姿势的模型。
在1708处,将由雷达系统104获得的雷达数据输入到姿势识别模型621中使得姿势识别模型621执行姿势识别技术。雷达系统104可以在高功率姿势识别模式下操作以获得具有足够的分辨率、频率、细节和质量的雷达数据以用于基于雷达(例如,触摸无关)的姿势识别。雷达系统104可以进一步以其他模式操作,包括接近模式或待机模式。如果支持多模式操作,则即使禁用了不同模式,雷达系统104也可以继续以一个或多个模式操作。例如,禁用基于雷达的姿势识别可能对雷达系统104执行的基于雷达的碰撞避免操作没有影响。雷达系统104的某些示例可能不是多模式的,因此禁用基于雷达的姿势识别可以完全禁用雷达系统104。
除了是场境敏感的,姿势识别模型621还可以基于订户的身份来调整门控敏感度。订户可以是从姿势识别模型621接收输出的应用、服务或组件。例如,姿势识别模型621提供接口,UE 102的应用或组件(例如,认证系统114、操作系统功能或服务、应用、驱动器)可以通过该接口向姿势识别模型621注册并被分配身份。订户指示门控敏感度以应用于不同场境。订户可以指示姿势的类型或基于雷达的姿势的类型以应用门控。例如,操作系统可以通过UE 102的锁屏用户界面上的窗口小部件来提供对功能的访问。窗口小部件可以识别基于雷达的姿势并且可以订阅从姿势识别模型621输出的姿势识别。在一些场境中,来自姿势识别模型621的输出被门控以防止订户使用姿势的指示。来自姿势识别模型621的输出在其他场境中被准许,并且该姿势的指示被发送给订户。在某些场境中,来自姿势识别模型621的输出可以针对一个订户被门控,而针对另一个不被门控。例如,窗口小部件订户在特定场境中使用的相同姿势识别可能对针对该场境选择门控姿势的不同订户无法使用。例如,面部认证应用可能在某些情况下无法使用姿势信息,但锁屏上的窗口小部件可以。
在操作1406处,姿势识别模型621基于订户的身份选择门控敏感度。姿势识别模型621基于与订户身份相关联的门控敏感度来确定场境是否满足利用雷达系统104的基于雷达的姿势识别的要求。
在1710处,响应于模型确定基于雷达的(例如,触摸无关的)姿势来执行操作。姿势识别模型621的输出可以指示从雷达数据识别的姿势,并且将姿势的指示输出给订户。
UE 102可以提供雷达系统104的门控状态的用户接口反馈。UE 102可以向用户输出可听或视觉指示,诸如可听或视觉警报(例如,“you are moving the device too muchand the radar cannot sense your gesture(您正在过多地移动设备,雷达无法感应到您的姿势)”),控制UE 102的照明元件、提供触觉反馈或提供其他一些用户接口反馈。UE 102可以将门控状态的指示输出为“门控”或“不门控”,以指示UE 102是否门控来自姿势识别模型621的输出。门控状态的指示可以指示门控的原因(例如,提供使门控成为必要的场境或环境特性的指示)。门控状态的指示可以指示门控级别(例如,参见图18以获得包括软门控、硬门控和不门控的门控级别)。
UE 102可以变化用户接口并以其他方式提供用户接口反馈。例如,如果正在使用UE 102,显示器处于接通并且UE 102在高功率状态下操作,则从UE 102输出的用户接口反馈可能仅取决于来自运动传感器或其他非雷达传感器的传感器数据。如果显示器被关断或UE 102处于较低功率状态,则可能禁止操作处于始终启用状态中的运动传感器或其他非基于雷达的传感器。除了在满足触摸无关的姿势识别的要求的场境中,UE 102可以避免监视运动传感器或其他非雷达传感器。以这种方式,取决于姿势识别模型621是否可以确定基于雷达的姿势来调节用户接口反馈。
例如,当软或硬门控雷达系统104和/或当门控停止并且基于雷达的姿势识别恢复时,UE 102可以提供“姿势”用户接口反馈元件。姿势用户接口反馈元件是用户可感知的元件,诸如出现在显示器的活跃区域上的视觉元素。姿势反馈元件还可以是(或包括)不在显示器上的光元件、触觉元件(例如,振动元件)和/或音频元件(例如,用户可感知的声音)、可以在显示器的边缘处或沿着显示器的边缘被呈现并且可以具有各种形状、大小、颜色和其他视觉参数或属性中的任何一个。其他视觉参数或属性的示例包括亮度、颜色、对比度、形状、饱和度或不透明性。
姿势识别门控
图18描绘了用于利用场境敏感的门控和其他场境敏感的控制的基于雷达的姿势识别的示例方法1800。方法1800被示为指定执行的但是不必限于所示的用于执行各个框进行的操作的顺序或组合的操作的框的集合。此外,可以重复、组合、重组或链接任何操作中的一个或多个以提供各种各样的附加和/或替代方法,例如方法1000、1200、1400和1700。在以下讨论的部分中,可以参考图1的示例操作环境100或其他附图中详细描述的实体或过程,参考仅作为示例。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
执行操作1802、1804和1806以采用基于雷达的检测系统的门控有两种常见场景。一种场景是当雷达系统104被对象覆盖或遮挡时。当UE 102面朝下位于表面上、或者在口袋、钱包、袋子或其他围护中时,雷达系统104可能被覆盖或遮挡。另一种场景是当UE 102正在经历显著运动时。例如,如果在手中携带UE 102的用户120去跑步,则UE 102不应错误地使用雷达系统104解释触摸无关的姿势。
在1802处,确定是否由雷达系统104对基于雷达的姿势识别进行硬门控。场境被确定,指示雷达系统是否被对象(例如,从用户)遮挡。UE 102基于场境从包括硬门控和软门控的多个门控级别中进行选择,然后相应地门控姿势识别模型621。
如本文中所使用的,术语“软门控”指代阻止基于雷达的姿势的指示被雷达系统104输出给订户的操作。与雷达系统104在低功率模式或中间功率模式下操作的硬门控不同,软门控发生而不管雷达系统104的功率级别。可以通过禁用来自姿势识别模型621的输出来进行软门控,在其他情况下,可以通过禁用对姿势识别模型621的输入来进行软门控。姿势识别模型621在软门控期间可以继续识别基于雷达的姿势。然而,在软门控期间,雷达系统104不与订户(例如,应用、线程、活动、用户接口对象)共享识别的姿势。订户没有接收到识别的姿势的指示以在执行更高级别的功能时使用它们。
在软门控期间,可以屏蔽(shield)姿势识别模型621以免受雷达系统104收集的雷达数据,并且在软门控期间的其他时间,基于雷达的姿势确定虽然由姿势识别模型621进行,但出于某些其他目的——例如,系统服务或隐藏功能——被雷达系统104内部使用。在软门控期间,UE 102仍可以基于姿势识别模型621所识别的姿势的指示来执行较低级别的支持功能,但是,支持功能对于UE 102的订户和用户可以是透明的。支持功能包括即使在门控场境期间,也学习、理解姿势并根据姿势行动,以最小化将来来自对姿势识别模型621进行软门控的潜在时延。
软门控与术语“硬门控”相比,如本文所用,指触发雷达系统104在雷达系统104不从雷达数据识别姿势的状态下起作用的操作。姿势识别模型621在硬门控期间被禁用。在硬门控期间,雷达系统104可以用于姿势识别以外的其他任务。取决于UE 102是否需要雷达系统104以用于任何其他能力,雷达系统104的其他部件在硬门控场境期间也可以被禁用或可以不被禁用。因此,虽然雷达系统104可以继续执行与基于雷达的姿势识别不相关的其他功能,诸如障碍物避免,但是雷达系统104的姿势识别模型621在被硬门控时不输出识别的姿势的指示,从而提供比软门控或根本不门控雷达系统104更大的功率消耗节省。除了提供功率消耗的节省外,硬门控对于通过防止雷达系统104的订户响应于错误或非有意输入而执行更高级别的功能来改善用户体验特别有用。
如果UE 102正在对雷达系统104进行软门控,则UE 102可能已经改善了从不活跃的姿势识别状态恢复的时延。利用硬门控,从不活跃的姿势识别状态(例如,其中雷达系统104的姿势识别特征可能已被断电)恢复的增加的时延被不执行复杂的姿势识别功能或由于错误输入打扰高级别功能所节省的功率抵消。也就是说,尽管在UE 102不太可能从用户接收输入的场境期间对雷达系统104进行硬门控防止从雷达数据解释姿势的不必要的功率消耗,但与雷达系统104被软门控以在门控不再必需时转换回正常操作模式相比,UE 102可能较慢。
在1804处,UE 102通过将雷达系统104设置为中间功率或低功率模式来执行硬门控,以不输出任何数据或输出姿势识别模型621无法使用来确定触摸无关的姿势的其他数据。当遮挡雷达系统104时,在1804处通过禁用姿势识别模型621来对来自雷达系统104的输出进行硬门控。
在1802处,例如,当雷达系统104不被遮挡时,来自雷达系统的输出在1806处被软门控。UE 102通过避免将由雷达系统104获得的雷达数据输入到姿势识别模型621来软门控雷达系统104。替代地,UE 102通过防止姿势识别模型621输出识别的姿势的指示来软门控雷达系统104。
在操作1700和1800的后续执行期间,取决于场境,雷达系统104可以在不门控、软门控和硬门控之间转换。例如,在对雷达系统104进行软门控或硬门控之后,图18的方法返回到“A”以及图17的操作1700的开始。如果在对雷达系统进行软门控之后,在1706、1802处确定场境指示雷达系统104被接近对象遮挡,雷达系统104被硬门控。
门控敏感度
图19图示了实现图17和18的方法的决策树。方案1900的部分可以由处理器608、计算机处理器402或其他硬件电路执行。可以定制方案1900以支持不同类型的电子设备和基于雷达的应用。
传感器数据接收1902在UE 102执行操作1702时发生。从操作1702,UE 102使用传感器数据执行运动检测1904和对传感器数据的接近检测算法以在操作1704期间开发场境,包括确定雷达系统104是否被遮挡,或者确定增加的运动速率。
可以选择运动检测1904和接近检测1906的敏感度以平衡运动门控行为,同时能够不考虑设备运动。两种常见场景图示了对敏感度调整的需求。第一种场景是,当用户120正在带着携带在用户侧的UE 102缓慢行走并摆动经过他们的身体。在没有持久门控的情况下,第一种场景可能导致严重的错误触发。第二种场景是当用户120抬起UE 102来行动。当(从侧面、从桌子、从口袋等)抬起UE 102以交互时,随后的自然身体运动的检测应调用来自UE 102的快速门控响应。为了响应是令人满意地迅速的并且不对用户造成任何延迟的干扰,需要较低的门控敏感度。在操作1706期间做出门控决策1908,这导致以下三种门控模式之一:关断1910、软门控1912或硬门控1914。有关使门控敏感度变化的更多详细信息,参见“基于移动的门控”部分和下面的图21的说明。
门控状态机
图20示出了用于实现图17和18的方法的状态机2000的状态图。状态机2000是门控状态机,并且可以作为雷达系统104的一部分执行。
状态机2000包括多个状态2002、2004和2006,每个状态由相应场境敏感转换函数2008-1至2008-6(统称为“函数2008”)链接。每个函数2008接收传感器数据的至少一部分或其推导作为可变输入。为了便于说明,状态机2000仅包括三个状态:2002、2004和2006。在其他示例中,状态机2000使用了三个以上状态。状态机2000在状态2004、2006之间转换并且基于函数2008。
状态机2000包括不门控状态2002,其中启用使用雷达系统104的基于雷达的姿势识别。软门控状态2004是其中启用了使用雷达系统104的基于雷达的姿势识别,但是对UE102处执行的应用和其他订户隐瞒了基于雷达的姿势识别的结果。对于硬门控状态2006,雷达系统104的基于雷达的姿势识别功能被禁用,尽管雷达系统104的其他功能可以保持启用(例如,雷达系统104可以在禁用姿势识别时在硬门控期间执行碰撞避免功能)。
每个函数2008计算相应的场境分数,其指示当前场境与状态2002、2004和2006中的每个状态之间的兼容性。例如,函数2008-3计算场境分数,其基于定义当前场境的传感器数据,指示状态机2000是否应转换为软门控状态2004。函数2008-6计算场境分数,该场境分数基于定义当前场境的传感器数据,指示状态机2000是否应转换为硬门控状态2006。状态机2000基于两个状态2004或2006中的哪个具有满足转换阈值的场境分数来从不门控状态2000转换到软门控状态2004或硬门控状态2006。如果函数2008-3和2008-6中的每一个计算满足转换阈值以将状态机2000转换到下一状态的场境分数,则状态机2000可以转换到具有最高场境分数的下一状态。
当处于不门控状态2002时,雷达系统104的状态机2000从传感器108接收传感器数据。函数2008-3和2008-6将传感器数据作为输入并计算场境分数,其指示传感器数据是否分别满足进入软门控状态2004或硬门控状态2006的要求。函数2008-3对应于来自图18的操作1802的“否”结果。函数2008-6对应于来自图18的操作1802的“是”结果。如果从函数2008-3和2008-6得出的场境分数都不满足相应的转换阈值,状态机2000保持在不门控状态2002。
在传感器数据指示用户120正握持UE 102并查看UE 102的场境中,状态机2000将雷达系统104保持在不门控状态2002下操作的姿势识别模式下。当用户120将视线从UE 102移开以与另一个人交谈而不放下UE 102或维持UE 102基本稳定时,函数2008-3可以计算场境分数,该场境分数超过用于转换到软门控状态2004的相应转换阈值。UE 102可能想要保持准备好以恢复检测基于雷达的用户输入,因此在诸如用户暂时与UE 102不接涉的这种情况下,如果用户120返回看UE 102,则UE 102能够快速地返回不门控状态2002;软门控从而增强了使用UE 102的用户体验。状态机2000转换到软门控状态2004,并继续启用使用雷达系统104的基于雷达的姿势识别,但是状态机2000防止雷达系统104将姿势识别的结果输出到在UE 102处执行的应用。
再次从不门控状态2002开始,在稍微不同的场境中,其中传感器数据指示用户120将视线从UE 102移开以与另一个人进行交谈,同时还将UE 102放到用户120的侧边,或者否则不维持UE 102基本稳定。函数2008-6可以计算超过用于转换到硬门控状态2006的相应转换阈值的场境分数。雷达系统104可以继续为UE 102执行其他雷达操作,但是雷达系统104的基于雷达的姿势识别功能在硬门控状态下被禁用。当可能不需要姿势识别时,硬门控从而提升电力节省,将雷达状态104放置在禁用姿势识别的状态。
在转换到软门控状态2004之后,从传感器108和雷达系统104接收更新的传感器数据。状态机2000使用函数2008-1和2008-4计算相应的场境分数。函数2008-1对应于来自图17的操作1706的“是”结果。函数2008-4对应于来自图18的操作1802的“是”结果。如果函数2008-1的场境分数超过用于转换到不门控状态2002的转换阈值,状态机2000转换到不门控状态2002。如果函数2008-4的场境分数超过用于转换到硬门控状态2006的转换阈值,状态机2000转换到硬门控状态2006。如果函数2008-1和2008-1的两者场境分数都超过其相应的转换阈值,则状态机2000可以转换到与另一函数的场境分数相比与更高的场景分数相关联的状态2002或2006。假设函数2008-4的场境分数超过函数2008-1的场境分数以及与从软门控状态2004转换到硬门控状态2006相关联的转换阈值。
在转换到硬门控状态2006之后,从传感器108和雷达系统104接收更新的传感器数据。状态机2000使用函数2008-2和2008-5计算相应的场境分数。函数2008-2对应于来自图18的操作1802的“否”结果。函数2008-5对应于来自图17的操作1706的“是”结果。如果函数2008-5的场境分数超过用于转换到不门控状态2002的转换阈值,状态机2000转换到不门控状态2002。如果函数2008-2的场境分数超过用于转换到软门控状态2004的转换阈值,状态机2000转换到软门控状态2004。如果函数2008-2和2008-5的两者场境分数都超过它们相应的转换阈值,则状态机2000可以转换到与另一函数的场境分数相比与更高场境分数相关联的状态2002或2004。
可以基于由机器学习模型做出的推论来机器学习或驱动状态机2000。训练机器学习模型以基于定义当前场境的传感器数据或其他输入来预测雷达系统104的合适门控状态。例如,函数2008可以是针对当前场境的机器学习的规则或应用或机器学习的模型,以计算场境分数。换句话说,每个函数2008可以是机器学习的模型,或者是机器学习的模型的实例,其被训练以预测下一个雷达状态或将当前场境等同于下一个雷达状态的场境分数。
其他场境敏感控制
如上更详细地描述,雷达系统104依赖于UE 102的场境以及对用户120的位置和定位的意识来对雷达系统104进行门控或不对雷达系统104进行门控。这些应用于场境敏感的门控的相同的技术可以应用于依赖雷达系统104和雷达功能性的其他场境相关控制。
UE 102还可以使用雷达系统104和其他传感器108来预测用户120的意图接涉。UE102的场境可以相对于用户120,指示从UE 102到用户120的距离,指示用户120是否正在朝着或远离UE 102移动,指示用户120是否正伸向UE 120以及与UE 102有关的用户120的姿态或定向。
雷达系统104重新配置姿势识别、接近检测和其他雷达功能如何被执行,以使每个雷达功能适应以最佳地适合当前场境。例如,在某些场境中,当用户120和UE 102在中等大小的房间中时,编程到函数2008中以在状态机2000的不同状态2002、2004和2006之间进行转换的距离和敏感度可能是不合适的。如果用户120和UE 102在更小的房间、汽车或者甚至在人数与最初预测的人数不同的中等大小的房间中,则用于在不同状态2002、2004和2006之间转换的函数2008改变或适于或适配新的场境。换句话说,状态机2000可以包括转换函数,诸如函数2008,其基于场境的改变动态地改变标准。函数2008的结果同样可以相应地改变。基于来自可用信号、传感器或其他数据的输入,状态机2000可以对函数2008调整参数,从而调整UE 102的功能性。如上所述,函数2008可以是机器学习的模型或机器学习的模型的部分,其被训练以预测特定状态适于当前场境的置信度或分数。以下是雷达系统104如何动态地使雷达功能适应以最佳地适合当前环境的一些非限制性示例。
状态机2000可以基于由传感器108的IMU生成的惯性数据来暂停(例如,软门控、硬门控)雷达系统104(或使雷达系统104进入睡眠模式)。指示UE 102正在以可能降低雷达系统104执行不仅基于雷达的姿势识别的其他雷达功能的能力的准确性或效率的方式移动的惯性数据。来自IMU的惯性数据可以包括X、Y和Z轴移动信息。状态机2000将这三个移动组合成浮点值,状态机2000将该浮点值输入到函数20008中以在状态2002、2004和2006之间进行转换。
状态机2000还基于由传感器108生成的其他非IMU传感器数据或由其他任何数据源生成的任何其他有用信息来控制雷达系统104(或使雷达系统104进入睡眠模式)。例如,UE 102可以包括日历应用、时钟应用、位置服务、接近服务、通信服务、金融服务或任何其他场境数据源。在UE 102处执行的订户应用可以向雷达系统104提供场境信息,就像订户应用可以接收由雷达系统104识别的姿势输入的指示一样。
所有这些潜在的信息源都可以馈送状态机2000和函数2008,以确定雷达系统104是否应该暂停或门控。另外,系统可以知道正在运行什么应用,这可以进一步改善UE 102的场境意识并且帮助UE 102做出关于暂停模式的决策。
雷达系统104的场境意识进一步使UE 102能够取决于场境来改变可用的雷达状态或模式的数量。例如,在汽车场境中,雷达系统104仅需要处于不门控或软门控模式,因为在汽车模式下(如果接通汽车的电源)不考虑功率消耗的最大响应性是UE 102的期望特性。例如,仅两个状态是必需的,因为雷达系统104假设用户120仅在几英尺远(仅限于汽车)内,因此当用户不存在时进行硬门控或者在不太可能与UE 102进行交互时节省电力不是必需的。
雷达系统104的场境意识依赖于动态函数2008甚至机器学习的模型来调整门控状态与雷达系统104的其他雷达模式之间的触发参数,诸如意识区域或识别区域的大小、对伸处或其他姿势的距离或速度的改变的敏感度等。雷达系统104的其他功能性可以基于场境。考虑用户单独在汽车中对比用户在地铁上或者在拥挤的会议室中。雷达系统104可以使用不同的敏感度、反馈和特征来确定基于雷达的姿势,因为诸如这些的某些设置在不同场境中可能更加有效。
用于控制雷达系统104的场境意识可以其他方式使用。例如,响应于例如在自行车上在存放场境中检测UE 102,雷达系统104可以自动配置其自身以用于碰撞避免雷达模式并禁用姿势识别。
雷达系统104稳定时可能更有效。如果来自传感器108的传感器数据指示UE 102正在以太高的摇动或者振动的幅度或频率摇动或振动,则雷达系统104自动禁用基于雷达的姿势识别和其他雷达功能性。这节省了许多不必要的计算和测量周期,因为当UE 102不稳定并摇动时,雷达系统104不太可能提供有用的结果。
UE 102的场境信息源可以远离UE 102,例如,与UE 102配对的计算手表的传感器或输入组件可以是补充从传感器108收集的传感器数据的传感器信息的另一源。在这种情况下,雷达系统104可以基于来自通信耦合的手表的传感器数据来门控或以其他方式控制雷达功能性。传感器数据可以包括心率信息。当用户的心率超过用于指示锻炼或剧烈身体移动的特定阈值时,由于当锻炼时用户不太可能在UE处做姿势,因此雷达系统104可以禁用基于雷达的姿势识别或雷达系统104的其他特征。
来自传感器108的环境光传感器捕获传感器数据,该传感器数据指示UE 102的场境何时处于低光区域。在这样的场境中,雷达系统104在用户120将很难与UE 102进行交互的假设下操作,并且因此雷达系统104使其接口对于凌乱的输入更宽容。
来自例如光学接近传感器的传感器108的接近传感器可以在雷达系统104被遮挡时触发雷达系统104关闭或进入禁用姿势识别的状态。到UE 102的无线信号、电力连接、网络连接和其他连接可以提供附加场境信息,以控制雷达系统104。响应于检测到为UE 102供电的充电电缆、扩展站或无线充电系统,雷达系统104避免进入硬门控状态2006,因为UE102在充电时不需要处理功率消耗,并且用户120更可能希望从雷达系统104获得更快的响应速率。在相关示例中,当连接到无线充电系统时,雷达系统104可能禁用其大部分功能,以避免与无线充电器干扰。雷达系统104可以在不活跃模式下操作以避免干扰由UE 102发射或接收的通信和其他信号。
雷达系统104可以可操作地耦合到传感器108中的一个或多个,并响应于中断或直接从传感器108接收的信息而触发。例如,近场通信单元或NFC传感器可以当NFC正在处理付款或其他认证姿势时,触发雷达系统104进入不门控模式。
雷达系统104可以与其他输入组件协同地接通或关断。例如,用户120可以向UE102的触摸屏提供输入,并且在检测触摸屏上的输入的同时,雷达系统104可以禁用姿势识别。在其他情况下,雷达系统104通过保持接通并且将关于识别的姿势的信息发送到输入解码器来增强触摸屏功能性,该输入解码器同时处理触摸屏数据和雷达数据以推断用户意图。以这种方式,即使用户120在提供触摸输入的同时戴着手套,这可以干扰一些存在敏感的屏幕,雷达系统104和触摸屏也可以识别在软键盘上的键入或对GUI的其他输入。
雷达系统104可以基于包括温度、湿度、压力等的其他场境信息来控制雷达功能。雷达系统104可以使用某些设置来考虑由于气象条件的变化而可能发生的性能变化。使用语音或声音信息,雷达系统104可以控制雷达功能、激活或去活基于语音命令的特征。
基于移动的门控
图21图示了用于实现基于雷达的姿势识别的基于移动的门控的框图2100。框图2100的部分可以由处理器608、计算机处理器402或其他硬件电路执行。可以定制框图2100以支持不同类型的电子设备和基于雷达的应用。
框图2100包括低通滤波器(例如,四阶巴特沃思滤波器)和数字阻断器2102。对所有三个轴(例如,X、Y和Z)滤波(例如,来自IMU 408的)惯性传感器数据。滤波可以以与来自IMU 408的输出速率不同的速率发生。例如,IMU 408以五十赫兹输出加速度,但是低通滤波器和数字阻断器2102以十二赫兹滤波加速度。低通滤波器和数字阻断器2102将加速度测量输出到显著运动检测器2120和电话定向检测器2122。
显著运动检测器2120使用绝对值组件2104确定每个轴(例如,X、Y和Z)的惯性传感器数据的绝对值。包络组件2106缓冲经滤波和归一化的加速度测量,用于由可调整阈值组件2108进行评估,该可调整阈值组件2108检测相对于历史随时间观察到的运动的显著运动(回差(hysteresis))。
电话定向检测器2122确定UE 102的定向。应用于雷达系统104的门控功能的敏感度根据UE 102的定向中的改变而变化。门控功能的敏感度也基于给定定向的UE 102的移动量。
移动平均组件112计算每个轴(例如,X、Y和Z)的平均运动。“与参考向量的点积”(DPRV)组件2114从表示UE 102的定向和移动的平均运动中确定值。定向和移动值由可调整阈值组件2116接收。可调整阈值组件2116接收的定向和移动值指示特定定向或移动,可调整阈值组件2116将可调整阈值组件2108设置为高敏感度或低敏感度。例如,如果电话定向检测器2122确定UE 102可能处于横向或纵向向下定向,则阈值组件2108可以由阈值组件2116设置为高敏感度,因此雷达系统104通常被更多地门控以防止小的移动或定向改变被用于姿势识别。如果电话定向检测器2122确定UE 102可能处于不同的定向,则可以由阈值组件2116将阈值组件2108设置为较低的敏感度,因此雷达系统104被更少地门控以甚至使得小的移动或定向改变能够被用于姿势识别中。换句话说,来自可调整阈值2116的输出可以像开关一样行动,该开关取决于移动和定向来指导可调整阈值2108以具有高或低敏感度。
框图2100的输出是根据显著运动检测器2120和电话定向检测器2122的组合确定的门控决策。逻辑OR组件2110取决于是否对雷达系统进行门控来输出特定值104。取决于来自逻辑OR组件2110的门控决策,雷达系统104可以软门控或不门控输出。
显著运动检测器2120的敏感度与电话定向检测器2122相关,以平衡雷达系统104的运动门控行为,同时还能够不考虑设备运动。如前所述,在没有调整雷达系统104的门控敏感度的情况下,带着用户120侧边携带的UE 102缓慢行走并摆动经过他们的身体可能导致显著的错误触发。如果用户120(从侧面、从桌子、从口袋等)抬起UE 102以动作,则随后的自然身体运动的检测将调用来自UE 102的快速门控响应,并因此为了来自雷达系统104的响应令人满意地迅速并且不对用户120造成任何延迟的烦扰,需要较低的门控敏感度。
示例
在以下段落中,提供了示例。
示例1.一种方法,包括:从用户设备的多个传感器接收传感器数据;基于传感器数据,确定用户设备的场境;确定场境是否满足基于雷达的姿势识别的要求;以及响应于确定场境不满足基于雷达的姿势识别的要求,对雷达系统进行门控以防止雷达系统向用户设备的应用订户输出基于雷达的姿势的指示。
示例2.根据示例1所述的方法,其中,对雷达系统进行门控包括通过触发雷达系统在雷达系统不从雷达数据识别姿势的状态下运行来对雷达系统进行硬门控。
示例3.根据示例2所述的方法,其中,对雷达系统进行硬门控进一步响应于确定场境指示雷达系统被对象遮挡。
示例4.根据示例1所述的方法,其中,对雷达系统进行门控包括通过触发雷达系统在雷达系统不输出基于雷达的姿势的指示的状态下运行来对雷达系统进行软门控。
示例5.根据示例4所述的方法,其中,对雷达系统进行软门控进一步响应于确定场境指示雷达系统未被对象遮挡。
示例6.根据示例4所述的方法,其中,对雷达系统进行软门控以防止雷达系统向用户设备的应用订户输出基于雷达的姿势的指示不禁止雷达系统识别来自雷达数据的基于雷达的姿势。
示例7.根据示例4所述的方法,进一步包括:在对雷达系统进行软门控之后,确定场境指示雷达系统被对象遮挡;以及响应于确定场境指示雷达系统被对象遮挡,通过触发雷达系统在雷达系统不从雷达数据识别姿势的状态下运行来对雷达系统进行硬门控。
示例8.根据示例1所述的方法,其中,场境是第一场境,并且传感器数据是第一传感器数据,方法进一步包括:从多个传感器接收第二传感器数据;基于第二传感器数据,确定用户设备的第二场境;确定第二场境是否满足基于雷达的姿势识别的要求;响应于确定第二场境满足基于雷达的姿势识别的要求,将由雷达系统获得的雷达数据输入到从输入的雷达数据确定基于雷达的姿势的模型中;以及响应于模型确定基于雷达的姿势而执行操作,该操作与所确定的基于雷达的姿势相关联。
示例9.根据示例8所述的方法,其中,将由雷达系统获得的雷达数据输入到基于雷达的姿势识别的模型中包括避免对雷达系统进行门控并将雷达系统设置为基于雷达的姿势识别的活跃状态。
示例10.根据示例1至9中的任一个所述的方法,其中,雷达系统被配置为用于生成传感器数据的至少部分的接近传感器。
示例11.根据示例1至10中的任一个所述的方法,其中,确定场境是否满足利用雷达系统的基于雷达的姿势识别的要求包括:确定场境是否指示用户正在握持用户设备或者场境是否指示用户正在行走。
示例12.根据示例11所述的方法,进一步包括:响应于确定用户没有握持用户设备并且用户正在行走;或响应于确定雷达系统被对象遮挡,确定场境不满足基于雷达的姿势识别的要求。
示例13.根据示例11所述的方法,进一步包括:基于传感器数据是否指示特定移动来确定用户是否正握持用户设备、用户正如何握持用户设备或用户是否正在行走。
示例14.根据示例1至13中的任一个所述的方法,进一步包括:确定基于雷达的姿势识别的应用订户的身份;基于订户的身份,选择用于确定场境是否满足基于雷达的姿势识别的要求的门控敏感度,其中,确定场境是否满足利用雷达系统的基于雷达的姿势识别的要求是基于与订户的身份相关联的门控敏感度。
示例15.根据示例14所述的方法,其中,门控敏感度特定于由应用订户之一预选择的基于雷达的姿势的类型。
示例16.根据示例1至15中的任一个所述的方法,进一步包括:响应于模型确定基于雷达的姿势来改变用户设备的状态,用户设备的状态包括访问状态、功率状态或信息状态。
示例17.根据示例1至16中的任一个所述的方法,其中,确定场境是否满足基于雷达的姿势识别的要求包括:执行状态机,该状态机包括通过接收传感器数据的至少部分作为可变输入的相应的场境敏感转换函数链接的多个状态。
示例18.根据示例17所述的方法,其中,状态机包括:不门控状态,其中利用雷达系统的基于雷达的姿势识别被启用;软门控状态,其中利用雷达系统的基于雷达的姿势识别被启用,但是对用户设备处执行的应用和其他订户隐瞒了基于雷达的姿势识别的结果;以及硬门控状态,其中利用雷达系统的基于雷达的姿势识别被禁用。
示例19.根据示例1至18中的任一个所述的方法,其中,多个传感器包括惯性测量单元。
示例20.根据示例1至19中的任一个所述的方法,其中,多个传感器不包括相机传感器。
示例21.根据示例1到20中的任一个所述的方法,其中,多个传感器包括接近传感器、环境光传感器、麦克风或气压计。
示例22.根据示例21所述的方法,其中,接近传感器是光学接近传感器。
示例23.一种装置,包括:代表应用订户检测基于雷达的姿势的雷达系统;接收惯性传感器数据的惯性测量单元;以及状态机,该状态机基于惯性传感器数据和场境敏感转换函数在多个状态之间转换以控制雷达系统,该状态机包括:不门控状态,在该不门控状态中状态机使雷达系统能够将基于雷达的姿势的指示输出给应用订户;软门控状态,在该软门控状态中状态机防止雷达系统将基于雷达的姿势的指示输出给应用订户;以及硬门控状态,在该硬门控状态中状态机防止雷达系统检测基于雷达的姿势。
示例24.根据示例23所述的装置,其中,场境敏感转换函数中的至少一个接收惯性传感器数据的至少部分作为可变输入。
示例25.根据示例23或24所述的装置,其中,状态机使雷达系统能够检测基于雷达的姿势,同时防止向应用订户输出基于雷达的姿势的指示。
示例26.根据示例23至25中的任一项所述的装置,其中:来自场境敏感转换函数的第一函数输出第一场境分数,该第一场境分数基于惯性传感器数据指示是否从不门控状态转换为软门控状态;以及状态机响应于确定第一场境分数满足第一阈值而从不门控状态转换为软门控状态。
示例27.根据示例26所述的装置,其中:来自场境敏感转换函数的第二函数输出第二场境分数,第二场境分数基于惯性传感器数据指示是否从不门控状态转换为硬门控状态;以及状态机响应于确定第二场境分数满足第二阈值而从不门控状态转换为硬门控状态。
示例28.根据示例27所述的装置,其中,状态机响应于确定第二场境分数满足第二阈值并且第二场境分数超过第一场境分数而从不门控状态转换为硬门控状态。
示例29.根据示例28所述的装置,其中,状态机响应于确定第一场境分数满足第一阈值并且第一场境分数超过第二场境分数而从不门控状态转换为软门控状态。
示例30.根据示例23至29中的任一个所述的装置,其中,当与状态机在硬门控状态下操作时相比,状态机在软门控状态下操作时,装置消耗不同数量的功率。
示例31.根据示例23至30中的任一个所述的装置,其中,与状态机在硬门控状态下操作时相比,当状态机在软门控状态下操作时,装置由于检测基于雷达的姿势消耗较多功率。
示例32.根据示例23至31中的任一个所述的装置,其中,场境敏感转换函数中的至少一个基于从惯性传感器数据推断出的位置、定向或移动与位置、定向和移动阈值之间的比较来输出场境分数。
示例33.根据示例23至32中的任一个所述的装置,其中,来自场境敏感转换函数中的第一函数基于雷达系统是否被对象遮挡来输出场境分数。
示例34.根据示例33所述的装置,其中,状态机响应于指示装置未被对象遮挡的场境分数而从不门控状态转换为软门控状态。
示例35.根据示例33或34中的任一个所述的装置,其中,状态机响应于指示装置被对象遮挡的场境分数而从不门控状态转换为硬门控状态。
示例36.根据示例23至35中的任一个所述的装置,其中,在通过低通滤波器对惯性传感器数据滤波之后,场境敏感转换函数中的至少一个接收惯性传感器数据的至少部分作为可变输入。
示例37.根据示例23至36中的任一个所述的装置,其中,场境敏感转换函数中的至少一个接收装置的定向的指示作为可变输入,并且状态机在多个状态之间进行转换以基于惯性传感器数据、场境敏感转换函数和定向来控制雷达系统。
示例38.根据示例23至37中的任一个所述的装置,其中,场境敏感转换函数中的至少一个接收从装置到对象的接近的指示作为可变输入,并且状态机在多个状态之间转换以基于惯性传感器数据、场境敏感转换函数和接近来控制雷达系统。
示例39.一种包括根据示例23至38中的任一个所述的装置以及被配置为执行状态机的处理器的用户设备。
示例40.一种包括用于执行根据示例23至38中的任一个所述的装置的状态机的设备的系统。
结论
尽管已经以特定于特征和/或方法的语言描述了用于利用场境敏感的门控和其他场境敏感的控制的基于雷达的姿势识别的技术和装置的实施方式,但是应该理解,所附权利要求的主题不必限于所描述的特定特征或方法。而是,将特定特征和方法公开为示例实施方式,以使得能够实现利用场境敏感的门控和其他场境敏感控制的基于雷达的姿势识别。

Claims (15)

1.一种用于姿势识别的装置,包括:
雷达系统,所述雷达系统代表应用订户检测基于雷达的姿势;
惯性测量单元,所述惯性测量单元接收惯性传感器数据;以及
状态机,所述状态机基于所述惯性传感器数据在用于控制所述雷达系统的多个状态之间转换,所述状态机包括:
不门控状态,在所述不门控状态中所述状态机使所述雷达系统能够将所述基于雷达的姿势的指示输出给所述应用订户;以及
软门控状态,在所述软门控状态中所述状态机通过屏蔽所述姿势识别模型以免受所述雷达系统收集的雷达数据或者通过屏蔽所述应用订户中的一个或多个以免受来自所述姿势识别模型的输出,来防止所述雷达系统将所述基于雷达的姿势的指示输出给所述应用订户中的一个或多个。
2.根据权利要求1所述的装置,其中,所述状态机包括进一步包括硬门控状态,在所述硬门控状态中所述状态机防止所述雷达系统检测所述基于雷达的姿势。
3.根据权利要求2所述的装置,其中,所述硬门控状态进一步包括以生成低分辨率雷达数据的低分辨率模式操作所述雷达系统,所述低分辨率雷达数据有效地禁用所述姿势识别模型。
4.根据权利要求2所述的装置,其中,所述硬门控状态需要所述雷达系统利用比所述软门控状态更多的电力。
5.根据权利要求1所述的装置,进一步包括:
一个或多个传感器,所述一个或多个传感器接收传感器数据;以及
机器学习的活动分类器,所述机器学习的活动分类器使用机器学习技术以识别所述传感器数据中的模式或签名以确定设备场境;以及
在用于控制所述雷达系统的所述多个状态之间的所述转换基于所述惯性传感器数据和所确定的设备场境。
6.根据权利要求5所述的装置,其中,所述一个或多个传感器包括所述惯性测量单元,并且所述传感器数据包括所述惯性传感器数据。
7.根据权利要求5所述的装置,其中,所述一个或多个传感器包括以下中的至少一个:环境光传感器、气压计、位置传感器、光学传感器、红外传感器、加速度计、陀螺仪、磁力计、罗盘或温度传感器。
8.根据权利要求5所述的装置,其中,所述设备场境基于以下中的至少一个:确定所述装置正在由用户握持、确定所述装置正在移动、确定所述装置被存放、确定所述装置以特定方式定向、确定所述装置在特定位置或者确定所述一个或多个传感器中的至少一个传感器被遮挡。
9.根据权利要求5所述的装置,其中,所述设备场境包括以下中的至少一个:行走场境、骑车场境、驾驶场境、搭乘场境、就座的场境、静止的场境、未使用的场境或存放场境。
10.根据权利要求1所述的装置,其中,所述软门控状态防止所述雷达系统将所述基于雷达的姿势的指示输出给所述应用订户的第一集合并且使所述雷达系统能够将所述基于雷达的姿势的指示输出给所述应用订户的第二集合。
11.根据权利要求10所述的装置,其中,所述应用订户的第一集合和所述应用订户的第二集合是基于一个或多个设备场境而确定的。
12.根据权利要求1所述的装置,其中,所述软门控状态使所述基于雷达的姿势的指示能够被用于所述装置的较低级别的支持功能。
13.根据权利要求12所述的装置,其中,所述较低级别的支持功能包括所述装置的系统服务或所述装置的隐藏功能。
14.一种包括根据权利要求1至13中的任一项所述的装置以及被配置为执行所述状态机的处理器的用户设备。
15.一种包括用于执行根据权利要求1至13中的任一项所述的装置的状态机的设备的系统。
CN202210329665.1A 2019-07-26 2019-10-10 由用户设备进行的鲁棒的基于雷达的姿势识别 Active CN114827344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210329665.1A CN114827344B (zh) 2019-07-26 2019-10-10 由用户设备进行的鲁棒的基于雷达的姿势识别

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962879361P 2019-07-26 2019-07-26
US62/879,361 2019-07-26
US201962894566P 2019-08-30 2019-08-30
US62/894,566 2019-08-30
CN202210329665.1A CN114827344B (zh) 2019-07-26 2019-10-10 由用户设备进行的鲁棒的基于雷达的姿势识别
CN201980006096.3A CN112655188B (zh) 2019-07-26 2019-10-10 由用户设备进行的鲁棒的基于雷达的姿势识别
PCT/US2019/055731 WO2021021227A1 (en) 2019-07-26 2019-10-10 Robust radar-based gesture-recognition by user equipment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980006096.3A Division CN112655188B (zh) 2019-07-26 2019-10-10 由用户设备进行的鲁棒的基于雷达的姿势识别

Publications (2)

Publication Number Publication Date
CN114827344A true CN114827344A (zh) 2022-07-29
CN114827344B CN114827344B (zh) 2024-05-14

Family

ID=68296680

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210329665.1A Active CN114827344B (zh) 2019-07-26 2019-10-10 由用户设备进行的鲁棒的基于雷达的姿势识别
CN201980006096.3A Active CN112655188B (zh) 2019-07-26 2019-10-10 由用户设备进行的鲁棒的基于雷达的姿势识别

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980006096.3A Active CN112655188B (zh) 2019-07-26 2019-10-10 由用户设备进行的鲁棒的基于雷达的姿势识别

Country Status (4)

Country Link
US (1) US20220413620A1 (zh)
EP (2) EP3791563B1 (zh)
CN (2) CN114827344B (zh)
WO (2) WO2021021224A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
CN113924568A (zh) 2019-06-26 2022-01-11 谷歌有限责任公司 基于雷达的认证状态反馈
JP7292437B2 (ja) 2019-07-26 2023-06-16 グーグル エルエルシー Imuおよびレーダーに基づいて状態を下げること
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
CN113874812A (zh) 2019-08-30 2021-12-31 谷歌有限责任公司 用于多输入模式的输入模式通知
KR102479012B1 (ko) 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
CN112753005B (zh) 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
US11394417B1 (en) * 2021-07-14 2022-07-19 Qualcomm Incorporated Human proximity sensor using short-range radar
US12001261B2 (en) 2022-06-27 2024-06-04 Qualcomm Incorporated Power optimization for smartwatch
US20230418385A1 (en) * 2022-06-28 2023-12-28 Snap Inc. Low-power hand-tracking system for wearable device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235790A1 (en) * 2011-03-16 2012-09-20 Apple Inc. Locking and unlocking a mobile device using facial recognition
CN103502911A (zh) * 2011-05-06 2014-01-08 诺基亚公司 使用多个传感器的手势识别
CN105278681A (zh) * 2014-07-18 2016-01-27 苹果公司 设备中的抬起手势检测
WO2016022764A1 (en) * 2014-08-07 2016-02-11 Google Inc. Radar-based gesture recognition
US20160252607A1 (en) * 2015-02-27 2016-09-01 Texas Instruments Incorporated Gesture Recognition using Frequency Modulated Continuous Wave (FMCW) Radar with Low Angle Resolution
CN106062777A (zh) * 2014-03-28 2016-10-26 英特尔公司 基于雷达的姿势识别
US20170097413A1 (en) * 2015-10-06 2017-04-06 Google Inc. Radar-Enabled Sensor Fusion
US20170115738A1 (en) * 2015-10-22 2017-04-27 Beijing Zhigu Rui Tuo Tech Co., Ltd. Action-recognition based control method and control apparatus
CN106662639A (zh) * 2014-10-02 2017-05-10 谷歌公司 非视距的基于雷达的姿势识别
CN107130873A (zh) * 2016-02-29 2017-09-05 福特环球技术公司 用于动力门系统的移动物体检测

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201419036A (zh) * 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
WO2015196063A1 (en) * 2014-06-19 2015-12-23 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
CN106371569A (zh) * 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
US10845477B2 (en) * 2017-05-10 2020-11-24 Google Llc Power management using a low-power radar

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235790A1 (en) * 2011-03-16 2012-09-20 Apple Inc. Locking and unlocking a mobile device using facial recognition
CN103502911A (zh) * 2011-05-06 2014-01-08 诺基亚公司 使用多个传感器的手势识别
CN106062777A (zh) * 2014-03-28 2016-10-26 英特尔公司 基于雷达的姿势识别
CN105278681A (zh) * 2014-07-18 2016-01-27 苹果公司 设备中的抬起手势检测
WO2016022764A1 (en) * 2014-08-07 2016-02-11 Google Inc. Radar-based gesture recognition
CN106537173A (zh) * 2014-08-07 2017-03-22 谷歌公司 基于雷达的姿势识别
CN106662639A (zh) * 2014-10-02 2017-05-10 谷歌公司 非视距的基于雷达的姿势识别
US20160252607A1 (en) * 2015-02-27 2016-09-01 Texas Instruments Incorporated Gesture Recognition using Frequency Modulated Continuous Wave (FMCW) Radar with Low Angle Resolution
US20170097413A1 (en) * 2015-10-06 2017-04-06 Google Inc. Radar-Enabled Sensor Fusion
US20170115738A1 (en) * 2015-10-22 2017-04-27 Beijing Zhigu Rui Tuo Tech Co., Ltd. Action-recognition based control method and control apparatus
CN107130873A (zh) * 2016-02-29 2017-09-05 福特环球技术公司 用于动力门系统的移动物体检测

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许强: ""基于视觉注意机制的穿墙成像雷达目标检测方法研究"", 《中国优秀硕士论文全文数据库》, 15 April 2018 (2018-04-15) *

Also Published As

Publication number Publication date
CN114827344B (zh) 2024-05-14
CN112655188A (zh) 2021-04-13
EP3791563A1 (en) 2021-03-17
CN112655188B (zh) 2022-04-08
EP3791563B1 (en) 2023-12-06
WO2021021224A1 (en) 2021-02-04
EP4283443A3 (en) 2024-02-21
WO2021021227A1 (en) 2021-02-04
US20220413620A1 (en) 2022-12-29
EP4283443A2 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
CN112655188B (zh) 由用户设备进行的鲁棒的基于雷达的姿势识别
US11385722B2 (en) Robust radar-based gesture-recognition by user equipment
US11467672B2 (en) Context-sensitive control of radar-based gesture-recognition
JP7316383B2 (ja) Imuおよびレーダーを介した認証管理
JP7292437B2 (ja) Imuおよびレーダーに基づいて状態を下げること
KR102639579B1 (ko) 인증된 상태 유지하기
US11868537B2 (en) Robust radar-based gesture-recognition by user equipment
WO2021021220A1 (en) Authentication management through imu and radar
CN113853566B (zh) 基于雷达的姿势识别的情境敏感控制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant