CN113853566B - 基于雷达的姿势识别的情境敏感控制 - Google Patents

基于雷达的姿势识别的情境敏感控制 Download PDF

Info

Publication number
CN113853566B
CN113853566B CN201980096552.8A CN201980096552A CN113853566B CN 113853566 B CN113853566 B CN 113853566B CN 201980096552 A CN201980096552 A CN 201980096552A CN 113853566 B CN113853566 B CN 113853566B
Authority
CN
China
Prior art keywords
radar
user
context
state
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980096552.8A
Other languages
English (en)
Other versions
CN113853566A (zh
Inventor
维格内什·萨奇达南达姆
伊万·波派列夫
莱昂纳多·朱斯蒂
德文·詹姆斯·欧赖利·斯特恩
洪正旭
帕特里克·M·阿米胡德
约翰·戴维·雅各布斯
阿贝尔·塞勒什·门格斯图
布兰登·巴贝尔洛
泰勒·里德·库格勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority claimed from PCT/US2019/053676 external-priority patent/WO2021021224A1/en
Publication of CN113853566A publication Critical patent/CN113853566A/zh
Application granted granted Critical
Publication of CN113853566B publication Critical patent/CN113853566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • H04M1/724631User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device by limiting the access to the user interface, e.g. locking a touch-screen or a keypad
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Position Input By Displaying (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本文档描述了具有情境敏感门控和其他情境敏感控制的基于雷达的姿势识别的技术和系统。来自接近度传感器(108)和/或移动传感器(108)的传感器数据产生用户设备(102)的情境。该技术和系统使用户设备(102)能够在雷达系统(104)能够是不可靠的并且不应当被用于姿势识别时识别情境,使用户设备(102)能够根据情境自动禁用或“门控”来自雷达系统(104)的输出。用户设备(102)防止雷达系统(104)转换到高功率状态(1910)以在雷达系统(104)检测到的雷达数据可能是由于无意输入的场景中执行姿势识别。通过这样做,相对于用于基于雷达的姿势识别的许多常见技术和系统,这些技术节省了功率、提高了准确度或减少了等待时间。

Description

基于雷达的姿势识别的情境敏感控制
背景技术
一些计算设备(也称为“用户设备”)包括用于检测输入的雷达系统。例如,雷达系统提供雷达场,雷达系统从该雷达场识别在雷达场内或通过雷达场做出的二维和三维(也称为“触摸无关”)的基于雷达的姿势。雷达系统可以不断地评估雷达场内的反射,频繁地转换为姿势识别状态以理解哪些可能是基于雷达的姿势输入。然而,响应于意外的或误报的雷达输入而转换到姿势识别状态,如果错误识别的基于雷达的姿势触发或被用于执行功能,则浪费电力并可能导致故障。
发明内容
本文档描述了利用情境敏感门控和其他情境敏感控制的基于雷达的姿势识别技术和系统。该技术和系统使用来自多个传感器的传感器数据来定义用户设备的情境。多个传感器可以包括诸如惯性测量单元(IMU)的低功率传感器设备,并且不包括诸如相机的高功率传感器设备。传感器数据能够是来自IMU的惯性传感器数据、来自接近度传感器的接近数据、来自雷达系统的雷达数据或任何其他传感器数据。传感器数据定义了用户设备的情境,诸如用户活动或计算环境的特性。在某些情境下,当雷达系统对于基于雷达的姿势识别不可靠或较不可靠时,这些技术和系统使用户设备能够自动地禁用或“门控”基于雷达的姿势识别。为此,用户设备可以限制对姿势识别模型的输入或来自姿势识别模型的输出。用户设备还可禁用姿势识别模型,以完全防止雷达系统执行基于雷达的姿势识别。当情境改变为不太可能引起姿势识别错误或引起误报的不同情境时,用户设备能够重新启用基于雷达的姿势识别。如果用户设备在基于雷达的姿势不太可能的环境中操作,则用户设备将自动地门控姿势识别。门控姿势识别防止在用户设备上执行的应用或其他订户响应于门控时获得的雷达输入而执行功能。通过这样做,本技术防止了误报姿势识别触发姿势识别的订户的操作。对于使用基于雷达的姿势识别系统的计算系统,防止误报可以节省电力并提高可用性和用户满意度。
例如,描述了一种用于基于雷达的姿势识别的情境敏感控制的方法。该方法包括:从用户设备的多个传感器接收传感器数据;基于该传感器数据确定用户设备的情境;确定情境是否满足基于雷达的姿势识别的要求;以及响应于确定情境不满足基于雷达的姿势识别的要求,门控雷达系统,以防止雷达系统向用户设备的应用订户输出基于雷达的姿势的指示。
在另一示例中,描述了一种方法,其中,在从多个传感器接收到第二传感器数据之后,该方法包括:基于第二传感器数据来确定用户设备的第二情境;确定第二情境是否满足基于雷达的姿势识别的要求;响应于确定第二情境满足基于雷达的姿势识别的要求,将由雷达系统获得的雷达数据输入到模型,该模型由所输入的雷达数据确定基于雷达的姿势;以及响应于模型确定基于雷达的姿势执行操作。
本文档还描述了具有用于执行上面概述的方法和本文中阐述的其它方法的指令的计算机可读介质,以及用于执行这些方法的系统和装置。
提供本发明内容是为了介绍用于利用情境敏感门控和其他情境敏感控制的基于雷达的姿势识别的简化概念,下面将在详细描述和附图中对其进行进一步描述。本发明内容不意图标识所要求保护的主题的必要特征,也不意图用于确定所要求保护的主题的范围。
附图说明
本文档中参考以下附图描述了利用情境敏感门控和其他情境敏感控制的基于雷达的姿势识别的一个或多个方面的细节。在整个附图中使用相同的标记来指代相似的特征和组件:
图1图示了示例环境,其中能够实现用于利用情境敏感门控和其他情境敏感控制的基于雷达的姿势识别技术。
图2图示了图1中阐述的认证系统的示例。
图3图示了由图2的认证系统认证的示例用户。
图4图示了图1的用户设备的实施方式,其能够响应于对用户与用户设备接洽的意图的确定而改变状态,包括认证系统的功率状态。
图5图示了用户设备的示例信息、功率状态和访问状态。
图6-1图示了作为用户设备的部分的示例雷达系统。
图6-2图示了示例收发器和处理器。
图6-3图示了功耗、姿势帧更新速率和响应延迟之间的示例关系。
图6-4图示了示例成帧结构。
图7图示了用于图6-1的雷达系统的接收天线元件的示例布置。
图8图示了图6-1的雷达系统的示例实施方式的附加细节。
图9图示了能够由图6-1的雷达系统实现的示例方案。
图10图示了用于通过IMU和/或雷达的认证管理的示例方法。
图11图示了用于认证管理的示例场景。
图12图示了用于降低用户设备的状态的示例方法。
图13图示了用于降低用户设备的状态的示例场景。
图14图示了用于维持认证的状态的示例方法。
图15图示了用于维持认证的状态的示例场景。
图16图示了用于维持认证的状态的另一示例场景。
图17图示了用于利用情境敏感门控和其他情境敏感控制的基于雷达的姿势识别的示例方法。
图18图示了用于利用情境敏感门控和其他情境敏感控制的基于雷达的姿势识别的示例方法。
图19图示了实现图17和图18的方法的决策树。
图20图示了用于实现图17和图18的方法的状态机的状态图。
具体实施方式
概述
本文档描述了利用情境(context)敏感门控和其他情境敏感控制的基于雷达的姿势(gesture)识别技术和系统。作为示例,用户设备(UE)(例如,计算设备)包括雷达系统,该雷达系统除其他用途外用于检测来自用户的输入。UE从诸如接近度传感器或移动传感器的多个传感器接收传感器数据,以开发UE的情境。
情境定义了UE的用户活动、设备特性或操作环境。情境能够指定定向、加速度、位置或与对象的接近度。位置、温度、亮度、压力和其他环境特性也能够定义情境。多个传感器可以包括移动传感器,诸如用于生成定义UE的移动的惯性数据的惯性测量单元(IMU)。多个传感器可以包括接近度传感器、光传感器或温度传感器,仅举几例。当雷达系统在接近度模式下操作(启用或不启用姿势识别)时,雷达系统是接近度传感器。UE可以依靠提供准确传感器数据的传感器,同时消耗尽可能少的电力,尤其是对于依靠电池电力的UE。
基于由传感器数据定义的情境,UE确定是否防止雷达系统识别基于雷达的姿势和/或是否防止UE的组件使用所识别的基于雷达的姿势来执行功能。由雷达系统进行的门控姿势识别防止UE浪费计算资源和电力来理解基于雷达的姿势或者响应于从无意或非用户输入做出的姿势识别而执行功能(甚至发生故障)。
在没有门控的情况下,UE由雷达数据过度理解基于雷达的姿势,从而浪费了计算资源来处理错误姿势,或甚至响应于此而发生故障。通过基于情境对来自雷达系统的输出进行门控,相对于用于基于雷达的姿势识别的其他技术和系统,所公开的技术和系统使得UE能够节省电力、提高准确性、提高用户满意度和可用性或减少等待时间。
通过一个示例,假设由智能电话获得的传感器数据指示用户正在握持智能电话。这些技术和系统使智能电话的雷达系统能够在这种情境下识别基于雷达的姿势,因为用户在握持智能电话时向智能电话输入基于雷达的姿势的可能性很高。传感器数据随后指示用户也正在携带智能电话行走。在这种情境下,智能电话也继续使用雷达系统识别基于雷达的姿势,因为即使在行走时,用户可能希望在握持智能电话的同时有意地在智能电话处做姿势。接下来,传感器数据指示用户仍在行走,但不再握持智能电话,智能电话远离用户定向,和/或智能电话被对象(例如,背包隔层)遮挡。例如,由于在背包隔层中时用户不太可能与智能电话进行接洽,这些技术和系统使智能电话能够禁用雷达系统,或者至少调整雷达系统以防止雷达系统被用于在这种情境下识别基于雷达的姿势。当智能电话识别出新的情境时,当情境适合基于雷达的姿势识别时,智能电话重新评估是否启用基于雷达的姿势识别,并启用由雷达系统进行的基于雷达的姿势识别。
最终,用户将智能电话放置在诸如桌子的表面上,并且传感器数据指示用户没有正在握持智能电话并且智能电话被定向为屏幕面朝上。如果接近度数据指示用户正在伸到智能电话上,则智能电话基于用户接下来做什么选择性地启用或防止雷达系统识别基于雷达的姿势。如果智能电话检测到指示用户在已经伸到智能电话上之后正在拿起智能电话的移动,则智能电话利用雷达系统识别基于雷达的姿势。如果智能电话未检测到指示用户在伸到智能电话上之后正在拿起智能电话(例如,用户正在抓住桌上智能电话旁的一杯咖啡)的移动,则智能电话防止使用雷达系统的姿势识别。
这些仅仅是所描述的技术和设备可以如何被用来门控基于雷达的姿势识别的一些示例。在整个本文档中描述了其他示例和实施方式。现在,本文转向示例操作环境,之后描述示例设备、方法和系统。
操作环境
图1图示了示例环境100,其中,可以实现用于基于雷达的姿势识别的情境敏感的门控和其他情境敏感的控制的技术。示例环境100包括用户设备(UE)102(例如,智能电话),其包括或关联于雷达系统104、雷达管理器106、多个传感器108、移动管理器110、状态管理器112、认证系统114和显示器116。
在示例环境100中,雷达系统104通过传送一个或多个雷达信号或波形来提供雷达场118,如下参考图7-9所述。雷达场118是空间的体积,雷达系统104能够从该空间中检测雷达信号和波形的反射(例如,从该空间的体积中的对象反射的雷达信号和波形,在本文中通常也称为雷达数据)。雷达系统104还使得UE 102或另一电子设备能够从雷达场118内的反射感测并分析该雷达数据,例如,以识别由体积空间中的用户做出的基于雷达的姿势(例如,触摸无关的姿势)。雷达场118可以采用各种形状和形式中的任何一种。例如,雷达场118可以具有如参考图1和图7描述的形状。在其他情况下,雷达场118可以采用从雷达系统104延伸的半径,围绕雷达系统104的体积的形状(例如,球体、半球、部分球体、波束或圆锥形)或不均匀的形状(例如,以适应来自雷达场118中障碍物的干扰)。雷达场118可以从雷达系统104延伸诸如几英寸到十二英尺(小于三分之一米到四米)的各种距离中的任何距离。雷达场118可以是预定义的、用户可选择的或经由另一种方法(例如,基于功率要求、剩余电池寿命或其它因素)确定的。
来自雷达场118中的用户120的反射使得雷达系统104能够确定关于用户120的各种信息,诸如用户120的身体位置和姿态,其可以指示各种不同的非语言肢体语言提示、身体位置或身体姿态,它们可以被雷达系统104识别为用户120做出的触摸无关的姿势。提示、位置和姿态可以包括用户120相对于UE 102的绝对位置或距离、用户120关于UE 102的位置或距离的变化(例如,用户120或用户的手或用户120握持的对象是正在靠近UE 102或远离UE 102移动)、当朝向或远离UE 102移动时用户120(例如,手或非用户对象)的速度、用户120是否转向朝向或远离UE 102、用户120是否倾斜朝向、摆动朝向、伸向或指向UE 102等等。还能够分析这些反射来确定认证,或增加认证的置信度,诸如通过分析雷达数据(例如,用户面部的散射中心)来识别人的身份。UE 102能够使用这些反射来定义情境(例如,UE102的操作环境),以执行基于雷达的姿势识别的情境敏感门控以及其他情境敏感控制。当用户120向UE 102提供输入时,这些反射还能够被用于确定由雷达系统104识别的触摸无关的姿势或增加对其的置信度。
雷达管理器106被配置为基于来自雷达系统104的雷达数据来确定用户与UE 102接洽、脱离或维持接洽的意图。用户的意图能够从由雷达系统104识别出的触摸无关的姿势,例如,上述各种提示、位置、姿态和距离/速度,诸如基于手臂或姿势(例如,手或手臂伸向、滑过)、眼睛姿势(例如,眼睛注视的移动)或头部姿势(例如,朝向UE 102定向的头或面部的移动)中被推断。对于手或手臂伸出,雷达管理器106确定用户正在以使得指示触摸或拿起UE 102的可能意图的方式伸手或定向手臂。示例包括用户伸向无线附接的扬声器上的音量按钮、伸向与平板计算机相关联的无线或有线鼠标或伸向UE 102本身。该伸向能够基于仅手移动、手臂和手移动或者以准许手臂的手触摸或抓住UE 102的方式的手臂弯曲或伸直来确定。
用户的接洽意图也能够基于用户的头或眼睛看、或定向他们的面部朝向UE 102,或者在一些情况下,与UE 102的相关联外部设备的移动被推断。对于用户的眼睛看向UE102的移动,雷达管理器106确定用户的眼睛正在看UE 102的方向,诸如通过跟踪用户的眼睛。对于用户的头部使他们的面部朝向UE 102定向(例如,面部定向)的移动,雷达管理器106确定各个点(例如,如下所述的散射中心)现在被定向,使得用户的面部正在指向UE102。因此,用户无需执行被设计为控制或激活UE 102的动作,诸如激活(按下)UE 102上的按钮或(例如,在触摸板或屏幕上的)触摸有关的姿势或(例如,使用雷达系统104的)触摸无关的姿势)以便雷达管理器106确定用户意图与UE 102接洽(或脱离或维持接洽)。
如上所述,雷达管理器106还被配置为确定用户与UE 102脱离的意图。类似于用户接洽的意图,通过从指示缺乏触摸无关的姿势、或者用户的手或手臂正在从UE 102移开(例如,缩回)、目光远离的眼睛的移动、或者头部或面部远离UE 102(例如,面部定向改变为从看着UE 102远离)的移动的雷达数据推断,雷达管理器106确定用户脱离的意图。通过其确定用户脱离的意图的另外的方式不仅是上面提到的接洽的相反或停止,还包括指示用户已走开、移动他们的身体远离或已经与不同的未关联对象或设备接洽的雷达数据。因此,雷达管理器106可以基于确定用户与一些其他对象、设备或用户设备进行接洽的意图来确定与UE 102脱离的意图。例如,假设用户正看智能电话并与之交互。指示与该智能电话脱离的示例接洽意图包括用户正在看电视屏幕而不是看智能电话、开始与附近的物理上存在的人交谈、或者正在伸向可能与之接洽以替换与智能电话的接洽的诸如电子书或媒体播放器的另一设备。
雷达管理器106还被配置为确定用户维持与UE 102的接洽的意图。这种接洽的维持可以是主动的或被动的。对于主动接洽,雷达管理器106可以基于雷达数据确定用户正在通过触摸无关的姿势进行交互等。雷达管理器106还可以或者替代地通过非雷达数据来确定主动接洽(例如,在来自UE 102的其他组件的帮助下执行)。这些非雷达数据包括用户正在向UE 102或外围设备输入数据或控制UE 102或外围设备的指示。因此,通过触摸、键入或音频数据,用户被确定为正在通过显示器116的触摸屏输入进行触摸(例如,在软键盘上轻敲或执行姿势)、在外围键盘上键入、或者被确定为正在口述音频输入。对于接洽的被动维持,雷达管理器106独立地或通过UE 102的其他组件的帮助来确定用户正在消费内容或将UE 102提供给其他人以消费内容,诸如将他们的面部朝向用户UE 102、看向显示器116或者以使UE 102的显示定向为用户或第三方可见的方式握持UE 102。维持被动接洽的其他示例包括用户的存在,诸如通过雷达管理器106确定用户120处于UE 102的可及范围内(例如,距UE 102两米、一米半、一米或半米)内。下面描述雷达管理器106确定用户意图接洽、脱离或维持接洽的示例方式的细节。
此外,雷达管理器106还使用来自雷达系统104的雷达数据来确定由用户执行的姿势。这些姿势能够涉及用户触摸诸如桌子、显示器116或他们的衬衫袖子的某个表面或触摸无关的姿势。触摸无关的姿势能够在空中、在三维中执行和/或在无需手或手指触摸输入设备但不排除触摸某个对象的情况下执行。能够基于由雷达系统104获得的雷达数据来识别或确定这些姿势,然后将这些姿势输出到在UE 102上执行的应用或其他订户,或用作执行操作的输入,诸如,以指示与UE 102接洽。
示例姿势包括类似于手语(例如ASL或美国手语)的姿势,这些姿势是多种多样的、复杂的单手或多手姿势,或简单的多手或单手姿势,诸如向左滑动、向右滑动、向上滑动或向下滑动、平手提升或降低(例如,以提高或降低UE 102或通过UE 102控制的电视或立体声的音乐音量),或朝前或朝后滑动(例如,从左到右或从右到左)以改变音乐和视频曲目、停止闹钟、不理会电话或者甚至玩游戏。这些只是可通过这些姿势控制的并且可以通过雷达系统104和雷达管理器106启用的许多示例姿势和功能中的几个。因此,尽管本文档在一些方面涉及接洽和状态管理,该文档中没有任何内容应该被误解为指示接洽和状态管理方面不能被用于附加地或替代地配置雷达系统104和雷达管理器106执行姿势识别。
显示器116能够包括任何合适的显示设备,诸如触摸屏、液晶显示器(LCD)、薄膜晶体管(TFT)LCD、面内开关(IPS)LCD、电容式触摸屏显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、超级AMOLED显示器等。如上所述,显示器116能够以各种级别被供电,诸如以具有触摸输入的完全饱和度被供电、没有触摸输入的降低饱和度被供电以及低饱和度和低功率(例如,灰色时钟)或没有功率。
多个传感器108能够是被配置为生成指示UE 102的情境的传感器数据,或者换句话说,UE 102的操作环境或周围的指示的各种传感器设备中的任何一个。多个传感器108包括用于测量移动的惯性测量单元(IMU),移动在这里被定义为包括特定力、角速度、定向、振动、加速度、速度和包括三个轴(例如X,Y和Z)中的每一个的俯仰、侧倾和偏转的位置。IMU只是传感器108的一个示例。用于感测移动的多个传感器108的其他示例包括加速度计、陀螺仪和/或磁力计。多个传感器108能够包括接近度传感器、光传感器、定位传感器、罗盘、温度传感器、大气压力传感器或检测对象的存在或接近的任何其他传感器。多个传感器108可以包括以与姿势识别模式相对的接近模式或其他模式操作的接近度传感器,诸如雷达系统104。
UE 102可以主要依靠电池电供电,因此,多个传感器108可以排除如相机的高功率传感器,而是主要包括低功率传感器,该低功率传感器提供用于开发准确情境的准确传感器数据。通过避免使用如相机的高功率传感器来驱动门控决策,而是使用来自如IMU的低功率传感器的传感器数据,UE 102比如果使用相机使用更少的功率来进行门控决策而更有效地操作。
移动管理器110被配置为基于从传感器108获得的惯性数据或其他传感器数据来确定UE 102的移动。移动管理器被配置为确定UE 102的移动以使UE 102能够定义情境。示例移动包括UE 102被抬起(例如,被拿起)、朝向或远离用户120定向以及振动。示例移动能够指示停止UE 102的用户120的物理接触、将UE 102放在无生命对象(例如,桌子、汽车控制台、沙发扶手、枕头、地板、扩展坞)上以及将UE 102放在例如口袋、袋子或钱包的封闭的容器内。进一步的示例移动包括指示UE 102正在被握持的那些移动、指示UE 102正在被正在行走、骑自行车、乘车或以其他方式移动的人握持的移动、或以其他方式移动、指示诸如处于横向、纵向向上、纵向向下或其组合的携带定向的UE 102如何被握持的移动。示例移动进一步包括UE 102没有被握持,或者指示UE 102没有被握持而是由正在行走的人携带的移动等。
这些移动能够指示用户与UE 102的潜在接洽、脱离或维持接洽。例如,UE 102的移动可以指示用户设备正在朝向用户120移动/定向或者正在远离用户120被移动/定向、正在太快地移动或太快地改变移动而无法针对许多可能的用户接洽类型来与其交互、正在由用户120握持(经由自然的人类移动、呼吸、心跳)或者正在由于机械或非用户源而振动(例如,车辆的振动、周围的声音使UE 102晃动、音乐导致UE 102振动)。因此,会指示与UE 102潜在脱离的定向远离可以包括UE 102的定向改变,使得在用户120可能已经看向显示器160的先前定向现在不可能正在这样做。用户120在一个定向上键入或阅读,然后将电话翻过来或侧翻或放在口袋中等,仅是指示定向远离并因此潜在脱离的移动的一个示例。可以指示维持的接洽的示例移动包括指示用户正在维持UE 102的握持或放置或者正在维持相对于UE102的其定向的振动,其中,该定向先前指示与UE 102的接洽或与UE 102的接洽一致。
雷达系统104依靠雷达管理器106、移动管理器110和传感器108来定义用于驱动由雷达系统104做出的门控决策的UE 102的情境。由传感器108生成的传感器数据,结合由移动管理器110和雷达管理器106确定的移动和用户意图,有助于定义UE 102的情境。
由移动管理器110确定的移动可以指示用户120如何或是否正在与UE 102交互。由移动管理器110检测的加速度或振动能够对应于当用户120正在行走或以其他方式携带UE102移动时观察到的类似的振动和加速度,因此移动可以指示用户如何行走或移动。由移动管理器110确定的移动改变能够指示携带位置和定向的改变,作为关于用户120如何或是否与UE 102交互的进一步信息。由移动管理器110推断出的移动模式或移动的缺少可以类似于在握持情境中当用户120正在观看UE 102或者握持UE 102时通常观察到的移动。在当UE102被包含在用户120所穿的衣服的口袋中或背包或公文包中、飞机或火车上的头顶上的储物箱、车辆的控制台或杂物箱中或其他储物柜时的这种条件下,移动和移动模式能够指示存放情境。
情境能够由移动以外的其他信息定义。例如,接近度传感器或雷达系统104能够检测雷达系统104(或UE 102的其他部分)是否被接近UE 102的对象遮挡。遮挡的证据可以指示UE 102处于存放情境,以及缺少遮挡可能另有指示。诸如环境光传感器、气压计、位置传感器、光学传感器、红外传感器等的其他传感器能够向UE 102提供信号,该信号进一步定义UE 102的操作环境或情境以改善姿势识别和其他描述的技术。相对海拔、阴影、环境声音、环境温度等是能够由雷达系统104通过传感器108捕获以使UE 102能够定义情境的信号的进一步示例。
状态管理器112管理UE 102的状态,诸如功率、访问和信息状态,并且在一些示例中,基于以上定义的情境来管理状态。UE 102及其组件的这种管理部分地基于由雷达管理器106和移动管理器110做出的确定、来自传感器108的传感器数据以及由此定义的情境来执行。例如,状态管理器112能够诸如通过预期从用户120接收用于输入密码的触摸输入而改变UE 102的显示器116、执行认证中使用的计算的计算机处理器或执行基于图像的面部认证的成像系统、雷达(例如,雷达系统104)或其他组件,来管理对认证系统114的组件的供电。当基于雷达的姿势识别被门控时,状态管理器112可以指示雷达管理器106使雷达系统104处于接近度或禁用模式,并且当基于雷达的姿势识别没有被门控时,状态管理器112可以指示使雷达系统104处于启用或姿势识别模式。
如上所述,对UE 102的管理是基于由雷达管理器106和移动管理器110的确定,其分别确定接洽、脱离或维持接洽的意图和UE 102的移动。状态管理器112能够单独地基于这些确定或者也可以基于包括当前状态、当前接洽、正在运行的应用以及这些应用所示的内容等等的定义UE 102的情境的其他信息来这样做。通过考虑情境,状态管理器112能够提高用户意图是与UE 102接洽、脱离或维持接洽的整体确定的准确性、鲁棒性和速度。
用于定义情境的“多个确定”(例如,雷达管理器106和移动管理器110的确定)能够作为管理UE 102的状态的部分同时或按阶段被执行,或者这些之一可以被单独使用。例如,假设对于用于认证的组件,UE 102处于低功率状态。雷达管理器106可以基于朝向UE 102的移动或伸向UE 102来确定用户120正在意图与UE 102进行认证。在一些情况下,状态管理器112仅将此视为对于状态管理器112而言不足以使UE 102被改变为高功率状态(例如,用于认证、用于解释基于雷达的姿势)的情境。因此,状态管理器112能够使认证组件中的一些被供电到中间状态,而不是高功率状态(例如,图5的高功率状态504-1)。例如,在认证系统114使用红外传感器执行面部识别的情况下,在预期认证用户的情况下,状态管理器112能够将这些传感器和显示器116供电到更高的功率,而在显示器116的情况下,向用户指示UE 102正在“醒来”并且因此响应越来越快。作为附加步骤,状态管理器112可以在对认证组件(在此为红外传感器)完全供电之前等待直到移动管理器110确定情境指示用户已经移动、拿起、抬起UE 102等等。尽管不是必需的,但是状态管理器112可以使认证由组件尝试进行,而无需来自用户的进一步输入,从而使认证对于用户120是无缝的。
然而,在一些情况下,状态管理器112响应于惯性数据和雷达数据两者来确定供电或以其他方式准备UE 102的状态,例如,雷达管理器106确定用户意图接洽并且移动管理器110确定用户正在拿起UE 102。
因此,状态管理器112能够等待直到用户的意图是通过拿起UE 102进行接洽的较高置信度,诸如由移动管理器110指示用户刚刚已开始触摸UE 102。在这种情况下,状态管理器112可以仅基于雷达管理器116的确定来增加功率,但是可以这样做以达到显示器或认证系统114或其组件的中间功率级别,而不是等待直到移动管理器110指示由用户触摸以为这些组件完全供电。但是,如上所述,状态管理器112可以仅在基于雷达数据确定接洽的意图时将状态改变为较高的功率级别,或者仅在基于雷达数据确定脱离的意图时将状态变换为较低的那些级别。
图1图示了在示例环境100-1、100-2和100-3下状态管理器112能够管理UE 102的状态的许多示例方式中的一个。
在环境100-1中,假设用户120被认证并且UE 102处于功率、访问和信息的高级别状态。通过显示高饱和度和高亮度的星符号(在环境100-1中122处示出)的显示器116向用户120指示该认证。在环境100-1中,用户120将UE 102向下放置在桌子上。将UE 102放置在桌子上导致传感器108感测到惯性数据然后将该惯性数据提供给移动管理器110。移动管理器110基于该惯性数据确定UE 102已经移动但现在正在仍静止。UE 102之前处于移动情境中,并且现在处于静止情境中。此时,移动管理器110可以将该移动确定传递给雷达系统104、雷达管理器106或状态管理器112,但是在三种情况的任一个下,这都是用于确定是否将状态从高级别降低到中间级别或者较低级别的数据点。如上所述,降低这些状态能够节省电力、保持信息私密和访问安全,并且仍然为用户120提供无缝的用户体验。例如,基于移动确定,雷达系统104形成用于管理其输出的情境。在检测一些轻微移动但用户120没有握持UE 102的环境100-1中,雷达系统104能够确定UE 120正靠放在平坦的固定表面上的环境100-1。因为UE 120的情境是除了轻微移动之外的静止情境,所以该情境满足基于雷达的姿势识别的要求。
继续该示例,考虑环境100-2,其中用户120从UE 102缩回他们的手。该缩回分别由雷达系统104和雷达管理器106感测和分析。通过这样做,雷达管理器106确定用户120意图与UE 102脱离。基于来自雷达管理器106的确定和来自移动管理器110的移动确定,状态管理器112可以降低UE 102的状态中的一个或多个。这里该降低意图对应于用户120与UE 102的接洽级别。状态管理器112的该降低是为了通过降低显示器116的饱和度和亮度达到中间功率级别,在低亮度和饱和度星符号处显示(在124处示出)。注意,状态管理器112能够将状态降低到功率、访问和/或信息的低级别,但是这里,状态管理器112将状态降低到中间级别,因为与雷达管理器106脱离的意图指示用户120正在缩回他们的手臂,但是他们的身体仍然朝向UE 102定向,并且用户120仍然在看着UE 102。这是使状态适应用户的接洽的一个示例,因为缩回指示某种程度的脱离,但可以单独指示雷达管理器106的脱离确定中的一些继续接洽或某种程度的不确定性。例如,缩回确定能够被用作用于定义UE 102的第二情境的接近信息。雷达系统104在环境100-2中形成用于管理其姿势识别能力的第二情境。在检测到缩回而没有向UE 102的任何移动的情况下,雷达系统104能够确定环境100-2是不满足触摸无关的姿势识别的要求的存放情境,因为该情境指示该设备现在处于用户120的可及范围之外。
结束该示例,考虑环境100-3。这里,用户120正在读书,而UE 102位于桌子上。用户120以某个角度远离UE 102并朝向他们的书来定向他们的身体,并且用户120正在看书而不是UE 102。基于关于用户120的定向的该附加信息,雷达管理器106确定用户120意图(很可能已经)与UE 102脱离。此时,雷达管理器106将该脱离确定的附加意图提供给状态管理器112,然后将UE 102的状态降低到低水平,在显示器116处以较低的功率使用示出(在126处仅以低亮度和饱和度示出一天中的时间)。虽然未示出,但是状态管理器112还对用户120解除认证(例如,锁定UE 102)。关于用户120定向或用户120正意图与UE 102脱离的确定的该附加信息能够被用作定义UE 102的第三情境的接近信息。雷达系统104响应于检测到脱离和读书的意图而形成第三情境。雷达系统104能够确定环境100-3不是满足基于雷达的姿势识别的要求的情境,因为该情境指示该设备现在处于用户120的接近影响范围之外。
如该示例中所示,本文中描述的技术能够管理用户设备的状态以提供涉及认证和基于雷达的姿势识别的无缝用户体验。与其他技术相比,这些技术能够利用降低的功耗和更好的隐私性和安全性来这样做。状态管理能够实现维持或增加功率、访问和信息的级别。如进一步所示,在没有门控的情况下,UE 102可以从由雷达系统104获得的雷达数据中过度理解基于雷达的姿势,从而浪费计算资源处理并随后丢弃错误的姿势。通过基于情境来对雷达系统104的姿势识别进行门控,相对于用于基于雷达的姿势识别的其他技术和系统,所公开的技术和系统使UE 102能够节省电力、提高准确性或降低解释和响应基于雷达的输入的等待时间。
更详细地,考虑图2所示的认证系统114的一个示例。这仅是一个示例,因为考虑到了状态管理器112可控制的其他认证系统,诸如通过触摸敏感显示器的密码输入、使用雷达系统104的雷达认证或指纹读取器,仅举几例。
图示了认证系统114的该示例,其示出了UE 102(被示为智能电话)的内部200。在所描绘的配置中,UE 102包括雷达系统104的雷达集成电路202、扬声器204、前置相机206以及作为传感器108的示例的接近度传感器208和环境光传感器210。作为传感器108的进一步示例,UE 102还包括面部解锁传感器212,该面部解锁传感器212包括近红外(NIR)泛光照明器214和近红外(NIR)点投影仪216,两者均在用户上投影红外光或近红外光。面部解锁传感器212还包括两个NIR相机218-1和218-2,它们位于UE 102的相对侧。NIR相机218-1和218-2感测由用户反射的红外光和近红外光。该反射的近红外光能够被用于确定面部特征,并利用这些特征,基于与先前存储的面部特征信息的比较来确定用户是否被认证。NIR泛光照明器214例如利用NIR光“泛光”环境,其在接收来自用户(和其他对象)的反射时提供图像。即使在低环境光或没有环境光的情况下,该图像包括用户的面部,并且因此能够被用于确定面部特征。NIR点投影仪216提供NIR光反射,能够对其进行分析以确定对象的深度,包括用户面部的特征。因此,(例如,在设置面部认证时之前)能够创建用户的深度图(例如,谱深度图),并且能够确定当前深度图,并将其与所存储的、先前创建的深度图进行比较。该深度图有助于防止对用户面部的图片或其他二维渲染(而不是人的实际面部)进行认证。
该用户面部特征的映射能够安全地被存储在UE 102上,并且基于用户的偏好,既在UE 102上是安全的,又防止对外部实体可用。
认证系统114包括面部解锁传感器212,但也能够包括其他组件,诸如前置相机206、接近度传感器208和环境光传感器210,以及用于分析数据的处理器、用于存储、高速缓存或缓冲传感器数据的存储器(也可以具有多个功率状态)等等。
如以下所述的方法中所指出的,面部解锁传感器212感测IR(红外)和NIR(近红外)数据以执行面部识别,这是这些技术可以认证用户并因此改变访问状态(例如,解锁UE102)的一种方式。为了节省电力,面部解锁传感器212在不使用时以低功率状态操作(其也能够是简单地关断)。特别地,NIR泛光照明器214和NIR点投影仪216在关断状态下不辐射。然而,与从低功率或无功率状态转换到中间功率状态和/或高功率状态相关联的预热序列能够被用于NIR泛光照明器214和NIR点投影仪216。通过对这些组件之一或两者供电,有时能够使认证用户的等待时间降低半秒或更多。假设每天许多用户认证他们的设备数十次甚至数百次,则这可以节省用户时间并改善他们的体验。如本文中指出的,通过雷达管理器106基于由雷达系统104提供的雷达数据确定用户正意图与他们的设备进行接洽来降低该时间延迟。这由状态管理器112进行管理。实际上,这些技术可以前摄地检测用户接洽的意图和初始化预热序列。这些技术甚至可以在用户触摸UE 102之前进行,尽管这不是必需的。因此,这些技术使NIR泛光照明器214和NIR点投影器216能够被充足供电以被用于认证用户,这降低了用户等待面部识别完成所花费的时间。
在继续前进到UE 102中的其他组件之前,考虑面部解锁传感器212的方面。认证系统114的该示例组件能够使用相对于显示器116的平面少至十度的面部识别来认证用户。因此,用户无需拿起电话并将传感器转向他们的面部,诸如以70到110或80到100度的角度,而是使用面部解锁传感器212,认证系统114被配置为甚至在用户拿起UE 102之前对其进行认证。这在图3中被图示,其示出了用户120,其面部的部分被用于在一个角度的面部识别(例如,他们的下巴、鼻子或者颧骨),该角度能够相对于显示器116的平面304少至十度。还示出了当用户120的面部距离面部解锁传感器212超过一米时,如面部距离306所示,用户120被认证。通过这样做,即使UE 102被倒置或以独特的角度被定向,这些技术也准许几乎无缝和即时的认证。
更详细地,考虑图4,该图图示了UE 102(包括雷达管理器106、移动管理器110和状态管理器112)的示例实施方式400,其能够实现用于通过IMU和雷达进行认证管理的技术。图4的UE 102利用包括UE 102-1、平板电脑102-2、膝上型计算机102-3、台式计算机102-4、计算手表102-5、计算眼镜102-6、游戏系统102-7、家庭自动化和控制系统102-8以及微波炉102-9的各种示例设备被图示。UE 102还能够包括其他设备,诸如电视、娱乐系统、音频系统、汽车、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全系统和其他家用电器。注意,UE 102能够是可穿戴的、不可穿戴的但移动的或相对不移动的(例如,台式机和电器)。
UE 102包括惯性测量单元408,作为上述传感器108的示例。UE 102的示例总体横向尺寸能够是,例如,大约八厘米乘大约十五厘米。雷达系统104的示例覆盖区能够甚至更有限,诸如包括天线的情况下大约四毫米乘六毫米。对雷达系统104的这种有限覆盖区的要求,其是适应与功率和处理限制相结合的这种空间有限封装中的UE 102的许多其他期望特征所需要的,能够导致基于雷达的姿势识别的准确性和效率的折衷,鉴于本文中的教导,可以克服其中的至少一些。
UE 102还包括一个或多个计算机处理器402和一个或多个计算机可读介质404,其包括存储器介质和存储介质。实现为计算机可读介质404的计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器402执行,以提供本文中描述的功能中的一些或者全部,诸如雷达管理器106、移动管理器110和状态管理器112的功能中的一些或全部(在计算机可读介质404中示出的,尽管这不是必需的)。
UE 102还可以包括网络接口406。UE 102能够将网络接口406用于通过有线、无线或光纤网络传送数据。作为示例而非限制,网络接口406可以通过局域网(LAN)、无线局域网(WLAN)、个域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络或网状网络来传送数据。
在一些方面,雷达系统104至少部分地以硬件被实现。雷达系统104的各种实施方式能够包括片上系统(SoC)、一个或多个集成电路(ICs)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板或其任何组合。雷达系统104通过发射和接收其自身的雷达信号而操作为单站雷达。在一些实施方式中,雷达系统104还可以与外部环境内的其他雷达系统104协作以实现双基地雷达、多基地雷达或网络雷达。然而,UE 102的约束或限制可能影响雷达系统104的设计。例如,UE 102可能具有可用于操作雷达的有限功率、有限的计算能力、大小约束、布局限制、使雷达信号衰减或失真的外壳等。雷达系统104包括若干特征,这些特征能够在存在这些约束的情况下实现高级雷达功能和高性能,如下面进一步所描述的。
在阐述状态管理器112可以起作用的另外的示例方式之前,考虑图5,图5图示了UE102可以操作并且能够由状态管理器112管理的许多信息、功率和访问状态。
图5图示了UE 102可以操作的访问、信息和功率状态,其中的每一个都能够通过所描述的技术来管理。为了视觉简洁,以三个粒度级别示出了设备状态500的这些示例级别和类型,但是针对访问状态502、功率状态504和信息状态506设想了每个级别的许多级别。访问状态502被示出为具有三个示例粒度级别:高访问状态502-1、中间访问状态502-2和低访问状态502-3。类似地,功率状态504被示出为三个示例粒度级别:高功率状态504-1、中间功率状态504-2和低功率状态504-3。同样地,信息状态506被示出为三个示例粒度级别:高信息状态506-1、中间信息状态506-2和低信息状态506-3。
更详细地,访问状态502涉及设备的用户对UE 102的数据、应用和功能可用的访问权限。该访问能够为高,有时被称为UE 102的“解锁”状态。该高访问级别能够简单地包括设备的应用和功能,或者还可以包括对可通过UE 102访问的各种账户(诸如银行账户、社交媒体账户等)的访问。许多计算设备,诸如UE 102,需要认证以提供高访问,诸如高访问状态502-1。然而,UE 102能够被准许各种中间访问级别(例如,502-2),诸如准许用户访问UE102的一些但不是全部账户、服务或组件的状态。示例包括允许用户拍摄照片但不允许访问先前捕获的照片。其他示例包括允许用户接听电话呼叫但在进行电话呼叫时不允许访问联系人列表。这些只是UE 102可以允许的许多中间权限中的一些,如利用中间访问状态502-2所示。最后,访问状态502能够抑制准许访问,如低访问状态502-3所示。在这种情况下,设备可以开启,发送诸如警报的通知以唤醒用户等,但不准许访问UE 102的功能(或者UE 102可以简单地关断,因此不准许访问)。
功率状态504以三个示例粒度级别示出,即高功率状态504-1、中间功率状态504-2和低功率状态504-3。功率状态504涉及到UE 102的一个或多个组件(诸如雷达系统104、显示器116或其他功耗组件,诸如处理器、相机、麦克风、语音助理、触摸屏、传感器、雷达以及作为认证系统114的一部分的组件(其也可以包括先前列出的组件))的功率量。在对组件进行上电以及通常的功率状态504的情境中,术语功率、上电、增加功率、降低功率等能够包括:对功率管理集成电路(PMIC)的控制;管理从PMIC延伸的电源轨;断开和闭合电源轨、PMIC和一个或多个电路组件(例如,所提到的NIR组件、相机、显示器和雷达)之间的开关;以及提供电源电压以准确且安全地操作组件,这可以包括斜升或分配所施加的电压或管理电流涌入。
关于雷达系统104,能够通过以不同的占空比收集雷达数据(例如,较低的频率可以使用较少的功率,而较高的频率可以使用较多的功率),当组件不活动时关闭各种组件,或者调整功率放大级别来降低功率状态504。通过这样做,雷达系统104可以在高功率状态504-1下使用大约90mW的功率,在中功率状态504-2下使用30至60mW的功率,或者在低功率状态504-3下使用小于30mW的功率(例如,雷达系统104能够从2mW到20mW操作,同时仍然提供一些可用的雷达数据,诸如用户存在)。这些功率使用的级别中的每一个准许不同的分辨率和距离。参考图6-1描述关于雷达系统104(和UE 102)的功率管理的附加细节。
在上述改变状态的情境中,基于由雷达管理器106和移动管理器110的确定,状态管理器112可以使UE 102的各个组件上电或断电。
例如,状态管理器112能够将认证系统114或显示器116的功率从较低功率状态改变(例如,低功率状态504-3到中间功率状态504-2,或者这些状态中的任一个到高功率状态504-1)。通过这样做,UE 102可以更快速地或更容易地与用户接洽或认证用户。因此,状态管理器112可以将功率状态504改变为比UE 102的该系统或与UE 102相关联的特定功耗实体的当前情况更高或更低的功率。示例组件被进一步描述为上面的图2的一部分,包括对面部解锁传感器212及其组件、NIR泛光照明器214和NIR点投影仪216以及NIR相机218-1和218-2上电或断电、降低这些组件、显示器、麦克风、触摸输入传感器等的功率。
UE 102的第三示例状态是信息状态506,其利用高信息状态506-1、中间信息状态506-2和低信息状态506-3被图示。更详细地,信息状态506涉及提供给用户,例如,图1的用户120,的信息量。在通知的情境中,高信息状态506-1提供最高级别的信息,并且通常假设UE 102被解锁或以其他方式被认证,或者具有即使没有认证也提供高级别信息的用户偏好。示例包括,对于高信息状态506-1,当接收到呼叫时示出呼叫者的姓名、号码以及甚至相关联的图像。类似地,当接收到文本或电子邮件或其他类型的消息时,通过显示器116或音频扬声器、外围设备等自动地呈现内容。这假设高度接洽,尽管用户的偏好能够确定需要什么接洽。这里假设在用户的接洽度与所提供的信息量之间存在某种相关性,并且因此,这些技术通过确定接洽度能够定制呈现给该确定的信息。简少的信息,例如,中间信息状态506-2的示例包括当接收到呼叫而不是呼叫者的姓名/标识时呈现铃声,指示已经接收到文本消息或电子邮件而仅接收到主题行、或仅地址、或正文中的内容的一部分而不是其全部等等。低信息状态506-3呈现很少或没有与用户120个人相关联的信息,但是能够包括通用或广泛认为的常识或不敏感的信息,诸如显示器116示出当前日期、时间、天气状况、电池电量状态或UE 102为开启。低信息状态506-3的其他示例包括当接收到具有仅指示已经接收到消息的可听“ping”的文本消息时的空白或黑屏,或者呼叫的铃声,而不是关于呼叫者的姓名、号码或其他信息。
图6-1图示了雷达系统104的示例实施方式600。在示例600中,雷达系统104包括以下组件中的每一个中的至少一个:通信接口602、天线阵列604、收发器606、处理器608和系统介质610(例如,一个或多个计算机可读存储介质)。处理器608能够被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如,UE 102的计算机处理器402)或其一些组合。可以被包括在UE 102的计算机可读介质404内或者与UE 102的计算机可读介质404分开的系统介质610包括以下模块中的一个或多个模块:衰减缓解器614、数字波束成形器616、角度估计器618、功率管理模块620或姿势识别模块621。这些模块能够补偿或减轻将雷达系统104集成在UE 102内的影响,从而使雷达系统104能够识别小的或复杂的手势、区分用户的不同定向(例如,“伸(reach)”)、连续监测外部环境、或实现目标误报警率。利用这些特征,雷达系统104能够在诸如图4中所示的设备的各种不同的设备,内被实现。
使用通信接口602,雷达系统104能够向雷达管理器106提供雷达数据。通信接口602可以是基于与UE 102分开实现或集成在UE 102内的雷达系统104的无线或有线接口。取决于应用,雷达数据可以包括原始或最小处理的数据、同相和正交(EQ)数据、距离多普勒数据、包括目标位置信息(例如,距离、方位角、仰角)的经处理的数据、杂波图数据等。通常,雷达数据包含可由雷达管理器106用于向状态管理器112提供用户接洽、脱离或维持接洽的意图的信息。
天线阵列604包括至少一个发射天线元件(未示出)和至少两个接收天线元件(如图7所示)。在一些情况下,天线阵列604可以包括多个发射天线元件以实现能够一次发射多个不同波形(例如,每个发射天线元件不同波形)的多输入多输出(MIMO)雷达。使用多个波形可以提高雷达系统104的测量精度。对于包括三个或更多个接收天线元件的实施方式,接收天线元件可以以一维形状(例如,线)或二维形状被定位。一维形状使雷达系统104能够测量一个角度维度(例如,方位角或仰角),而二维形状能够测量两个角度维度(例如,方位角和仰角两者)。参考图7,进一步描述接收天线元件的示例二维布置。
图6-2图示了示例收发器606和处理器608。收发器606包括能够根据雷达系统104的操作状态,经由功率管理模块620单独打开或关闭的多个组件。注意,功率管理模块620可以与状态管理器112分开、集成或在状态管理器112的控制下,诸如在状态管理器112正在对用于认证用户的组件(例如,认证系统114)上电或断电的情况下。收发器606被示出为包括以下组件中的每一个中的至少一个:有源组件622、压控振荡器(VCO)和压控缓冲器624、多路复用器626、模数转换器(ADC)628、锁相环(PLL)630和晶体振荡器632。如果打开,则这些组件中的每一个耗电,即使雷达系统104没有主动地使用这些组件来发射或接收雷达信号。例如,有源组件622能够包括耦合到电源电压的放大器或滤波器。VCO 624基于由PLL 630提供的控制电压来生成调频雷达信号。晶体振荡器632生成用于雷达系统104内的信号生成、频率转换(例如,上变频或下变频)或定时操作的参考信号。通过打开或关闭这些组件,功率管理模块620使雷达系统104能够在活动和不活动操作状态之间快速切换,并且在各种不活动时间段期间节省功率。这些不活动时间段可以是微秒(ps)、毫秒(ms)或秒(s)的量级。
处理器608被示出为包括消耗不同功率量的多个处理器,诸如低功率处理器608-1和高功率处理器608-2。作为示例,低功率处理器608-1能够包括嵌入在雷达系统104内的处理器,而高功率处理器能够包括计算机处理器402或雷达系统104外部的一些其他处理器。功耗的差异能够由不同内存量或计算能力引起。例如,相对于高功率处理器608-2,低功率处理器608-1可以利用更少的存储器,执行更少的计算,或者利用更简单的算法。尽管这些限制,但是低功率处理器608-1能够处理用于不太复杂的基于雷达的应用的数据,诸如(基于雷达数据而不是惯性数据的)接近度检测或移动检测。相比之下,高功率处理器608-2可以利用大量存储器,执行大量计算,或者执行复杂信号处理、跟踪或机器学习算法。高功率处理器608-2可以处理用于高调的基于雷达的应用,诸如姿势识别、面部识别(用于认证系统114)的数据,并且通过解析角度模糊度或区分多个用户及其特征来提供准确的高分辨率数据。
为了节省功率,功率管理模块620能够控制使用低功率处理器608-1还是高功率处理器608-2来处理雷达数据。在一些情况下,低功率处理器608-1能够执行分析的一部分并将数据传递到高功率处理器608-2上。示例数据可以包括杂波地、原始或最小处理的雷达数据(例如,同相和正交数据或距离多普勒数据)或数字波束成形数据。低功率处理器608-1还可以执行一些低级别分析以确定在环境中是否存在任何感兴趣的事物以供高功率处理器608-2分析。以这种方式,能够通过限制高功率处理器608-2的操作同时将高功率处理器608-2用于基于雷达的应用要求高保真或准确的雷达数据的情况来节省电力。参考图6-1进一步描述了能够影响雷达系统104内的功耗的其他因素。
姿势识别模型621由通过雷达系统104获得的雷达数据理解姿势,诸如触摸无关的姿势。姿势能够是(例如,在雷达系统104输出微波发射的表面附近执行的)二维姿势。姿势可以是在空中执行的三维姿势。
基于雷达数据,姿势识别模型621识别用户利用他们的身体(包括他们的手指、手、眼睛、头、嘴等)做出的提示、形状和符号。姿势识别模型621将用户的移动与预定姿势的匹配形状、符号和移动相匹配。响应于确定雷达数据与特定姿势匹配,姿势识别模型621将姿势的指示输出到其他组件以执行功能,例如,以控制操作系统或应用功能,诸如认证用户120。
姿势识别模型621可以是机器学习模型,诸如神经网络,其被训练为从雷达数据识别触摸无关的姿势。例如,可以使用包括雷达数据的样本和与雷达数据匹配的姿势的对应部分的训练数据来训练姿势识别模型621。基于训练数据,姿势识别模型621确定应用于由雷达系统104接收的雷达数据的样本的规则,使得当接收到类似的雷达数据时,姿势的对应部分被识别并用于构建姿势预测。在执行规则时,姿势识别模型621能够输出从雷达数据预测的所识别的姿势的指示。
在一些情况下,所识别姿势的指示可以伴随置信度或分数。置信度指示雷达数据104已经应用于所识别的姿势的置信度。姿势识别模型621可以基于情境来调整所识别的姿势的置信度。例如,姿势识别模型621在用户没有移动的环境中检测到姿势时应用高置信度,而相反在用户移动的环境中检测到类似姿势时应用低置信度。姿势识别模型621可以在大对象正在遮挡雷达系统104的环境中检测到姿势时应用低置信度,而在用户正在观看UE102的环境中检测到类似姿势时应用高置信度。依赖于检测到的姿势的应用或其他组件可以取决于与姿势相关联的置信度或分数来丢弃或处理姿势。所描述的技术和系统可以应用置信度或分数来门控姿势,因此姿势被丢弃并且不被用于执行功能。
下面更详细地阐述这些和其它能力和配置,以及图1、2、4和6-9的实体起作用和交互的方式。这些实体可以被进一步划分、组合等。图1的环境100和图2至图9的详细图示说明了能够采用所描述的技术的许多可能的环境和设备中的一些。图6-9描述了雷达系统104的附加细节和特征。在图6-9中,在UE 102的情境中描述雷达系统104,但是如上所述,所描述的系统和技术的特征和优点的适用性不一定限于此,并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
图7图示了接收天线元件702的示例布置700。例如,如果天线阵列604包括至少四个接收天线元件702,则接收天线元件702能够以矩形布置704-1布置,如图7的中间所描绘的。可替代地,如果天线阵列604包括至少三个接收天线元件702,则可以使用三角形布置704-2或L形布置704-3。
由于UE 102的大小或布局约束,接收天线元件702之间的元件间隔或接收天线元件702的数量对于雷达系统104要监视的角度可能不理想。特别地,元件间隔可能导致存在角度模糊,这使得常规雷达估计目标的角度位置是挑战性的。因此,常规雷达可能限制视场(例如,要被监测的角度)以避免具有角度模糊性的模糊区域,从而减少错误检测。例如,常规雷达可以将视场限制为大约-45度至45度之间的角度,以避免使用8毫米(mm)的波长和6.5mm的元件间隔(例如,元件间隔是波长的90%)发生的角度模糊。因此,常规雷达可能无法检测超出视场的45度限制的目标。相比之下,雷达系统104包括数字波束成形器616及角度估计器618,其解析角度模糊度且使雷达系统104能够监测超过45度限制的角度,诸如在大约-90度到90度之间或高达大约-180度到180度的角度。这些角度范围能够跨一个或多个方向(例如,方位角和/或仰角)被应用。因此,雷达系统104能够针对各种不同的天线阵列设计,包括小于、大于或等于雷达信号的中心波长的一半的元件间隔,实现低虚警率。
使用天线阵列604,雷达系统104能够形成转向或非转向、宽或窄或成形(例如,半球、立方体、扇形、锥形或圆柱形)的波束。作为示例,一个或多个发射天线元件(未示出)可以具有非转向的全向辐射图案,或者可以能够产生宽波束,诸如宽发射波束706。这些技术中的任一种使得雷达系统104能够照射大体积的空间。然而,为了实现目标角度精度和角度分辨率,接收天线元件702和数字波束成形器616能够被用于生成数千个窄且转向的波束(例如,3000个波束、7000个波束或9000个波束),诸如窄接收波束708。以这种方式,雷达系统104能够有效地监测外部环境并准确地确定外部环境内的反射的到达角。
回到图6-1,收发器606包括用于经由天线阵列604发射和接收雷达信号的电路和逻辑。收发器606的组件能够包括用于调节雷达信号的放大器、混频器、开关、模数转换器、滤波器等。收发器606还能够包括用于执行同相/正交(I/Q)操作(诸如调制或解调)的逻辑。收发器606能够被配置用于连续波雷达操作或脉冲雷达操作。能够使用各种调制来产生雷达信号,包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器606能够生成频率范围(例如,频谱)内的雷达信号,诸如在1千兆赫(GHz)与400GHz之间、在4GHz与100GHz之间或在57GHz与63GHz之间。频谱能够被划分为具有相似带宽或不同带宽的多个子频谱。带宽能够是500兆赫兹(MHz)、1GHz、2GHz等的量级。作为示例,不同的频率子频谱可以包括大约57GHz与59GHz、59GHz与61GHz或61GHz与63GHz之间的频率。具有相同带宽并且可以是连续或非连续的多个频率子频谱还可以被选择用于相干性。能够使用单个雷达信号或多个雷达信号同时发射或在时间上分开多个频率子频谱。连续的频率子谱使雷达信号能够具有更宽的带宽,而非连续的频率子谱能够进一步强调使角度估计器618能够解析角度模糊度的振幅和相位差。衰减缓解器614或角度估计器618可以使收发器606利用一个或多个频率子谱来改善雷达系统104的性能,如关于图8和9进一步所描述的。这些技术的一些实施例特别有利,诸如当UE 102是手持智能电话时,雷达信号在57GHz-64GHz频带中,峰值有效全向辐射功率(EIRP)在10dBm-20dBm(10mW-100mW)的范围内,并且平均功率谱密度约为13dBm/MHz,已经发现其适当地解决了辐射健康和共存问题,同时还在智能电话和(例如,范围至少为一米,并且通常可达或超过两米的)用户附近提供了雷达检测的尺寸良好的“气泡”,在该“气泡”中通过IMU和雷达进行认证管理的所描述的方法在节省电力的同时提供了特别良好的节省时间的便利。
功率管理模块620管理功率使用以平衡性能和功耗。例如,功率管理模块620与雷达管理器106通信以使雷达系统104使用预定义的雷达功率状态来收集数据。每个预定义雷达功率状态能够与特定成帧结构、特定发射功率电平或特定硬件(例如,图6-2的低功率处理器608-1或高功率处理器608-2)相关联。调整这些中的一个或多个影响雷达系统104的功耗。然而,降低功耗影响性能,诸如姿势帧更新速率和响应延迟,这将在下面描述。
图6-3图示了功耗、姿势帧更新速率634和响应延迟之间的示例关系。在曲线图636中,雷达功率状态638-1、638-2和638-3与不同的功耗水平和不同的姿势帧更新速率634相关联。姿势帧更新速率634表示雷达系统104通过发射和接收一个或多个雷达信号来主动监视外部环境的频率。一般而言,功耗与姿势帧更新速率634成比例。因此,越高的姿势帧更新速率634导致雷达系统104越大的电量被消耗。
在曲线图636中,雷达功率状态638-1利用最小电量,而雷达功率状态638-3消耗最大电量。作为示例,雷达功率状态638-1消耗大约几毫瓦(mW)(例如,在大约2mW与4mW之间)的功率,而雷达功率状态638-3消耗大约几毫瓦(例如,在大约6mW与20mW之间)的功率。就姿势帧更新速率634而言,雷达功率状态638-1使用几赫兹的量级(例如,大约1Hz或小于5Hz)的更新速率,而雷达功率状态638-3使用几十赫兹的量级(例如,大约20Hz或大于10Hz)的姿势帧更新速率634。
曲线图640描绘了用于不同雷达功率状态638-1到638-3的响应延迟与姿势帧更新速率634之间的关系。一般而言,响应延迟与姿势帧更新速率634和功耗两者成反比。特别地,响应延迟指数地减小,而姿势帧更新速率634增加。与雷达功率状态638-1相关联的响应延迟可以是几百毫秒(ms)的量级(例如,1000ms或大于200ms),而与雷达功率状态638-3相关联的响应延迟可以是几毫秒的量级(例如,50ms或小于100ms)。对于雷达功率状态638-2,功耗、姿势帧更新速率634和响应延迟在雷达功率状态638-1和雷达功率状态638-3的功耗、姿势帧更新速率634和响应延迟之间。例如,雷达功率状态638-2的功耗大约为5mW,姿势帧更新速率大约为8Hz,并且响应延迟在大约100ms与200ms之间。
代替在雷达功率状态638-1或雷达功率状态638-3下操作,功率管理模块620在雷达功率状态638-1、638-2和638-3(以及这些雷达功率状态638中的每一个之间的子状态)之间动态地切换,使得基于环境内的活动一起管理响应延迟和功耗。作为示例,功率管理模块620激活雷达功率状态638-1以监视外部环境或检测接近的用户。稍后,如果雷达系统104确定用户正在显示接洽的意图或可能开始这样做,或者开始执行姿势,则功率管理模块620激活雷达电源状态638-3。不同的触发可以使功率管理模块620在不同的雷达功率状态638-1至638-3之间切换。示例触发包括移动或缺少移动、用户的出现或消失、用户移动入或移动出指定区域(例如,由范围、方位角或仰角定义的区域)、与用户相关联的移动的速度变化、由雷达管理器106确定的接洽意图(例如,“伸”,尽管一些接洽意图需要额外的功率,诸如面部特征跟踪)或反射信号强度的变化(例如,由于雷达截面的变化)。通常,指示用户正在与UE 102交互的较低概率或使用较长响应延迟收集数据的偏好的触发可以使雷达功率状态638-1被激活以节省功率。
通常,功率管理模块620确定能够何时以及如何节省功率,并且递增地调整功率以使雷达系统104能够在UE 102的功率限制内操作。在一些情况下,功率管理模块620可以监测剩余的可用功率的量并且相应地调整雷达系统104的操作(例如,由于低电池)。例如,如果剩余电量低,则功率管理模块620可以继续在雷达功率状态638-1下操作,而不是切换到雷达功率状态638-2或638-3中的任一个。
每个功率状态638-1到638-3能够与特定成帧结构相关联。成帧结构指定与雷达信号的发射和接收相关联的配置、调度和信号特性。通常,成帧结构被设置为使得能够基于外部环境收集适当的雷达数据。能够定制成帧结构以便于收集用于不同应用(例如,接近度检测、特征识别或姿势识别)的不同类型的雷达数据。在整个成帧结构的每一级的不活动时间期间,功率管理模块620能够关闭图6-2中的收发器606内的组件以节省功率。参考图6-4进一步描述了示例成帧结构。
图6-4图示了示例成帧结构642。在所描绘的配置中,成帧结构642包括三种不同类型的框架。在最高级别,成帧结构642包括姿势帧644的序列,其能够处于活动状态或不活动状态。一般而言,活动状态相对于不活动状态消耗更大量的功率。在中间级别,成帧结构642包括特征帧(FF)646的序列,其能够类似地处于活动状态或不活动状态。不同类型的特征帧包括脉冲模式特征帧648(在图6-4的左下示出)和突发模式特征帧650(在图6-4的右下示出)。在低级别,成帧结构642包括雷达帧(RF)652的序列,其也能够处于活动状态或不活动状态。
雷达系统104在有源雷达帧(RF)652期间发射和接收雷达信号。在一些情况下,单独分析雷达帧652以用于基本雷达操作,诸如搜索和跟踪、杂波图生成、用户位置确定等。在每个活动雷达帧652期间收集的雷达数据能够在完成雷达帧652之后被保存到缓冲器,或者直接被提供给图6-1的处理器608。
雷达系统104跨多个雷达帧652(例如,跨与活动特征帧646相关联的一组雷达帧652)分析雷达数据,以识别与一个或多个姿势相关联的特定特征。特征的示例类型包括特定类型的移动、与特定附肢(例如,手或各个手指)相关联的移动,以及与姿势的不同部分相关联的特征。为了识别在活动姿势帧644期间由用户120执行的姿势,雷达系统104分析与一个或多个活动特征帧646相关联的雷达数据。
取决于姿势的类型,姿势帧644的持续时间可以是毫秒或秒的量级(例如,在大约10ms与10s之间)。在活动姿势帧644发生之后,雷达系统104是不活动的,如由不活动姿势帧644-3和644-4所示。不活动姿势帧644的持续时间的特征在于深度睡眠时间654,其可以是大约数十毫秒或更多(例如,大于50ms)。在示例实施方式中,雷达系统104能够关闭收发器606内的所有组件以在深度睡眠时间654期间节省功率。
在所描绘的成帧结构642中,每个姿势帧644包括K个特征帧646,其中K是正整数。如果姿势帧644处于不活动状态,则与该姿势帧644相关联的所有特征帧646也处于不活动状态。相反,活动姿势帧644包括J个活动特征帧646和K-J个不活动特征帧646,其中,J是小于或等于K的正整数。特征帧646的数量能够基于姿势的复杂度,并且可以包括几个到一百个特征帧646(例如,K可以等于2、10、30、60或100)。每个特征帧646的持续时间可以是毫秒的量级(例如,在大约1ms与50ms之间)。
为了节省功率,活动特征帧646-1至646-J出现在不活动特征帧646-(J+1)至646-K之前。不活动特征帧646-(J+1)至646-K的持续时间由睡眠时间656表征。以这种方式,连续执行不活动特征帧646-(J+1)至646-K,使得雷达系统104能够相对于将不活动特征帧646-(J+1)至646-K与活动特征帧646-1到646-J交织的其他技术处于断电状态达更长的持续时间。一般来说,增加睡眠时间656的持续时间使雷达系统104能够关闭收发器606内需要较长启动时间的组件。
每个特征帧646包括L个雷达帧652,其中L是可以等于或可以不等于J或K的正整数。在一些实施方式中,雷达帧652的数量可以在不同的特征帧646之间变化,并且可以包括几个帧或几百个帧(例如,L可以等于5、15、30、100或500)。雷达帧652的持续时间可以是数十或数千微秒的量级(例如,在大约30μs与5ms之间)。能够对预定的检测范围、范围分辨率或多普勒灵敏度定制特定特征帧646内的雷达帧652,这有助于检测特定特征和姿势。例如,雷达帧652可以利用特定类型的调制、带宽、频率、发射功率或定时。如果特征帧646处于不活动状态,则与该特征帧646相关联的所有雷达帧652也处于不活动状态。
脉冲模式特征帧648和突发模式特征帧650包括雷达帧652的不同序列。一般而言,活动脉冲模式特征帧648内的雷达帧652发射在时间上间隔了预定量的脉冲。相反,活动突发模式特征帧650内的雷达帧652跨突发模式特征帧650的一部分连续地发射脉冲(例如,脉冲不按预定时间量分开)。
在每个活动脉冲模式特征帧648内,雷达帧652的序列在活动状态与不活动状态之间交替。每个活动雷达帧652发射由三角形图示的雷达信号(例如,啁啾)。雷达信号的持续时间由活动时间658表征。在活动时间658期间,收发器606内的组件通电。在包括活动雷达帧652内的剩余时间和随后的不活动雷达帧652的持续时间的短空闲时间660期间,雷达系统104通过关闭收发器606内的具有短空闲时间660的持续时间内的启动时间的组件来节省功率。
活动突发模式特征帧650包括M个活动雷达帧652和L-M个不活动雷达帧652,其中M是小于或等于L的正整数。为了节省功率,活动雷达帧652-1至652-M出现在不活动雷达帧652-(M+1)至652-L之前。不活动雷达帧652-(M+1)至652-L的持续时间由长空闲时间662表征。通过将不活动雷达帧652-(M+1)至652-L分组在一起,雷达系统104能够相对于在脉冲模式特征帧648期间发生的短空闲时间660,处于断电状态达更长的持续时间。另外,功率管理模块620能够关闭收发器606内的启动时间长于短空闲时间660并且短于长空闲时间662的附加组件。
活动突发模式特征帧650内的每个活动雷达帧652发射雷达信号的一部分。在该示例中,活动雷达帧652-1至652-M在发射频率增加的雷达信号的一部分与频率减小的雷达信号的一部分之间交替。
成帧结构642能够通过每一帧类型内的可调节占空比来节省功率。第一占空比664基于相对于特征帧646(K)的总量的活动特征帧646(J)的数量。第二占空比665基于相对于雷达帧652的总量(L)的活动雷达帧652的数量(例如,L/2或M)。第三占空比668基于相对于雷达帧652的持续时间的雷达信号的持续时间。
考虑用于功率状态638-1的示例成帧结构642,其消耗大约2mW的功率并且具有在大约1Hz与4Hz之间的姿势帧更新速率634。在该示例中,成帧结构642包括具有在大约250ms与1秒之间的持续时间的姿势帧644。姿势帧644包括31个脉冲模式特征帧648(例如,L等于31)。31个脉冲模式特征帧648中的一个处于活动状态。这导致占空比664大约等于3.2%。每个脉冲模式特征帧648的持续时间在大约8ms与32ms之间。每个脉冲模式特征帧648由八个雷达帧652组成。在活动脉冲模式特征帧648内,所有八个雷达帧652均处于活动状态。这导致占空比665等于100%。每个雷达帧652的持续时间在大约1ms与4ms之间。每个活动雷达帧652内的活动时间658在大约32μs与128μs之间。因此,所得到的占空比668约为3.2%。已经发现该示例成帧结构642产出良好的性能结果。这些良好的性能结果是就良好的姿势识别和存在检测而言的,同时还在处于低功率状态(例如,低功率状态504-3)的手持智能电话的应用情境中产生良好的功率效率结果。
基于成帧结构642,功率管理模块620能够确定雷达系统104不主动收集雷达数据的时间。基于该不活动时间段,功率管理模块620能够通过调整雷达系统104的操作状态并关闭收发器606的一个或多个组件来节省功率,如下面进一步所描述的。
如上所述,功率管理模块620能够通过在不活动时间段期间关闭收发器606内的一个或多个组件(例如,压控振荡器、多路复用器、模数转换器、锁相环或晶体振荡器)来节省功率。如果雷达系统104没有主动地发射或接收雷达信号,则发生这些不活动时间段,其可以是微秒(ps)、毫秒(ms)或秒(s)的量级。此外,功率管理模块620能够通过调整由信号放大器提供的放大量来修改雷达信号的发射功率。另外,功率管理模块620能够控制雷达系统104内的不同硬件组件的使用以节省功率。例如,如果处理器608包括较低功率处理器和较高功率处理器(例如,具有不同内存量和计算能力的处理器),则功率管理模块620能够在将较低功率处理器用于低级分析(例如,检测移动、确定用户的位置或监视环境)与将较高功率处理器用于雷达管理器106请求高保真或准确雷达数据的情况(例如,用于实现认证系统114的高功率状态504-1以使用雷达数据认证用户)之间切换。
除了上述内部功率节省技术之外,功率管理模块620还能够通过单独地或在认证系统114的命令下激活或去激活UE 102内的其他外部组件或传感器来节省UE 102内的功率。这些外部组件可以包括扬声器、相机传感器、全球定位系统、无线通信收发器、显示器、陀螺仪或加速度计。因为雷达系统104能够使用少量电力来监测环境,所以功率管理模块620能够基于用户位于何处或用户正在做什么来适当地打开或关闭这些外部组件。以这种方式,UE 102能够无缝地响应用户并节省功率,而不使用自动关闭定时器或用户物理地触摸或口头控制UE 102。
图8图示了UE 102内的雷达系统104的示例实施方式800的附加细节。在示例800中,天线阵列604位于UE 102的外部壳体,诸如玻璃盖或外壳下方。取决于其材料特性,外部壳体可以充当衰减器802,衰减器802使由雷达系统104发射和接收的雷达信号衰减或失真。衰减器802可以包括不同类型的玻璃或塑料,其中一些可以在UE 102的显示屏、外部外壳或其他组件内被找到,并且具有大约4到10之间的介电常数(例如,相对介电常数)。因此,衰减器802对于雷达信号806是不透明或半透明的,并且可以使发射或接收的雷达信号806的一部分被反射(如反射部分804所示)。对于常规雷达,衰减器802可以减小能够被监测的有效范围,防止检测到小目标,或者降低整体精度。
假设雷达系统104的发射功率是有限的,并且不期望重新设计外壳,则调整雷达信号806的一个或多个衰减相关特性(例如,频率子频谱808或转向角810)或衰减器802的衰减相关特性(例如,衰减器802与雷达系统104之间的距离812或衰减器802的厚度814)以减轻衰减器802的影响。这些特性中的一些能够在制造期间被设置,或者在雷达系统104的操作期间由衰减缓解器614调整。衰减缓解器614例如能够使收发器606使用所选择的频率子频谱808或转向角810发射雷达信号806、使平台将雷达系统104移动得更靠近或更远离衰减器802以改变距离812,或者提示用户应用另一衰减器以增加衰减器802的厚度814。
衰减缓解器614能够基于衰减器802的预定特性(例如,存储在UE 102的计算机可读介质404中或系统介质610内的特性)或通过处理雷达信号806的返回以测量衰减器802的一个或多个特性来进行适当的调整。即使衰减相关特性中的一些是固定的或受约束的,衰减缓解器614也能够考虑这些限制以平衡每个参数并实现目标雷达性能。因此,衰减缓解器614使雷达系统104能够实现增强的准确度和更大的有效范围,以用于检测和跟踪位于衰减器802的相对侧上的用户。这些技术提供了增加发射功率的替代方案,这增加了雷达系统104的功耗,或者改变衰减器802的材料性质,一旦设备在生产中,这能够是困难且昂贵的。
图9图示了由雷达系统104实现的示例方案900。方案900的部分可以由处理器608、计算机处理器402或其他硬件电路执行。能够定制方案900以支持不同类型的电子设备和基于雷达的应用(例如,雷达管理器106),并且还使雷达系统104能够实现目标角度精度,而不管设计约束。
收发器606基于接收天线元件702对所接收的雷达信号的各个响应来产生原始数据902。所接收的雷达信号可以与由角度估计器618选择的一个或多个频率子谱904相关联,以便于角度模糊度解析。例如,能够选择频率子频谱904以减小旁瓣的数量或减小旁瓣的振幅(例如,使振幅减小0.5dB、1dB或更多)。能够基于雷达系统104的目标角度精度或计算限制来确定频率子谱的数量。
原始数据902包含用于时间段的数字信息(例如,同相和正交数据)、不同的波数以及分别与接收天线元件702相关联的多个信道。对原始数据902执行快速傅里叶变换(FFT)906以生成预处理数据908。预处理数据908包括跨时间段、针对不同范围(例如,范围区间)以及针对多个信道的数字信息。对预处理数据908执行多普勒滤波过程910以生成距离多普勒数据912。多普勒滤波过程910可以包括另一FFT,其生成用于多个范围区间、多个多普勒频率及多个信道的振幅及相位信息。数字波束成形器616基于距离多普勒数据912生成波束成形数据914。波束成形数据914包含方位角和/或仰角集的数字信息,其表示由数字波束成形器616形成的不同转向角或波束的视场。尽管未描绘,但是数字波束成形器616可以替代地基于预处理数据908生成波束成形数据914,并且多普勒滤波过程910可以基于波束成形数据914生成距离多普勒数据912。为了减少计算量,数字波束成形器616可以基于感兴趣的范围、时间或多普勒频率间隔来处理距离多普勒数据912或预处理数据908的一部分。
能够使用单视波束成形器916、多视干涉仪918或多视波束成形器920来实现数字波束成形器616。通常,单视波束成形器916能够被用于确定性对象(例如,具有单个相位中心的点源目标)。对于非确定性目标(例如,具有多个相位中心的目标),多视干涉仪918或多视波束成形器920被用于提高相对于单视波束成形器916的准确度。人类是非确定性目标的示例,并且具有能够基于不同的视角而改变的多个相位中心922,如924-1和924-2所示。由多个相位中心922生成的相长干涉或相消干涉的变化能够使得常规雷达系统精确地确定角度位置具有挑战性。然而,多视干涉仪918或多视波束成形器920执行相干平均以增加波束成形数据914的准确性。多视干涉仪918相干地平均两个信道以生成能够被用于准确地确定角度信息的相位信息。另一方面,多视波束成形器920能够使用线性或非线性波束成形器,诸如傅里叶、Capon、多信号分类(MUSIC)或最小方差无失真响应(MVDR)来相干地平均两个或更多个信道。经由多视波束成形器920或多视干涉仪918提供的增加的准确度使雷达系统104能够识别小姿势或区分用户的多个部分(例如,面部特征)。
角度估计器618分析波束成形数据914以估计一个或多个角度位置。角度估计器618可以利用信号处理技术、模式匹配技术或机器学习。角度估计器618还解析可能由雷达系统104的设计或雷达系统104监测的视场引起的角度模糊度。在振幅曲线图926(例如,振幅响应)内示出了示例角度模糊度。
振幅曲线图926描绘了对于目标的不同角度位置和对于不同的转向角810能够发生的振幅差。针对定位在第一角度位置930-1处的目标示出了第一振幅响应928-1(利用实线图示)。同样地,针对定位在第二角度位置930-2处的目标示出了第二振幅响应928-2(用虚线示出)。在该示例中,跨-180度和180度之间的角度考虑差。
如振幅图926所示,对于两个角度位置930-1和930-2存在模糊区域。第一振幅响应928-1在第一角度位置930-1处具有最高峰值并且在第二角度位置930-2处具有较小峰值。虽然最高峰值对应于目标的实际位置,但是较小峰值使第一角度位置930-1是模糊的,因为它在常规雷达可能无法确信地确定目标是处于第一角度位置930-1还是第二角度位置930-2的某些阈值内。相反,第二振幅响应928-2在第二角度位置930-2处具有较小的峰值,并且在第一角度位置930-1处具有较高峰值。在这种情况下,较小的峰值对应于目标的位置。
虽然常规雷达可能限于使用最高峰值振幅来确定角度位置,但是角度估计器618反而分析振幅响应928-1和928-2的形状的细微差异。形状的特性能够包括,例如,滚降、峰值或零点宽度、峰值或零点的角度位置、峰值和零点的高度或深度、旁瓣的形状、振幅响应928-1或928-2内的对称性、或振幅响应928-1或928-2内的对称性缺乏。能够在相位响应中分析类似的形状特性,这能够提供用于解析角度模糊度的附加信息。因此,角度估计器618将唯一角度签名或图案映射到角度位置。
角度估计器618能够包括可以根据UE 102的类型(例如,计算能力或功率约束)或雷达管理器106的目标角度分辨率来选择的一套算法或工具。在一些实施方式中,角度估计器618能够包括神经网络932、卷积神经网络(CNN)934或长短期记忆(LSTM)网络936。神经网络932能够具有各种深度或数量的隐藏层(例如,三个隐藏层、五个隐藏层或十个隐藏层),并且还能够包括不同数量的连接(例如,神经网络932可以包括完全连接神经网络或部分连接神经网络)。在一些情况下,CNN 934能够被用于增加角度估计器618的计算速度。LSTM网络936能够被用于使角度估计器618能够跟踪目标。使用机器学习技术,角度估计器618采用非线性函数来分析振幅响应928-1或928-2的形状并生成角度概率数据938,其指示用户或用户的一部分在角度区间内的可能性。角度估计器618可以提供几个角度区间,诸如两个角度区间的角度概率数据938以提供目标在UE 102的左侧或右侧的概率,或者提供数千个角度区间的角度概率数据938(例如,以提供连续角度测量的角度概率数据938)。
基于角度概率数据938,跟踪器模块940产生角度位置数据942,其识别目标的角度位置。跟踪器模块940可以基于在角概率数据938中具有最高概率的角度区间或基于预测信息(例如,先前测量的角度位置信息)来确定目标的角度位置。跟踪器模块940还可以跟踪一个或多个移动目标,以使雷达系统104能够确信地区分或识别目标。也能够使用其他数据来确定角度位置,包括范围、多普勒、速度或加速度。在一些情况下,跟踪器模块940能够包括α-β跟踪器、卡尔曼滤波器、多假设跟踪器(MHT)等。
量化器模块944获得角度位置数据942并量化该数据以产生量化的角度位置数据946。能够基于用于雷达管理器106的目标角度分辨率来执行量化。在一些情况下,能够使用更少的量化级别,使得量化的角度位置数据946指示目标是在UE 102的右侧还是左侧,或者标识目标位于其中的90度象限。这对于一些基于雷达的应用(诸如用户接近度检测)可以是足够的。在其他情况下,可以使用更大数量的量化级别,使得量化的角度位置数据946指示目标的角度位置在几分之一度、1度、5度等的精度内。该分辨率能够被用于更高分辨率的基于雷达的应用,诸如姿势识别,或者被用在如本文中所描述的注意力状态或交互状态的实施方式中。在一些实施方式中,数字波束成形器616、角度估计器618、跟踪器模块940和量化器模块944一起在单个机器学习模块中被实现。
在所描述的实施方式(包括使用雷达来确定用户接洽、脱离或维持接洽的意图的实施方式,并且进一步包括使用雷达来检测被分类为用户接洽或与电子设备交互的意图的指示的用户动作的实施方式)的优点中,使用大多数现代智能电话都提供的设备上相机可实现的任一优点是雷达系统的功率使用显著小于相机系统的功率使用,而利用雷达系统的结果的适当性通常能够好于利用相机系统。例如,使用上文描述的雷达系统,可以以范围从个位数毫瓦到几十毫瓦(例如10mW、20mW、30mW或40mW)的平均功率来实现期望的用户意图检测,甚至包括用于处理雷达向量数据以进行确定的处理功率。在这些低功率级别下,始终启用雷达系统104将是容易可接受的。因此,例如,利用处于始终启用状态的智能电话雷达系统,仍然能够为在他们的智能电话对面的房间已经坐下了许多小时的用户提供当前描述的所期望的令人愉悦且无缝的体验。
相反,当今大多数智能手机所提供的光学相机通常以数百毫瓦的功率(例如,高于40mW的数量级,即400mW)运行。在这样的功率速率下,光学相机将是不利的,因为它们将显著降低大多数当今智能电话的电池寿命,以至于使光学相机处于常开状态即使不是禁止的也是非常不切实际的。雷达系统的另外的优点在于,视场能够相当大,足以容易地检测用户从任何方向行走,即使(对于雷达芯片与自拍相机朝向相同的大体方向的许多典型实施方式)平放并面朝上放在桌子上,而且此外,凭借其多普勒处理能力,在从多个方向检测移动体的甚至相对微小的移动时(尤其在接近60GHz的操作频率下)能够是非常有效的。
另外,雷达系统能够在相机系统的性能降低或受约束的环境中操作。例如,在较低光环境中,相机系统可以具有降低的检测形状或移动的能力。相比之下,雷达系统在较低光下和在全光下表现得一样好。雷达系统还能够通过一些障碍物检测存在和姿势。例如,如果智能电话在口袋或夹克或裤子中,则相机系统不能检测到用户或姿势。然而,即使通过将阻挡相机系统的织物,雷达系统仍然能够检测其场中的对象。使用雷达系统优于智能手机的机载摄像机系统的更进一步的优点是隐私性,因为用户能够具有本文中描述的愉快和无缝体验的优点,而同时不需要担心有摄像机为这种目的拍摄他们的视频。
图1、2、4和6-9的实体可以进一步被划分、组合、与其它传感器或组件一起使用等。以这种方式,具有雷达系统104和传感器108的不同配置的UE 102的不同实施方式能够被用于利用情境敏感门控和其他情境敏感控制实现基于雷达的姿势识别。图1的示例操作环境100和图2-9的详细图示说明了能够采用所描述的技术的许多可能的环境和设备中的一些。
示例方法
本章节图示了示例方法,其可以单独操作或整体或部分一起操作。描述了各种示例方法,每个示例方法在小节中阐述以便于阅读;这些小节标题不意图限制这些方法中的每一个与其他方法的互操作性。
认证管理
图10描绘了用于通过IMU和雷达管理认证的示例方法1000,并且是管理用户设备的功率状态的一个示例。方法1000被示出为框的集合,其指定所执行的操作,但不一定限于所示出的用于由相应框执行操作的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供广泛的附加和/或替代方法。在以下讨论的部分中,可以参考图1的示例操作环境100或如在其他附图中详述的实体或过程,对其的引用仅作为示例。这些技术不限于由在一个设备上操作的一个实体或多个实体执行。
在1002,基于雷达数据并由用户设备确定用户的接洽意图,接洽意图指示用户意图与用户设备接洽。如上所述,能够通过确定用户120正在伸向UE 102、看着UE 102、或者斜向UE 102或定向他们的身体朝向UE 102来指示接洽意图,仅举三个示例。
在1004,作为对通过雷达数据的接洽意图的确定的替代或除此之外,基于惯性数据确定用户设备的移动。该移动能够指示用户120拿起UE 102、触摸UE 102以及如上所述的其他移动。
在1006,响应于接洽意图的确定,并且在一些情况下,响应于用户设备的移动的确定,改变认证系统的功耗组件的功率状态。功耗组件的功率状态从第一功率状态被改变到第二功率状态,第二功率状态比第一功率状态消耗更大的功率。这种改变可以仅基于使用雷达数据确定的接洽意图,或者还基于通过惯性数据确定的移动。此外,可以基于移动确定进一步提高功耗组件或其他被供电组件的功率状态。如上所述,该移动确定可以确认用户120的接洽意图,还提供接洽意图,或者以其他方式向确定添加速度和/或鲁棒性以向认证系统添加电力、资源等。注意,在一些情况下,即使当用户尚未被确定为意图接洽时,认证系统的组件也仍然供电。在这种情况下,这些技术用于响应于确定接洽意图而执行认证过程。在这种情况下,即使没有为该过程节省功率,等待时间也会减少。然而,这些技术能够避免使用与认证系统不相关联的资源,从而以其他方式节省功率。
认证系统的功耗组件改变到的功率状态可能足以或可能不足以使认证系统能够对用户执行认证过程。在一些情况下,功耗组件的第二功率状态不是高功率状态504-1。在这种情况下,第二功率状态是如上所述的中间功率状态504-2。在一些情况下,该中间功率状态504-2对于功耗组件的性能是足够的,该功耗组件诸如包括中间功率状态的相机,该中间功率状态仍然能够提供用于认证的传感器数据而不完全上电(例如,在全光而不是在黑暗中捕获用户的图像等)。另一示例是显示器116,其能够被供电以接受针对密码的触摸输入,而不将显示器的发光度供电到全功率。另一种情况包括雷达系统104,其中,在用户面部与雷达系统104的相当近的范围内,不需要全功率来向认证系统114提供足够准确的面部特征。
在一些情况下,组件的上电是中间步骤,诸如预热序列,其可以通过给予组件额外的时间来准备组件或简单地减少等待时间。在这种情况下,状态管理器112能够确定不前进到高功率,诸如如果在组件准备好认证之前确定了脱离的意图,则用户120移动UE 102从而阻止认证(例如,进入口袋)等等。在一些情况下,供电是中间步骤,然后响应于确定用户120已经移动UE 102(在1004处示出)而被完全供电,并且因此被完全供电到足以执行认证过程的功率。该预热序列将组件供电到中间功率状态504-2,然后在某个短时间段之后,组件被供电到足以在认证过程中使用(例如,到高功率状态504-1)。在这种情况下,当处于预热序列之后的预热后序列时,组件处于高功率(或接近高功率)。对于在不需要时如果保持接通则消耗大量功率但也需要显著的时间量来上电的组件,诸如一些红外或近红外(IR、NIR)传感器,执行预热序列的中间功率状态能够节省大量功率或减少显著且潜在的用户体验破坏性等待时间。
以上描述了认证系统的示例功耗组件,诸如图1的认证系统114的面部解锁传感器212、显示器116的触摸屏、雷达系统104和处理器608(例如,高功率处理器608-2)。对于关于用于认证的面部识别系统的许多潜在功耗组件的具体细节,参见图2及其描述。
在1008,认证系统执行认证过程。在这样做时,认证系统114使用处于改变的功率状态(诸如第二功率状态或第三更高功率状态)的功耗组件。认证过程对于认证用户或确定用户未被认证是有效的,指示不应当允许对UE 102的访问。如上所述,认证过程能够通过面部识别、指纹读取、密码或通过触摸或音频接口(例如,显示器112的触摸屏数据输入组件)的其他凭证录入等。认证过程将用户或凭证的标识特征与可比较的特征或凭证的一些安全存储进行比较,以将用户的身份确定为真实的,并因此被准许访问UE 102。这可以像比较通过显示器的触摸屏输入的六位密码一样简单,或者需要更大的计算和系统复杂性,诸如基于从功耗组件接收的传感器数据确定面部特征并将所确定的面部特征与面部特征库进行比较。虽然不是必需的,但是该面部特征库能够被存储在UE 102本地,并且在UE 102利用认证系统114进行面部特征初始化期间被创建。此外,该库能够安全地被存储在UE 102处,诸如以嵌入在与UE 102集成的安全芯片上的形式。这是能够维护用户120的隐私性的一种方式。
在整个本公开中,描述了计算系统(例如,UE 102、客户端设备、服务器设备、计算机或其他类型的计算系统)可以分析与用户相关联的信息(例如,雷达、惯性和面部识别传感器数据)的示例,诸如在操作1008处刚刚提到的面部特征。然而,计算系统能够被配置为仅在计算系统从计算系统的用户接收到使用数据的显式许可之后才使用信息。例如,在UE102分析面部特征的传感器数据以认证用户102的情况下,可以向各个用户提供机会来对控制UE 102的程序或特征是否能够收集和利用数据的机会提供输入。各个用户可以始终控制程序可以或不可以对传感器数据做什么。另外,所收集的信息可以在其被传送、存储或以其他方式使用之前以一种或多种方式进行预处理,使得个人可识别信息被移除。例如,在UE102与另一设备共享传感器数据(例如,用于训练在另一设备处执行的模型)之前,UE 102可以预处理传感器数据以确保嵌入在数据中的任何用户标识信息或设备标识信息被移除。因此,用户可以控制是否收集关于用户和用户的设备的信息,以及如果收集到这样的信息,则计算设备和/或远程计算系统可以如何使用这样的信息。
返回到方法1000,在1010,替代地或另外,响应于确定用户设备已经移动或正在移动,改变显示器的功率状态。这种改变能够是为显示器的触摸输入接收能力上电或者简单地改变显示器的视觉呈现。一个示例包括向显示器116添加亮度,使得在用户触摸UE 102的情况下,用户看到UE 102意识到用户的意图,并且因此推测正在准备与用户120进行接洽。类似地,UE 102可以响应于在1002确定的接洽意图而这样做。
在一些情况下,认证过程执行了某一时间段或迭代而没有成功(例如,某个预设数量或时间段)。在这种情况下,方法1000可以通过重新执行认证过程来继续,或者响应于在1004处确定移动而继续该过程,如在1012所示。该替代方案在图10中利用一些虚线箭头示出。
在1014,响应于在1008的用户的认证过程(或在1012的重新执行)成功,用户被认证,并且改变UE 102的访问状态。这种改变能够增加UE 102从低访问状态、无访问状态或中间访问状态到高访问状态的访问,并且在这种情况下,UE 102被“解锁”。然而,不需要这种高访问状态(例如,图5的高访问状态502-1)。某些级别的认证可以为后续认证预留访问、电力或信息。示例包括认证用户以使用UE 102的应用和/或账户中的一些但不是全部(例如,购买音乐的账户、银行账户等),并且需要对那些预留的访问账户和应用进行附加认证。例如,除了高访问状态502-1之外,状态管理器112还能够使UE 102被置于高信息状态506-1。对信息状态的这种改变的示例包括呈现最后接洽的应用或网页,包括在最后接洽的部分处,诸如在网页上的十页文章的第4页上,或者在再现用户120最后接洽或与UE 102进行认证的位置的歌曲或视频的中途。状态管理器112可以响应于用户120的认证快速且无缝地改变这些状态。
作为示例,考虑将方法1000应用于图11所示的场景1100的一个实施例。场景1100包括五个部分,每个部分按时间顺序在先前部分之后。在场景1100的第一部分,如场景部分1100-1所示,用户1102没有正在看、触摸或以其他方式与智能电话1104接洽。这里假设智能电话1104分别处于低访问、低功率和低信息状态501-3、504-3和506-3(例如,智能电话1104看起来被关闭,但是具有足够的功率来确定接洽的意图)。假设该场景部分1100-1是在图10中的1002的方法的操作之前的情况。在1100-2示出了第二部分,在此期间用户1102转向并看着但不触摸智能电话1104。此时,在操作1002,这些技术基于雷达数据来确定用户1102意图与智能电话1104接洽。该接洽意图是在不使用触及移动的情况下确定的,而是基于用户1102看向智能电话1104并定向他们的身体朝向智能电话1104。这些技术在操作1002处通过雷达管理器106进行该确定,雷达管理器106将该确定传递给状态管理器112。此后,在操作1006,状态管理器112改变认证系统114的功耗组件(面部解锁传感器212)的功率状态。注意,这在用户伸向或拿起智能电话1104之前很好地被完成,从而减少等待时间并使认证系统114准备好对用户进行认证。
还假设,在接下来的半秒,当功耗组件上电时,用户1102移动接近并伸向智能电话1104(利用手1106示出的伸出)。这在第三部分1100-3被示出。此时,认证系统114执行认证过程(操作1008),但是假设认证过程在一定次数的迭代和/或一段时间内不成功。这些技术可以停止认证用户1102的尝试,从而节省电力。然而,这里,如部分1100-4处所示,用户1102触摸智能电话1104。在操作1004处,通过由图1的传感器108感测的惯性数据,将其被确定为智能电话1104的移动。该移动确定被传递到状态管理器112。基于该移动,状态管理器112继续使认证系统114尝试认证用户1102,如方法1000的操作1012所示。此外,在操作1010,并且还基于移动,状态管理器112对智能电话1104的显示器1108照明。可以在场景部分1100-2、1100-3或11004处执行显示器1108的这种照明或上电,但是这里示为响应于确定用户1102对智能电话1104的触摸(在1110处利用时间和通知信息示出)。通过这样做,向用户1102给予智能电话1104意识到用户1102打算接洽的反馈。
如上所述,状态管理器112使认证系统114继续认证过程,并且通过这些继续的尝试来认证用户1102。这在部分1100-5被示出,导致智能电话1104分别处于不同的状态,即高访问、高功率和高信息状态502-1、504-1和506-1,其中,高访问状态502-1利用显示器1108呈现解锁图标1112示出。这些状态级别能够由状态管理器112自动提升,为用户1102提供无缝的用户体验。
在该示例场景1100中,由传感器108提供的惯性数据使状态管理器112以较高的置信度级别并且因此证明附加的功率查明用户1102意图与智能电话1104接洽并且因此用户1102想要被认证,。这只是一个示例场景,其示出了如何使用来自IMU的惯性数据和来自雷达系统的雷达数据来快速、简单且用降低的功耗对用户进行认证。
降低高级别状态
图12描绘了通过IMU和雷达降低高级别状态的示例方法1200。方法1200被示出为框的集合,其指定所执行的操作,但不一定限于所示出的用于由相应框执行操作的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供广泛的附加和/或替代方法,包括具有本文档中阐述的其他方法(例如,方法1000、1400、1700和1800)。在以下讨论的部分中,可以参考图1的示例操作环境100或如在其他附图中详述的实体或过程,对其的引用仅作为示例。这些技术不限于由在一个设备上操作的一个实体或多个实体执行。
可选地,在1202并且在操作1204或1206之前,确定不活动时间段已经到期。与仅依赖于时间段到期的一些其他常规技术相反,方法1200可以使用或避免使用不活动时间段来降低用户设备的高级别状态。虽然不需要这种不活动定时器,但是在一些情况下,使用定时器,即使是短定时器也节省了功率。更详细地,当接收到与用户设备的最后用户动作时,诸如当用户设备接收到对触摸屏或按钮的最后触摸、音频命令或姿势输入时,不活动定时器启动。注意,虽然一些常规技术仅使用定时器,并且由于该常规定时器通常持续几分钟(例如,一分钟、三分钟、五分钟或十分钟),但是方法1200能够使用相对短的时间段,诸如二分之一秒、一秒、三秒、五秒、十秒或二十秒。通过这样做,用户设备暴露信息、使不适当的访问可用等的可能性非常低,而使用短的不活动时间段能够操作以通过避免在不活动时间段内执行1204和/或1206的操作来节省一定量的功率。
在1204,在用户正在与用户设备交互或最近已经与用户设备交互的用户设备的高级别状态期间,移动被确定。移动管理器110基于从与UE 102集成的传感器108接收的惯性数据来确定该移动。如利用虚线箭头所示,该操作能够可选地响应于操作1206和/或1202(未示出)。该确定的移动能够是上面阐述的各种移动中的一个或多个,这样的移动指示用户120正在拿起UE 102、随身行走、放下、放入口袋或外壳中、或者简单地触摸UE 102附近或触摸UE 102。在一些情况下,移动管理器110确定移动足以或不足以改变UE 102的状态,并且因此传递给状态管理器112。示例包括上面提到的那些,诸如不克服阈值移动,由环境振动引起的那些移动,以及在移动时不足以改变正在进行的移动的那些移动。因此,当用户120与UE 102一起行走时,移动管理器110能够确定UE 102正在移动,但是能够确定该移动不是足以指示用户120可能正在与UE 102脱离的可能性的改变。另一看待这的方式是移动能够是基于改变,而不是简单地基于UE 102的当前移动。示例改变包括移动然后不移动,诸如用户带着UE 102行走并将其放置在桌子上。尽管来自传感器108的惯性数据可能无法捕获用户120将UE 102放在桌子上,但是在操作1204,对在存在紧前面的移动(用户120带着UE102行走时)惯性数据示出很少至没有移动的确定基于该紧前面的移动仍被确定为移动。
更详细地,这些技术能够对于用户的接洽定制用户设备的状态。因此,在一些情况下,由于用户与用户设备高度接洽,用户设备处于一个或多个高级别状态。例如,方法1200可以在操作1204或1206之前确定用户正在与用户设备交互。用户接洽的这种确定能够基于指示用户接洽的意图的先前雷达数据、基于来自用户的音频或触摸输入、从用户并通过音频或触摸传感器接收的命令或输入、成功的认证过程等。
在1206,基于雷达数据并由用户设备确定脱离意图。雷达管理器106从雷达系统104接收雷达数据,并且使用该雷达数据来确定用户是否意图与UE 102脱离。该脱离意图包括上面阐述的各种类型,诸如用户120从UE 102的手缩回、相对于UE 102的面部定向改变、用户120转离UE 102或定向他的背朝向UE 102等。
如利用虚线箭头所示,该操作1206能够可选地响应于操作1204(和/或1202,未示出)。在这些情况下,状态管理器112或雷达管理器106用于通过避免确定用户120脱离的意图直到确定移动为止来节省功率,并且对于1204的移动确定反之亦然。通过这样做,能够节省功率。因此,功率管理模块620能够由技术引导以将雷达系统104保持在降低的功率,直到在1204确定移动。一旦确定了移动,状态管理器112就使功率管理模块620为雷达系统104上电,以准备确定用户120是否正在以指示脱离意图的方式动作。
在1208,响应于移动和/或脱离意图的确定,将用户设备的高级别状态降低到中间级别或低级别状态。更详细地,参见示例高级别状态1208-1,其能够是涉及访问、功率或信息的一个或多个状态,例如,图5中所示的那些状态(高访问状态502-1、高功率504-1或高信息状态506-1)。状态管理器112响应于确定移动或脱离意图或两者,确定降低UE 102的一个或多个状态。这在图12中被图示,其中,箭头示出了从高级别1208-1降低到中间级别1208-2或低级别1208-3。这些仅是功率、访问和信息的各种粒度中的两种。如图5所图示,中间级别1208-2和低级别1208-3包括中间访问状态502-2、中间功率状态504-2和中间信息状态506-2,其中的每一个在上面被描述。低级别1208-3被示出为具有三个低状态:低访问状态502-3、低功率状态504-3和低信息状态506-3。上文详细描述了这些状态。注意,在操作1208,状态管理器112可以将这些状态中的任何一个、两个或所有三个降低到相同级别或不同级别。因此,状态管理器112可以将高访问状态502-1降低到中间或低状态,并且将功率状态和信息状态保持在高级别或混合级别。类似地,状态管理器112可以将功率状态504降低到低功率状态504-3,同时将UE 102保持在高访问状态502-1(例如,“解锁”)。
作为示例,考虑将方法1200应用于图13所图示的场景1300。场景1300包括三个部分,每个部分按时间顺序在先前部分之后。在场景1300的第一部分之前,假设用户1302主动与智能电话1304接洽并且智能电话1304处于高级别状态,即功率、访问和信息状态。在场景部分1300-1处所示的第一部分,用户1302走向桌子,并将智能电话1304放置在桌子上。在操作1204,传感器108接收惯性数据,其用于触摸桌子上的智能电话1304,或者当在被放置在桌子上之前惯性数据指示移动(基于用户1302正携带智能电话1304行走)时缺少惯性数据。基于这些惯性数据中的任一个或两个,移动管理器110确定智能电话1304的移动并将该确定传递到雷达管理器106和/或状态管理器112。
假设雷达管理器106立即响应于移动数据来提供雷达场118或已经这样做(为了视觉简洁未示出,例如参见图1),并且因此接收指示用户1302的身体位置等的雷达数据。基于该雷达数据,雷达管理器106针对第一次迭代(以及可能的多个其他迭代)确定,在操作1206,对于身体、手臂和手放置,用户1302没有意图在场景部分1300-1脱离。这是由于用户1302使身体朝向智能电话1304定向,并且用户的手和手臂朝向智能电话1304定向。因此,高信息状态1306-1不被改变。
然而,在场景部分1300-2,假设大约两秒后,用户1302拿起他们的咖啡杯并开始走开,同时将他们的身体转离智能电话1304。此时,雷达管理器106基于用户1302的身体定向部分地转离智能电话1304并且用户1302的手臂和手朝向咖啡杯而不是智能电话1304定向来确定用户1302意图与智能电话1304脱离。雷达管理器106将该确定传递给状态管理器112。
在操作1208,响应于接收到移动和脱离意图确定,状态管理器112将智能电话1304的信息状态从场景部分1300-1所示的高信息状态1306-1降低到中间信息状态1306-2。这些示例信息状态被示出为具有在场景部分1300-1处显示的信息,该场景部分1300-1示出了来自两个文本消息的内容和一天中的时间。在用户1302转动他们的身体并拿起他们的咖啡杯时,立即将信息状态降低到中间信息状态1306-2,利用一天中的时间和关于文本消息的降低信息示出(利用发送者的姓名示出但没有情境)。该中间信息量对于用户1302能够是有用的,因为用户1302可能改变他们关于接洽的想法,或者想要往回看智能电话1304以查看新通知是否已经到达,诸如来自不同人的文本。
另外,或者代替示出中间信息状态1306-2,作为操作1208的一部分,状态管理器112可以立即或者在首次处于中间状态之后前进到低级别。这里假设状态管理器112响应于指示用户1302意图脱离的雷达管理器106的附加确定或其更高置信度级别(例如,这里以高置信度示出,因为用户1302现在距离几米并且使他们的背部完全转向智能电话1304),将信息状态进一步降低到低信息状态1306-3,如场景部分1300-3所示,仅呈现一天中的当前时间。
虽然该示例示出了信息状态的改变,但是访问和功率也可以改变或替代地改变。部分地利用场景部分1300-1所示的解锁图标1310示出,指示高级别访问(例如,图5的高级别访问502-1)。在状态管理器112接收到移动数据和脱离意图之后的场景部分1300-2,状态管理器112将访问降低到低级别,这利用锁定图标1312向用户指示。此外,能够改变功率状态,诸如通过在场景部分1300-2和/或1300-3处降低智能电话1304的显示器(未示出)的亮度。
维持认证的状态
图14描绘了用于维持认证的状态的示例方法1400。方法1400被示出为框的集合,其指定所执行的操作,但不一定限于所示出的用于由相应框执行操作的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供广泛的附加和/或替代方法,包括本文档中阐述的其他方法(例如,方法1000、1200、1700和1800)。在以下讨论的部分中,可以参考图1的示例操作环境100或如在其他附图中详述的实体或过程,对其的引用仅作为示例性。这些技术不限于由在一个设备上操作的一个实体或多个实体执行。
在讨论方法1400之前,注意上述任何方法,全部或部分,都能够与方法1400组合。例如,考虑图10中的方法1000的执行。该方法1000描述了导致用户认证的认证管理的一个示例。响应于该认证,用户设备进入认证的状态。上文更详细地描述了该状态。因此,在方法1400之前执行方法1000(或用户的认证的一些其他方式)。
在1402,在用户设备的认证的状态期间,用户设备的用户的潜在脱离被确定。用户潜在脱离的这种确定能够包括确定用户脱离的意图,如上所述,以及下文阐述的其他确定。此外,如上所述,认证的状态准许用户访问用户设备的数据、应用、功能、账户或组件中的一个或多个。认证的状态的示例包括上面图5中提到的高访问状态502-1和中间访问状态502-2。虽然UE 102在处于认证的状态时能够准许这些访问状态中的任一个(通常基于用户偏好或操作系统默认设置),但是认证的状态假设用户的先前认证。然而,用户选择的偏好或设置能够准许UE 102的高或中间访问而无需认证。因此,虽然认证的状态可以包括由上述高和中间访问状态允许的访问,但是高和中间访问不一定是认证的状态。
如图14所图示,可选地,响应于(或通过执行)操作1404或操作1406以及本文中所描述的其他方式,诸如通过在方法1200的操作1206确定脱离意图,能够执行潜在脱离的确定。在1404,确定不活动时间段的到期。如上所述,该不活动时间段能够在接收到最后的用户动作、与用户设备的主动接洽结束(或最后接收到)时开始,或者在确定了最后的接洽意图时开始。例如,当用户最后触摸触敏显示器或按钮、说出最后接收的音频命令或者执行最后确定的触摸无关姿势(例如,使用上述雷达系统104确定的姿势)时,不活动定时器(例如,时间段)启动。
在1406,基于与用户设备集成的惯性测量单元(IMU)的惯性数据来确定用户设备的移动。上文描述了示例移动和惯性数据,诸如从图1的传感器108接收的惯性数据。因此,移动确定是该方法可以确定用户正在潜在地脱离的一种方式,诸如通过将UE 102放置在储物柜、包或口袋中(尽管放置在包或口袋中可以稍后被确定为被动接洽,如下所述)。
在1408,基于雷达数据确定用户与用户设备的被动接洽。该被动接洽的确定能够响应于1402的潜在脱离的确定(利用虚线箭头示出),或者它能够独立于该确定或与该确定一致。在一些情况下,响应于确定潜在脱离而执行操作1408能够节省功率或减少等待时间。例如,方法1400可以响应于确定潜在脱离而对雷达系统104的组件(也参见图6-1和6-2)进行上电。这能够如上所述节省功率,或者为雷达系统104提供额外的时间来准备确定用户是否被动地与雷达系统104接洽。
在图1的情境中,雷达管理器106确定用户120被动地与UE 102接洽。这种被动接洽能够由雷达管理器106以多种方式确定,这些方式能够是互斥的或彼此重叠的。例如,雷达管理器106能够基于雷达数据指示用户120的手正以维持用户设备102的显示器116的定向握持用户设备102的雷达数据来确定用户被动地接洽。因此,如果用户120正在稳定地握持UE 102(或稳定到足以观看内容或允许另一个人观看内容),则用户120被动地接洽。上面描述了确定被动接洽的其他示例,包括用户120看着UE 102或定向其身体朝向UE 102。
此外,雷达管理器106能够基于指示用户120存在的雷达数据来确定被动接洽,诸如在UE 102的两米内。也能够使用或替代地使用其他距离,诸如1.5米、1米或甚至半米。实际上,雷达管理器106能够通过大致在UE 102的可及范围内来确定用户120被动地接洽。雷达管理器106可以通过指示用户120被动接洽来显式地这样做,或者简单地将指示距UE 102的距离的信息传递到状态管理器112。然后,状态管理器112基于用户120的接近度以及在一些情况下的情境,诸如其他人(或没有其他人)、用户120是否在车辆(汽车、公共汽车、火车)中、在桌子旁等,来确定被动接洽。例如,坐在家中的用户可能比坐在拥挤的咖啡店或火车中的用户具有更大的准许距离。
在1410,响应于确定用户与用户设备的被动接洽,认证的状态被维持。该认证的状态的维持能够继续,直到确定另一个潜在脱离为止,或者持续一段时间,之后能够再次执行方法1400。认证的状态的一个示例是图5的高访问状态502-1。在许多情况下,该认证的状态是UE 102的解锁状态,但是在一些其他情况下,认证的状态准许一些但不是全部对UE 102的访问,诸如上述中间访问状态502-2。
该UE 102的认证的状态的维持不需要其它状态被维持。例如,在用户120在UE 102的两米内但可能看向或可能不看向或朝向或不朝向UE 102定向的情况下,状态管理器112能够降低UE 102的功率状态或信息状态,诸如从高功率状态504-1和高信息状态506-1降低到图5中所示的中间或低功率或信息状态。然而,如果被动接洽包括用户看着UE 102,则也能够维持功率或信息状态,诸如继续通过显示器116向用户120呈现内容。
可选地,方法1400能够前进到操作1412,其中基于雷达数据确定非用户的存在或接洽意图。该雷达数据能够是相同的或稍后接收的雷达数据,诸如在被动接洽所基于的雷达数据之后几秒或几分钟从雷达系统104接收到的雷达数据。因此,在1412,雷达管理器106确定非用户存在或打算与UE 102接洽。因此,如果非用户伸向UE 102或者看着UE 102的显示器116,则雷达管理器106可以确定该存在或意图,并将其传递给状态管理器112。
在1414,响应于确定非用户存在或打算与用户设备接洽,停止认证的状态的维持。因此,如果非用户走到、伸向或看着UE 102的显示器116,则状态管理器112停止维持认证的状态(或主动地取消认证)UE 102。与该停止一起,状态管理器112还可以降低其他状态,诸如有效降低或消除呈现给非用户的信息的信息状态。例如,假设认证的用户正在地铁列车上读取私人电子邮件。如果坐在他们后面的人看着显示器,可能读取私人电子邮件,则状态管理器112能够锁定UE 102并停止显示私人电子邮件。这可以快速且无缝地执行,进一步提高用户的隐私性。
在1416,可选地,在停止维持认证的状态之后,响应于确定非用户不再存在或不再打算接洽,该方法能够被返回到认证的状态。继续上面的示例,当地铁列车中的非用户目光远离UE 102的显示器116时,状态管理器112可以通过认证过程或简单地通过切换回认证状态而不重新认证来重新认证用户120。因此,用户120能够在导致取消认证的条件停止时立即简单地返回到先前的状态。虽然一些认证过程,诸如本文中描述的系统和过程,既快速又节电,但是不执行认证过程能够更快且更节电。在返回到认证的状态时,状态管理器112能够将信息状态返回到先前级别并且在与最后呈现给用户120的内容匹配的内容处。在该示例中,当非用户目光远离时,显示器116在由UE 102最后呈现给用户120的相同位置处呈现私人电子邮件。通过这样做,向用户提供了认证的无缝管理和改进的信息隐私性。注意,用户120的选择能够比技术的操作重要,诸如用户选择解除认证。在一些情况下,用户120简单地关断UE 102,这在本文中描述的方法中是被准许的。
考虑通过场景1500在图15中图示的另一示例。场景1500包括四个部分。在第一部分1500-1,假设用户1502已经诸如通过凭证或面部特征分析向智能电话1504认证,并且因此智能电话1504处于认证的状态1506。该认证的状态1506允许用户1502访问智能电话1504,这通过用户1502通过观看关于火山喷发的电视节目访问智能电话1504的内容来示出。
场景1500被示出为沿着两条不同的路径发散。在一个路径中,当用户120停止触摸智能电话1504或向智能电话1504提供输入时,这里是当用户120放松观看电视节目时,不活动定时器启动。在另一情况下,不活动定时器能够开始或不开始,但是将在其没有到期的情况下确定潜在的脱离。因此,在场景部分1500-2,在不活动三分钟之后,不活动定时器到期。返回到图14,操作1402确定由于在操作1404时不活动时间段到期已经发生用户的潜在脱离。对于在场景部分1500-3所示的第二路径,操作1402通过基于惯性数据确定通过执行操作1406智能电话1504的移动已经发生来确定用户的潜在脱离已经发生。这种移动的原因是用户1502将他们的脚放在智能电话1504正在放置的桌子的边缘上。
雷达管理器106响应于潜在脱离的这些确定中的任一个,基于雷达数据确定用户1502被动地与智能电话1504接洽。在1408执行该操作。这里假设确定用户1502的存在或他们正在看着智能电话1504,其中任一个都指示用户1502被动接洽。
作为响应,在操作1410,状态管理器112维持认证的状态。所有这些都能够被无缝地执行,并且用户1502没有注意到它已经被执行。如场景部分1500-4所示,智能电话1504简单地继续通过任一路径呈现电视节目。
考虑图16的另一场景1600,其能够在场景1500之后或者是可替代的独立场景。场景1600包括三个场景部分,在第一场景部分1600-1中,用户1502正在观看关于火山的电视节目,类似于图15所示,这里标记在智能手机1504的内容1602处。智能电话1504在该节目的呈现期间处于认证的状态,诸如图15中所示的认证的状态1506。
然而,在场景部分1600-2,非用户1604与用户1502一起坐在沙发上。该非用户1604是用户1502的同事,因此用户1502转动他们的头部并开始与非用户1604交谈。用户1502的这些动作能够被认为是潜在的脱离,转动他们的头部或说话或两者,如上所述。如果被认为是用户1502的潜在脱离,则状态管理器112降低智能电话1504的状态,诸如降低访问状态或信息状态,如图5和图12所示(例如,方法1200的操作1206和1208)。
然而,假设雷达管理器106通过方法1400的操作1412并基于雷达数据确定非用户1604的存在。基于该非用户1604的存在,状态管理器112在状态管理器112先前行动维持智能电话1504的认证的状态(例如,通过图15中所示的操作1410)之后停止维持认证的状态1506。因此,状态管理器112能够使智能电话1504被降低到在场景部分1600-2的展开视图处示出的未认证的状态1604。通过锁定图标1606以及通过停止呈现内容1602向用户1502示出该改变。
在场景部分1600-3,非用户1604已经离开,用户1502返回到看着智能电话1504。雷达管理器106确定非用户1604不再存在,向状态管理器112指示该确定,然后状态管理器112将智能电话1504返回到认证的状态1506。注意,状态管理器112还可以要求确定用户1502正在意图与智能电话1504接洽,或者可以基于非用户1604离开智能电话1504的存在而简单地返回到认证的状态。还注意到,本文档中描述的技术能够使用户无缝地返回到他们离开的地点,从而提供优异的用户体验。这在图16中示出,其中状态管理器112使智能电话1504返回到相同的电视节目并且在最后被呈现给用户1502的相同或几乎相同的点处。对于一些实施例,这些技术允许用户在设置屏或类似的设备配置屏中指示,在步骤1416,智能电话1504是否将响应于确定非用户不再存在或意图接洽而返回到认证的状态,还是智能电话1504是否将停留在未认证的状态,直到执行使用认证系统的功耗组件的更严格的认证过程(例如,上述步骤1006)。换句话说,这些技术可以通过设置或类似的设备配置来提供用户选择的设置,一旦存在非用户的迹象,即使迹象不再存在,也使智能电话1504仍然被取消认证。
姿势识别管理
图17描绘了用于利用情境敏感门控和其它情境敏感控制的基于雷达的姿势识别的示例方法1700。方法1700被示出为框的集合,其指定所执行的操作,但不一定限于所示出的用于由相应框执行操作的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供广泛的附加和/或替代方法,例如,方法1000、1200、1400和1800。在以下讨论的部分中,可以参考图1的示例操作环境100或如在其他附图中详述的实体或过程,对其的引用仅作为示例。这些技术不限于由在一个设备上操作的一个实体或多个实体执行。
在操作1702,接收来自多个传感器108的传感器数据。例如,接近度传感器208生成指示与对象的接近度的传感器数据(例如,通过在接近度模式下操作而被配置为接近度传感器的雷达系统104)。IMU 408能够产生指示移动力的传感器数据,并且其他传感器108能够生成用于定义情境的其他传感器数据。
雷达系统104可以在低功率、接近度模式(例如,低功率状态504-3)下操作,以生成用于检测接近度的足够分辨率和质量的传感器数据。雷达系统104还能够在高功率姿势识别模式(例如,高功率状态504-1)下操作,以生成相对于在接近度模式下产生的传感器数据的改进的传感器数据。在姿势识别模式下,由雷达系统104生成的传感器数据比在接近度模式下具有更高的分辨率或更高的质量,因为传感器数据被用于更复杂的姿势识别任务。在操作1702从多个传感器接收的传感器数据可以指示路线移动和接近度,而从雷达系统104收集以执行基于雷达的姿势识别的传感器数据可以指示更精确的移动、接近度或遮挡。
传感器数据能够将接近度指示为对象的二进制测量,或者指示为进一步指定与对象的接近度的可变测量。接近度能够指示雷达系统104或UE 102的其他部分是否被对象遮挡(意味着用户120相对于UE 102或反之亦然被对象遮挡),较大的存在量指示遮挡,而较小的存在量指示很少或没有遮挡。传感器数据能够定义有效地确定UE 102的位置、速度、加速度、速度、旋转、定向或其他移动或定位特性的移动。
在操作1704,确定UE的情境。在操作1702获得的传感器数据指示当用户120与UE102交互时UE 102的操作环境。传感器数据可以包括指示移动是有意的还是无意的模式或签名。UE 102能够包括或访问使用机器学习训练的机器学习活动分类器,以识别传感器数据中与特定用户活动或设备情境相对应的模式或签名。机器学习活动分类器向使用活动识别以执行其他任务的应用和其他订户输出通知。在移动数据中识别的加速度或振动对应于IMU 408或其他传感器108在用户120正在行走或以其他方式与UE 102一起移动时记录为传感器数据的类似振动和加速度。
所识别的活动或移动能够指示不同的情境。情境的示例包括步行情境、骑自行车情境、驾驶情境、骑行情境或与所识别的活动相对应的其他活动情境。移动能够指示通常在用户120正在查看或握持UE 102时观察到的位置和定向以及移动或没有移动。缺少移动能够指示坐着的情境、静止的情境、未使用的情境或存放情境。相反的移动能够对应于相反的活动,例如,某些移动能够指示用户正在拿起UE 102,并且相反或不同的移动能够指示用户放下UE 102。
在操作1706,确定情境是否满足基于雷达的姿势识别的要求。如果来自传感器108(例如,接近度传感器208和IMU 408)的传感器数据随时间与UE 102在通常接收到基于雷达的姿势识别时期望检测的传感器数据相匹配,则UE 102可以确定情境满足要求。当情境不满足基于雷达的姿势识别的要求时,UE 102可以确定相反的情况为真,并且防止或以其他方式丢弃由雷达系统104识别的姿势。
例如,UE 102能够根据UE 102的当前情境来调节基于雷达的姿势识别。如果用户120在行走同时正在握持UE 102,情境满足基于雷达的姿势识别的要求,但如果用户120在行走同时没有握持UE 102时,则不满足。然而,在行走时在口袋或背包中携带UE 102不是满足基于雷达的姿势识别的要求的情境(除了准许通过中介材料进行姿势检测的情况)。
存放情境是当传感器数据指示UE 102位于以下位置时:用户120穿的衣服口袋;背包、公文包或手提箱中的隔层;飞机、出租车、汽车、船、公共汽车或火车中的储物箱;车辆的控制台或杂物箱,或其它外壳。当传感器数据指示用户120正在握持UE 102时,识别握持或携带情境。从指示UE 102未被握持、不动或基本上不相对于UE 102放置的表面移动的传感器数据来看,静止情境是明显的。行进情境指示UE 102正在移动,而不管UE 102是被握持还是被存放,例如,如果用户120正在行走、驾驶、骑自行车或以其他方式携带UE 102移动。
至少部分地基于UE 102正在行进、被握持还是被存放,情境满足基于雷达的姿势识别的要求。例如,被握持和行进是雷达系统104识别基于雷达的姿势的情境,然而,被存放和行进可能不是雷达系统104识别基于雷达的姿势的情境。
情境的满足能够进一步取决于定向,特别是携带定向。如果用户120正在行走并握持UE 102,则如果用户没有以特定方式握持UE 120,则情境可能仍然不满足基于雷达的姿势识别的要求。例如,当用户120正在行走时,用户120将UE 102握持在横向和/或纵向向下定向(例如,UE 102的触摸屏指向接近地面)可能不满足基于雷达的姿势识别的要求,因为在该情境中,用户120可能不想与UE 102交互。相反,用户120在行走时将UE 102握持在不同的定向(例如,纵向朝上同时UE 102的触摸屏指向天空或用户120的面部)可以满足基于雷达的姿势识别的要求,因为用户120可能在行走的同时正在查看UE 102的触摸屏。
UE 102能够根据用户120是否或如何握持UE 102来调节基于雷达的姿势识别。例如,如果用户120在骑自行车或驾驶时没有握持UE 102,诸如如果UE 102在骑自行车或驾驶时处于静止情境中、在骑车或驾驶同时固定到自行车车架上的安装支架或附接到汽车通风口或仪表板,则情境满足基于雷达的姿势识别的要求。然而,用户握持UE 102的类似骑车或驾驶情境可能不满足基于雷达的姿势识别的要求。
基于雷达的姿势识别能够由UE 102基于来自对象或对象附近的遮挡来调节。例如,响应于在UE 102已经处于存放或静止情境中同时检测到与对象的接近度,雷达系统104启用姿势识别模型621。当UE 102已经处于存放或静止情境中时,响应于检测到对象的遮挡,相反的可能是真的,在这种情况下,雷达系统104禁用姿势识别模型621。例如,面朝上(触摸屏朝上)放置在平坦的表面上的UE 102可以是静止情境,其中检测到与对象的接近度或没有遮挡,因此启用姿势识别。面朝下(触摸屏朝下)放置在平坦的表面上的UE 102是相反的静止情境,其中检测到遮挡并因此对姿势识别进行门控。
显著的移动能够调节姿势识别模型621。如果UE 102处于UE 102经历频繁或强烈移动或移动变化的显著移动情境中,则该情境可能不太适合于基于雷达的姿势检测。例如,如果他们的手中携带UE 102的用户120去跑步,则雷达系统104对姿势识别模型621进行门控,以确保雷达系统104不会错误地触发任何姿势调节的事件。
雷达系统104能够对不同类型的姿势或不同类型的情境应用不同的灵敏度级别。具有显著移动的情境可以触发大多数基于雷达的姿势的门控,而具有较少移动的情境可以仅触发一些基于雷达的姿势的门控。作为示例,雷达系统104可以识别高振动制造情境中的过程控制(例如,全手)姿势,然而,相同的情境可能不适合于UE 102或用户120不稳定和移动的特定精细控制(例如,单个手指)基于雷达的姿势。雷达系统104是尝试在高振动情境中识别精细控制基于雷达的姿势,而是针对精细控制姿势对姿势识别特征进行门控,同时在相同情境中继续识别过程控制姿势。雷达系统104将不同的灵敏度级应用于精细控制姿势,因此它们比过程控制姿势更容易被触发。雷达系统104将不同的灵敏度级应用于过程控制姿势,以避免像精细控制姿势那样容易地被触发。
在海上情境中,用户120作为船上的乘客与UE 102交互。用户120可以握持UE 102,或者UE 102可以是内置于船中的计算设备。这条船随海浪移动。在风暴环境中,雷达系统104能够认识到,当UE 102正在经历俯仰或定向的大变化时,某些基于雷达的姿势可能难以识别,并且门控基于雷达的姿势而不是冒险输出误报。当暴风雨的环境平静下来并且俯仰和定向的变化平息时,雷达系统104自动停止门控并启用在暴风雨期间已经被门控的基于雷达的姿势。
雷达系统104能够针对特定情境门控所有基于雷达的姿势,或者仅门控某些类型的基于雷达的姿势。例如,对于伸出并抓取姿势,特别是伸出并拾取UE 102,雷达系统104能够通过从传感器数据中识别用户120何时伸出然后拾取UE 102以触发面部认证系统114来减少面部认证系统114的误报。这与响应于仅识别伸出而触发面部认证系统114相反。当传感器数据指示UE 102处于安静或嘈杂的环境或具有间歇通信信号的环境中时,雷达系统104能够门控基于雷达的姿势用于应答电话呼叫。当雷达系统104使用姿势识别模型621确定UE 102处于用户120可能想要接听电话的办公位置或膝上型计算机附近的桌子上时,雷达系统104自动取消门控并启用电话应答基于雷达的姿势。
UE 102能够根据情境是否指示用户120正在握持UE 102、情境是否指示用户120正在行走或两者来调节基于雷达的姿势识别。如果UE 102确定用户120正在握持UE 102并且用户120正在行走,则情境满足触摸无关的姿势识别的要求。如果UE 102确定用户120没有握持UE 102并且用户120正在行走,则情境不满足触摸无关的姿势识别的要求。如果来自接近度传感器208和IMU 408的传感器数据超时匹配UE 102预期在用户120正在行走并握持UE102时检测到的传感器数据,则UE 102可以确定情境满足要求。当情境不满足要求时,UE102可以确定相反的情况为真,并且丢弃由雷达系统104识别的姿势。
在伸出-抓取情境中,当UE 102面朝上放在桌子上时,用户120伸到UE 102上。用户120可能正在伸出以抓取UE 102。用户120可能正在伸出以抓取UE 102之外的某些东西。在1706,确定情境不满足对基于雷达的姿势识别的要求能够是响应于在对象到达UE 102附近之后确定用户120没有拿起UE 102。如果用户在伸出(例如,用户120到达附近)之后没有抓取并拿起UE 102,则UE 102门控来自姿势识别模型621的输出(例如,以防止认证算法执行面部认证),从而防止订户(例如,应用、组件、系统服务)获得姿势的指示。在1706确定情境满足对基于雷达的姿势识别的要求能够是响应于在对象接近UE 102之后确定用户120正在拿起UE 102。如果用户在伸出后确实抓取并拿起了UE 102,则UE 102启用来自姿势识别模型621的输出(例如,以启用认证算法执行面部认证),从而使订户能够获得姿势的指示。以这种方式使用情境敏感的门控和其他情境敏感的控制,降低伸出并抓取的误报。
其它传感器108,诸如环境光传感器、气压计、位置传感器、光学传感器、红外传感器等,能够向UE 102提供信号以进一步定义UE 102的情境,从而改进姿势识别和其它所描述的技术。在1706,确定情境满足基于雷达的姿势识别的要能够响应于位置信息、一天中的时间、气压、环境光、环境音频和用于定义用于门控或非门控雷达系统104的情境的其他传感器信息。例如,将UE 102指定为在电影院的位置附近并且在低光条件下,同时检测到大声和频繁的环境噪声的情境不是适合于基于雷达的姿势识别的情境。然而,在火车站附近,尽管检测到低照明条件和大的环境噪声,是适合于基于雷达(例如,触摸无关)的姿势识别的情境。
在操作1706,当情境不满足利用雷达系统的基于雷达的姿势识别的要求时,对由雷达系统获得的雷达数据进行门控,并且该方法前进到B(下面在图18的描述中描述)。在操作1706,当情境满足利用雷达系统的基于雷达的姿势识别的要求时,在操作1708,将由雷达系统获得的雷达数据输入到由所输入的雷达数据确定基于雷达的姿势的模型。
在1708,将由雷达系统104获得的雷达数据输入到姿势识别模型621中使姿势识别模型621执行姿势识别技术。雷达系统104可以在高功率姿势识别模式下操作,其用于获得具有足够分辨率、频率、细节和质量的雷达数据,以用于基于雷达的(例如,触摸无关的)姿势识别。雷达系统104可以进一步在其他模式(包括接近度模式或待机模式)下操作。如果支持多模式操作,则雷达系统104能够继续在一种或多种模式下操作,即使禁用不同的模式。例如,禁用基于雷达的姿势识别可能对由雷达系统104执行的基于雷达的防撞操作没有影响。雷达系统104的一些示例可以不是多模式的,并且因此,禁用基于雷达的姿势识别能够完全禁用雷达系统104。
除了是情境敏感的之外,姿势识别模型621可以基于订户的身份来调整门控灵敏度。订户能够是从姿势识别模型621接收输出的应用、服务或组件。例如,姿势识别模型621提供接口,UE 102的应用或组件(例如,认证系统114、操作系统功能或服务、应用、驱动器)通过该接口向姿势识别模型621注册并被分配身份。订户指示门控敏感性以应用于不同的情境。订户可以指示姿势的类型或基于雷达的姿势的类型以应用门控。例如,操作系统可以通过UE 102的锁屏用户界面上的窗口小部件来提供对功能的访问。窗口小部件可以识别基于雷达的姿势,并且可以订阅从姿势识别模型621输出的姿势识别。在一些情境中,来自姿势识别模型621的输出被门控以防止姿势的指示被订户使用。在其他情境中准许来自姿势识别模型621的输出,并且将姿势的指示发送给订户。在一些情境中,来自姿势识别模型621的输出能够针对一个订户进行门控,但不针对另一订户进行门控。例如,在特定情境中由窗口小部件订户使用的相同姿势识别可能不能被选择针对该情境门控姿势的不同订户使用。例如,面部认证应用可能无法在某些条件下使用姿势信息,但是锁定屏幕上的小部件能够使用姿势信息。
姿势识别模型621在操作1406基于订户的身份来选择门控灵敏度。姿势识别模型621基于与订户的身份相关联的门控灵敏度来确定情境是否满足利用雷达系统104的基于雷达的姿势识别的要求。
在1710,响应于模型确定基于雷达(例如,触摸无关)的姿势而执行操作。来自姿势识别模型621的输出能够指示从雷达数据识别的姿势并且将姿势的指示输出到订户。
UE 102可以提供雷达系统104的门控状态的用户界面反馈。UE102能够向用户输出听觉或视觉指示,诸如听觉或视觉警报(例如,“you are moving the device too muchand the radar cannot sense your gesture(您正在过多地移动设备,雷达无法感应到您的姿势)”)、控制UE 102的照明元件、提供触觉反馈、或提供一些其他用户界面反馈。UE 102可以输出门控状态为“门控”或“不门控”的指示,以指示UE 102是否正在门控来自姿势识别模型621的输出。门控状态的指示能够指示门控的原因(例如,提供使门控必要的情境或环境特性的指示)。门控状态的指示能够指示门控级别(例如,参见图18,例如包括软门控、硬门控和无门控的门控的级别)。
UE 102能够改变用户界面并以其它方式提供用户界面反馈。例如,如果正在使用UE 102,显示器打开,并且UE 102正在高功率状态下操作,则从UE 102输出的用户界面反馈可以仅取决于来自移动传感器或其他非雷达传感器的传感器数据。如果显示器关闭或UE102处于较低功率状态,则可能禁止操作处于始终启用状态中的运动传感器或其他非基于雷达的传感器。除了满足触摸无关的姿势识别要求的情境之外,UE 102可以避免监视移动传感器或其他非雷达传感器。以这种方式,根据姿势识别模型621是否能够确定基于雷达的姿势来调节用户界面反馈。
例如,当软门控或硬门控雷达系统104时和/或当门控停止并且基于雷达的姿势识别恢复时,UE 102能够提供“姿势”用户界面反馈元素。姿势用户界面反馈元素是用户可感知的元素,诸如出现在显示器的活动区域上的视觉元素。姿势反馈元素还能够是(或包括)不在显示器上的光元素、触觉元素(例如,振动元素)和/或音频元素(例如,用户可感知的声音),可以在显示器的边缘处或沿着显示器的边缘被呈现,并且可以具有各种形状、尺寸、颜色和其他视觉参数或属性中的任何一种。其他视觉参数或属性的示例包括亮度、颜色、对比度、形状、饱和度或不透明度。
姿势识别门控
图18描绘了利用情境敏感门控和其它情境敏感控制的基于雷达的姿势识别的示例方法1800。方法1800被示出为框的集合,其指定所执行的操作,但不一定限于所示出的用于由相应框执行操作的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供广泛的附加和/或替代方法,例如方法1000、1200、1400和1700。在以下讨论的部分中,可以参考图1的示例操作环境100或如在其他附图中详述的实体或过程,对其的引用仅作为示例。这些技术不限于由在一个设备上操作的一个实体或多个实体执行。
执行操作1802、1804和1806以采用基于雷达的检测系统的门控有两种常见场景。一种场景是当雷达系统104被对象覆盖或遮挡时。当UE 102面朝下放在表面上或者在口袋、钱包、包或其他外壳中时,雷达系统104可能被遮挡或覆盖。另一种场景是当UE 102正在经历显著移动时。例如,如果手中携带UE 102的用户120去跑步,则UE 102不应当错误地理解利用雷达系统104的触摸无关的姿势。
在1802,确定是否由雷达系统104硬门控基于雷达的姿势识别。情境被确定,指示雷达系统是否被对象(例如,被用户)遮挡。UE 102基于情境从多个级别的门控,包括硬门控和软门控中进行选择,然后相应地对姿势识别模型621进行门控。
如本文中所使用的,术语“软门控”指的是阻止基于雷达的姿势的指示被雷达系统104输出到订户的操作。与雷达系统104在低功率模式或中间功率模式下操作的硬门控不同,软门控在不考虑雷达系统104的功率级别的情况下发生。软门控能够通过禁用来自姿势识别模型621的输出而发生,并且在其他情况下,软门控通过禁用对姿势识别模型621的输入而发生。姿势识别模型621可以在软门控期间继续识别基于雷达的姿势。然而,在软门控期间,雷达系统104不与订户(例如,应用、线程、活动、用户界面对象)共享所识别的姿势。订户没有接收到所识别的姿势的指示以供其在执行更高级功能时使用。
在软门控期间,姿势识别模型621能够与由雷达系统104收集的雷达数据屏蔽,并且在软门控期间的其他时间,基于雷达的姿势确定虽然由姿势识别模型621进行,但出于某些其他目的,例如,系统服务或隐藏功能,被雷达系统104内部使用。在软门控期间,UE 102仍可以基于姿势识别模型621所识别的姿势的指示来执行较低级别的支持功能,然而,支持功能对于UE 102的订户和用户可以是透明的。支持功能包括即使在门控情境期间,也学习、理解姿势并根据姿势行动,以最小化未来来自对姿势识别模型621进行软门控的潜在等待时间。
将软门控与术语“硬门控”进行对比,如本文中所使用的,术语“硬门控”指触发雷达系统104在雷达系统104不从雷达数据识别姿势的状态下起作用的操作。在硬门控期间禁用姿势识别模型621。在硬门控期间,雷达系统104能够被用于除了姿势识别之外的其他任务。取决于UE 102是否需要雷达系统104用于任何其他能力,雷达系统104的其他部分也可以在硬门控情境期间被禁用或不被禁用。因此,虽然雷达系统104可以继续执行与基于雷达的姿势识别无关的其他功能,诸如避障,但是雷达系统104的姿势识别模型621在被硬门控时不输出所识别的姿势的指示,从而提供优于软门控的一些功耗节省或者根本不对雷达系统104进行门控。除了提供功耗的节省之外,硬门控对于通过防止雷达系统104的订户响应于错误或非预期输入而执行更高级别的功能来改善用户体验特别有用。
如果UE 102正在软门控雷达系统104,则UE 102可能已经改善了从不活动的姿势识别状态恢复的等待时间。在硬门控的情况下,从不活动姿势识别状态(例如,在雷达系统104的姿势识别特征可能被断电的情况下)恢复时增加的等待时间被不执行复杂的姿势识别功能或将高级别功能从错误输入中断所节省的功率抵消。即,虽然硬门控雷达系统104防止了在UE 102不太可能从用户接收输入的情境期间从雷达数据解释姿势的不必要的功耗,但是UE 102可能比如果雷达系统104被软门控以在门控不再需要时转换回正常操作模式的情况更慢。
在1804,UE 102通过将雷达系统104设置为中间功率或低功率模式来执行硬门控,以不输出数据或输出姿势识别模型621不可用于确定触摸无关姿势的其它数据。当雷达系统104被遮挡时,在1804通过禁用姿势识别模型621来硬门控来自雷达系统104的输出。
在1802,例如,当雷达系统104未被遮挡时,在1806对来自雷达系统的输出进行软门控。UE 102通过避免将由雷达系统104获得的雷达数据输入到姿势识别模型621来对雷达系统104进行软门控。可替代地,UE 102通过防止姿势识别模型621输出所识别的姿势的指示来对雷达系统104进行软门控。
在随后执行操作1700和1800期间,雷达系统104能够根据情境在无门控、软门控和硬门控之间转换。例如,在软门控或硬门控雷达系统104之后,图18的方法返回到“A”并且开始图17的操作1700。如果在对雷达系统进行软门控之后,在1706、1802确定情境指示雷达系统104被接近对象遮挡,则雷达系统104被硬门控。
门控灵敏度
图19图示了实现图17和18的方法的决策树。方案1900的部分可以由处理器608、计算机处理器402或其他硬件电路执行。能够定制方案1900以支持不同类型的电子设备和基于雷达的应用。
当UE 102执行操作1702时,发生传感器数据接收1902。从操作1702,UE 102使用传感器数据来对传感器数据执行移动检测1904和接近度检测算法,以在操作1704期间开发情境,包括确定雷达系统104是否被遮挡,或者确定增加的移动速率。
能够选择移动检测1904和接近检测1906的灵敏度,以平衡移动门控行为,同时能够拒绝设备移动。两种常见的场景图示了对灵敏度调整的需要。第一场景是当用户120正在带着携带在用户侧的UE 102缓慢行走并摆动他们的身体。在没有持续门控的情况下,第一种情况可能导致显著的错误触发。第二场景是如果用户120抬起UE 102来行动。当(从侧面、从桌子、从口袋等)抬起UE 102以交互时,对自然身体移动的后续检测应当调用来自UE 102的快速门控响应。需要较低的门控灵敏度以使响应令人满意地快速并且不引起对用户的任何延迟干扰。在操作1706期间做出门控决策1908,这导致三种门控模式中的一种:关断1910、软门控1912或硬门控1914。
门控状态机
图20图示了实现图17和18的方法的状态机2000的状态图。状态机2000是门控状态机,并且可以作为雷达系统104的一部分执行。
状态机2000包括多个状态2002、2004和2006,每个状态由相应的情境敏感转换函数2008-1到2008-6(统称为“函数2008”)链接。函数2008中的每一个接收传感器数据的至少一部分或其推导作为可变输入。为了便于描述,状态机2000仅包括三种状态:2002、2004和2006。在其他示例中,状态机2000使用多于三种状态。状态机2000基于函数2008在状态2004、2006之间转换。
状态机2000包括非门控状态2002,其中启用利用雷达系统104的基于雷达的姿势识别。软门控状态2004是启用利用雷达系统104的基于雷达的姿势识别,但是对在UE102执行的应用和其他订户隐瞒了基于雷达的姿势识别的结果。对于硬门控状态2006,雷达系统104的基于雷达的姿势识别功能被禁用,尽管雷达系统104的其他功能可以仍然被启用(例如,当姿势识别被禁用时,雷达系统104能够在硬门控期间执行碰撞避免功能)。
函数2008中的每一个计算指示当前情境与状态2002、2004和2006中的每一个之间的兼容性的相应情境得分。例如,函数2008-3计算指示基于定义当前情境的传感器数据,状态机2000是否应当转换到软门控状态2004的情境分数。函数2008-6计算指示基于定义当前情境的传感器数据,状态机2000是否应该转换到硬门控状态2006的情境分数。基于两个状态2004或2006中的哪一个具有满足转换阈值的情境分数,状态机2000从非门控状态2000转换到软门控状态2004或硬门控状态2006。如果函数2008-3和2008-6中的每一个计算满足将状态机2000转换到下一状态的转换阈值的情境分数,则状态机2000可以转换到具有最高情境分数的下一状态。
当处于非门控状态2002时,雷达系统104的状态机2000从传感器108接收传感器数据。函数2008-3和2008-6将传感器数据用作输入,并分别计算指示传感器数据是否满足进入软门控状态2004或硬门控状态2006的要求的情境分数。函数2008-3对应于来自图18的操作1802的“否”结果。函数2008-6对应于来自图18的操作1802的“是”结果。如果函数2008-3和2008-6中的情境分数都不满足相应的转换阈值,则状态机2000仍然在非门控状态2002。
在传感器数据指示用户120正在握持UE 102并观看UE 102的情境中,状态机2000使雷达系统104保持在非门控状态200中操作的姿势识别模式。如果用户120目光远离UE102以与另一个人交谈而不放下UE 102或维持UE 102基本稳定时,则函数2008-3可以计算超过用于转换到软门控状态2004的相应转换阈值的情境分数。UE 102可能想要仍然准备好恢复检测基于雷达的用户输入,因此在诸如用户暂时脱离UE 102的情况下,如果用户120返回看UE 102,则UE 102可以快速返回到非门控状态2002;软门控由此增强了使用UE 102的用户体验。状态机2000转换到软门控状态2004并且继续启用利用雷达系统104的基于雷达的姿势识别,然而状态机2000防止雷达系统104将姿势识别的结果输出到在UE 102执行的应用。
再次从非门控状态2002开始,在稍微不同的情境中,传感器数据指示用户120目光远离UE 102以与另一个人进行交谈,同时还将UE 102放到用户120侧边,或者以其他方式不维持UE 102基本上稳定。函数2008-6可以计算超过用于转换到硬门控状态2006的相应转换阈值的情境分数。雷达系统104能够继续为UE 102执行其他雷达操作,然而雷达系统104的基于雷达的姿势识别功能在硬门控状态下被禁用。因此,硬门控促进了节省电力,当不可能需要姿势识别时,将雷达状态104放置于姿势识别被禁用的状态。
在转换到软门控状态2004之后,从传感器108和雷达系统104接收更新的传感器数据。状态机2000使用函数2008-1和2008-4来计算相应的情境分数。函数2008-1对应于来自图17的操作1706的“是”结果。函数2008-4对应于来自图18的操作1802的“是”结果。如果函数2008-1的情境分数超过用于转换到非门控状态2002的转换阈值,则状态机2000转换到非门控状态2002。如果函数2008-4的情境分数超过用于转换到硬门控状态2006的转换阈值,则状态机2000转换到硬门控状态2006。如果函数2008-1和2008-1的情境分数都超过其相应的转换阈值,则状态机2000可以转换到状态2002或2006,其与比另一函数的情境分数更高的情境分数相关联。假设函数2008-4的情境分数超过函数2008-1的情境分数并且与从软门控状态2004转换到硬门控状态2006相关联的转换阈值。
在转换到硬门控状态2006之后,从传感器108和雷达系统104接收更新的传感器数据。状态机2000使用函数2008-2和2008-5计算相应的情境分数。函数2008-2对应于来自图18的操作1802的“否”结果。函数2008-5对应于来自图17的操作1706的“是”结果。如果函数2008-5的情境分数超过用于转换到非门控状态2002的转换阈值,则状态机2000转换到非门控状态2002。如果函数2008-2的情境分数超过用于转换到软门控状态2004的转换阈值,则状态机2000转换到软门控状态2004。如果函数2008-2和2008-5的情境分数都超过其相应的转换阈值,则状态机2000可以转换到与比另一函数的情境分数更高的情境分数相关联的状态2002或2004。
状态机2000能够基于由机器学习模型做出的推论而被机器学习或驱动。机器学习模型被训练以基于定义当前情境的传感器数据或其他输入来预测用于雷达系统104的合适的门控状态。例如,函数2008能够是针对当前情境的用于计算情境分数的机器学习规则或应用或机器学习模型。换句话说,每个函数2008能够是机器学习模型或机器学习模型的实例,其被训练以预测下一个雷达状态或将当前情境等同于下一个雷达状态的情境分数。
其他情境敏感控制
如上面详细描述,雷达系统104依赖于UE 102的情境和用户120的位置和定位的意识来门控雷达系统104或不门控雷达系统104。应用于情境敏感门控的这些相同技术能够应用于依赖于雷达系统104和雷达功能的其他情境敏感控制。
UE 102还能够使用雷达系统104和其它传感器108来预测用户120的接洽意图。UE102的情境能够相对于用户120,指示从UE 102到用户120的距离,指示用户120是朝向还是远离UE 102移动,指示用户120是否正在伸向UE 102,以及与UE 102相关的用户120的姿势或定向。
雷达系统104重新配置如何执行姿势识别、接近度检测和其他雷达功能,以使每个雷达功能适应以最适合当前情境。例如,当用户120和UE 102在中等大小的房间中时,被编程到函数2008中以用于在状态机2000的不同状态2002、2004和2006之间转换的距离和灵敏度在一些情境中可能是不合适的。如果用户120和UE 102在较小的房间、汽车或甚至在人数与最初预测的人数不同的中等大小的房间中,则用于在不同状态2002、2004和2006之间转换的函数2008改变或适应以适合新的情境。换句话说,状态机2000能够包括转换函数,诸如函数2008,其基于情境的变化来动态地改变标准。函数2008的结果同样可以相应地改变。基于来自可用信号、传感器或其他数据的输入,状态机2000能够调整函数2008的参数,从而调整UE 102的功能。如上所述,函数2008可以是机器学习模型或机器学习模型的一部分,其被训练以预测特定状态适合于当前情境的置信度或分数。以下是雷达系统104如何动态地适应雷达功能以最适合当前情境的一些非限制性示例。
状态机2000能够基于由传感器108的IMU生成的惯性数据暂停(例如软门控、硬门控)雷达系统104(或使雷达系统104处于睡眠模式)。指示UE 102正在以可能降低雷达系统104执行不仅基于雷达的姿势识别的其他雷达功能的能力的准确性或效率的方式移动的惯性数据。来自IMU的惯性数据能够包括X、Y和Z轴移动信息。状态机2000将三个移动组合成浮点值,状态机2000将该浮点值输入到函数20008中以在状态2002、2004和2006之间转换。
状态机2000还基于由传感器108生成的其他非IMU传感器数据或由任何其他数据源生成的任何其他有用信息来控制雷达系统104(或使雷达系统104处于睡眠模式)。例如,UE 102可以包括日历应用、时钟应用、位置服务、接近度服务、通信服务、金融服务、或任何其他情境数据源。在UE 102执行的订户应用可以向雷达系统104提供情境信息,正如订户应用可以接收由雷达系统104识别的姿势输入的指示一样。
所有这些潜在的信息源能够馈送状态机2000和函数2008,以确定雷达系统104是否应该被暂停或门控。另外,系统能够知道什么应用正在运行,这能够进一步细化UE 102的情境感知并帮助UE 102做出关于暂停模式的决定。
雷达系统104的环境感知进一步使UE 102能够根据情境改变多个可用的雷达状态或模式。例如,在汽车情境中,雷达系统104仅需要处于无门控或软门控模式,因为不考虑功耗的最大响应性是UE 102在处于汽车模式时(如果接通汽车的电源)的期望特性。仅两种状态是必需的,例如,因为雷达系统104假设用户120仅几英尺远(限于汽车),因此当用户不在场时的硬门控或当不太可能与UE 102交互时的节省功率不是必需的。
雷达系统104的情境感知依赖于动态函数2008或甚至机器学习模型来调整门控状态和雷达系统104的其他雷达模式之间的触发参数,诸如意识区域或识别区域的大小、对伸出或其他姿势的距离或速度的改变的敏感度等。雷达系统104的其他功能能够是基于情境的。考虑单独在汽车中的用户与在地铁上或在拥挤的会议室中的用户。雷达系统104能够使用不同的灵敏度、反馈和特征来确定基于雷达的姿势,因为诸如这些的某些设置在不同的情境中可能更有效。
用于控制雷达系统104的情境意识能够以其它方式是有用的。例如,响应于在存放情境中(例如,在自行车上)检测到UE 102,雷达系统104可以自动地将其自身配置用于碰撞避免雷达模式并禁用姿势识别。
雷达系统104在稳定时可以更有效。如果来自传感器108的传感器数据指示UE 102正在以太高的摇动或振动幅度或频率进行摇动或振动,则雷达系统104自动地禁用基于雷达的姿势识别和其他雷达功能。这节省了大量不必要的计算和测量周期,因为当UE 102不稳定和摇动时,雷达系统104不太可能提供有用的结果。
到UE 102的情境信息源能够远离UE 102,例如,与UE 102配对的计算机化手表的传感器或输入组件能够是补充从传感器108收集的传感器数据的另一传感器信息源。在这种情况下,雷达系统104可以基于来自通信耦合的手表的传感器数据来门控或以其他方式控制雷达功能。传感器数据可以包括心率信息。当用户的心率超过用于指示锻炼或剧烈物理移动的特定阈值时,雷达系统104可以禁用基于雷达的姿势识别或雷达系统104的其他特征,因为用户在锻炼时不太可能在UE 102处做姿势。
来自传感器108的环境光传感器捕获指示UE 102的情境何时处于低光区域中的传感器数据。在这样的情境中,雷达系统104在用户120将难以与UE 102交互的假设下操作,因此雷达系统104使其接口对草率输入更宽容。
当雷达系统104被遮挡时,传感器108中的接近度传感器(例如,光学接近度传感器)能够触发雷达系统104关闭或进入姿势识别被禁用的状态。到UE 102的无线信号、电源连接、网络连接和其他连接能够提供用于控制雷达系统104的附加情境信息。响应于检测到为UE 102供电的充电电缆、扩展坞或无线充电系统,雷达系统104避免进入硬门控状态2006,因为UE 102不需要处理充电时的功耗,并且用户120更可能希望从雷达系统104获得更快的响应速率。在相关示例中,当连接到无线充电系统时,雷达系统104可以禁用其大部分能力以避免干扰无线充电器。雷达系统104可以在不活动模式下操作,以避免干扰由UE102发送或接收的通信和其它信号。
雷达系统104能够可操作地耦合到一个或多个传感器108,并响应于中断或直接从传感器108接收的信息而触发。例如,当NFC正在处理支付或其他认证姿势时,近场通信单元或NFC传感器能够触发雷达系统104进入非门控模式。
雷达系统104能够与其他输入组件协调地接通或断开。例如,用户120可以向UE102的触摸屏提供输入,并且在检测到触摸屏处的输入时,雷达系统104可以禁用姿势识别。在其他情况下,雷达系统104通过保持接通并将关于所识别的姿势的信息发送到同时处理触摸屏数据和雷达数据以推断用户意图的输入解码器来增强触摸屏功能。以这种方式,雷达系统104和触摸屏能够识别在软键盘处的键入或对GUI的其他输入,即使用户120在提供触摸输入的同时佩戴手套,这能够干扰一些存在敏感屏幕。
雷达系统104可以基于包括温度、湿度、压力等的其它情境信息来控制雷达功能。雷达系统104可以使用某些设置来考虑由于气象条件的变化而可能发生的性能变化。使用语音或声音信息,雷达系统104可以控制雷达功能,基于语音命令激活或去激活特征。
示例
在以下段落中,提供了示例。
示例1.一种用于基于雷达的姿势识别的情境敏感控制的方法,该方法包括:从用户设备的多个传感器接收传感器数据;基于传感器数据,确定用户设备的情境;确定情境是否满足基于雷达的姿势识别的要求;以及响应于确定情境不满足基于雷达的姿势识别的要求,对雷达系统进行门控以防止雷达系统向用户设备的应用订户输出基于雷达的姿势的指示。
示例2.根据示例1的方法,其中,对雷达系统进行门控包括通过触发雷达系统在雷达系统不从雷达数据识别姿势的状态下运行来对雷达系统进行硬门控。
示例3.根据示例2的方法,其中,对雷达系统进行硬门控进一步响应于确定情境指示雷达系统被对象遮挡。
示例4.根据示例1的方法,其中,对雷达系统进行门控包括通过触发雷达系统在雷达系统不输出基于雷达的姿势的指示的状态下运行来对雷达系统进行软门控。
示例5.根据示例4的方法,其中,对雷达系统进行软门控进一步响应于确定情境指示雷达系统未被对象遮挡。
示例6.根据示例4的方法,其中,对雷达系统进行软门控以防止雷达系统向用户设备的应用订户输出基于雷达的姿势的指示不禁止雷达系统识别来自雷达数据的基于雷达的姿势。
示例7.根据示例4的方法,进一步包括:在对雷达系统进行软门控之后,确定情境指示雷达系统被对象遮挡;以及响应于确定情境指示雷达系统被对象遮挡,通过触发雷达系统在雷达系统不从雷达数据识别姿势的状态下运行来对雷达系统进行硬门控。
示例8.根据示例1的方法,其中,情境是第一情境,并且传感器数据是第一传感器数据,该方法进一步包括:从多个传感器接收第二传感器数据;基于第二传感器数据,确定用户设备的第二情境;确定第二情境是否满足基于雷达的姿势识别的要求;响应于确定第二情境满足基于雷达的姿势识别的要求,将由雷达系统获得的雷达数据输入到从输入的雷达数据确定基于雷达的姿势的模型中;以及响应于模型确定基于雷达的姿势而执行操作,该操作与所确定的基于雷达的姿势相关联。
示例9.根据示例8的方法,其中,将由雷达系统获得的雷达数据输入到基于雷达的姿势识别的模型中包括避免对雷达系统进行门控并将雷达系统设置为基于雷达的姿势识别的活跃状态。
示例10.根据示例1至9中的任一个的方法,其中,雷达系统被配置为用于生成传感器数据的至少一部分的接近度传感器。
示例11.根据示例1至10中的任一个的方法,其中,确定情境是否满足利用雷达系统的基于雷达的姿势识别的要求包括:确定情境是否指示用户正在握持用户设备或者情境是否指示用户正在行走。
示例12.根据示例11的方法,进一步包括:响应于确定用户没有握持用户设备并且用户正在行走;或响应于确定雷达系统被对象遮挡,确定情境不满足基于雷达的姿势识别的要求。
示例13.根据示例11的方法,进一步包括:基于传感器数据是否指示特定移动来确定用户是否正在握持用户设备、用户正在如何握持用户设备或用户是否正在行走。
示例14.根据示例1至13中的任一个的方法,进一步包括:确定基于雷达的姿势识别的应用订户的身份;基于订户的身份,选择用于确定情境是否满足基于雷达的姿势识别的要求的门控敏感度,其中,确定情境是否满足利用雷达系统的基于雷达的姿势识别的要求是基于与订户的身份相关联的门控敏感度。
示例15.根据示例14的方法,其中,门控敏感度特定于由应用订户中的一个预选择的基于雷达的姿势的类型。
示例16.根据示例1至15中的任一个的方法,进一步包括:响应于模型确定基于雷达的姿势来改变用户设备的状态,用户设备的状态包括访问状态、功率状态或信息状态。
示例17.根据示例1至16中的任一个的方法,其中,确定情境是否满足基于雷达的姿势识别的要求包括:执行状态机,该状态机包括通过接收传感器数据的至少一部分作为可变输入的相应的情境敏感转换函数链接的多个状态。
示例18.根据示例17的方法,其中,状态机包括:不门控状态,其中利用雷达系统的基于雷达的姿势识别被启用;软门控状态,其中利用雷达系统的基于雷达的姿势识别被启用,但是对用户设备处执行的应用和其他订户隐瞒了基于雷达的姿势识别的结果;以及硬门控状态,其中利用雷达系统的基于雷达的姿势识别被禁用。
示例19.根据示例1至18中的任一个的方法,其中,多个传感器包括惯性测量单元。
示例20.根据示例1至19中的任一个的方法,其中,多个传感器不包括相机传感器。
示例21.根据示例1至20中的任一个所述的方法,其中,多个传感器包括接近度传感器、环境光传感器、麦克风或气压计。
示例22.根据示例21的方法,其中,该接近度传感器是光学接近度传感器。
示例23.根据示例1所述的方法,其中,情境是第一情境,以及传感器数据是第一传感器数据,该方法进一步包括:从多个传感器接收第二传感器数据;基于第二传感器数据确定用户设备的第二情境;确定第二情境是否满足基于雷达的姿势识别的要求;响应于确定第二情境满足对基于雷达的姿势识别的要求,向用户设备的应用订户输出基于雷达的姿势的指示。
示例24.根据示例23的方法,进一步包括:进一步响应于确定第二情境满足基于雷达的姿势识别的要求:将由雷达系统获得的雷达数据输入到模型,该模型由所输入的雷达数据确定基于雷达的姿势;以及从模型向应用订户输出基于雷达的姿势的指示。
示例25.根据示例1、23和24中的任一个的方法,其中,多个传感器包括惯性测量单元。
示例26.根据示例1和23-25中的任一个的方法,其中,多个传感器不包括相机传感器。
示例例27.根据示例1和23-28中的任一个的方法,其中,多个传感器包括接近度传感器、环境光传感器、麦克风或气压计。
示例28.根据示例1和23-28中的任一个的方法,其中:确定所述用户设备的情境包括确定用户是否正在握持用户设备、用户如何握持用户设备的定向、或者用户是否正在行走;以及确定情境是否满足基于雷达的手势识别的要求包括基于用户是否正在握持用户设备、用户如何握持用户设备的定向、或者用户是否正在行走来确定所述情境是否满足基于雷达的手势识别的要求。
示例29.根据示例1和23-28中的任一个的方法,其中:确定用户设备的情境包括确定雷达系统是否被对象遮挡;以及确定情境是否满足基于雷达的姿势识别的要求包括基于雷达系统是否被对象遮挡来确定情境是否满足基于雷达的姿势识别的要求。
示例30.根据示例1和23-29中的任一个的方法,其中:确定用户设备的情境包括确定基于传感器数据确定的环境光是否指示低光条件;以及确定情境是否满足基于雷达的姿势识别的要求包括根据基于传感器数据确定的环境光是否指示低光条件来确定情境是否满足基于雷达的姿势识别的要求。
示例31.根据示例1和23-30中的任一个的方法,其中:确定用户设备的情境包括确定有线充电系统还是无线充电系统正在为用户设备供电;以及确定情境是否满足基于雷达的姿势识别的要求包括基于确定有线充电系统还是无线充电系统正在为用户设备供电来确定情境是否满足基于雷达的姿势识别的要求。
示例32.根据示例1和23-31中的任一个的方法,其中,确定用户设备的情境包括确定由用户设备接收的无线信号,该方法进一步包括:控制雷达系统以防止对由用户设备接收的无线信号的干扰。
示例33.根据示例1和23-32中的任一个的方法,其中,确定用户设备的情境包括确定气象条件的变化,该方法进一步包括在识别基于雷达的姿势的同时,控制雷达系统以考虑气象条件。
示例34.根据示例1和23-33中的任一个的方法,其中:确定用户设备的情境包括确定是否在存在敏感显示器处检测到输入;以及确定情境是否满足基于雷达的姿势识别的要求包括基于是否在存在敏感显示器检测到输入来确定情境是否满足基于雷达的姿势识别的要求。
示例35.一种系统,包括用于执行根据示例1至34中的任一个的方法的装置。
示例36.一种装置,其被配置为执行根据示例1至34中的任一个的方法。
结论
尽管已经以特定于特征和/或方法的语言描述了用于利用情境敏感的门控和其他情境敏感的控制的基于雷达的姿势识别的技术和装置的实施方式,但是应该理解,所附权利要求的主题不必限于所描述的特定特征或方法。相反,将特定特征和方法公开为示例实施方式,以能够实现利用情境敏感的门控和其他情境敏感控制的基于雷达的姿势识别。

Claims (13)

1.一种用于基于雷达的姿势识别的情境敏感控制的方法,所述方法包括:
从用户设备的多个传感器接收传感器数据;
基于所述传感器数据确定所述用户设备的情境,所述用户设备的情境指示所述用户设备在低光条件内;
至少部分地基于所述情境是否指示所述用户设备在低光条件内确定所述情境是否满足基于雷达的姿势识别的要求;以及
响应于确定所述情境不满足基于雷达的姿势识别的要求,对雷达系统进行门控以防止所述雷达系统向所述用户设备的应用订户输出基于雷达的姿势的指示。
2.根据权利要求1所述的方法,其中,所述情境是第一情境,并且所述传感器数据是第一传感器数据,所述方法进一步包括:
从所述多个传感器接收第二传感器数据;
基于所述第二传感器数据确定所述用户设备的第二情境;
确定所述第二情境是否满足基于雷达的姿势识别的要求;
响应于确定所述第二情境满足基于雷达的姿势识别的要求,向所述用户设备的所述应用订户输出基于雷达的姿势的所述指示。
3.根据权利要求2所述的方法,进一步包括:
进一步响应于确定所述第二情境满足基于雷达的姿势识别的要求:
将由所述雷达系统获得的雷达数据输入到模型,所述模型从所输入的雷达数据确定所述基于雷达的姿势;以及
从所述模型向所述应用订户输出所述基于雷达的姿势的指示。
4.根据权利要求1-3中的任一项所述的方法,其中,所述多个传感器包括惯性测量单元。
5.根据权利要求1-3中的任一项所述的方法,其中,所述多个传感器不包括相机传感器。
6.根据权利要求1-3中的任一项所述的方法,其中,所述多个传感器包括接近度传感器、环境光传感器、麦克风或气压计。
7.根据权利要求1-3中的任一项所述的方法,其中:
确定所述用户设备的情境进一步包括确定所述用户是否正在握持所述用户设备、所述用户如何握持所述用户设备的定向、或者所述用户是否正在行走;以及
确定所述情境是否满足基于雷达的姿势识别的要求进一步基于所述用户是否正在握持所述用户设备、所述用户如何握持所述用户设备的定向、或者用户是否正在行走。
8.根据权利要求1-3中的任一项所述的方法,其中:
确定所述用户设备的情境进一步包括确定所述雷达系统是否被对象遮挡;以及
确定所述情境是否满足基于雷达的姿势识别的要求进一步基于所述雷达系统是否被对象遮挡。
9.根据权利要求1-3中的任一项所述的方法,其中:
确定所述用户设备的所述情境进一步包括确定有线充电系统还是无线充电系统正在为所述用户设备供电;以及
确定所述情境是否满足基于雷达的姿势识别的要求进一步基于确定有线充电系统还是无线充电系统正在为所述用户设备供电。
10.根据权利要求1-3中的任一项所述的方法,其中,确定所述用户设备的情境进一步包括确定由所述用户设备接收的无线信号,所述方法进一步包括:
调整所述雷达系统的设置以防止对由所述用户设备接收的所述无线信号的干扰。
11.根据权利要求1-3中的任一项所述的方法,其中,确定所述用户设备的情境进一步包括确定气象条件的变化,所述方法进一步包括:在识别基于雷达的姿势的同时,调整所述雷达系统的设置以考虑所述气象条件。
12.根据权利要求1至3中的任一项所述的方法,其中:
确定所述用户设备的情境进一步包括确定是否在存在敏感显示器处检测到输入;以及
确定所述情境是否满足基于雷达的姿势识别的要求进一步基于是否在所述存在敏感显示器处检测到输入。
13.一种用于基于雷达的姿势识别的情境敏感控制的系统,所述系统包括用于执行根据权利要求1至12中的任一项所述的方法的装置。
CN201980096552.8A 2019-07-26 2019-09-27 基于雷达的姿势识别的情境敏感控制 Active CN113853566B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962879361P 2019-07-26 2019-07-26
US62/879,361 2019-07-26
US201962894566P 2019-08-30 2019-08-30
US62/894,566 2019-08-30
PCT/US2019/053676 WO2021021224A1 (en) 2019-07-26 2019-09-27 Context-sensitive control of radar-based gesture-recognition

Publications (2)

Publication Number Publication Date
CN113853566A CN113853566A (zh) 2021-12-28
CN113853566B true CN113853566B (zh) 2024-05-28

Family

ID=78900100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096552.8A Active CN113853566B (zh) 2019-07-26 2019-09-27 基于雷达的姿势识别的情境敏感控制

Country Status (4)

Country Link
EP (1) EP4004687A1 (zh)
JP (2) JP7346595B2 (zh)
KR (1) KR20210145281A (zh)
CN (1) CN113853566B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4318227B1 (ja) * 2008-04-21 2009-08-19 守弘 斎藤 走行ロボット
CN106371569A (zh) * 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
CN208339456U (zh) * 2017-09-01 2019-01-08 江苏索众智能科技有限公司 一种智能马桶盖
CN110050240A (zh) * 2016-12-14 2019-07-23 Abb 瑞士有限公司 用于监视技术系统的状态的计算机系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569003B2 (en) * 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US9268399B2 (en) * 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences
US9530299B2 (en) * 2015-03-03 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and apparatuses for assisting a visually-impaired user
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10393872B2 (en) * 2015-12-08 2019-08-27 Garmin Switzerland Gmbh Camera augmented bicycle radar sensor system
EP3387628B1 (en) * 2015-12-11 2021-05-12 Somniq, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
US10474145B2 (en) * 2016-11-08 2019-11-12 Qualcomm Incorporated System and method of depth sensor activation
US10768682B2 (en) * 2017-01-20 2020-09-08 Flir Systems, Inc. Detection-based wakeup of detection devices
US10845477B2 (en) * 2017-05-10 2020-11-24 Google Llc Power management using a low-power radar
US10484530B2 (en) * 2017-11-07 2019-11-19 Google Llc Sensor based component activation
JP2019030000A (ja) * 2018-06-27 2019-02-21 京セラ株式会社 電子機器、プログラムおよび制御方法
CN109032488A (zh) * 2018-07-17 2018-12-18 Oppo广东移动通信有限公司 黑屏手势的处理方法、存储介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4318227B1 (ja) * 2008-04-21 2009-08-19 守弘 斎藤 走行ロボット
CN106371569A (zh) * 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
CN110050240A (zh) * 2016-12-14 2019-07-23 Abb 瑞士有限公司 用于监视技术系统的状态的计算机系统和方法
CN208339456U (zh) * 2017-09-01 2019-01-08 江苏索众智能科技有限公司 一种智能马桶盖

Also Published As

Publication number Publication date
JP7346595B2 (ja) 2023-09-19
EP4004687A1 (en) 2022-06-01
JP2022541094A (ja) 2022-09-22
CN113853566A (zh) 2021-12-28
KR20210145281A (ko) 2021-12-01
JP2023169225A (ja) 2023-11-29

Similar Documents

Publication Publication Date Title
CN114827344B (zh) 由用户设备进行的鲁棒的基于雷达的姿势识别
US11385722B2 (en) Robust radar-based gesture-recognition by user equipment
US11467672B2 (en) Context-sensitive control of radar-based gesture-recognition
JP7292437B2 (ja) Imuおよびレーダーに基づいて状態を下げること
JP7316383B2 (ja) Imuおよびレーダーを介した認証管理
KR102639579B1 (ko) 인증된 상태 유지하기
WO2021021220A1 (en) Authentication management through imu and radar
US11868537B2 (en) Robust radar-based gesture-recognition by user equipment
CN113853566B (zh) 基于雷达的姿势识别的情境敏感控制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant