CN113924568A - 基于雷达的认证状态反馈 - Google Patents

基于雷达的认证状态反馈 Download PDF

Info

Publication number
CN113924568A
CN113924568A CN201980097071.9A CN201980097071A CN113924568A CN 113924568 A CN113924568 A CN 113924568A CN 201980097071 A CN201980097071 A CN 201980097071A CN 113924568 A CN113924568 A CN 113924568A
Authority
CN
China
Prior art keywords
electronic device
user
radar
mode
visual element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980097071.9A
Other languages
English (en)
Inventor
莱昂纳多·朱斯蒂
伊万·波派列夫
维格内什·萨奇达南达姆
约翰·普拉克
布兰登·巴贝尔洛
泰勒·里德·库格勒
阿洛克·尚德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN113924568A publication Critical patent/CN113924568A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • G01S7/412Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60Context-dependent security
    • H04W12/68Gesture-dependent or behaviour-dependent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文档描述了启用基于雷达的认证状态反馈的技术和系统。雷达场(110)被用于使电子设备(102)能够考虑用户的远端物理线索,以确定并维持对用户位置和设备周围移动的意识。这种意识允许设备预测用户的一些预期交互并且以及时和无缝的方式提供功能性,诸如准备认证系统(118)以在用户触摸设备或对设备讲话之前对用户进行认证。这些特征还允许设备提供视觉反馈,其能够帮助用户理解设备意识到用户的位置和移动。在一些情况下,使用呈现在显示器(114)上的视觉元素(1004‑1010、1104、1106、1204、1206)来提供反馈。

Description

基于雷达的认证状态反馈
背景技术
电子设备被用于通信、存储信息和照片,并且进行商业和金融交易。因为存储在电子设备上的信息的类型和数量,许多设备在没有主动用户交互的情况下或基于一些其他准则在一些时段之后关闭显示器并锁定对设备的访问。一旦电子设备被锁定,通常只有已授权的用户才能解锁并访问该设备。因此,电子设备通常还包括允许设备在授予用户访问设备之前验证用户(例如,确定用户是已授权的用户)的技术。
取决于用户每次会话访问设备的时间长短或用户与设备交互的频率,用户每天可能不得不多次进行验证(根据一些研究,典型用户访问其电子设备的次数每天超过50次)。通常,验证需要用户在触摸屏上执行特定交互,记住并键入复杂的密码,或者将手指抵靠传感器足够长的时间以使设备检测到指纹。一些电子设备使用相机和面部识别算法来尝试减少验证过程的复杂性,但这些方法可能需要附加的时间来进行诸如相机预热的操作。此外,即使使用面部识别,用户通常也不得不首先拾起电子设备并朝着用户的面部瞄准相机,以使设备意识到用户期望被验证并访问电子设备。只有瞄准用户的面部之后,电子设备才能准备相机或其他验证过程,并授予用户的访问请求。在用户进行物理交互之前,电子设备保持锁定状态并且没有意识到用户的意图。因此,在用户拾起电子设备之前电子设备提供的任何用户体验通常都是乏味的并且缺乏丰富性。
发明内容
本文件描述了使能基于雷达的认证状态反馈的技术和系统。该技术和系统使用雷达场以使诸如智能手机的电子设备能够准确地确定用户的存在与否,并进一步确定已归类为指示用户是否意图与电子设备交互的动作的用户的动作和移动。使用这些技术,电子设备可以考虑用户的远端物理线索,以确定并保持对用户在其环境中的位置和移动的意识。反过来,这种意识允许电子设备预测用户的一些预期交互,并以及时和无缝的方式提供功能性,诸如在用户触摸电子设备或对电子设备讲话之前准备验证系统以对用户进行验证。确定用户意图的意识和能力还允许电子设备提供反馈,该反馈可以帮助用户了解电子设备意识到用户以及用户相对于电子设备的位置和移动。这种反馈可以教育用户电子设备意识到什么,并允许用户利用这些技术提供的附加功能性和特征。在一些情况下,使用呈现在电子设备的显示器上的视觉元素来提供反馈。
下面描述的方面包括一种电子设备,该电子设备包括显示器、雷达系统、一个或多个计算机处理器和一个或多个计算机可读介质。雷达系统至少部分地以硬件实现并提供雷达场。雷达系统还感测雷达场中来自用户的反射,分析雷达场中来自用户的反射,并基于反射分析提供雷达数据。一个或多个计算机可读介质包括可以由一个或多个计算机处理器执行以实现基于雷达的意识管理器的存储的指令。基于雷达的意识管理器将电子设备维持在休眠模式。意识管理器还基于雷达数据的第一子集确定用户在电子设备的识别区域内的存在,并且响应于确定用户在识别区域内的存在,使电子设备进入意识模式。在意识模式中,显示器呈现指示电子设备的第一状态的第一视觉元素。意识管理器还基于雷达数据的第二子集检测被归类为与电子设备交互的用户意图的指示的用户动作。响应于检测到与要与电子设备交互的用户意图相关联的用户动作,意识管理器使电子设备准备认证系统以执行认证过程。基于触发事件,意识管理器还使已准备的认证系统对用户执行认证过程。响应于用户被认证,意识管理器使电子设备进入活动模式。
下面描述的方面还包括在电子设备中实现的方法,该电子设备包括雷达系统和基于雷达的意识管理器。该方法包括由雷达系统提供雷达场并且由雷达系统感测来自雷达场中的对象的反射。该方法还包括分析来自雷达场中对象的反射并基于反射分析提供雷达数据。该方法还包括通过基于雷达的意识管理器将电子设备维持在休眠模式。该方法还包括基于雷达数据的第一子集确定用户在电子设备的识别区域内的存在,和响应于确定用户在识别区域内的存在,使电子设备进入意识模式。在意识模式中,显示器呈现指示电子设备的第一状态的第一视觉元素。该方法还包括基于雷达数据的第二子集检测被归类为要与电子设备交互的用户意图的指示的用户动作。该方法进一步包括,响应于检测到被归类为要与电子设备交互的用户意图的指示的用户动作,使电子设备准备认证系统以执行认证过程。该方法还包括由基于雷达的意识管理器并基于触发事件使已准备的认证系统对用户执行认证过程,并且响应于用户被认证,通过基于雷达的意识管理器,使电子设备进入活动模式。
下面描述的方面包括一种系统,该系统包括显示器和电子设备,该电子设备包括用于提供雷达场的装置或与该装置相关联,其提供雷达数据,该雷达数据基于感测和分析来自雷达场中的对象的反射。该系统还包括用于将电子设备维持在第一模式的装置。该系统还包括用于基于雷达数据确定用户在电子设备的识别区域内的存在并且响应于确定用户在识别区域内的存在而使电子设备进入第二模式的装置,其中显示器呈现指示电子设备的第一状态的第一视觉元素。该系统还包括装置,该装置用于基于雷达数据检测用户动作,该用户动作被归类为要与电子设备交互的用户意图的指示,并且响应于检测到要与电子设备交互的用户意图相关联的用户动作,使电子设备准备认证系统以执行认证过程。该系统还包括用于基于触发事件使已准备的认证系统对用户执行认证过程的装置。该系统还包括用于使电子设备响应于用户被认证而进入活动模式的装置。
提供此发明内容以介绍关于基于雷达的认证状态反馈的简化概念,其在下面的详细描述和附图中进一步描述。此发明内容不旨在标识所要求保护的主题的基本特征,也不旨在用于确定要求保护的主题的范围。
附图说明
本文档中参考以下附图描述了基于雷达的认证状态反馈的一个或多个方面的细节。在贯穿附图中使用相同的数字来引用相似的特征和组件:
图1图示其中可以实现使能基于雷达的认证状态反馈的技术的示例环境。
图2图示可以实现基于雷达的认证状态反馈的包括雷达系统的电子设备的示例实施方式。
图3图示图1和2的雷达系统的示例实施方式。
图4图示用于图3的雷达系统的接收天线元件的示例布置。
图5图示图1和图2的雷达系统的示例实施方式的附加细节。
图6图示可以由图1和图2的雷达系统实现的示例方案。
图7至9描绘使能基于雷达的认证状态反馈的示例方法。
图10至12图示具有可以在显示器上以不同模式呈现的视觉元素的示例的在多种模式下操作的图1和图2的电子设备。
图13至17图示当手势订阅应用在电子设备上运行时可以在图1和图2的电子设备的显示器上呈现的附加视觉元素。
图18图示可以被实现为如参考图1至图17所描述的任何类型的客户端、服务器和/或电子设备,或在其中可以实现使用基于雷达的认证状态反馈的技术的示例计算系统。
具体实施方式
概述
本文档描述使能基于雷达的认证状态反馈的技术和系统。如上所述,用于维护电子设备安全的认证系统和过程在用户与电子设备交互的过程中通过要求进行多次耗时的认证能够对用户体验产生不利影响。即使当使用诸如面部识别的不太复杂的认证过程、诸如相机预热和启动面部识别程序的操作也耗费附加的时间。当设备在用户实际上不是不活动而只是被动交互的一些时间段之后锁定访问时,这个问题对用户来说特别令人沮丧。
所描述的技术和系统采用雷达系统,该雷达系统可以基于用户的位置、用户关于设备的定向、用户的手势或其他因素确定要与电子设备交互或者不交互的用户的意图。这些技术允许电子设备通过预测用户何时准备好进行认证并更准确地确定在用户离开时何时锁定设备来提供更及时和更有效的认证过程。因为所描述的技术允许电子设备确定用户的意图,所以交互可能更方便且不那么令人沮丧,因为电子设备可以预测用户的意图并进入适当的模式或状态来交互和接收输入。
此外,雷达系统可以检测用户与电子设备的隐式交互,诸如存在、位所和相对于电子设备的移动。隐式交互的检测使电子设备能够提供反馈和提示,其告知用户电子设备的关于隐式交互和相应功能性的意识水平。
考虑其中电子设备是智能手机的示例,其包括所描述的雷达系统和其他组件。在该示例中,用户可以在用户执行其他任务的同时将智能手机放置在用户的桌子或书桌上。意识管理器可以将电子设备维持在休眠模式,休眠模式减少功耗(例如,通过关闭显示器或其他传感器或以较低的采样率操作雷达系统),但是允许雷达系统检测到用户在电子设备周围的识别区域内的存在。识别区域是电子设备周围的区。识别区域的大小和形状可以是预设的或用户可选的,并且可以被动态调整。在一些情况下,电子设备可以基于许多相关因素,诸如电子设备的类型、电池电量、电子设备的位所、电子设备的速度、或从雷达系统、其他传感器或在电子设备上运行的应用中的一个或多个接收到的数据来确定识别区域的大小和/或形状。当雷达系统检测到用户处于识别区域内时,意识管理器可以自动将智能手机从休眠模式转变成意识模式。
在意识模式下,显示器呈现视觉元素,其可以帮助用户了解智能手机的意识水平和功能性,并改善用户对智能手机的体验。例如,当用户进入识别区域并且智能手机转变成意识模式时,显示器可以呈现诸如时间、日期、连接状态指示器、电池电量指示器或可以被预先确定或用户可选择的其他元素的元素。在一些情况下,如果智能手机正在运行可以通过基于雷达的远程、三维手势接收输入的应用,则显示器可以呈现视觉元素,其指示应用的可用性以接收该类型的手势输入。
意识管理器还可以检测指示用户意图与智能手机交互的用户动作。例如,诸如转向、俯身或伸出手到智能手机的用户动作可以归类为与智能手机交互的用户意图的指示。在这种情况下,当雷达系统检测到用户伸向智能手机时(例如,使用雷达数据),意识管理器可以确定该伸出是用户与智能手机交互的意图的指示,并自动从意识模式转变到参与模式。相反,如果意识管理器确定用户在识别区域中,但是没有检测到被归类为用户意图与智能手机交互的指示的用户动作,则意识管理器可以将智能手机维持在意识模式直到意识管理器检测到被归类为用户交互意图指示的动作。在其他情况下,而无需将被归类为用户交互意图的指示的动作,意识管理器可以在可调整的持续时间内将智能手机维持在意识模式下,并且然后转变回到休眠模式,即使用户保持在识别区域中。
在参与模式下,与意识模式相比,意识管理器可以在显示器上呈现附加或不同的视觉元素,这可以帮助用户了解智能手机的已改变的意识水平和功能性,并且进一步改善用户体验智能手机。例如,当智能手机转变到参与模式时,显示器可以呈现视觉元素,诸如背景图像(例如,壁纸)或欢迎消息。显示器还可以呈现指示对智能手机的访问被锁定并且访问需要认证的视觉元素(例如,锁定的挂锁图标)。这些视觉元素帮助用户了解智能手机意识到用户正在采取建议用户意图与智能手机交互的动作。
此外,当智能手机检测到被归类为用户交互意图指示的动作时,意识管理器可以自动准备认证系统以执行认证过程,诸如面部识别、语音识别或其他认证过程(例如,密码、指纹或其他生物特征输入)。此准备使认证系统能够更快地准备好进行认证。例如,在这种情况下,其中当用户伸向智能手机时意识管理器自动准备认证系统,当意识管理器检测到触发事件时,可以执行认证过程。触发事件是另一交互,其与使智能手机转变到参与状态的动作分离,并指示用户已准备好进行认证,诸如拾起智能手机或俯身在智能手机上。
当用户成功通过认证时,意识管理器可以自动将智能手机从参与模式转变为活动模式。在活动模式下,智能手机已完全准备好与用户交互(例如,运行应用、接收输入和提供输出)。此外,当智能手机处于活动模式时,意识管理器还可以在显示器上呈现附加的或不同的视觉元素,其可以帮助用户了解智能手机的已改变的意识水平和功能性。例如,当智能手机转变到活动模式时,显示器可以将锁定的挂锁图标转变为未锁定的挂锁图标(以指示成功的认证)。在很短的时间段之后,解锁的图标可以淡出并且显示器可以呈现其他视觉元素,诸如主屏幕、背景图像(例如,壁纸)、主屏幕、任务列表或指令(例如,“滑动以打开”)。
所描述的技术和系统采用雷达系统来提供有用且有益的用户体验,该用户体验基于用户与电子设备的交互水平而改变,如由用户相对于设备的自然运动和动作确定的。电子设备不仅可以对明确的用户输入做出反应,还可以向用户提供反馈,以指示设备意识到用户的移动并提示(alert)用户可用的特征和功能性。此外,该设备可以自动准备认证系统,使得用户可以享受快速、无缝和(如果需要)自动认证过程。
所描述的技术和系统可以使电子设备(或至少电子设备的显示设备)相对于一些传统技术实现更低的功耗,其可以使用始终在线的相机(或其他传感器或传感器的组合))来控制一些显示特征。例如,可以减少功耗,因为当用户不在电子设备附近时显示器使用较少的功率,并基于用户与电子设备的隐式交互逐渐增加功耗。这些只是描述的技术和设备可以如何用于使能基于雷达的认证状态反馈的几个示例。本文档中描述了其他示例和实施方式。该文档现在转向示例操作环境,然后描述示例设备、方法和系统。
示例环境
图1图示示例环境100,其中可以实现使能基于雷达的认证状态反馈的技术。示例环境100包括电子设备102,其包括雷达系统104、持久的基于雷达的意识管理器106(意识管理器106)以及可选地一个或多个非雷达传感器108(非雷达传感器108)或者与雷达系统104、持久的基于雷达的意识管理器106(意识管理器106)以及可选地一个或多个非雷达传感器108(非雷达传感器108)相关联。非雷达传感器108可以是诸如音频传感器(例如,麦克风)、触摸输入传感器(例如,触摸屏)、红外(IR)传感器或图像-捕获设备(例如,相机或摄像机)的多种设备中的任一种。
在示例环境100中,雷达系统104通过传送一个或多个雷达信号或波形来提供雷达场110,如下面参考图3-6所描述的。雷达场110是空间体积,雷达系统104可以从该空间体积检测雷达信号和波形的反射(例如,从空间体积中的对象反射的雷达信号和波形)。雷达系统104还使电子设备102或另一电子设备能够感测和分析来自雷达场110中的对象的反射。雷达系统104的一些实施方式在应用于诸如电子设备102的智能手机的场境中时特别有利。例如,通过智能手机,存在诸如对低功率的需要、对处理效率的需要、天线元件的间距和布局的限制以及其他问题的收敛。雷达系统104在需要对精细手势进行雷达检测的智能手机的特定场境中可能是特别有利的。然而,应该注意的是,尽管在所描述的需要精细雷达检测手势的智能手机的场境中这些实施方式特别有利,但是本发明的特征和优点的适用性不一定如此受限,并且涉及其他类型电子设备的其他实施方式(例如,如参考图2所描述的)也在本教导的范围内。
对象可以是雷达系统104可以感测和分析雷达反射的诸如木材、塑料、金属、织物、人体或人体部位(例如,电子设备102的用户的脚、手或手指)的多种对象中的任何对象。如图1中所示,对象是电子设备102的用户112。基于反射的分析,雷达系统104可以提供包括与雷达场110和来自用户112的反射相关联的各种类型的信息的雷达数据,如参考图3-6所描述的(例如,雷达系统104可以将雷达数据传递给其他实体,诸如意识管理器106)。
应注意,基于在雷达场110中感测和分析的来自用户112的反射,可以随着时间流逝连续或定期提供雷达数据。用户112的位置可以随着时间改变(例如,用户112可以在雷达场110内移动),并且因此雷达数据可以对应于改变的位置、反射和分析随着时间而变化。因为雷达数据可以随时间流逝而变化,所以雷达系统104可以提供包括对应于不同时间段的雷达数据的一个或多个子集的雷达数据。例如,雷达系统104可以提供对应于第一时间段的雷达数据的第一子集、对应于第二时间段的雷达数据的第二子集等等。请注意,在一些情况下,雷达数据的一个或多个子集可能与一个或多个其他子集重叠或基本相同。
电子设备102还可以包括显示设备,诸如显示器114。显示器114可以包括任何合适的显示设备,诸如触摸屏、液晶显示器(LCD)、薄膜晶体管(TFT)LCD、共面转换(IPS)LCD、电容式触摸屏显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、超级AMOLED显示器等等。显示器114用于显示与电子设备102的各种模式相关联的视觉元素,这将参考图10至图17在本文中进一步详细描述。
意识管理器106可以被用于与电子设备102的各种组件(例如,模块、管理器、系统、接口或一个或多个非雷达传感器108)交互或控制电子设备102的各种组件。例如,当雷达系统104没有检测到附近的用户时,意识管理器106可以将电子设备102维持在休眠模式。休眠模式是持久的低功耗模式。在休眠模式下,显示器114可以呈现比其他模式更少的视觉元素,或者不呈现视觉元素。在休眠模式的一些实施方式中,显示器可以断电。在其他实施方式中,显示器通电但是是黑色的(例如,不呈现任何元素并且没有被照亮)。在显示器包括或提供可以接收接触输入的触摸界面(例如,可以经由触摸、轻敲或滑动接收输入的电容式触摸界面)的情况下,触摸界面可以开或关。关于意识管理器106和电子设备的休眠模式的术语“持续”意指不需要用户交互来将雷达系统104维持在休眠模式或激活意识管理器106。在一些实施方式中,“持久”状态可以被暂停或关闭(例如,由用户112)。在其他实施方式中,可以根据智能电话102(或其他电子设备)的一个或多个参数来调度或以其他方式管理“持续”状态。例如,用户112可以调度“持续”状态使得其仅在白天是可运行的,即使智能电话102在夜间和白天都是接通的。
在休眠模式中,意识管理器106还可以确定用户112的存在而无需用户的口头、触摸或其他输入。例如,当处于休眠模式时,意识管理器106可以使用雷达系统104提供的雷达数据的一个或多个子集(如本文所述),以确定可以在电子设备102的识别区域116内的用户112和/或其他对象的存在。识别区域116是雷达系统104周围的区域,在该区域内,意识管理器106可以准确地确定用户112的存在。识别区域116可以采取任何各种形状和形式。例如,识别区域116可以与雷达场110(例如,如例如参考图3和4所描述的雷达场110的形状)大致相连。在其他情况下,识别区域116可以采用诸如从雷达系统104延伸的半径、雷达系统104周围的体积(例如,球体、半球、部分球体、波束或圆锥体)的形状,或不均匀的形状(例如,以适应来自意识区域中的障碍物或未被授权使用电子设备102的人的干扰)。在一些情况下,意识管理器106(在休眠模式或另一模式中)可以确定雷达场110中诸如用户112和一个或多个其他用户(例如,其他人)的多个对象的存在。
识别区域可以从雷达系统104延伸各种距离中的任何距离,诸如大约三、七、十或十四英尺(或大约一、二、三或四米)。在其他情况下,如图在图1中所示,识别区域116可以小于雷达场110的最大范围。识别区域116可以是预定义的、用户可选择的或经由另一方法(例如,基于功率要求、剩余电池寿命或另一因素)确定的静态大小或形状。在一些情况下,识别区域116可以由意识管理器106基于诸如电子设备102的速度或位置、一天中的时间、在电子设备102上运行的应用的状态或另一因素的因素而动态地和自动地可调整。
当意识管理器106确定用户112存在于识别区域116内时,意识管理器106可以使电子设备102退出休眠模式并进入意识模式。意识模式是较低功率模式,其中显示器114呈现可以指示电子设备102的状态或功能性级别的一个或多个视觉元素。在意识模式中,电子设备102可以提供与休眠模式下提供的不同的特征和功能。在意识模式的一些实施方式中,所呈现的视觉元素包括描述关于电子设备102的环境信息或简单状态信息的元素。例如,在意识模式中,显示器114可以呈现一天的时间(时钟)、日期、连接状态(例如,Wi-Fi、蜂窝或其他网络连接性)或电池电量指示器。屏幕的其余部分可以保持(remain)黑色或显示背景图像,诸如壁纸或其他图像。在其他实施方式中,指示电子设备102处于意识模式的视觉元素可以是图像,诸如壁纸、背景图像或一系列图像或壁纸。附加地或可替选地,雷达系统104可以以不同于休眠模式的帧速率、占空比或功率水平操作(例如,雷达系统104和/或显示器114可以在休眠模式中使用比意识模式更少的功率)。如果用户112退出识别区域116,则意识管理器106可以使电子设备102返回休眠模式(立即,或在用户112在可选择的预定时间量内已经在识别区域116外之后)。例如,意识管理器106可以确定用户112转身离开电子设备102和/或正在离开电子设备102并且立即返回休眠模式。
在一些实施方式中(例如,如参考图13-17所描述的),在电子设备102上运行的应用可能能够通过基于雷达的、远程的、三维(3D)手势(远程3D手势)接收输入。术语远程3D手势是指远离电子设备的空间手势的性质(例如,手势不需要用户触摸设备,但它必须在设备的阈值距离内以被雷达系统104检测到)。手势本身可以是二维(2D),诸如在平面中从左上到右下滑动,但是因为手势也与电子设备有距离(例如,“第三”维),手势在本文中被称为远程3D手势,无论手势本身是否包括三个维度的元素。在这种情况下,意识模式下的显示器可以呈现指示应用是否可以接收该类型的手势输入的视觉元素。例如,显示器114可以呈现图标、发光区或仅当雷达手势订阅应用(手势订阅应用)正在运行时才呈现的另一元素。
在意识模式中,意识管理器106还可以检测被归类为与电子设备102交互(或不交互)的用户意图的指示的用户动作。例如,电子设备可以具有对被归类为与设备交互或不交互的用户意图(例如,伸出去拿电子设备、转向或走向或远离电子设备、俯身或注视电子设备)的指示符的动作的库(例如,在包括或与电子设备102相关联的存储设备中)的访问权限。被归类为与电子设备102交互的用户意图的指示的动作在本文中可以被称为指示用户意图、用户意图的指示或用户交互意图的指示的用户动作并且可以包括到达、移动,或转向电子设备102,看着或俯身在电子设备102上等等。因此,例如,当处于意识模式时,意识管理器106可以使用由雷达系统104提供的雷达数据的一个或多个其他子集(如本文所述)来检测用户112正在朝向电子设备102伸出并确定伸出是用户与电子设备102交互的意图的指示。
被归类为用户交互意图指示的不同动作可能具有不同的阈值以考虑。例如,如果用户身体的一部分移动到电子设备的阈值距离内(例如,五英寸、八英寸或十二英寸),则可以仅确定朝向电子设备102的到达以指示用户的意图。在一些实施方式中,电子设备还可以包括机器学习技术,该机器学习技术使电子设备102能够学习用户意图的不同或附加指示,并添加、移除或修改存储在库中的动作(例如,基于用户的设备的历史和行为)。
此外,如果意识管理器106确定用户在识别区域中,但是没有检测到被归类为与智能手机交互的意图的指示的用户动作,则意识管理器106可以保持电子设备102处于意识模式,直到意识管理器106检测到这样的用户动作。在其他情况下,意识管理器106可以在没有这样的用户动作的情况下将电子设备102在可选择和可调整的持续时间内(例如,60、30或10秒)维持在意识模式下,并且然后转变回到休眠模式,即使用户仍然保持识别区域内。
在一些实施方式中,当意识管理器106检测到用户与电子设备102交互意图指示时,意识管理器106可以使电子设备102退出意识模式并进入参与模式。参与模式是电子设备102和雷达系统104的较高功率模式。在其中电子设备102进入参与模式的实施方式中,意识管理器106可以使显示器114呈现附加的或不同的视觉元素,其指示电子设备102的新的或已改变的状态,包括可用的已改变的或新的特征、功能性或服务。例如,显示器114可以呈现背景图像(例如,壁纸)或欢迎消息。显示器114还呈现指示对电子设备102的访问被锁定并且访问需要认证的视觉元素(例如,锁定的挂锁图标)。这些视觉元素帮助用户了解智能手机意识到用户正在采取建议用户意图与智能手机交互的行动。在一些情况下,指示电子设备102处于参与模式的视觉元素可以是壁纸、背景图像或一系列图像,其中正在改变的和/或附加的图像指示模式的改变。
在意识模式或参与模式的一些实施方式中,意识管理器106可以使电子设备102自动准备认证系统118以执行认证过程。认证系统118可以使用任何合适的认证技术,诸如面部识别、语音识别、指纹识别等。例如,认证系统118可以包括相机(例如,非雷达传感器108之一)和面部识别模块120或者与其相关联,其可以用于基于用户的面部的捕获到的图像(或多个捕获到的图像)来认证用户。这种准备使认证系统118能够准备好以更低的时延(例如,更快)进行认证。例如,当意识管理器106检测到指示交互意图的动作时,意识管理器106可以通过使相机进入可以捕捉图像的状态(例如,准备相机硬件和任何相关联的软件或用于捕获图像的其他程序的相机“预热”过程)。此外,意识管理器106还可以使面部识别模块120进入其中可以使用捕获到的图像来认证用户的状态。
当准备认证系统118时,意识管理器106可以基于触发事件使认证系统118对用户112执行认证过程。指示用户准备好被认证的触发事件是与使电子设备102转变到可选参与模式的动作分离或附加的另一交互。例如,触发事件可以是用户112的位所或定向的改变(例如,用户112移向或俯身在电子设备102上,使得用户的面部直接在显示器114的前面)。触发事件可以替代地或者也可以是电子设备102的定向的改变(用户112拾起或旋转电子设备102)或者诸如触摸输入的显式的用户动作。
可以使用雷达数据或非雷达数据(例如,来自非雷达传感器108或另一来源)来检测触发事件。如上所述,基于雷达的意识管理器106可以基于雷达系统104提供的雷达数据(例如,3D手势)确定用户或用户的手做出的移动。然后意识管理器106以使用户能够经由移动与电子设备102交互的方式处理移动。例如,如参考图3至6所描述的,雷达系统可以以使能用于用户的移动识别的高分辨率和准确度的方式使用雷达场来感测和分析来自雷达场中对象的反射。
在一些情况下,可能没有触发事件,这指示用户112不意图与电子设备102交互。例如,用户112可以伸向电子设备102并且然后决定做一些其他的事情,或者仅伸去拿电子设备102以查看时间并且然后撤回。在这些情况下,用户未被认证,并且如果电子设备102处于参与模式,则意识管理器106可以在可选择的持续时间(例如,60、30或10秒)内将电子设备102维持在参与模式中,并且然后转变回到意识模式。
当用户112被成功认证时,意识管理器106使电子设备102退出意识或参与模式并进入活动模式。活动模式是较高功率模式,其中用户112具有对电子设备102的完全权利和访问。当电子设备102从意识或参与模式转变到活动模式时,意识管理器106可以使显示器114以呈现指示电子设备102的新的或已改变的状态的附加的或不同的视觉元素,其包括可用的已改变的或新的特征、功能性或服务。例如,显示器114可以呈现背景图像(例如壁纸)或主屏幕。显示器114还呈现指示对电子设备102的访问被解锁的视觉元素(例如,解锁的挂锁图标)。一些或所有附加背景图像或视觉元素可以在持续时间内呈现,并且然后淡出或停止被呈现。这些附加的图像和视觉元素向用户112提供反馈以指示电子设备102被解锁并且完全可访问,即使用户仅仅已经走到电子设备102、伸向它并拾起它。如上所述,意识管理器106可以确定用户112和其他人的存在。在这种情况下,意识管理器单独或结合电子设备102的其他应用或组件,可以使用其他人的存在作为确定在活动模式下在显示器114上呈现哪些附加或不同视觉元素的因素。例如,当其他人类存在时,活动模式显示可以是带有解锁图标或其他图像(诸如壁纸)的锁定屏幕。相反,当不存在其他人类时,活动模式显示可以是主屏幕、最近的屏幕(例如,打开在电子设备102被锁定之前使用的最后一个应用并呈现来自该应用的屏幕),或另一屏幕或用户界面。以此方式,意识管理器106可以提供自动认证过程同时帮助维护用户112的隐私。
考虑图1中图示的示例。在详细视图100-1中,用户112在雷达场110和识别区域116之外。因此,电子设备102(在这种情况下,智能手机)处于休眠模式,在这种情况下对应于不呈现任何视觉元素的显示器114,如示例显示器114-1中所示。在此示例中,假设用户112走向电子设备102并朝它伸出,使电子设备102从休眠模式转变到意识模式,并且然后(可选地)转变到参与模式。如上所述,该序列使电子设备102准备认证系统118。然后,如详细视图100-2中所示,用户112俯身并将电子设备102从桌子上提起。响应于此触发事件,电子设备102认证用户112并且从意识或参与模式转变到活动模式。在活动模式中,显示器114呈现指示电子设备102被解锁的视觉元素122(在这种情况下,解锁的挂锁图标),如示例显示器114-2中所示。
更详细地,考虑图2,其图示可以实现基于雷达的认证状态反馈的电子设备102(包括雷达系统104、意识管理器106、以及非雷达传感器108)的示例实施方式200。图2的电子设备102被图示为具有各种示例设备,包括智能电话102-1、平板电脑102-2、膝上型计算机102-3、台式计算机102-4、计算手表102-5、游戏系统102-6、计算眼镜102-7、家庭自动化和控制系统102-8、智能冰箱102-9和汽车102-10。电子设备102还可以包括其他设备,诸如电视机、娱乐系统、音频系统、无人机、跟踪板、绘图板、上网本、电子阅读器、家庭安全系统和其他家用电器。注意,电子设备102可以是可穿戴的、不可穿戴但移动的、或相对不动的(例如,台式机和电器)。
在一些实施方式中,电子设备102的示例性总体横向大小可以是大约8厘米乘大约15厘米。雷达系统104的示例性覆盖区域甚至可以被进一步限制,诸如在包括天线的情况下大4毫米乘6毫米。对雷达系统104的这种有限的覆盖区域的这种要求是在这种空间受限的封装中容纳电子设备102的许多其它期望特征(例如,指纹传感器、非雷达传感器108等)。与功率和处理限制相结合,该大小要求可能导致雷达手势检测的准确性和有效性的折衷,鉴于本文的教导,可以克服至少其中的一些。
电子设备102还包括一个或多个计算机处理器202和一个或多个计算机可读介质204,其包括存储器介质和存储介质。被实现为计算机可读介质204上的计算机可读指令的应用和/或操作系统(未示出)可由计算机处理器202执行以提供本文所述的一些或全部功能。电子设备102还可以包括网络接口206。电子设备102可以使用网络接口206来通过有线、无线或光学网络传达数据。作为示例而非限制,网络接口206可通过局域网(LAN)、无线局域网(WLAN)、个人区域网(PAN)、广域网(WAN)、内联网、因特网、对等网络、点对点网络或网状网络来传达数据。
雷达系统104的各种实施方式可以包括片上系统(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板、或其任意组合。雷达系统104可以通过传送和接收其自己的雷达信号而作为单基地雷达操作。
在一些实施方式中,雷达系统104还可以与在外部环境内的其他雷达系统104协作以实现双基地雷达、多基地雷达或者网络雷达。然而,电子设备102的约束或限制可能影响雷达系统104的设计。电子设备102例如可以具有可用于操作雷达的有限功率、有限计算能力、大小约束、布局限制、使雷达信号衰减或失真的外壳等。雷达系统104包括若干特征,这些特征使得能够在存在这些约束的情况下实现高级雷达功能和高性能,如下面关于图3进一步描述的。注意,在图2中,雷达系统104和意识管理器106被示出为电子设备102的一部分。在其它实施方式中,雷达系统104和意识管理器106中的任一者或两者可以与电子设备102分离或远离。
在下面更详细地阐述这些和其它能力和配置以及图1的实体动作和交互的方式。这些实体可以被进一步划分、组合等等。图1的环境100和图2到图18的详细图示示出能够采用所描述的技术的许多可能的环境和设备中的一些。图3至图6描述雷达系统104的附加细节和特征。在图3至图6中,在电子设备102的场境中描述雷达系统104,但是如上所述,所描述的系统和技术的特征和优点的适用性不一定因此受此限制,并且涉及其它类型的电子设备的其它实施方式也可以在本教导的范围内。
图3示出雷达系统104的示例实施方式300,其可以用于使能基于雷达的认证状态反馈。在示例300中,雷达系统104包括以下组件中的每一个中的至少一个:通信接口302、天线阵列304、收发器306、处理器308和系统介质310(例如,一个或多个计算机可读存储介质)。处理器308可以被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如,电子设备102的计算机处理器202)或其一些组合。系统介质310可以包括被在电子设备102的计算机可读介质204内或者与其分离,其包括以下模块中的一个或多个:衰减缓解器314、数字波束形成器316、角度估计器318或功率管理器320。这些模块可以补偿或减轻将雷达系统104集成在电子设备102内的影响,从而使得雷达系统104能够识别小的或复杂的手势、区分用户的不同定向、连续地监视外部环境或实现目标错误警报率。用这些特征,雷达系统104可以在诸如图2中所示的设备的各种不同的设备内实现。
使用通信接口302,雷达系统104可以向意识管理器106提供雷达数据。通信接口302可以是基于雷达系统104被实现为与电子设备102分离或者集成在电子设备102内的无线或有线接口。取决于应用,雷达数据可以包括原始或最小处理数据、同相和正交(I/Q)数据、距离多普勒数据、包括目标位置信息(例如,距离、方位角、仰角)的处理数据、杂乱的地图数据等。通常,雷达数据包含由意识管理器106可用于基于雷达的认证状态反馈的信息。
天线阵列304包括至少一个发射天线元件(未示出)和至少两个接收天线元件(如图4所示)。在一些情况下,天线阵列304可包括多个发射天线元件以实现能够一次发射多个不同波形(例如,每个发射天线元件发射不同波形)的多输入多输出(MIMO)雷达。多个波形的使用可以提高雷达系统104的测量精度。对于包括三个或更多接收天线元件的实施方式,接收天线元件可以以一维形状(例如,线)或二维形状定位。一维形状使得雷达系统104能够测量一个角度维度(例如,方位角或仰角),而二维形状使得能够测量两个角度维度(例如,方位角和仰角)。参考图4,进一步描述接收天线元件的示例二维排列。
图4示出接收天线元件402的示例排列400。如果天线阵列304包括至少四个接收天线元件402,例如,接收天线元件402可以如图4中间所示的矩形排列404-1来排列。或者,如果天线阵列304包括至少三个接收天线元件402,可以使用三角形排列404-2或L形排列404-3。
由于电子设备102的大小或布局约束,接收天线元件402之间的元件间隔或接收天线元件402的数量对于雷达系统104要监视的角度可能不是理想的。特别地,元件间隔可能导致存在角度模糊,这对于常规雷达估计目标的角度位置是个挑战。因此,常规雷达可以限制视场(例如,要监视的角度)以避免具有角度模糊的模糊区域,并且由此减少错误检测。例如,常规雷达可将视场限制在大约-45度到45度之间的角度,以避免使用5毫米(mm)的波长和3.5mm的元件间隔(例如,元件间隔为波长的70%)而发生的角度模糊性。因此,常规雷达可能无法检测超过视场的45度限制的目标。相反,雷达系统104包括数字波束形成器316和角度估计器318,其解决角度模糊性并使雷达系统104能够监视超过45度限制的角度,诸如在大约-90度到90度之间的角度,或高达大约-180度和180度的角度。这些角度范围可以跨一个或多个方向(例如,方位角和/或仰角)应用。因此,雷达系统104可以针对包括小于、大于或等于雷达信号的中心波长的一半的元件间隔的各种不同的天线阵列设计实现低错误警报率。
使用天线阵列304,雷达系统104可以形成被转向或未转向、宽或窄、或成形(例如,成形为作为半球、立方体、扇形、圆锥或圆柱体)的波束。作为示例,一个或多个发射天线元件(未示出)可以具有未转向的全向辐射图案,或者可以能够产生宽波束,诸如宽发射波束406。这些技术中的任何一种都使得雷达系统104能够照射大的空间体积。然而,为了实现目标角精度和角度分辨率,接收天线元件402和数字波束形成器316可以用于生成数千个窄波束和转向波束(例如,2000个波束、4000个波束或6000个波束),诸如窄接收波束408。以这种方式,雷达系统104可以有效地监视外部环境并且准确地确定外部环境内的反射的到达角。
返回图3,收发器306包括用于经由天线阵列304传送和接收雷达信号的电路和逻辑。收发器306的组件可以包括用于调节雷达信号的放大器、混频器、开关、模数转换器、滤波器等。收发器306还可包括执行同相/正交(I/Q)运算——诸如调制或解调——的逻辑。收发器306可以被配置用于连续波雷达操作或脉冲雷达操作。可以使用各种调制来产生雷达信号,包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器306可以生成在诸如1千兆赫(GHz)与400GHz之间、4GHz与100GHz之间、或57GHz与63GHz之间的频率范围(例如,频谱)内的雷达信号。频谱可以被划分成具有相似带宽或不同带宽的多个子频谱。带宽可以是500兆赫(MHz)、1GHz、2GHz等的量级。作为示例,不同的频率子频谱可以包括在大约57GHz和59GHz之间、59GHz和61GHz之间、或61GHz和63GHz之间的频率。具有相同带宽并且可以是连续的或非连续的多个频率子谱也可以被选择用于相干。可以使用单个雷达信号或多个雷达信号同时或在时间上分离地传送多个频率子频谱。连续频率子频谱使得雷达信号能够具有更宽的带宽,而非连续的频率子频谱可以进一步强调使得角度估计器318能够解决角度模糊性的振幅和相位差。衰减缓解器314或角度估计器318可以使收发器306利用一个或多个频率子频谱来提高雷达系统104的性能,如关于图5和6进一步描述的。
功率管理器320使得雷达系统104能够在电子设备102内部或外部节省功率。在一些实施方式中,功率管理器320与意识管理器106通信以在雷达系统104或电子设备102中的任一者或两者内节省功率。在内部,例如,功率管理器320可以使雷达系统104使用预定义的功率模式或特定的占空比来收集数据。在这种情况下,功率管理器320在不同的功率模式之间动态地切换,使得基于环境内的活动一起管理响应延迟和功耗。通常,功率管理器320确定何时以及如何节省功率,并且递增地调整功耗以使得雷达系统104能够在电子设备102的功率限制内操作。在一些情况下,功率管理器320可以监视剩余的可用电量,并且相应地调整雷达系统104的操作。例如,如果剩余电量低,则功率管理器320可继续在较低功率模式中操作而不是切换到较高功率模式。
例如,较低功率模式可以使用几赫兹(例如,大约1Hz或小于5Hz)量级的较低占空比,其将功耗减少到几毫瓦(mW)(例如,在大约2mW和8mW之间)。另一方面,较高功率模式可以使用几十赫兹(Hz)(例如,大约20Hz或大于10Hz)量级的较高占空比,这使得雷达系统104消耗数毫瓦(例如,在大约6mW与20mW之间)量级的功率。虽然较低功率模式可用于监视外部环境或检测接近的用户,但是如果雷达系统104确定用户正在开始执行手势,则功率管理器320可切换到较高功率模式。不同的触发器可使功率管理器320在不同的功率模式之间切换。示例触发器包括运动或无运动、用户出现或消失、用户移入或移出指定区域(例如,由距离、方位角或仰角定义的区域)、与用户相关联的运动速度的改变、或反射信号强度的改变(例如,由于雷达截面的改变)。通常,指示用户与电子设备102交互的较低概率或使用较长响应延迟来收集数据的偏好的触发器可以使得激活较低功率模式以节省功率。
功率管理器320还可以通过在不活动时间段期间关闭收发器306内的一个或多个组件(例如,压控振荡器、复用器、模数转换器、锁相环、或晶体振荡器)来节省功率。如果雷达系统104没有主动地传送或接收雷达信号,则这些不活动时间段发生,其可以是微秒(μs)、毫秒(ms)或秒(s)的量级。此外,功率管理器320可以通过调整由信号放大器提供的放大量来修改雷达信号的发射功率。另外,功率管理器320可以控制雷达系统104内的不同硬件组件的使用以节省功率。例如,如果处理器308包括较低功率处理器和较高功率处理器(例如,具有不同存储量和计算能力的处理器),例如功率管理器320可以在利用较低功率处理器用于低级别分析(例如,实施空闲模式、检测运动、确定用户的位置、或监视环境)与在将较高功率处理器用于意识管理器106请求高保真或准确的雷达数据的情形(例如,用于实现意识模式、参与模式、或活动模式、手势识别或用户定向)之间切换。
此外,功率管理器320可以确定电子设备102周围的环境的场境。根据该场境,功率管理器320可以确定哪些功率状态将变得可用以及它们如何被配置。例如,如果电子设备102在用户的口袋中,则尽管检测到用户112接近电子设备102,但是雷达系统104不需要在具有高的占空比的较高功率模式下操作。因此,即使用户被检测为接近电子设备102,功率管理器320可以使得雷达系统104保持在较低功率模式,并且使得显示器114保持在关闭或其他较低功率状态。电子设备102可以结合雷达系统104使用任何合适的非雷达传感器108(例如,陀螺仪、加速度计、光传感器、接近度传感器、电容传感器等)来确定其环境的场境。该场境可以包括一天中的时间、日历日、亮度/暗度、用户112附近的用户数目、周围的噪声水平、周围对象(包括用户112)相对于电子设备102的移动速度等)。
图5示出电子设备102内的雷达系统104的示例实施方式500的附加细节。在示例500中,天线阵列304被定位在电子设备102的外壳——诸如玻璃盖或外壳——下方。取决于其材料性质,外部壳体可以充当衰减器502,其使由雷达系统104传送和接收的雷达信号衰减或失真。衰减器502可以包括不同类型的玻璃或塑料,其中一些可以在电子设备102的显示屏、外壳或其他组件内找到,并且具有在大约4与10之间的介电常数(例如,相对电容率)。因此,衰减器502对于雷达信号506是不透明的或半透明的,并且可以使传送或接收的雷达信号506的一部分被反射(如由反射部分504所示)。对于常规雷达,衰减器502可能减小可以被监视的有效范围,防止小目标被检测到,或者降低整体精度。
假定雷达系统104的发射功率是有限的,并且重新设计外壳是不期望的,则调整雷达信号506的一个或多个衰减相关属性(例如,频率子频谱508或转向角510)或衰减器502的衰减相关特性(例如,衰减器502与雷达系统104之间的距离512或衰减器502的厚度514)以减轻衰减器502的影响。这些特性中的一些可以在制造期间设置,或者在雷达系统104的操作期间由衰减缓解器314调整。衰减缓解器314例如可以使收发器306使用所选择的频率子频谱508或转向角510来传送雷达信号506,使平台将雷达系统104移动得更靠近或更远离衰减器502以改变距离512,或者提示用户应用另一衰减器以增加衰减器502的厚度514。
适当的调整可以由衰减缓解器314基于衰减器502的预定特性(例如,存储在电子设备102的计算机可读介质204中或系统介质310内的特性)或通过处理雷达信号506的返回来进行以测量衰减器502的一个或多个特性。即使衰减相关特性中的一些是固定的或受约束的,衰减缓解器314也可以考虑这些限制以平衡每个参数并实现目标雷达性能。结果,衰减缓解器314使得雷达系统104能够实现增强的精度和更大的有效范围,以用于检测和跟踪位于衰减器502的相对侧的用户。这些技术提供了增加发射功率的替代方案,这增加了雷达系统104的功率消耗,或者提供了改变衰减器502的材料特性的替代方案,一旦设备投入生产,这可能是困难且昂贵的。
图6示出由雷达系统104实现的示例方案600。方案600的部分可由处理器308、计算机处理器202或其它硬件电路执行。方案600可以被定制为支持不同类型的电子设备和基于雷达的应用(例如,意识管理器106),并且尽管设计约束,也使得雷达系统104能够实现目标角精度。
收发器306基于接收天线元件402对所接收雷达信号的单独响应而产生原始数据602。所接收的雷达信号可以与由角度估计器318选择的一个或多个频率子频谱604相关联以促进角度模糊性分辨率。例如,可以选择频率子频谱604以减少旁瓣的数量或减少旁瓣的振幅(例如,将振幅减少0.5dB、1dB或更多)。可以基于雷达系统104的目标角精度或计算限制来确定频率子频谱的数量。
原始数据602包含不同的波数、以及分别与接收天线元件402相关联的多个信道、一段时间的数字信息(例如,同相和正交数据)。对原始数据602执行快速傅立叶变换(FFT)606以生成预处理数据608。预处理数据608包括跨时间段、针对不同范围(例如,间隔)和针对多个信道的数字信息。对预处理数据608执行多普勒滤波处理610以生成距离多普勒数据612。多普勒滤波处理610可以包括另一FFT,其生成针对多个范围容器、多个多普勒频率和多个信道的振幅和相位信息。数字波束形成器316基于距离多普勒数据612来产生波束形成数据614。波束形成数据614包含用于方位角和/或仰角的集合的数字信息,其表示通过数字波束形成器316由其形成不同转向角或波束的视场。尽管未示出,但是数字波束形成器316可以替代地基于预处理数据608生成波束形成数据614,并且多普勒滤波处理610可以基于波束形成数据614生成距离多普勒数据612。为了减少计算量,数字波束形成器316可以基于感兴趣的范围、时间或多普勒频率间隔来处理范围多普勒数据612或预处理数据608的一部分。
数字波束形成器316可以使用单视波束形成器616、多视干涉仪618或多视波束形成器620来实现。通常,单视波束形成器616可以用于确定性对象(例如,具有单个相位中心的点源目标)。对于非确定性目标(例如,具有多个相位中心的目标),使用多视干涉仪618或多视波束形成器620来提高相对于单视波束形成器616的精度。人类是非确定性目标的示例,并且具有可以基于不同视场角——如624-1和624-2处所示——而改变的多个相位中心622。由多个相位中心622生成的相长干涉或相消干涉的变化可能对常规雷达难以准确地确定角度位置是个挑战。然而,多视干涉仪618或多视波束形成器620执行相干平均以增加波束形成数据614的精度。多视干涉仪618相干地平均两个信道以生成可以用于精确地确定角信息的相位信息。另一方面,多视波束形成器620可以使用线性或非线性波束形成器——诸如傅立叶、capon、多信号分类(MUSIC)或最小方差无失真响应(MVDR)——相干平均两个或更多个信道。经由多视波束形成器620或多视干涉仪618提供的增加的精度使得雷达系统104能够识别小手势或在用户的多个部分之间进行区分。
角度估计器318分析波束形成数据614以估计一个或多个角度位置。角度估计器318可利用信号处理技术、模式匹配技术或机器学习。角度估计器318还解决可能由雷达系统104的设计或雷达系统104监视器的视场导致的角度模糊性。在振幅图626(例如振幅响应)内示出示例性的角度模糊性。
振幅图626描绘了对于目标的不同角度位置和对于不同转向角510可能发生的振幅差。对位于第一角度位置630-1的目标示出了第一振幅响应628-1(用实线示出)。同样,对位于第二角度位置630-2的目标示出了第二振幅响应628-2(用虚线示出)。在该示例中,考虑了-180度和180度之间的角度上的差异。
如振幅图626所示,对于两个角度位置630-1和630-2存在模糊区域。第一振幅响应628-1在第一角度位置630-1处具有最高峰值,且在第二角度位置630-2处具有较小峰值。虽然最高峰值对应于目标的实际位置,较小峰值导致第一角度位置630-1模糊,因为它在常规雷达可能无法确信地确定目标是处于第一角度位置630-1还是第二角度位置630-2的一些阈值内。相反,第二振幅响应628-2在第二角度位置830-2处具有较小峰值,且在第一角度位置630-1处具有较高峰值。在这种情况下,较小峰值对应于目标的位置。
虽然常规雷达可能被限制为使用最高峰值振幅来确定角度位置,但是角度估计器318替代地分析振幅响应628-1和628-2的形状的细微差异,形状的特征可以包括例如滚降、峰值或零位宽、峰值或零值的角度位置、峰值和零值的高度或深度、旁瓣形状、振幅响应628-1或628-2内的对称性、或振幅响应628-1或628-2内的不对称性。因此,角度估计器318将唯一角度签名或图案映射到角度位置。
角度估计器318可以包括一套算法或工具,其可以根据电子设备102的类型(例如,计算能力或功率约束)或意识管理器106的目标角分辨率来选择。在一些实施方式中,角度估计器318可包括神经网络632、卷积神经网络(CNN)634、或长短期记忆(LSTM)网络636。神经网络632可以具有各种深度或数量的隐藏层(例如,3个隐藏层、5个隐藏层或10个隐藏层),并且还可以包括不同数量的连接(例如,神经网络632可以包括全连通神经网络或部分连通神经网络)。在一些情况下,CNN 634可用于增加角度估计器318的计算速度。LSTM网络636可以用于使角度估计器318能够跟踪目标。使用机器学习技术,角度估计器318采用非线性函数来分析振幅响应628-1或628-2的形状,并生成角度概率数据638,其指示用户或用户的一部分在角度容器内的可能性。角度估计器318可对几个角度容器——诸如提供目标位于电子设备102左侧或右侧的概率的两个角度容器——或对数千个角度容器(例如,为连续角度测量提供角度概率数据638)提供角度概率数据638。
基于角度概率数据638,跟踪器模块640产生标识目标的角度位置的角度位置数据642。跟踪器模块640可以基于在角度概率数据638中具有最高概率的角度容器或者基于预测信息(例如,先前测量的角度位置信息)来确定目标的角度位置。跟踪器模块640还可以保持对一个或多个移动目标的跟踪,以使得雷达系统104能够可靠地区分或标识目标。其它数据也可用于确定角度位置,其包括范围、多普勒、速度或加速度。在一些情况下,跟踪器模块640可以包括α-β跟踪器、卡尔曼滤波器、多假设跟踪器(MHT)等。
量化器模块644获得角度位置数据642并且量化该数据以产生量化的角度位置数据646。可以基于意识管理器106的目标角度分辨率来执行量化。在一些情况下,可使用较少量化级别,使得量化的角度位置数据646指示目标是在电子设备102的右侧还是左侧,或标识目标位于其中的90度象限。这对于一些基于雷达的应用——诸如用户接近检测——可能就足够了。在其它情况下,可使用较大数目的量化级别,使得量化的角度位置数据646指示在几分之一度、1度、5度等的精度内的目标的角度位置。该分辨率可以用于较高分辨率的基于雷达的应用,诸如手势识别,或者用在实现如本文所述的识别区域、意识模式、参与模式或活动模式的实现中。在一些实施方式中,数字波束形成器316、角度估计器318、跟踪器模块640和量化器模块644一起被实现在单个机器学习模块中。
在下文中阐述这些和其它能力和配置,以及图1至图6的实体动作和交互的方式。所描述的实体可以进一步被划分、组合、与其他传感器或组件一起使用等等。以这种方式,可以使用具有雷达系统104和非雷达传感器的不同配置的电子设备102的不同实施方式来实现基于雷达的认证状态反馈。图1的示例操作环境100和图2至图6的详细图示示出了能够采用所述技术的许多可能的环境和设备中的一些。
示例方法
图7至9描绘示例方法700,其使能基于雷达的认证状态反馈。方法700可以用使用雷达系统来提供雷达场的电子设备来执行。雷达场用于检测用户与电子设备的交互,诸如用户在雷达场中的存在以及用户相对于电子设备的移动。用户的移动还可以被用于检测用户动作,该用户动作被归类为用户与电子设备交互(或不交互)意图的指示。例如,电子设备可以具有被分类为用户意图与设备交互或不与设备交互的指示符的动作(伸出去拿电子设备、转向或走向或远离电子设备、俯身或注视电子设备)的库的访问(例如,在包括或与电子设备相关联的存储设备中)。被归类为与电子设备交互的用户意图的指示的动作在本文中可以被称为指示用户意图、用户意图的指示或用户交互意图的指示的用户动作并且可以包括伸出、移动、或转向电子设备102、注视或俯身电子设备上等等。基于对用户的存在、移动和用户意图的指示的检测,电子设备可以基于这些模式使电子设备进入和退出功能性的不同模式,并在显示器上呈现不同的视觉元素。这些模式可以为电子设备使能不同的功能性,相对于图10-17描述其示例。
方法700被示为框的集合,其指定所执行的操作但不必限于用于由相应框执行操作所示出的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供各种各样的附加和/或替换方法。在以下讨论的部分中,可以参考图1的示例操作环境100或如图2至图6中详细描述的实体或过程,对其的参考仅作为示例。技术不限于由在一个设备上操作的一个实体或多个实体执行。
在702处,提供雷达场。该雷达场可以由多种电子设备(例如,上述电子设备102)中的任何一种提供,其包括雷达系统(例如,雷达系统104)和意识管理器(例如,意识管理器106)或者与其相关联。此外,雷达场可以是多种类型的雷达场中的任意一种,诸如上述雷达场110。
在704处,来自雷达场中的对象的反射被雷达系统感测。对象可以是诸如木材、塑料、金属、织物或有机材料(例如,人,诸如上述用户112,或人的身体部分,诸如用户的手)的多种对象中的任一种。为了清楚起见,在描述方法700的同时,对象被称为“用户”或“多个用户”。
在706处,分析来自雷达场中的对象的反射。分析可以由多种实体(例如,雷达系统104、意识管理器106或另一实体)中的任何一个来执行并且可以包括各种操作或确定,诸如参考图1-6描述的那些。
在708处,基于对反射的分析,提供雷达数据(例如,参考图1-6描述的雷达数据)。雷达数据可以由诸如雷达系统104、意识管理器106或另一实体的各种实体中的任何一个提供。在一些实施方式中,雷达系统可以提供雷达数据并将雷达数据传递给其他实体(例如,所描述的基于雷达的应用、意识管理器、模块或非雷达传感器中的任何一个)。方法700的描述在图8中继续,如图7的块708之后的字母“A”所指示的,其对应于图8的块710之前的字母“A”。
在710处,电子设备被维持在休眠模式。例如,意识管理器106可以将电子设备102维持在休眠模式。休眠模式是持久的较低功率模式,如参考图1所描述的。在休眠模式下,显示器可以是开或关,并且在显示器提供触摸界面的情况下,触摸界面可以保持功能的。
在712处,从雷达系统获得雷达数据。例如,基于雷达的意识管理器106可以从雷达系统104获得雷达数据。可以以任何合适的方式获得雷达数据。虽然在方法700中被指示为特定步骤,但电子设备102、意识管理器106或电子设备的其他系统和组件可以继续获得雷达数据(包括雷达数据的多个子集),只要雷达系统被通电。
在714处,基于雷达数据并且在休眠模式期间,确定用户在电子设备的识别区域内的存在。例如,基于雷达数据的一个或多个子集,基于雷达的意识管理器106可以确定用户112在电子设备102的识别区域116内的存在。识别区域可以采用多种形状和尺寸,如参考图1所描述的。例如,识别区域可以是与雷达场近似相连的区、从雷达系统延伸的半径、雷达系统周围的体积或不均匀的形状。识别区域可以从雷达系统延伸各种距离(例如,三英尺、七英尺、十英尺或十四英尺,但是对于较大的设备,诸如大屏幕电视,识别区域可以扩展到四、五、六或七米)。此外,识别区域可以是预定义的、用户可选择的或经由另一方法确定的静态大小或形状。在一些情况下,识别区域可以是动态和自动调整的(例如,通过意识管理器106,如参考图1所描述的)。
在716处,响应于确定用户在识别区域内的存在,电子设备退出休眠模式并进入意识模式,其中显示器呈现指示电子设备状态的一个或多个视觉元素。例如,响应于确定用户112在识别区域116内,意识管理器106可以使电子设备102退出休眠模式并进入意识模式。如参考图1所描述的,,意识模式是另一较低功率模式,其中电子设备的显示器(例如,显示器114)呈现可以指示电子设备的状态或功能性级别的一个或多个视觉元素。以意识模式呈现的视觉元素可以包括关于电子设备的环境信息或简单状态信息的视觉元素,如参考图1所描述的。参考图10-12更详细地描述一些示例视觉元素。当用户离开识别区域时,电子设备可以返回休眠模式(在确定用户已经退出识别区域之后或者用户在一段时间内已经在识别区域外之后立即)。例如,意识管理器106可以确定用户112已经转身离开电子设备102和/或正在远离电子设备102并且立即返回休眠模式。
在718处,基于雷达数据并且在意识模式期间,被归类为与电子设备交互的用户意图的指示的用户动作被检测。例如,基于由雷达系统104提供的雷达数据的一个或多个其他子集,意识管理器106可以检测到用户112正在执行动作(例如,伸向电子设备102)并确定该动作是用户与电子设备102交互的意图的指示(例如,通过参考动作库,如上所述并且参考图1)。可以是要与电子设备交互的用户意图的指示的动作包括伸向或转向电子设备、俯身在电子设备上等等,如参考图1所描述的。请注意,被归类为用户交互意图指示的不同动作可能具有要考虑的不同的阈值。例如,如果用户身体的一部分移动到电子设备的阈值距离内(例如,三英寸、五英寸、八英寸或十二英寸),则可以仅确定朝向电子设备的触手可及的距离以指示用户的意图。
在一些实施方式中,电子设备还可以包括机器学习技术,该机器学习技术使电子设备能够学习用户意图的不同或附加指示,并添加、去除或修改存储在库中的动作(例如,基于用户使用设备的历史记录和行为)。此外,如果电子设备确定用户在识别区域中,但是没有检测到交互意图的指示,则电子设备可以保持在意识模式直到检测到这样的动作。在其他情况下,即使用户保持在识别区域中,电子设备也可以在可选择和可调整的持续时间(例如,60、30或10秒)内保持在意识模式,并且然后转变回到休眠模式。方法700的描述在图9中继续,如图8的块718之后的字母“B”所指示的,其对应于图9的块720之前的字母“B”。
在720处,响应于检测到指示用户与电子设备交互的意图的用户动作,电子设备自动准备认证系统以执行认证过程。例如,响应于检测到用户(例如,用户112)与电子设备102交互的意图的指示,意识管理器106可以使电子设备102准备认证系统118。
在一些实施方式中,响应于检测到指示用户与电子设备交互的意图的用户动作,电子设备还退出意识模式并进入参与模式,其中电子设备的显示器呈现指示电子设备的另一状态(或状态的改变)的一个或多个其他视觉元素,如参考图1所描述的。如参考图1所描述的,参与模式是电子设备和雷达系统的较高功率模式。当电子设备进入参与模式时,电子设备的显示器(例如,显示器114)可以呈现可以指示电子设备的新的或增强的状态或功能性级别的一个或多个其他或附加的视觉元素。在参与模式中呈现的视觉元素可以包括指示对电子设备的访问被锁定并且为了访问需要认证的视觉元素(例如,锁定的挂锁图标)。将参考图10-12进行更详细的描述其他视觉元素。
在意识或参与模式中,响应于检测到指示用户与电子设备交互的意图的用户动作,电子设备还可以自动准备认证系统(例如,认证系统118)以执行认证过程。认证系统可以使用任何合适的认证技术。例如,认证系统可以包括相机(例如,非雷达传感器108之一)和面部识别模块(例如,面部识别模块120)或者与其相关联,其可以用于基于用户的面部的图像认证用户。自动准备可以包括诸如将相机放置在其中其可以捕捉图像的状态(例如,准备相机和任何相关联的程序以捕捉图像的“预热”过程)的步骤。该准备还可以包括将面部识别模块放置在其中其可以使用捕获的图像来验证用户的状态,如参考图1所描述的。如前所述,此准备可以减少用户对验证的初始动作和认证过程完成之间的时延。
在722处,基于触发事件,已准备的认证系统对用户执行认证过程。例如,基于触发事件,意识管理器106可以使已准备的认证系统118对用户112执行认证过程。触发事件是与使电子设备转变到可选的参与状态的动作分离或者除了其之外的交互。触发事件指示用户已准备好认证。例如,触发事件可以是用户的位所或定向的改变、电子设备的定向的改变(例如,用户触摸、拾起、俯身或旋转电子设备),或者显式的用户动作,诸如触摸输入,如参考图1所描述的。可以使用雷达数据或非雷达数据来检测触发事件,并且在没有触发事件(例如,指示用户不意图与电子设备交互)的情况下,用户未被认证并且例如,如果电子设备102处于参与模式下,则电子设备可以在可选择的持续时间内维持在参与模式中,并且然后转变回到意识模式。
在724处,响应于用户被认证,基于雷达的意识管理器使电子设备进入活动模式,在该模式中,用户具有对电子设备的完全权利和访问。例如,响应于成功认证用户112,意识管理器106可以使电子设备102退出意识或参与模式并进入活动模式。在活动模式中,如参考图1所描述的,用户具有对电子设备的完全权利和访问(例如,电子设备已解锁且全功能的)。
可选地,在726处,当电子设备进入活动模式时,显示器可以呈现一个或多个不同的或附加的视觉元素,其指示电子设备的另一状态或状态的改变。例如,在活动模式中,显示器114可以呈现指示电子设备102的新的或增强的状态或功能性级别的视觉元素。在活动模式中呈现的视觉元素可以包括背景图像或指示电子设备102被解锁的视觉元素(例如,解锁的挂锁图标),如参考图1所描述的。如参考图1所述的,可以至少部分地基于在识别区域内检测到的用户数量来确定在活动模式中显示的视觉元素。在一些情况下,背景图像或视觉元素可能在持续时间内被呈现,并且然后淡出或消失。将参考图10-12更详细地描述这些附加或其他视觉元素的示例。
用于基于雷达的认证状态反馈的这些技术可以比其它认证和反馈技术更安全。例如,用户的位置、定向或3D手势(尤其是用户定义的手势、微手势、以及手势或基于位置的手势)通常不可由未经授权的人复制或获得(不同于例如密码)。此外,用户的雷达图像(例如,基于上述雷达数据),即使其包括用户的面部,也不能像照片或视频那样在视觉上标识用户。即使如此,进一步对于以上描述,可以向用户提供对允许用户关于是否以及何时本文档中描述的系统、程序、管理器、模块或特征中的任何一个可以实现用户信息(例如,用户的图像、描述用户的雷达数据、关于用户的社交网络的信息、社交动作或活动、职业、用户的偏好或用户的当前位置)的收集以及是否以及何时向用户发送来自服务器的内容或通信进行选择的控制。另外,某些数据可以在其被存储或使用之前以一种或多种方式被处理,使得个人可识别信息被移除。例如,可以处理用户的身份,使得不能为用户确定个人可识别信息,或者可以在获得位置信息的情况下概括用户的地理位置(诸如到城市、邮政编码/邮政编码或州级),使得不能确定用户的特定位置。因此,用户可以控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息或关于用户提供什么信息。
示例视觉元素
如上所述,本文描述的技术和系统可以使能提供不同服务和功能性的电子设备102的多种模式。设备所处的模式基于雷达数据(例如,来自诸如雷达场11的雷达场)而改变,该雷达数据可以指示用户的当前位所、交互级别和用户交互级别的预期改变。电子设备102还在显示器114上呈现指示设备可以在不同模式下提供的功能和服务的视觉元素。这些视觉元素也基于模式而改变,以帮助用户了解电子设备正在操作的模式以及可用的服务和功能性。图10-12图示以多种模式操作的电子设备102并且描述可以以不同模式呈现在显示器上的视觉元素的示例。
例如,当在电子设备102附近(例如,在雷达场110或识别区域116内)没有检测到用户112时,设备以休眠模式操作。在休眠模式下,显示器114可以呈现比其他模式更少的视觉元素,或者不呈现视觉元素。如上所述,显示器114可以开或关。当意识管理器106确定(例如,使用来自雷达系统104的雷达数据或雷达数据的一个或多个子集)识别区域116内存在用户112时,电子设备102退出休眠模式并且进入意识模式。在意识模式中,显示器114呈现可以指示电子设备102的状态或功能性级别的一个或多个视觉元素。
当电子设备102处于意识模式时,意识管理器106可以检测被归类为用户意图与电子设备102交互的指示的用户动作。响应于检测到该用户动作,电子设备102可以准备认证系统118以执行认证过程。在一些实施方式中,当意识管理器106检测到用户与电子设备102交互的意图的指示时,意识管理器106还可以使电子设备102退出意识到模式并进入参与模式。在参与模式中,显示器114呈现可以指示电子设备102的状态或功能性级别的改变的一个或多个附加的或可替代的视觉元素。意识管理器106还可以检测触发事件并且基于触发事件,使认证系统118认证用户112。响应于检测到用户112被认证,电子设备102退出意识或参与模式并进入活动模式。在活动模式中,显示器114呈现可以指示电子设备102的状态或功能性级别的改变的一个或多个附加或替代视觉元素。
图10图示从休眠模式转变到意识模式的电子设备的示例1000。详细视图1000-1示出当用户112在识别区域116之外时电子设备102处于休眠模式。在此示例中,识别区域116具有楔形形状,但是如参考图1所指出的,识别区域可以采用任何合适的形状或大小。继续该示例,在这种情况下,显示器114在休眠模式下不呈现任何视觉元素,如示例显示器114-1上所示。在另一详细视图1000-2中,用户112更靠近电子设备102并且意识管理器106已经确定用户112已经进入识别区域116。基于此确定,电子设备102退出休眠模式并且进入意识模式,如箭头1002中所示。
在详细视图1000-2中,多个视觉元素被呈现在示例显示器114-2上。例如,在意识模式中,示例显示器114-2呈现一天的时间元素1004(时钟)、日期元素1006、连接性状态元素1008(例如,Wi-Fi、蜂窝或其他网络连通性)、以及电池电量指示器元素1010(包括图形元素和百分比指示器)。在详细视图1000-2中,示例显示器114-2的其余部分是空白的。然而,在一些实施方式中,可以显示附加元素,包括背景图像,诸如壁纸或其他图像。虽然未在图10中示出,如果用户112退出识别区域116,则意识管理器106可以使电子设备102停止显示视觉元素并返回休眠模式(立即或在用户112在可选择的预定时间量之后已经在识别区域116之后)。
图11图示电子设备从意识模式转变到可选参与模式的示例1100。详细视图1100-1示出在意识模式中的电子设备102,如参考图10所描述的,包括在示例显示器114-3上显示多个视觉元素。另一详细视图1100-2示出用户112伸出去拿电子设备102。意识管理器106检测伸出(例如,使用雷达数据的一个或多个子集)作为用户动作,该用户动作是用户与电子设备102交互的意图的指示。响应于检测到此用户动作,电子设备102退出意识模式并进入参与模式,如箭头1102所示。
在详细视图1100-2中,附加的视觉元素被呈现在示例显示器114-4上。例如,在参与模式中,示例显示器114-4呈现背景图像1104(在这种情况下,金门大桥的图像)。背景图像1104可以具有随着用户的场境而调整的动态特征,诸如动画,或者取决于伸出的距离或速度而改变的变化的亮度或透明度级别。如上所述,在处于参与模式的同时,电子设备102还准备认证系统118以执行认证过程(注意,在一些情况下,电子设备102不进入参与模式并且在处于意识模式的同时准备认证系统118)。因此,示例显示器114-4还呈现锁定图标1106,其指示在用户112被认证之前对电子设备102的完全访问是不可用的。在一些实施方式中,附加的视觉元素可以被显示在示例显示器114-4上,并且在示例显示器114-3上呈现的一些或全部视觉元素可以停止被呈现。虽然未在图11中示出,如果用户112撤回伸向手势,则意识管理器106可以使电子设备102退出参与模式,并返回到意识模式(立即或在可选择的预定时间量内已经撤回伸向之后)。
图12图示在用户112被认证之后电子设备从参与模式转变到活动模式的示例1200(注意,在一些实施方式中,电子设备可以从意识模式转变到活动模式)。详细视图1200-1示出处于参与模式的电子设备102,如参考图11所描述的,包括在示例显示器114-5上显示多个视觉元素。正如参考图11所指出的,当用户伸出去拿电子设备102时,认证系统118准备认证用户112。在图12中,另一详细视图1200-2示出用户112已经拾起电子设备102。意识管理器106可以确定拾起电子设备102是触发事件,如上所述,并且认证用户112。如果用户112被认证,则电子设备102退出参与模式并进入活动模式,如箭头1202中所示。
与活动模式相关联的附加视觉元素也可以呈现在示例显示器114-6上,如详细视图1200-2中所示。例如,在活动模式下,示例显示器114-6继续呈现与意识模式相关联的视觉元素,但是背景图像1104(与参与模式相关联)已改变成另一背景图像1204、海滩剪影(请注意,因为背景图像1204具有不同的配色方案,所以一些视觉元素已改变颜色,使得它们对用户112保持可见)。另外,参与模式锁定图标1106已经转变为解锁图标1206,其指示用户112被认证。在一些实施方式中,解锁图标1206可以在持续时间内被呈现,并且然后淡出。虽然图12中未图示,在解锁图标1206淡出之后可以在示例显示器114-6上显示附加的视觉元素,诸如指令(例如,“滑动或轻敲以打开”)、一个或多个应用启动图标或对电子设备102可用的其他可用的视觉元素。
在一些实施方式中,只要用户112保持在识别区域116(或雷达系统可以检测到用户112的存在的另一限定区)内,用户112就可以保持被认证。在这些实施方式中,显示器114可以保持被充电并且能够接收输入和呈现内容,或者屏幕可以关闭以节省电池电量。因为用户112保持被认证,即使屏幕被关,用户也可以通过触摸屏幕、拾起设备或其他动作来访问电子设备102,而无需重新认证。以此方式,可以在保留电池电量的同时改善用户对电子设备102的享受和体验。
此外,所描述的模式之间的进展(例如,从休眠模式,通过意识和参与模式,到认证和活动模式)可以以相反的方向运行。例如,当电子设备102处于活动模式并且用户112将其放下时(例如,另一触发事件发生),意识管理器106可以替代地锁定电子设备102(解除对用户112的认证),并且将电子设备102放置在参与模式下,如上所述。因此,如果用户的手保持在电子设备102附近(例如,保持在“伸向”位置),则意识管理器106可以将电子设备102留在参与模式。相反,如果用户的手被撤回,则意识管理器106可以将电子设备102从参与模式转变到意识模式。然后,如所指出的,当用户处于识别区域时,电子设备102可以保持在意识模式中。在区域之间的这种进展期间,显示器114可以为每个区域呈现上述视觉元素,以向用户112指示电子设备102的改变状态。
在一些实现方式中,在电子设备102上运行的应用(例如,在活动模式中)可能能够通过基于雷达的、远程的、三维(3D)手势来接收输入。在这种情况下,意识模式下的显示器可以呈现指示接收该类型的手势输入的应用的可用性的视觉元素。例如,当雷达手势订阅应用(手势订阅应用)正在运行时,显示器114可以呈现图标、对比照明区(例如,比周围区更亮或更暗的区)或不同或对比色的区。
考虑图13,其在1300处一般地图示可以被用于指示手势订阅应用正在电子设备102上运行的示例视觉元素。详细视图1300-1图示示例显示器114-7,其在没有手势订阅应用运行的状态下示出。在示例显示器114-8上示出另一状态,其中至少一个手势订阅应用正在运行。如上所述,在示例显示器114-8的顶部的视觉元素1302指示电子设备102可以通过远程3D手势接收输入。视觉元素1302被示为照明线,但是可以在另一位置、在不同的照明水平(例如,仅部分照明)呈现,或者呈现为另一形状或类型的元素。例如,在另一详细视图1300-2中,示例显示器114-9被示为处于没有手势订阅应用运行的状态中。在示例显示器114-10上示出其中至少一个手势订阅应用正在运行的另一状态。示例显示器114-10顶部的视觉元素1304指示电子设备102可以通过远程3D手势接收输入。视觉元素1304被示出为照明区(例如,发光区),具有比视觉元素1302更少定义的边缘。与视觉元素1302一样,视觉元素1304可以呈现在显示器114上的另一位置10处。注意,为了清楚起见,在示例显示器114-7至114-10上没有示出其他元素(例如,时间、日期或应用启动图标)。然而,视觉元素1302或1304可以与显示器上的其他内容一起显示,并且在电子设备102处于意识模式、参与模式、活动模式或其他模式的同时。
在一些实施方式中,当用户使用除了远程3D手势(例如,触摸或语音输入)之外的输入与电子设备102交互时,指示手势订阅应用正在运行的视觉元素(例如,示例视觉元素1302或1304)可以完全淡出或消失。例如,当手势订阅应用在电子设备102上操作时,用户可以决定使用电子设备上的触摸命令来开始另一应用(或者决定触摸或按压电源或锁定控件)。在这种情况下,当用户拾起电子设备102或触摸显示器114(或电源/锁定控件)时,视觉元素1302或1304可以淡出或消失。当用户停止触摸显示器114或放下电子设备102时,如果一个或多个手势订阅应用在电子设备102上操作,则视觉元素将重新出现(或变亮)。视觉元素可以立即重新出现或变亮或在可选择的持续时间之后重新出现或变亮。
附加地或可替选地,显示器114可以基于电子设备102的操作状态、屏幕状态、电源状态或功能模式——诸如休眠模式、意识模式、参与模式或活动模式——来呈现或不呈现视觉元素。例如,在休眠模式或其中用户可能与电子设备交互的频率较低、或者其中视觉元素将呈现更长的持续时间而不改变或隐藏的另一模式或状态,屏幕老化风险增加(例如,在呈现视觉元素的地方留下幻影,因为不频繁的交互意味着视觉元素在同一位置保持更长时间)。在这些情况下,视觉元素可以呈现在随时间而改变的位置处(例如,位置随时间流逝位移以避免在长时间内呈现在一个位置)。
在一些情况下,视觉元素也可以或替代地以能够有助于防止屏幕老化的间隔呈现和隐藏。间隔可以是任何适合显示类型的持续时间,诸如一秒、三秒、五秒等等。类似地,当电子设备102处于存在不同类型或模式(例如,触摸、语音和远程3D手势)的频繁交互的模式或状态时,视觉元素可以呈现更长的持续时间,因为用户的交互固有地使电子设备102示出和隐藏视觉元素,所以存在较少的屏幕烧屏的风险。
电子设备102还可以提供与远程3D手势的可用性有关的更详细的视觉反馈。考虑图14,其在1400处一般地图示可以被用于指示用户的手在使得手势订阅应用能够接收远程3D手势输入的手势区域内的示例视觉元素。手势区域是电子设备102(或雷达系统104)周围的区,在该区内电子设备102可以接收、解释远程3D手势并对其进行动作,诸如滑动或捏。手势区域可以从电子设备102延伸任何合适距离(例如,大约三、五、七或十英寸)。
在图14中,示出处于至少一个手势订阅应用正在运行的状态的示例显示器114-11(例如,类似于参考图13描述的示例显示器114-8)。用户的手1402被示为靠近示例显示器114-11,但在手势区域之外(手势区域的边界被示为虚线1404)。视觉元素1406被示为靠近示例显示器114-11的顶部的照明线,但是视觉元素1406可以被呈现在另一位置处或者被呈现为另一形状或类型的元素。当用户的手1402移动以穿过手势区域1004的边界时,如箭头1408所示,另一视觉元素1410取代视觉元素1406,如示例显示器114-12上所示。在该示例中,视觉元素1110是显示器顶部附近的更亮的线(例如,更亮或更充分地照明),但是视觉元素1410还可以在另一位置处呈现或者呈现为另一形状或类型的元素。当用户的手1402在手势区域1404的边界内时,视觉元素1408可以来回移动以表示用户的手1402的较小的、非手势运动,由箭头1412表示。在示例显示器114-13上通过双头箭头1414示出视觉元素1410的相应的运动。当用户的手1402移动到手势区域1404的边界之外撤回时,如箭头1416所示,显示器返回到如示例显示器114-11中所示的状态,其中视觉元素1406被显示在示例显示器114-11的顶部附近。视觉元素1406和1410连同视觉元素1408的运动1414一起可以帮助用户112了解手势何时可用,并且提供指示电子设备102意识到用户的手的相对位置的反馈,其可以改善用户对电子设备102的体验。
在一些实施方式中(在图14中未示出),非手势运动可以由其他视觉元素或对视觉元素的改变来表示。例如,在视觉元素是“发光”形状(例如,具有变化亮度、颜色或其他属性的形状)的情况下,该形状的焦点可以移位以表示运动,而该形状本身保持静止。附加地或替换地,对亮度或颜色的强度的改变可用于表示运动(例如,形状或形状的一部分的亮度或颜色根据非手势运动而改变)。
如参考图14所描述的,电子设备102可以提供视觉反馈以表示用户的手1402在手势区域中的较小的非手势运动,诸如根据用户的手的运动来回移动。类似地,当用户112作出远程3D手势(例如,跳过歌曲的轻扫手势或消除警告或通知的全向手势)时,电子设备102可提供反馈以通知用户112已成功接收到手势或接收到手势尝试但其不够清楚以被确认为远程3D手势。例如,图15在1500处一般地图示可用于通知用户112已成功接收到手势的示例视觉元素的序列。
在图15中,示出处于至少一个手势订阅应用正在运行并且用户的手1502在诸如手势区域1404的手势区域的边界内的状态的示例显示器114-14(例如,类似于参考图14描述的示例显示器114-12)。示例显示器114-14正呈现视觉元素1504,其被示为靠近示例显示器114-14的顶部的照明线,以指示远程3D手势的可用性以及用户的手1502在手势区域内。在图15的示例中,用户112从左向右进行滑动或轻扫手势,如箭头1506所示。响应于用户的手1502的运动1506,视觉元素1504也移动,如序列1508中所示(在虚线矩形内示出)。在序列1508中,示例显示器114-15图示当视觉元素1504开始向右移动时序列1508的开始,如箭头1510所示。
序列1508在另一示例显示器114-16中继续,其中视觉元素1504围绕示例显示器114-16的角弯曲,如箭头1512所示。视觉元素1504可以继续沿着显示器114的一侧向下可变距离(例如,一旦视觉元素的尾端完成弯曲或者在尾端已经沿着该侧行进特定距离之后),并且然后消失。在另一示例显示器114-17中,视觉元素1504从示例显示器114-17的左侧重新出现或重新生成,并且朝向中心位置移动,如箭头1514所示。当序列1508完成时,显示器返回到如示例显示器114-14中所示的状态,其中视觉元素1504显示在示例显示器114-14的顶部附近,并且在用户的手保持在手势区域1404的边界内的同时细微地跟踪该用户的手1502。视觉元素1504的运动可以帮助用户112了解何时已经接受手势以及手势何时完成,这可以改善用户对电子设备102的体验。
注意,序列1508在用户112开始手势时开始,但手势和序列1508可在不同时间完成。此外,如上所述,虽然视觉元素1504被示为显示器114的顶部附近的部分照明线,但是视觉元素1504可以被呈现在另一位置处或者被呈现为另一形状或类型的元素。序列1508还可以在显示器114上的另一位置处开始,并且在诸如从右到左、从上到下或从下到上(例如,如果远程3D手势从右到左、从上到下或从下到上移动)的另一方向上继续。示出成功的远程3D手势的序列的其他示例(图15中未示出)包括在其自身上折叠、暂时消失、然后(例如,从其原始位置)重新生成的视觉元素。其他示例还包括(例如,在一端、两端、中间或另一位置处)弯曲或折曲以示出成功远程3D手势的视觉元素,诸如在垂直于显示器114的方向上做出的手势或具有垂直于显示器114的分量的手势。
在一些情况下,如本文所述,即使在远程3D手势可用时(例如,因为用户与语音或触摸输入交互,或为了降低屏幕烧屏的风险),视觉元素也可被隐藏。在这种情况下,当用户做出成功的远程3D手势时,仍然可以示出视觉元素。考虑示例,其中当用户正在听音乐并使用语音输入来打开另一应用时,视觉元素被隐藏。在该示例中,用户执行远程3D手势以跳过歌曲,并且显示器呈现序列1508以通知用户远程3D手势成功。
图16一般地在1600图示可用于向用户112通知未能成功接收到手势的示例视觉元素的序列。在图16中,示出处于至少一个手势订阅应用正在运行并且用户的手1602在(诸如手势区域1404的)手势区域的边界内的状态的示例显示器114-18(例如,类似于参考图14描述的示例显示器114-12)。示例显示器114-18正呈现视觉元素1604,其被示为靠近示例显示器114-18的顶部的照明线,以指示远程3D手势的可用性以及用户的手1602在手势区域内。在图16的示例中,用户112尝试从左到右进行滑动或轻扫手势,但是未能满足轻扫手势的足够标准。例如,如弯曲箭头1606所示,用户的手1602在撤回之前可能不能在相关方向上行进足够距离。在这种情况下,当电子设备102(或雷达系统104)检测到用户的手1602的运动1606时,其缺乏足够的定义以被成功地确定为远程3D手势,视觉元素1604如序列1608(在虚线矩形内示出)中所示移动。在序列1608中,示例显示器114-19图示当视觉元素1604开始向右移动时序列1608的开始,如箭头1610所示。
继续序列1608,另一示例显示器114-20示出视觉元素1604在到达示例显示器114-20的边缘之前已经停止并且已经收缩(与其如示例显示器114-18中所示的开始长度相比)。在另一示例显示器114-21中,视觉元素1604反转方向,如另一箭头1612所示,开始向其原始位置(在该示例中为中心)移回,并且开始恢复到原始长度。在其他实施方式中,不是停止和收缩,而是视觉元素1604可以在反转方向之前减慢和弹回。当序列1608完成时,显示器返回到如示例显示器114-18中所示的状态,其中视觉元素1604被显示在示例显示器114-18的顶部附近并且在用户的手1602保持在手势区域1404的边界内的同时细微地跟踪该用户的手1602。视觉元素1604的运动可以帮助用户112了解何时尚未成功完成手势,使得用户可以学习用于做出成功的远程3D手势的技术并且在尝试的手势失败时变成意识(例如,因此如果必要的话,可以再次尝试它),这可以改善用户对电子设备102的体验。
注意,序列1608可在电子设备102(或意识管理器106)(例如,使用雷达数据的一个或多个子集)检测到用户112已尝试远程3D手势时开始,但还确定手势未能满足接受所必需的至少一个准则。因此,取决于尝试手势的性质和序列1608的速度,尝试手势和序列1608可以在不同时间完成。此外,如上所述,虽然视觉元素1604被示出为显示器114的顶部附近的部分照明线,但是视觉元素1604可以被呈现在另一位置处或者被呈现为另一形状或类型的元素。序列1608还可以在显示器114上的另一位置处开始并且在诸如从右到左、从上到下或从下到上(例如,如果尝试的远程3D手势从右到左、从上到下或从下到上移动)的另一方向上继续。示出不成功的远程3D手势尝试的序列的其他示例包括诸如通过短暂地收缩而部分地折叠在其自身上并且然后返回到其原始大小和位置的视觉元素。
在一些实施方式中,电子设备102包括手势暂停模式,其可在条件指示系统在接收或解译手势时可能低效或无效时关闭或暂停电子设备102的远程3D手势能力。例如,当电子设备102以高于阈值的速度移动时,或者当电子设备102移动的方向快速且重复地改变时,电子设备可以进入手势暂停模式并且向用户提供视觉反馈。电子设备102可基于来自各种传感器中的任何传感器的输入来确定进入手势暂停模式,所述传感器包括雷达传感器(例如,雷达系统104)、惯性测量单元(IMU)、接近度传感器(例如,有源红外接近传感器)等等。例如,如果用户112正在行走并收听音频内容,其中用户的手中的电子设备102来回摆动,则该运动可以类似于基于远程3D的轻扫手势,但是用户112不意图跳过音轨或调整音量。因此,因为电子设备102的运动将模糊性引入手势解释过程,所以电子设备102可以确定进入手势暂停模式直到模糊性被解决(例如,用户112停止行走)。
考虑图17,其在1700处一般地图示可用于指示手势订阅应用可用于接收远程3D手势输入但手势当前被暂停的示例视觉元素。无论用户的手是在手势区域内还是在手势区域外,只要远程3D手势可用,就可以激活手势暂停模式。在图17中,示出了处于至少一个手势订阅应用正在运行并且用户的手1702在手势区域1704的边界内的状态的示例显示器114-22(例如,类似于参考图14描述的示例显示器114-12)。示例显示器114-22正呈现视觉元素1708,其被示为靠近示例显示器114-22的顶部的照明线,以指示远程3D手势的可用性以及用户的手1702在手势区域内。如果用户112采取使得电子设备102进入手势暂停模式的动作(例如,用户的手1702在用户112行走时开始来回移动,如箭头1706所示),则视觉元素1708改变,如序列1710中所示(在虚线矩形内)。
示例显示器114-23图示响应于电子设备102检测到运动1706,序列1710的开始,另一视觉元素1712替换视觉元素1708。如示例显示器114-23上所示,视觉元素1712是比视觉元素1708更短和更暗的另一条线。序列1710在另一示例显示器114-24中继续,其中视觉元素1712开始向右移动,如箭头1714所示。在另一示例显示器114-25中继续序列1170,视觉元素1712向左移动,如箭头1716所示。在序列1710中,视觉元素1712可以在其到达显示器的一侧之前停止并反转方向,或者在反转方向之前一直转到边缘。在一些实施方式中,视觉元素1712可以在其停止时进一步收缩以反转方向,并且然后在其开始在相反方向上移动时、之后或之时返回到其原始大小。此外,视觉元素1712的振荡可以匹配手势暂停模式所基于的条件。例如,在用户的手臂摆动的情况下,视觉元素1712的振荡的速度或频率可以近似匹配用户的手移动的速度或频率。
如上所述,虽然视觉元素1712被示为显示器114的顶部附近的部分照明线,但是视觉元素1712可以被呈现在另一位置或者被呈现为另一形状或类型的元素。序列1710还可以在显示器114上的另一位置处开始,并且在另一方向上继续,诸如从右到左、从上到下或从下到上(例如,取决于显示器114上的任何内容的定向或另一因素)。
当电子设备102退出手势暂停模式时,序列1710完成并且显示器返回到适当状态,这取决于是否存在手势订阅应用正运行以及用户的手1702的位置。视觉元素1712的运动的此序列1710可以帮助用户112了解何时可以暂停手势,并且允许用户112调整如何使用电子设备以避免或利用手势暂停模式,这可以改善用户对电子设备102的体验。
在一些实施方式中,电子设备102可以确定显示器114的区域的背景颜色,在该区域上参考图13至图17描述的视觉元素被显示或将要显示。响应于确定背景颜色,电子设备102可以使显示器114以不同于背景颜色的另一颜色呈现视觉元素,并且可以在视觉元素和背景颜色之间提供人类可辨别的对比度,以使对用户112来说更容易看到视觉元素。在一些情况下,电子设备102可以基于对背景颜色的改变来连续地、自动地并且动态地调整视觉元素的颜色。
示例计算系统
图18图示示例计算系统1800的各种组件,示例计算系统1800能够作为如参考先前的图1至图17所描述的任何类型的客户端、服务器和/或电子设备被实现以实现基于雷达的认证状态反馈。
计算系统1800包括通信设备1802,通信设备1802能够实现设备数据1804(例如,雷达数据、认证数据、参考数据、接收到的数据、正在接收的数据、为广播而调度的数据和数据的数据分组)的有线和/或无线通信。设备数据1804或其它设备内容能够包括设备的配置设定、存储在设备上的媒体内容和/或与设备的用户相关联的信息(例如,雷达场内的人员的身份或者定制手势数据)。存储在计算系统1800上的媒体内容能够包括任何类型的雷达、生物计量、音频、视频和图像数据。计算系统1800包括能够经由其接收任何类型的数据、媒体内容和/或输入的一个或多个数据输入1806,诸如人类发言、与雷达场的交互(例如,雷达3D手势)、触摸输入、用户可选输入或者交互(显式的或隐式的)、消息、音乐、电视媒体内容、录制视频内容以及从任何内容和/或数据源接收的任何其它类型的音频、视频和/或图像数据。
计算系统1800还包括通信接口1808,其能够作为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器并作为任何其它类型的通信接口中的任何一个或多个被实现。通信接口1808提供计算系统1800与通信网络之间的连接和/或通信链路,其它电子、计算和通信设备通过所述通信网络来与计算系统1800传达数据。
计算系统1800包括一个或多个处理器1810(例如,微处理器、控制器或其它控制器中的任一个),所述处理器1810能够处理各种计算机可执行指令以控制计算系统1800的操作并启用用于基于雷达的认证状态反馈或者其中能够实现基于雷达的认证状态反馈的技术。可替选地或附加地,计算系统1800能够用连同通常在1812处标识的处理和控制电路一起实现的硬件、固件或固定逻辑电路中的任何一个或组合来实现。尽管未示出,但是计算系统1800能够包括耦合设备内的各种组件的系统总线或数据转移系统。系统总线能够包括不同总线结构中的任何一种或组合,诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任一种的处理器或本地总线。同样未示出,计算系统1800可以包括一个或多个非雷达传感器,诸如非雷达传感器108。
计算系统1800还包括计算机可读介质1814,诸如能够实现持久和/或非暂时性数据存储(例如,与仅信号传输相反)的一个或多个存储设备,其示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪速存储器、EPROM、EEPROM等中的任何一种或多种)和磁盘存储设备。可以将磁盘存储设备实现为任何类型的磁或光学存储设备,诸如硬盘驱动器、可记录和/或可重写紧致盘(CD)、任何类型的数字通用盘(DVD)等。计算系统1800还能够包括大容量存储介质设备(存储介质)1816。
计算机可读介质1814提供用于存储设备数据1804以及各种设备应用1818和与计算系统1800的操作方面有关的任何其它类型的信息和/或数据的数据存储机制。例如,操作系统1820能够作为计算机应用用计算机可读介质1814维护并在处理器1810上执行。设备应用1818可以包括设备管理器,诸如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备本机的代码、抽象模块、手势辨识模块和/或其它模块。设备应用1818还可以包括用于实现基于雷达的认证状态反馈的系统组件、引擎、模块或管理器,诸如雷达系统104、意识管理器106、认证系统118或者面部识别模块120。计算系统1800还可以包括一个或多个机器学习系统或者具有对一个或多个机器学习系统的访问权。
下面描述几个示例。
示例1.一种电子设备,包括:
显示器,
雷达系统,所述雷达系统至少部分以硬件实现,所述雷达系统被配置成:
提供雷达场;
在所述雷达场中感应来自用户的反射;
分析所述用户在所述雷达场中的所述反射;以及
根据所述反射的分析提供雷达数据;
一个或多个计算机处理器;以及
一个或多个计算机可读介质,所述一个或多个计算机可读介质具有被存储在其上的指令,响应于由所述一个或多个计算机处理器的执行,实现基于雷达的意识管理器,所述基于雷达的意识管理器被配置成:
维持所述电子设备处于休眠模式;
基于所述雷达数据的第一子集,确定所述用户在所述电子设备的识别区域内的存在;
响应于确定所述用户在所述识别区域内的所述存在,使所述电子设备进入意识模式,在所述意识模式中所述显示器呈现指示所述电子设备的第一状态的第一视觉元素;
基于所述雷达数据的第二子集,检测被归类为与所述电子设备交互的用户意图的指示的用户动作;
响应于检测到被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作,使所述电子设备准备认证系统以执行认证过程;
使所准备的认证系统基于触发事件对所述用户执行所述认证处理;并且
响应于所述用户被认证,使所述电子设备进入活动模式。
示例2.根据示例1所述的电子设备,其中指示所述电子设备在所述意识模式中的所述第一状态的所述第一视觉元素是显示时间、显示日期、连通性状态或电池电量指示器中的一个或多个。
示例3.根据示例1或2所述的电子设备,其中所述基于雷达的意识管理器进一步被配置成,响应于对被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作的检测,使所述电子设备进入参与模式,在所述参与模式中所述显示器呈现指示所述电子设备的第二状态的第二视觉元素。
示例4.根据示例3所述的电子设备,其中指示所述电子设备处于所述参与模式的第二状态的所述第二视觉元素是背景图像或指示所述电子设备被锁定的视觉元素中的一个或多个。
示例5.根据示例3或4所述的电子设备,其中所述基于雷达的意识管理器进一步被配置成响应于所述用户被认证,使所述电子设备在进入所述活动模式之前退出所述参与模式。
示例6.根据示例1-5中任一项所述的电子设备,其中所述认证系统与相机和面部识别模块相关联,并且准备所述认证系统以执行所述认证过程包括:
使所述相机进入其中所述相机可以拍摄图像的状态;以及
使所述人脸识别模块进入其中所述人脸识别模块可以使用所捕捉到的图像对所述用户认证的状态。在所描述的实施方式的优点中,包括其中雷达感测用于检测用户在识别区域内的存在的实施方式,并且进一步包括其中雷达用于检测被分类为用户意图与电子设备交互的指示的用户动作的实施方式,其中任一个可以可替代地使用设置有最现代智能电话的设备上相机来实现,雷达设施的电力使用显著小于相机设施的电力使用,而雷达设施的结果的适当性通常可以比相机设施的结果的适当性更好。例如,使用上文描述的雷达设备,可以在从一位数毫瓦到仅几十毫瓦(例如,10mW、20mW、30mW或40mW)的范围内的平均功率下实现期望的用户状态或用户意图检测,甚至包括用于处理雷达矢量数据以做出确定的处理功率。在这些低功率水平下,使雷达设施处于始终开启状态将是容易接受的。因此,例如,在智能电话雷达设施处于始终开启状态的情况下,仍然可以为已经从其智能电话跨房间坐了许多小时的用户提供当前描述的期望愉悦和无缝体验。相反,设置有大多数当今的智能电话的光学相机通常以数百毫瓦的功率(例如,高于40mW的数量级,其为400mW)操作。在这样的功率比下,光学相机将是不利的,因为它们将显著地减少大多数当今的智能电话的电池寿命,以至于使得光学相机处于始终开启状态即使不是禁止的也是非常不切实际的。雷达设备的另一优点是,即使当用户平躺和面朝上在桌面上时,视场可以相当大,足够容易地检测从任何方向向上行走的用户(对于许多典型的实施方式,其中雷达芯片在与自拍相机相同的总方向上面向外),并且此外,由于其多普勒处理能力,在检测来自各个方向的运动体的甚至相对细微的运动方面可以是高度有效的(尤其在接近60GHz的工作频率)。另外,雷达设施可以在相机设施的性能被降低或限制的环境中操作。例如,在较弱光线的环境中,相机设施可能具有降低的检测形状或移动的能力。相反,雷达设备在较弱光线下也与在全光线下一样好。雷达设施还可以通过一些障碍物来检测存在和手势。例如,如果智能电话在口袋或夹克或裤子中,则相机设施不能检测用户或手势。然而,雷达设施仍然可以检测其场中的物体,即使通过将阻挡相机设施的织物。使用雷达设备优于智能电话的机载摄像机设备的更进一步的优点是隐私,由此用户可以具有本文描述的令人愉快和无缝体验的优点,而同时不需要担心存在为这种目的拍摄它们的视频的摄像机。
示例7.根据示例1-6中任一项所述的电子设备,其中使所述电子设备进入所述活动模式进一步包括使所述显示器呈现指示所述电子设备的第三状态的第三视觉元素,所述第三视觉元素是下述中的至少一个:背景图像、墙纸、主屏幕、具有指示所述电子设备处于解锁状态的视觉元素的屏幕,或在所述电子设备进入锁定状态之前最近打开的应用的屏幕。
示例8.根据示例7所述的电子设备,其中所述基于雷达的意识管理器进一步被配置成:
基于所述雷达数据的第一子集或所述雷达数据的另一子集中的至少一个确定另一用户是否存在于所述电子设备的识别区域内;和
至少部分地基于对所述其他用户是否存在于所述识别区域内的确定,确定指示所述电子设备的第三状态的所述第三视觉元素。
示例9.根据示例1-8中任一项所述的电子设备,其中被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作是伸出手势。
示例10.根据示例1-9中任一项所述的电子设备,其中所述触发事件是下述中的至少一个:用户位置的改变、所述电子设备的定向的改变、或显式触摸输入。
示例11.根据示例1-10中任一项所述的电子设备,其中所述雷达数据的第一子集和所述雷达数据的第二子集基于在分离的时间在所述雷达场中来自所述用户的反射。
示例12.一种在包括雷达系统和基于雷达的意识管理器的电子设备中实现的方法,所述方法包括:
由所述雷达系统提供雷达场;
由所述雷达系统感测来自用户在所述雷达场中的反射;
由所述雷达系统分析所述用户在所述雷达场中的所述反射;
由所述雷达系统并且基于所述反射分析提供雷达数据;
由所述基于雷达的意识管理器,将所述电子设备维持在休眠模式;
基于所述雷达数据的第一子集,确定所述用户在所述电子设备的识别区域内的存在;
响应于确定所述用户在所述识别区域内的存在,使所述电子设备进入意识模式,其中所述显示器呈现指示所述电子设备的第一状态的第一视觉元素;
基于所述雷达数据的第二子集,检测被归类为与所述电子设备交互的用户意图指示的用户动作;
响应于检测到被归类为与所述电子设备交互的所述用户意图指示的所述用户动作,使所述电子设备准备认证系统以执行认证过程;
由所述基于雷达的意识管理器并基于触发事件,使所准备的认证系统对所述用户执行所述认证过程;以及
响应于所述用户被认证,由所述基于雷达的意识管理器使所述电子设备进入活动模式。
示例13.根据示例12所述的方法,进一步包括:响应于检测到被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作,使所述电子设备进入参与模式,在参与模式中所述显示器呈现指示所述电子设备的第二状态的第二视觉元素。
示例14.根据示例12或13所述的方法,其中通过所述基于雷达的意识管理器使所述电子设备进入所述活动模式进一步包括使所述电子设备在进入所述活动模式之前退出所述参与模式。
示例15.根据示例12-14中任一项所述的方法,其中:
指示所述电子设备在所述意识模式下的所述第一状态的所述第一视觉元素是显示时间、显示日期、连通性状态或电池电量指示器中的至少一个;以及
指示所述电子设备处于所述参与模式的所述第二状态的所述第二视觉元素是背景图像或指示所述电子设备被锁定的视觉元素中的一个或多个。
示例16.根据示例12-15中任一项所述的方法,其中所述认证系统与相机和面部识别模块相关联,并且准备所述认证系统以执行所述认证过程包括:
使所述相机进入其中所述相机可以拍摄图像的状态;和
使所述人脸识别模块进入其中所述人脸识别模块可以使用所述捕捉到的图像对所述用户认证的状态。
示例17.根据示例12-16中任一项所述的方法,其中使所述电子设备进入所述活动模式进一步包括使所述显示器呈现指示所述电子设备的第三状态的第三视觉元素。
实施例18.根据示例17所述的方法,其中:
所述第三视觉元素为背景图像或指示所述电子设备被解锁的视觉元素中的至少一个;并且
所述背景图像或所述视觉元素在持续时间内被呈现并且停止被呈现。
示例19.根据示例12-18中任一项所述的方法,其中被归类为与所述电子设备交互的所述用户意图的所述指示的所述用户动作是伸出手势。
示例20.根据示例12-19中任一项所述的方法,其中所述触发事件是下述中的至少一个:用户位置的改变、所述电子设备的定向的改变;以及显式的触摸输入。
结论
尽管已经以特定于特征和/或方法的语言描述了启用基于雷达的认证状态反馈的技术和启用基于雷达的认证状态反馈的装置的实施方式,但是要理解的是,所附权利要求书的主题不一定限于所描述的具体特征或方法。相反,这些具体特征和方法作为启用基于雷达的认证状态反馈的的示例实施方式被公开。

Claims (20)

1.一种电子设备,包括:
显示器,
雷达系统,所述雷达系统至少部分以硬件实现,所述雷达系统被配置成:
提供雷达场;
感测来自在所述雷达场中的用户的反射;
分析来自在所述雷达场中的所述用户的所述反射;以及
基于所述反射的所述分析提供雷达数据;
一个或多个计算机处理器;以及
一个或多个计算机可读介质,所述一个或多个计算机可读介质具有存储在其上的指令,响应于由所述一个或多个计算机处理器的执行,所述指令实现基于雷达的意识管理器,所述基于雷达的意识管理器被配置成:
维持所述电子设备处于休眠模式;
基于所述雷达数据的第一子集,确定所述用户在所述电子设备的识别区域内的存在;
响应于确定所述用户在所述识别区域内的所述存在,使所述电子设备进入意识模式,在所述意识模式中所述显示器呈现指示所述电子设备的第一状态的第一视觉元素;
基于所述雷达数据的第二子集,检测被归类为与所述电子设备交互的用户意图的指示的用户动作;
响应于检测到被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作,使所述电子设备准备认证系统以执行认证过程;
使所准备的认证系统基于触发事件对所述用户执行所述认证过程;并且
响应于所述用户被认证,使所述电子设备进入活动模式。
2.根据权利要求1所述的电子设备,其中,指示在所述意识模式中所述电子设备的所述第一状态的所述第一视觉元素是显示时间、显示日期、连通性状态或电池电量指示器中的一个或多个。
3.根据权利要求1或2所述的电子设备,其中,所述基于雷达的意识管理器进一步被配置成:响应于检测到被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作,使所述电子设备进入参与模式,在所述参与模式中所述显示器呈现指示所述电子设备的第二状态的第二视觉元素。
4.根据权利要求3所述的电子设备,其中,指示在所述参与模式中所述电子设备的所述第二状态的所述第二视觉元素是背景图像或指示所述电子设备被锁定的视觉元素中的一个或多个。
5.根据权利要求3或4所述的电子设备,其中,所述基于雷达的意识管理器进一步被配置成:响应于所述用户被认证,使所述电子设备在进入所述活动模式之前退出所述参与模式。
6.根据权利要求1至5中的任一项所述的电子设备,其中,所述认证系统与相机和面部识别模块相关联,并且准备所述认证系统以执行所述认证过程包括:
使所述相机进入其中所述相机能够捕捉图像的状态;以及
使所述人脸识别模块进入其中所述人脸识别模块能够使用所捕捉到的图像来认证所述用户的状态。
7.根据权利要求1至6中的任一项所述的电子设备,其中,使所述电子设备进入所述活动模式进一步包括使所述显示器呈现指示所述电子设备的第三状态的第三视觉元素,所述第三视觉元素是下述中的至少一个:背景图像、墙纸、主屏幕、具有指示所述电子设备处于解锁状态的视觉元素的屏幕、或在所述电子设备进入锁定状态之前最近打开的应用的屏幕。
8.根据权利要求7所述的电子设备,其中,所述基于雷达的意识管理器进一步被配置成:
基于所述雷达数据的第一子集或所述雷达数据的另一子集中的至少一个确定另一用户是否存在于所述电子设备的所述识别区域内;以及
至少部分地基于对所述另一用户是否存在于所述识别区域内的确定,确定指示所述电子设备的所述第三状态的所述第三视觉元素。
9.根据权利要求1至8中的任一项所述的电子设备,其中,被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作是伸出手势。
10.根据权利要求1至9中的任一项所述的电子设备,其中,所述触发事件是下述中的至少一个:
用户位置的改变;
所述电子设备的定向的改变;或
显式触摸输入。
11.根据权利要求1至10中的任一项所述的电子设备,其中,所述雷达数据的所述第一子集和所述雷达数据的所述第二子集基于在分离的时间来自在所述雷达场中的所述用户的反射。
12.一种在包括雷达系统和基于雷达的意识管理器的电子设备中实现的方法,所述方法包括:
由所述雷达系统提供雷达场;
由所述雷达系统感测来自在所述雷达场中的用户的反射;
由所述雷达系统分析来自在所述雷达场中的所述用户的所述反射;
由所述雷达系统并且基于所述反射的所述分析提供雷达数据;
由所述基于雷达的意识管理器将所述电子设备维持在休眠模式;
基于所述雷达数据的第一子集,确定所述用户在所述电子设备的识别区域内的存在;
响应于确定所述用户在所述识别区域内的存在,使所述电子设备进入意识模式,在所述意识模式中所述显示器呈现指示所述电子设备的第一状态的第一视觉元素;
基于所述雷达数据的第二子集,检测被归类为与所述电子设备交互的用户意图指示的用户动作;
响应于检测到被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作,使所述电子设备准备认证系统以执行认证过程;
由所述基于雷达的意识管理器并基于触发事件,使所准备的认证系统对所述用户执行所述认证过程;以及
响应于所述用户被认证,由所述基于雷达的意识管理器使所述电子设备进入活动模式。
13.根据权利要求12所述的方法,进一步包括:响应于检测到被归类为与所述电子设备交互的所述用户意图的指示的所述用户动作,使所述电子设备进入参与模式,在所述参与模式中所述显示器呈现指示所述电子设备的第二状态的第二视觉元素。
14.根据权利要求12或13所述的方法,其中,通过所述基于雷达的意识管理器使所述电子设备进入所述活动模式进一步包括使所述电子设备在进入所述活动模式之前退出所述参与模式。
15.根据权利要求12至14中的任一项所述的方法,其中:
指示在所述意识模式中所述电子设备的所述第一状态的所述第一视觉元素是显示时间、显示日期、连通性状态或电池电量指示器中的至少一个;以及
指示在所述参与模式中所述电子设备的所述第二状态的所述第二视觉元素是背景图像或指示所述电子设备被锁定的视觉元素中的一个或多个。
16.根据权利要求12至15中的任一项所述的方法,其中,所述认证系统与相机和面部识别模块相关联,并且准备所述认证系统以执行所述认证过程包括:
使所述相机进入其中所述相机能够捕捉图像的状态;以及
使所述人脸识别模块进入其中所述人脸识别模块能够使用所捕捉到的图像来认证所述用户的状态。
17.根据权利要求12至16中的任一项所述的方法,其中,使所述电子设备进入所述活动模式进一步包括使所述显示器呈现指示所述电子设备的第三状态的第三视觉元素。
18.根据权利要求17所述的方法,其中:
所述第三视觉元素为背景图像或指示所述电子设备被解锁的视觉元素中的至少一个;以及
所述背景图像或所述视觉元素在持续时间内被呈现并且然后停止被呈现。
19.根据权利要求12至18中的任一项所述的方法,其中,被归类为与所述电子设备交互的所述用户意图的所述指示的所述用户动作是伸出手势。
20.根据权利要求12至19中的任一项所述的方法,其中,所述触发事件是下述中的至少一个:
用户位置的改变;
所述电子设备的定向的改变;或者
显式的触摸输入。
CN201980097071.9A 2019-06-26 2019-06-26 基于雷达的认证状态反馈 Pending CN113924568A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/039306 WO2020263250A1 (en) 2019-06-26 2019-06-26 Radar-based authentication status feedback

Publications (1)

Publication Number Publication Date
CN113924568A true CN113924568A (zh) 2022-01-11

Family

ID=67439338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980097071.9A Pending CN113924568A (zh) 2019-06-26 2019-06-26 基于雷达的认证状态反馈

Country Status (4)

Country Link
US (1) US11841933B2 (zh)
EP (1) EP3991067A1 (zh)
CN (1) CN113924568A (zh)
WO (1) WO2020263250A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
CN113906367B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 通过imu和雷达的认证管理
JP7292437B2 (ja) 2019-07-26 2023-06-16 グーグル エルエルシー Imuおよびレーダーに基づいて状態を下げること
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11080383B2 (en) * 2019-08-09 2021-08-03 BehavioSec Inc Radar-based behaviometric user authentication
KR102661485B1 (ko) 2019-08-30 2024-04-29 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
WO2021040745A1 (en) 2019-08-30 2021-03-04 Google Llc Input methods for mobile devices
DE102019130388B4 (de) * 2019-11-11 2022-10-20 Infineon Technologies Ag Radarvorrichtung mit integrierter Sicherheitsfähigkeit
US11875659B2 (en) 2019-12-12 2024-01-16 Google Llc Privacy-preserving radar-based fall monitoring
US11808839B2 (en) 2020-08-11 2023-11-07 Google Llc Initializing sleep tracking on a contactless health tracking device
US11754676B2 (en) 2020-08-11 2023-09-12 Google Llc Precision sleep tracking using a contactless sleep tracking device
US11832961B2 (en) * 2020-08-11 2023-12-05 Google Llc Contactless sleep detection and disturbance attribution
US20220221573A1 (en) * 2021-01-08 2022-07-14 Google Llc Systems and methods for managing sensors of an electronic device, and associated electronic devices
WO2023236179A1 (en) * 2022-06-10 2023-12-14 Qualcomm Incorporated Sensing processing capability report in user equipment (ue) -assisted bistatic or multistatic sensing
WO2024072467A1 (en) * 2022-09-30 2024-04-04 Google Llc Detecting user engagement

Family Cites Families (222)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670987A (en) 1993-09-21 1997-09-23 Kabushiki Kaisha Toshiba Virtual manipulating apparatus and method
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6727892B1 (en) 1999-05-20 2004-04-27 Micron Technology, Inc. Method of facilitating the selection of features at edges of computer touch screens
US7088343B2 (en) 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
US7543755B2 (en) 2001-12-28 2009-06-09 Panasonic Electric Works Co., Ltd. Electronic key, electronic locking apparatus, electronic security system, and key administering server
US7277706B2 (en) 2003-02-12 2007-10-02 Nokia Corporation Provision of service contexts in a communication system
JP4314877B2 (ja) 2003-05-12 2009-08-19 ソニー株式会社 機器間認証システム及び機器間認証方法、通信装置、並びにコンピュータ・プログラム
US6990335B1 (en) 2004-11-18 2006-01-24 Charles G. Shamoon Ubiquitous connectivity and control system for remote locations
KR100597798B1 (ko) 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
JP2007080219A (ja) 2005-09-16 2007-03-29 Navitime Japan Co Ltd 携帯端末装置および携帯端末装置における省電力制御方法
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US8902155B2 (en) 2007-07-09 2014-12-02 Sony Corporation Electronic apparatus and control method therefor
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
TWI617936B (zh) * 2007-09-24 2018-03-11 蘋果公司 於電子設備中嵌入鑑認系統
US9545571B2 (en) 2008-01-25 2017-01-17 Nintendo Co., Ltd. Methods and apparatus for a video game magic system
KR101506488B1 (ko) 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
JP4318227B1 (ja) 2008-04-21 2009-08-19 守弘 斎藤 走行ロボット
US8943560B2 (en) 2008-05-28 2015-01-27 Microsoft Corporation Techniques to provision and manage a digital telephone to authenticate with a network
US20100008031A1 (en) 2008-07-08 2010-01-14 Emblaze Mobile Ltd Ergonomic handheld device
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US20100192102A1 (en) 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus near edges of a display area
US10282563B2 (en) 2009-02-06 2019-05-07 Tobii Ab Video-based privacy supporting system
US8254670B2 (en) 2009-02-25 2012-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Self-learning object detection and classification systems and methods
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US20100306716A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8312392B2 (en) 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US8488413B2 (en) 2009-10-16 2013-07-16 Casio Computer Co., Ltd. Indicated position detecting apparatus and indicated position detecting method
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US8239785B2 (en) 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
EP2534554B1 (en) 2010-02-11 2020-06-10 Hewlett-Packard Development Company, L.P. Input command
US20120194551A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
EP2385450A1 (en) 2010-05-07 2011-11-09 Research In Motion Limited Portable electronic device and method of controlling same
US20110304541A1 (en) 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US20120032834A1 (en) 2010-08-09 2012-02-09 Weeks Steven V Use of accelerometer and ability to disable power switch for tamper protection and theft tracking
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US8898793B2 (en) 2011-01-14 2014-11-25 Nokia Corporation Method and apparatus for adjusting context-based factors for selecting a security policy
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US20120226981A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
US9104239B2 (en) 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US9229489B2 (en) 2011-05-03 2016-01-05 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US20130038564A1 (en) 2011-08-10 2013-02-14 Google Inc. Touch Sensitive Device Having Dynamic User Interface
US20200302732A9 (en) 2011-10-20 2020-09-24 Robert A. Luciano, Jr. Gesture based gaming controls for an immersive gaming terminal
US20130106898A1 (en) 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device
US9207852B1 (en) 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US9619038B2 (en) 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
KR101683868B1 (ko) 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US9392421B2 (en) 2012-05-23 2016-07-12 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode depending on user proximity or device position
DE102012014910A1 (de) 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm
US9235241B2 (en) 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
US9785217B2 (en) 2012-09-28 2017-10-10 Synaptics Incorporated System and method for low power input object detection and interaction
KR102051418B1 (ko) 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140118257A1 (en) 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
TW201419036A (zh) 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9081571B2 (en) 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
WO2014088621A1 (en) 2012-12-03 2014-06-12 Google, Inc. System and method for detecting gestures
US8996516B2 (en) 2013-01-02 2015-03-31 Google Inc. Adjacent search results exploration
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9268399B2 (en) 2013-03-01 2016-02-23 Qualcomm Incorporated Adaptive sensor sampling for power efficient context aware inferences
US9448634B1 (en) 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US11017069B2 (en) 2013-03-13 2021-05-25 Lookout, Inc. Method for changing mobile communications device functionality based upon receipt of a second code and the location of a key device
US10216266B2 (en) 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US10121049B2 (en) 2013-04-01 2018-11-06 AMI Research & Development, LLC Fingerprint based smart phone user verification
US9389641B2 (en) 2013-05-10 2016-07-12 Blackberry Limited Carrying case with peek functionality
US9065932B2 (en) 2013-05-10 2015-06-23 Blackberry Limited Device for providing notifications while mated with a carrying case
US9231765B2 (en) 2013-06-18 2016-01-05 Arm Ip Limited Trusted device
WO2015008164A2 (en) 2013-06-27 2015-01-22 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
US9338116B2 (en) 2013-06-28 2016-05-10 Blackberry Limited Device and method for displaying and interacting with display objects
KR101488193B1 (ko) 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
US20150088282A1 (en) 2013-09-24 2015-03-26 Fibar Group sp. z o. o. Touch-less swipe control
US10591969B2 (en) * 2013-10-25 2020-03-17 Google Technology Holdings LLC Sensor-based near-field communication authentication
JP2015103020A (ja) 2013-11-25 2015-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9851896B2 (en) 2013-12-17 2017-12-26 Google Inc. Edge swiping gesture for home navigation
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
KR102204265B1 (ko) 2014-02-24 2021-01-15 소니 주식회사 다른 디바이스들에서의 기능들을 활성화하기 위해 착용형 디바이스들로부터 감각 정보를 취득하기 위한 스마트 착용형 디바이스 및 방법
CN106068201B (zh) 2014-03-07 2019-11-01 大众汽车有限公司 用户界面和在手势检测时将输入件3d位置信号化的方法
KR102222561B1 (ko) 2014-03-27 2021-03-05 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
JP6468883B2 (ja) 2014-04-10 2019-02-13 キヤノン株式会社 情報処理装置、及びその制御方法、コンピュータプログラム、記録媒体
US11039314B2 (en) 2014-04-29 2021-06-15 Taliware, Inc. Method for passive authentication of an individual using an individual's geo-location via a communication network and blockchain associated recording of individual's authentication data
CN106415454A (zh) 2014-04-30 2017-02-15 Lg伊诺特有限公司 触控设备、具有该触控设备的可穿戴设备及触控识别方法
KR20150129423A (ko) 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
CN107765774B (zh) 2014-05-14 2020-03-20 深圳市汇顶科技股份有限公司 待机状态下基于指纹识别的终端登录方法、系统
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
KR101598771B1 (ko) 2014-06-11 2016-03-02 주식회사 슈프리마에이치큐 얼굴 인식 생체 인증 방법 및 장치
US10410630B2 (en) 2014-06-19 2019-09-10 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
JP6434144B2 (ja) 2014-07-18 2018-12-05 アップル インコーポレイテッドApple Inc. デバイスにおけるレイズジェスチャ検出
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016036155A1 (en) 2014-09-04 2016-03-10 Samsung Electronics Co., Ltd. Method of providing user with battery power notification in mobile device and mobile device therefor
US9633497B2 (en) 2014-09-05 2017-04-25 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for medical monitoring device gesture control lockout
CA2904881A1 (en) 2014-09-22 2016-03-22 Gtech Canada Ulc Gesture-based navigation on gaming terminal with 3d display
US9410979B2 (en) 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP6249919B2 (ja) 2014-10-06 2017-12-20 三菱電機株式会社 操作入力装置
US10061509B2 (en) 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
US20160150124A1 (en) 2014-11-24 2016-05-26 Kyocera Document Solutions Inc. Image Forming Apparatus with User Identification Capabilities
US9830073B2 (en) 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
US10254391B2 (en) 2014-12-15 2019-04-09 Jj Corp Radar detector for recognizing user's motion
JP2018506773A (ja) 2014-12-16 2018-03-08 ソマティクス, インコーポレイテッド ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム
US10613637B2 (en) 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
JP6426025B2 (ja) 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US9530299B2 (en) 2015-03-03 2016-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and apparatuses for assisting a visually-impaired user
JP6524717B2 (ja) 2015-03-04 2019-06-05 株式会社リコー 電子機器、通信モード制御方法および通信モード制御プログラム
US20160275348A1 (en) 2015-03-17 2016-09-22 Motorola Mobility Llc Low-power iris authentication alignment
US20160282934A1 (en) 2015-03-25 2016-09-29 Motorola Mobility Llc Presence detection for gesture recognition and iris authentication
US9547762B2 (en) 2015-03-30 2017-01-17 Google Inc. Authenticating user and launching an application on a single intentional user gesture
US9904409B2 (en) 2015-04-15 2018-02-27 Samsung Electronics Co., Ltd. Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
US20200364967A1 (en) 2015-04-15 2020-11-19 Richard SPICE Contactless payment terminal
KR20160123200A (ko) 2015-04-15 2016-10-25 삼성전자주식회사 터치 입력 처리 방법 및 이를 지원하는 전자 장치
JP6699658B2 (ja) 2015-04-22 2020-05-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107430443B (zh) 2015-04-30 2020-07-10 谷歌有限责任公司 基于宽场雷达的手势识别
KR102011992B1 (ko) 2015-04-30 2019-08-19 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
JP6427279B2 (ja) 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、rfに基づいた微細動作追跡
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
DE102015210130A1 (de) 2015-06-02 2016-12-08 Volkswagen Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei Interaktion mit einer Anwenderschnittstelle
KR20170025570A (ko) 2015-08-28 2017-03-08 엘지전자 주식회사 와치 타입 이동 단말기 및 그의 동작 방법
CN106503004B (zh) 2015-09-07 2020-09-11 腾讯科技(深圳)有限公司 一种信息处理方法及装置、终端
US9629201B2 (en) 2015-09-21 2017-04-18 Qualcomm Incorporated Using Wi-Fi as human control interface
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US20170097684A1 (en) 2015-10-06 2017-04-06 Google, Inc. Compressed Sensing for Gesture Tracking and Recognition with Radar
CN106371569A (zh) 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
CN106339076B (zh) 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置
US10393872B2 (en) 2015-12-08 2019-08-27 Garmin Switzerland Gmbh Camera augmented bicycle radar sensor system
CN105404466B (zh) 2015-12-11 2020-05-26 联想(北京)有限公司 一种电子设备
WO2017100641A1 (en) 2015-12-11 2017-06-15 SomniQ, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
DE102016100064B4 (de) 2016-01-04 2017-11-23 Volkswagen Aktiengesellschaft Adative Anzeige in B-Säule
CN205318531U (zh) 2016-01-22 2016-06-15 上海云充新能源科技有限公司 电动汽车充电桩用户自动感知确认系统
US10095876B2 (en) 2016-02-09 2018-10-09 Rovi Guides, Inc. Systems and methods for allowing a user to access blocked media
US10161175B2 (en) 2016-02-29 2018-12-25 Ford Global Technologies, Llc Moving object detection for power door system
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
US10067219B2 (en) 2016-03-21 2018-09-04 International Business Machines Corporation Synchronization in software-defined radio systems
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US10022613B2 (en) 2016-05-02 2018-07-17 Bao Tran Smart device
CN107404628B (zh) 2016-05-18 2020-09-01 佳能株式会社 图像处理装置及方法以及监视系统
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US20170336220A1 (en) 2016-05-20 2017-11-23 Daqri, Llc Multi-Sensor Position and Orientation Determination System and Device
KR102620138B1 (ko) 2016-06-02 2024-01-03 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US10791213B2 (en) 2016-06-14 2020-09-29 Hand Held Products, Inc. Managing energy usage in mobile devices
US11275446B2 (en) 2016-07-07 2022-03-15 Capital One Services, Llc Gesture-based user interface
US10238976B2 (en) 2016-07-07 2019-03-26 Disney Enterprises, Inc. Location-based experience with interactive merchandise
WO2018031516A1 (en) 2016-08-09 2018-02-15 Google Llc Radar-based gestural interface
US10086267B2 (en) 2016-08-12 2018-10-02 Microsoft Technology Licensing, Llc Physical gesture input configuration for interactive software and video games
WO2018035129A1 (en) 2016-08-15 2018-02-22 Georgia Tech Research Corporation Electronic device and method of controlling the same
US10416777B2 (en) 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10934764B2 (en) 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US10168767B2 (en) 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
US10474145B2 (en) 2016-11-08 2019-11-12 Qualcomm Incorporated System and method of depth sensor activation
US10754416B2 (en) 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for a peripheral-centric augmented/virtual reality environment
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10372260B2 (en) 2016-12-12 2019-08-06 Microsoft Technology Licensing, Llc Apparatus and method of adjusting power mode of a display of a device
EP3336634B1 (en) 2016-12-14 2020-02-26 ABB Schweiz AG Computer system and method for monitoring the status of a technical system
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10768682B2 (en) 2017-01-20 2020-09-08 Flir Systems, Inc. Detection-based wakeup of detection devices
US10356617B2 (en) 2017-02-08 2019-07-16 Qualcomm Incorporated Mobile device to provide continuous authentication based on contextual awareness
US10845477B2 (en) 2017-05-10 2020-11-24 Google Llc Power management using a low-power radar
US20200372239A1 (en) 2017-05-15 2020-11-26 Microsoft Technology Licensing, Llc Device wake-up based on fingerprint sensor
WO2018209494A1 (en) 2017-05-15 2018-11-22 Microsoft Technology Licensing, Llc. Headset with fingerprint authentication
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
JP6914416B2 (ja) 2017-07-31 2021-08-04 ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. プリンター、方法、および非一時的なコンピュータ可読媒体
US11030289B2 (en) * 2017-07-31 2021-06-08 Stmicroelectronics, Inc. Human presence detection
WO2019024056A1 (zh) 2017-08-03 2019-02-07 华为技术有限公司 一种防误触方法及终端
EP3665616A4 (en) * 2017-08-09 2021-06-02 The Board of Trustees of the Leland Stanford Junior University INTERACTIVE BIOMETRIC TOUCH SCANNER
CN107580129A (zh) 2017-09-01 2018-01-12 北京小米移动软件有限公司 终端状态控制方法及装置
US10612936B2 (en) 2017-09-01 2020-04-07 Telenav, Inc. Navigation system with delivery mechanism and method of operation thereof
CN208339456U (zh) 2017-09-01 2019-01-08 江苏索众智能科技有限公司 一种智能马桶盖
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
CN109491496A (zh) 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
US10484530B2 (en) 2017-11-07 2019-11-19 Google Llc Sensor based component activation
US10725161B2 (en) * 2017-12-15 2020-07-28 Google Llc Seamless authentication using radar
WO2019146032A1 (ja) 2018-01-25 2019-08-01 三菱電機株式会社 ジェスチャー操作装置およびジェスチャー操作方法
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
CN112235452B (zh) 2018-04-28 2022-04-12 华为技术有限公司 一种灭屏显示的方法及电子设备
US11027822B2 (en) 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
JP2019030000A (ja) 2018-06-27 2019-02-21 京セラ株式会社 電子機器、プログラムおよび制御方法
CN108639006A (zh) 2018-07-04 2018-10-12 江苏吉厚智能制造有限公司 汽车尾门雷达开启系统
US10284541B1 (en) 2018-07-09 2019-05-07 Capital One Services, Llc System and method for generating enhanced distributed online registry
CN109032488A (zh) 2018-07-17 2018-12-18 Oppo广东移动通信有限公司 黑屏手势的处理方法、存储介质及电子设备
CN108958490B (zh) 2018-07-24 2021-09-17 Oppo(重庆)智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
US11269428B2 (en) 2018-09-09 2022-03-08 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
US11310226B2 (en) 2018-12-19 2022-04-19 Paypal, Inc. Gesture and motion detection using a device radar component for user authentication
US11417163B2 (en) 2019-01-04 2022-08-16 Byton North America Corporation Systems and methods for key fob motion based gesture commands
CN109857251A (zh) 2019-01-16 2019-06-07 珠海格力电器股份有限公司 智能家电的手势识别控制方法、装置、存储介质及设备
BR112021016414A2 (pt) 2019-02-19 2021-10-13 Samsung Electronics Co., Ltd Dispositivo eletrônico para reduzir a ocorrência de entrada não intencional de usuário e método de operação para o mesmo
EP4102344A1 (en) 2019-02-19 2022-12-14 Samsung Electronics Co., Ltd. Electronic device and display control method thereof
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11496387B2 (en) 2019-06-11 2022-11-08 Zscaler, Inc. Auto re-segmentation to assign new applications in a microsegmented network
US11604891B2 (en) 2019-07-17 2023-03-14 Motorola Mobility Llc Displaying sensitive content based on whether others are around user
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
JP7292437B2 (ja) 2019-07-26 2023-06-16 グーグル エルエルシー Imuおよびレーダーに基づいて状態を下げること
KR102639579B1 (ko) 2019-07-26 2024-02-26 구글 엘엘씨 인증된 상태 유지하기
WO2021021220A1 (en) 2019-07-26 2021-02-04 Google Llc Authentication management through imu and radar
WO2021021224A1 (en) 2019-07-26 2021-02-04 Google Llc Context-sensitive control of radar-based gesture-recognition
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
CN113906367B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 通过imu和雷达的认证管理
WO2021040749A1 (en) 2019-08-30 2021-03-04 Google Llc Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
WO2021040747A1 (en) 2019-08-30 2021-03-04 Google Llc Methods for reliable acceptance of user non-contact gesture inputs for a mobile device
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
KR102661485B1 (ko) 2019-08-30 2024-04-29 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
WO2021040745A1 (en) 2019-08-30 2021-03-04 Google Llc Input methods for mobile devices
US20210103337A1 (en) 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
US11640208B2 (en) 2019-11-21 2023-05-02 Infineon Technologies Ag Gesture feedback in distributed neural network system
CN115079109A (zh) 2022-06-07 2022-09-20 中国石油大学(华东) 一种合成孔径雷达成像质量指标评价系统

Also Published As

Publication number Publication date
US11841933B2 (en) 2023-12-12
WO2020263250A1 (en) 2020-12-30
EP3991067A1 (en) 2022-05-04
US20200410072A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
CN113924568A (zh) 基于雷达的认证状态反馈
KR102479012B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
EP3811187B1 (en) Input methods for mobile devices
CN111149079B (zh) 智能电话和在电子设备中实现的方法
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
US11169615B2 (en) Notification of availability of radar-based input for electronic devices
US20210064144A1 (en) Methods for Reliable Acceptance of User Non-Contact Gesture Inputs for a Mobile Device
CN113614676B (zh) 用于提供多模式界面的基于移动设备的雷达系统及其方法
CN113632046A (zh) 用于将不同功率模式应用于多模式界面的基于移动设备的雷达系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination