CN113892072A - 用于暂停的雷达姿势的视觉指示器 - Google Patents

用于暂停的雷达姿势的视觉指示器 Download PDF

Info

Publication number
CN113892072A
CN113892072A CN201980096557.0A CN201980096557A CN113892072A CN 113892072 A CN113892072 A CN 113892072A CN 201980096557 A CN201980096557 A CN 201980096557A CN 113892072 A CN113892072 A CN 113892072A
Authority
CN
China
Prior art keywords
gesture
radar
electronic device
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980096557.0A
Other languages
English (en)
Inventor
德文·詹姆斯·欧赖利·斯特恩
莱昂纳多·朱斯蒂
维格内什·萨奇达南达姆
劳伦·贝达尔
约翰·戴维·雅各布斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN113892072A publication Critical patent/CN113892072A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215Monitoring of peripheral devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026Control of mixing and/or overlay of colours in general
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本文档描述启用用于暂停的雷达姿势的视觉指示器的技术和系统。该技术和系统使用雷达场(110)来使电子设备(102)能够准确地确定用户(112)的雷达姿势或其他移动。此外,电子设备能够确定能够使电子设备难以正确地确定用户的雷达姿势的某些条件。当设备包括可以使用雷达姿势控制的应用(雷达姿势应用)并且条件存在时,设备可以进入姿势暂停模式。当设备进入该模式时,该技术在显示器(114)上提供姿势暂停反馈元素,其让用户知道存在在电子设备上可用的或运行的至少一个雷达姿势应用但是雷达姿势目前不能被用于控制该应用。

Description

用于暂停的雷达姿势的视觉指示器
背景技术
个人和商业使用两者都依赖于智能电话、可穿戴计算机、平板电脑和其他电子设备。用户经由语音和触摸与他们通信,并将他们当作虚拟助理来安排会议和事件、消费数字媒体、以及共享演示和其他文档。此外,机器学习技术能够帮助这些设备预期其用户的用于使用这些设备的一些偏好。然而,对于所有这些计算能力和人工智能,这些设备仍然是反应式通信器。然而,即,智能电话是“智能的”,并且然而,智能电话像是一个人那样与用户交谈很多,电子设备在其能够执行任务和提供反馈之前仍然依赖于被激活。为了激活移动设备,用户通常必须首先拿起设备以使其知道用户使用电子设备的意图。只有在这种物理交互之后,设备才能够使应用和功能对用户可用。因此,许多电子设备在用户的显式交互之前提供很差的用户体验。
发明内容
本文档描述了启用用于暂停的雷达姿势的视觉指示器的技术和系统。该技术和系统使用雷达场来使电子设备能够准确地确定用户在电子设备附近的存在或不存在,并且检测用户做出的达到或其他雷达姿势。此外,电子设备能够确定能够使得电子设备难以正确地确定用户的雷达姿势的某些条件。当设备包括能够使用雷达姿势控制的应用并且条件存在时,设备可以进入雷达姿势被暂停的状态。当设备进入该状态时,该技术提供姿势暂停反馈元素。姿势暂停反馈元素让用户知道,虽然存在能够利用雷达姿势控制的电子设备上可用的或运行的至少一个应用,但是雷达姿势目前不能被用于控制应用。这还可以向用户教导电子设备能够做什么,并且允许用户利用由雷达姿势的可用性所提供的附加功能和特征。
以下描述的方面还包括在电子设备中实现的方法,该电子设备包括显示器、计算机处理器和雷达系统。该方法包括检测姿势暂停触发,该检测在以下时段期间,其中:雷达系统提供通过其能够确定雷达姿势的雷达场,并且能够接收与雷达姿势相对应的控制输入的应用通过计算机处理器在电子设备上正在执行。该方法还包括响应于检测到姿势暂停触发,在电子设备的显示器上提供姿势暂停反馈元素。该姿势暂停反馈元素指示应用不能接收与雷达姿势相对应的控制输入。
以下描述的方面包括一种电子设备,该电子设备包括显示器、计算机处理器、雷达系统和计算机可读介质。该雷达系统至少部分地以硬件实现并且提供雷达场。雷达系统还感测来自雷达场中的用户的反射,分析来自雷达场中的用户的反射,并且基于对反射的分析,提供雷达数据。计算机可读介质包括能够由计算机处理器执行以实现输入模式管理器的存储的指令。输入模式管理器检测姿势暂停触发。姿势暂停触发在以下时段期间由输入模式管理器检测,其中:雷达系统正在提供通过其能够基于雷达数据确定雷达姿势的雷达场,以及能够接收与雷达姿势相对应的控制输入的应用通过计算机处理器在电子设备上正在执行。输入模式管理器还响应于检测到姿势暂停触发,在电子设备的显示器上提供姿势暂停反馈元素。姿势暂停反馈元素指示应用不能接收与雷达姿势相对应的控制输入。
以下描述的方面包括一种系统,该系统包括显示器和电子设备,该电子设备包括或关联于用于提供提供雷达数据的雷达场的装置,该雷达数据基于感测和分析来自雷达场中的物体的反射。该系统还包括用于在以下时段期间检测姿势暂停触发的装置,其中:雷达系统正在提供通过其能够基于雷达数据确定雷达姿势的雷达场以及能够接收与雷达姿势相对应的控制输入的应用通过计算机处理器在电子设备上正在执行。该系统还包括用于响应于检测到姿势暂停触发而在电子设备的显示器上提供姿势暂停反馈元素的装置。该姿势暂停反馈元素指示应用不能接收与雷达姿势相对应的控制输入。
提供本发明内容以介绍关于用于暂停的雷达姿势的视觉指示器的简化概念,这将在以下具体实施方式和附图中进一步描述。本发明内容不旨在标识所要求保护的主题的必要特征,也不旨在用于确定所要求保护的主题的范围。
附图说明
在本文中参考以下附图描述了用于暂停的雷达姿势的视觉指示器的一个或多个方面的细节。在所有附图中使用相同的数字来引用相同的特征和组件:
图1示出其中能够实现启用用于暂停的雷达姿势的视觉指示器的技术的示例环境。
图2示出包括雷达系统的电子设备的示例实施方式,该电子设备能够实现用于暂停的雷达姿势的视觉指示器。
图3示出图1和2的雷达系统的示例实施方式。
图4示出图3的雷达系统的接收天线元素的示例布置。
图5示出图1和图2的雷达系统的示例实施方式的附加细节。
图6示出可以由图1和图2的雷达系统实现的示例方案。
图7描绘启用用于暂停的雷达姿势的视觉指示器的示例方法。图8至图14示出当雷达姿势应用在电子设备上运行时可以呈现在图1和图2的电子设备的显示器上以提供与雷达姿势相关的反馈的视觉元素。
图15和16示出姿势暂停反馈元素的示例,其能够被呈现在图1和2的电子设备的显示器上,以向用户警告雷达姿势应用在电子设备上运行但是雷达姿势当前暂停。
图17至图19示出在多种模式下操作的图1和2的电子设备,其中视觉元素的示例能够在不同模式下被呈现在显示器上。
图20示出示例计算系统,该示例计算系统可被实现为如参考图1至16所描述的实现的任何类型的客户端、服务器和/或电子设备或在该示例计算系统中可以实现启用用于暂停的雷达姿势的视觉指示器的技术。
具体实施方式
概述
本文档描述了启用用于暂停的雷达姿势的视觉指示器的技术和系统。所描述的技术采用雷达系统,所述雷达系统检测并确定由用户做出的基于雷达的触摸无关的姿势(雷达姿势)。该技术还确定设备何时正在运行能够通过基于雷达的触摸无关的姿势接收控制输入的应用(雷达姿势应用)。当设备正在运行雷达姿势应用(或者存储有一个能够被运行的应用)并且存在某些条件时,设备可以进入雷达姿势暂停的状态(有时被称为姿势暂停模式)。当设备进入该状态时,该技术提供姿势暂停反馈元素,其在雷达姿势不可用于控制电子设备上的雷达姿势应用时向用户提供反馈。
在本说明书中,术语”基于雷达的触摸无关的姿势“、”3D姿势“或”雷达姿势“是指远离电子设备的空间中的姿势的性质(例如,该姿势不需要用户触摸设备,尽管该姿势不排除触摸)。雷达姿势本身通常可以仅具有位于二维中的活动信息分量,诸如由平面中的左上到右下挥动组成的雷达姿势,但是因为雷达姿势距电子设备还具有一定距离(“第三”维),所以本文中讨论的雷达姿势通常能够被认为是三维的。
使用这些技术,电子设备能够提供反馈和通知以使用户知道可用的雷达姿势,并且提供关于雷达姿势的使用、成功、失败和结果的反馈。在一些情况下,用户的不在场、在场或位置的确定也能够被用于提供更响应和更有效的认证过程。例如,这些技术使设备能够预测用户何时准备好被认证,并且在用户离开时更准确地确定何时锁定设备。因为所描述的技术允许电子设备向用户提供关于可用输入模式的有用反馈,所以交互可以更方便且更少令人沮丧,因为用户知道输入模式并且能够确信设备可以交互和接收输入的不同方式。
考虑包括所描述的雷达系统的示例智能电话。在该示例中,雷达姿势应用(例如,具有通过雷达姿势接收控制输入以控制应用的能力的应用)正在电子设备上操作。雷达姿势应用的示例包括音乐播放器、媒体播放器以及提供警报或提醒的电子设备的应用或特征,诸如日历或时钟。在该示例中,当设备进入雷达姿势被暂停的状态(诸如姿势暂停模式)时,输入模式管理器使电子设备在设备的显示器上呈现姿势暂停反馈元素。设备可以基于与诸如用户或电子设备的速度、位置或运动的因素有关的各种条件来进入该姿势暂停状态。例如,用户可能在口袋或其他容器中带着电子设备正在行走,同时用户的手在电子设备的姿势区域内来回摆动,这能够产生关于用户是否意图作出雷达姿势的模糊性。
姿势区域是电子设备周围的体积,该体积是雷达场的子体积,并且在该体积内电子设备、雷达系统、输入模式管理器(或与电子设备相关联的另一组件)能够确定雷达姿势(例如,使用雷达数据来确定用户在姿势区域内的运动的各种参数)。姿势区域可以是阈值距离,诸如在大约三、五、七、九或十二英寸内。在一些情况下,姿势区域可以在不同方向上从电子设备延伸不同的阈值距离(例如,其可以具有楔形、长方形、椭圆形或不对称形状)。姿势区域的大小或形状也能够随时间变化,或者能够基于其他因素,诸如电子设备的状态(例如,电池电量、定向、锁定或解锁)或环境(诸如在口袋或钱包中、在汽车中、或在平坦表面上)。
姿势暂停反馈元素是用户可感知的元素(例如,在电子设备的显示器上呈现的视觉元素),其向用户指示电子设备上的雷达姿势应用当前不能由雷达姿势控制。这些元素能够被用于通知用户已经检测到当前排除使用用于与雷达姿势应用交互的雷达姿势的条件。例如,当雷达姿势应用在电子设备上运行时,显示器可以呈现图标、对比照明区域(例如,比周围区域更亮或更暗的区域)、或不同或对比色的区域(在一些情况下包括这些特征中的一个或多个的组合)。当设备进入或处于姿势暂停状态时,呈现姿势暂停反馈元素,并且当设备退出或不处于姿势暂停状态时,不呈现姿势暂停反馈元素。
所描述的技术和系统采用雷达系统连同其它特征来基于用户的姿势和电子设备上的雷达姿势应用的操作提供包括视觉反馈的有用且有益的用户体验。电子设备能够向用户提供反馈以指示用户做出的雷达姿势的可用性、成功或失败,而不是仅依赖于用户对特定雷达姿势应用的知识和认知。
一些常规电子设备可以包括传感器,诸如相机、接近度传感器(例如,电容性或红外传感器)或加速度计,以确定用户的位置且基于用户的接近度调整电子设备的各种功能。例如,电子设备可以通过关闭显示器来提供附加的隐私或美学价值,除非用户在预定距离内。然而,常规电子设备通常不能提供能够关于电子设备的能力以及用户与电子设备的交互来教育用户的有用且丰富的环境体验。这些仅是所描述的技术和设备可以如何用于启用暂停的雷达姿势的视觉指示器的一些示例,其它示例和其实施方式在本文档的全文中描述。现在,本文档转向示例操作环境,之后描述示例设备、方法和系统。
操作环境
图1示出其中能够实现启用用于暂停的雷达姿势的视觉指示器的技术的示例环境100。示例环境100包括或关联于电子设备102,其包括持久性雷达系统104、持久性输入模式管理器106(输入模式管理器106)以及可选地一个或多个非雷达传感器108(非雷达传感器108)。关于雷达系统104或输入模式管理器106的术语“持久性”意味着不需要用户交互来激活雷达系统104(其可以在各种模式中操作,诸如休眠模式、接洽模式或活动模式)或输入模式管理器106。在一些实施方式中,“持久性”状态可以(例如,由用户)暂停或关闭。在其他实施方式中,“持久性”状态可以根据电子设备102(或另一电子设备)的一个或多个参数来安排或以其他方式管理。例如,即使电子设备102在一天中在晚上和白天都开启,用户也可以安排“持久性”状态,使得它仅在白天时段期间操作。非雷达传感器108能够是各种设备中的任何一种,诸如音频传感器(例如,麦克风)、触摸输入传感器(例如,触摸屏)、或图像捕获设备(例如,相机或摄像机)。
在示例环境100中,雷达系统104通过传送一个或多个雷达信号或波形来提供雷达场110,如下面参考图3至图6所述。雷达场110是雷达系统104能够从中检测到雷达信号和波形的反射(例如,从空间的体积中从物体反射的雷达信号和波形)的空间的体积。雷达场110可以以多种形状(诸如球体、半球、椭圆体、锥体、一个或多个波瓣、或者不对称形状(例如,其可以覆盖雷达不可穿透的障碍物的任一侧上的区域))被配置。雷达系统104还使电子设备102或另一电子设备能够感测和分析来自雷达场110中的物体的反射。雷达场110可以被用于提供识别区域。识别区域是雷达系统104周围的体积,其可以从雷达系统104延伸各种距离中的任何距离,诸如大约三、七、十或十四英尺(或大约一、二、三或四米)。识别区域可以与雷达场110的最大范围相同或小于该最大范围。识别区域可以是预定义的、用户可选择的或经由其它方法(例如,基于功率要求、剩余电池寿命或另一因素)确定的静态大小或形状。
在一些情况下,识别区域可以是基于各种因素(诸如电子设备102的速度或位置、一天中的时间、或在电子设备102上运行的应用的状态)动态地且自动地可调整的(例如,通过雷达系统104、输入模式管理器106、或另一组件)。阈值距离或识别区域能够基于多个相关因素被确定,诸如电池电量、电子设备的位置、电子设备的速度、或从雷达系统、其他传感器、或在电子设备上运行的应用中的一个或多个接收的数据。
由于应用在诸如电子设备102等的智能电话的情境中,雷达系统104的一些实施方案是尤其有利的,因为这些智能电话存在许多问题,诸如低功率需求、处理效率需求、天线元素的间距和布局的局限性以及其他问题,并且因为期望精细手部姿势的雷达检测,所以甚至在智能电话的特定情境中特别有利。尽管因为需要精细手部姿势的雷达检测,这些实施方式在智能电话的情境中特别有利,但是应当理解,本发明的特征和优点的适用性不一定受此限制,并且涉及(例如,如参照图2所述的)其它类型的电子设备的其它实施方式也在本教导的范围内。
物体可以是雷达系统104可以从其感测和分析雷达反射的各种物体中的任何物体,诸如木材、塑料、金属、织物、人体或人体的一部分(例如,电子设备102的用户的脚、手或手指)。如图1所示,物体是电子设备102的用户112。基于对反射的分析,雷达系统104能够提供包括与雷达场110相关联的各种类型的信息和来自用户112(或用户112的一部分)的反射的雷达数据,如参考图3至图6所描述的(例如,雷达系统104能够将雷达数据传递到其他实体,诸如输入模式管理器106)。
基于来自用户112(例如雷达场110中的用户112或用户112的一部分)的感测和分析的反射,能够随着时间连续地或周期性地提供雷达数据。用户112的位置能够随时间而改变(例如,雷达场中的物体可以在雷达场110内移动),并且雷达数据能够因此与改变的位置、反射和分析相连相对应而随时间改变。因为雷达数据可以随时间变化,所以雷达系统104提供包括与不同时间段相对应的雷达数据的一个或多个子集的雷达数据。例如,雷达系统104能够提供与第一时间段相对应的雷达数据的第一子集、与第二时间段相对应的雷达数据的第二子集等。在一些情况下,雷达数据的不同子集可以完全或部分地重叠(例如,雷达数据的一个子集可以包括与另一子集相同的数据中的一些或全部)。
电子设备102还能够包括显示器114和应用管理器116。显示器114能够包括任何合适的显示设备,诸如触摸屏、液晶显示器(LCD)、薄膜晶体管(TFT)LCD、共面转换(IPS)LCD、电容式触摸屏显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED)显示器、超级AMOLED显示器等等。显示器114被用于显示与电子设备102的各种模式相关联的视觉元素,这将参考图8至图19进一步详细描述。应用管理器116还能够与在电子设备102上运行的应用通信并且交互以确定并解决应用之间的冲突(例如,处理器资源使用、功率使用或对电子设备102的其他组件的访问)。应用管理器116还能够与应用交互以确定应用的可用输入模式,诸如触摸、语音或雷达姿势,并且将可用模式传达到输入模式管理器106。
输入模式管理器106能够被用于与电子设备102的各种组件(例如,模块、管理器、系统、接口、或一个或多个非雷达传感器108)交互或控制这些组件。例如,输入模式管理器106(独立地或通过应用管理器116)能够确定在电子设备上操作的应用具有接收与雷达姿势相对应的控制输入的能力(例如,是雷达姿势应用)。雷达姿势可以基于雷达数据并且通过雷达系统104被接收。例如,输入模式管理器106或雷达系统104能够使用雷达数据的一个或多个子集来检测由用户112的一部分(诸如手或物体)执行的运动,其在电子设备102的姿势区域118内。输入模式管理器106然后确定用户的运动是否是雷达姿势。
姿势区域118是电子设备102周围的区域或体积,在该区域或体积内,雷达系统104(或另一模块或应用)能够检测用户或用户的一部分(例如,用户的手12)的运动,并且确定该运动是否是雷达姿势。雷达场的姿势区域是比雷达场更小的区域或范围(例如,姿势区域具有比雷达场更小的体积并且在雷达场内)。例如,姿势区域118可以是围绕电子设备的固定体积,其具有预定义的、用户可选择的或经由另一方法确定的(例如,基于功率要求、剩余电池寿命或另一因素)静态大小和/或形状(例如,围绕电子设备102的阈值距离,诸如在三、五、七、九或十二英寸内)。在其他情况下,姿势区域118可以是电子设备周围的体积,其可由电子设备102、雷达系统104或输入模式管理器106基于诸如电子设备102的速度或位置、一天中的时间、在电子设备102上运行的应用的状态或另一因素来动态地且自动地调整。虽然雷达系统104能够检测雷达场110内的更大距离处的物体,但是姿势区域118帮助电子设备102和雷达姿势应用区分用户的有意的雷达姿势和可能类似于雷达姿势但用户不希望如此的其他种类的运动。
能够使用各种合适的技术来确定运动是否是雷达姿势。例如,输入模式管理器106(或与电子设备102相关联的另一组件)能够使用雷达数据(例如,雷达数据的一个或多个子集)来确定运动是否满足被认为是雷达姿势的一个或多个准则。该准则能够包括运动的各种参数,诸如路径、形状、长度、速度或距电子设备的距离。在一些情况下,输入模式管理器106确定运动的参数,并将它们与姿势库120中的姿势数据进行比较,以确定用户的运动是否与已知的雷达姿势匹配。当运动不满足准则时,确定不是雷达姿势。以类似的方式,当用户的运动满足准则时,确定是雷达姿势。
当运动满足准则(例如,被确定是雷达姿势)时,输入模式管理器106(或与电子设备102相关联的另一组件)确定雷达姿势是否对应于应用的控制输入。控制输入是与雷达姿势应用的动作相对应的输入,诸如控制信号。例如,控制输入能够对应于解除电子设备的显示器上的警报或通知、使振铃器或警报静音、或者跳到下一或前一媒体项目的指令。不是每个应用都将具有用于每个姿势的对应控制输入(例如,对于一个应用“起作用”的姿势可能不是对于另一个应用“起作用”,即使正确地做出姿势)。在一些情况下,姿势库120或另一组件能够存储控制输入与雷达姿势之间的关系,并且输入模式管理器106可以使用姿势库120中的关系来确定雷达姿势是否对应于应用的控制输入。因此,如果正确地做出雷达姿势(例如,满足准则),当其对应于应用的控制输入时,或者当应用接收并响应控制输入时,雷达姿势可以是成功的。注意,雷达系统104或与电子设备相关联的另一实体能够被用于检测各种雷达姿势,诸如伸出、挥动姿势(相对于显示器114上的内容通常水平或垂直的运动)或“全向姿势”(相对于内容没有特定定向的姿势)。
输入模式管理器106还能够检测姿势暂停触发122,并且响应于检测到姿势暂停触发122,使电子设备进入姿势暂停模式,并且在电子设备102的显示器114上提供姿势暂停反馈元素124。例如,考虑雷达系统104提供雷达场的时间段,在该时间段中,能够基于雷达数据确定雷达姿势,并且在该时间段中,(例如,通过计算机处理器)正在执行电子设备102上的能够接收与雷达姿势相对应的控制输入的应用。当输入模式管理器106在该时间段期间检测到姿势暂停触发122时,输入模式管理器106提供姿势暂停反馈元素124。姿势暂停反馈元素124的出现指示应用不能执行与控制输入相关联的动作。
姿势暂停触发122是条件或条件集合,其当存在时使电子设备102和/或雷达系统104进入姿势暂停模式(例如,因为雷达姿势应用不能执行与控制输入相关联的动作,或者在一些实施方式中,不能接收与雷达姿势相对应的控制输入而暂停雷达姿势的状态)。通常,姿势暂停触发122是能够使得电子设备102或雷达系统104难以准确且高效地确定用户的运动是否是雷达姿势的条件。例如,如图1所示,姿势暂停触发122能够是电子设备102的超过阈值频率(例如,高于约每秒0.25、0.50、0.75、1.0或1.5次振荡)的振荡运动,诸如当用户112在行走或跑步的同时携带电子设备102时。姿势暂停触发122的其他示例包括电子设备以高于阈值速度(例如,高于约3、4、5或10英里每小时)的速度的运动或诸如用户112(或用户112的一部分)的雷达场中的物体的振荡运动,其中振荡运动超过阈值频率(例如,高于约每秒0.25、0.50、0.75、1.0或1.5振荡)。
在一些实施方式中,输入模式管理器106使用雷达数据、来自非雷达传感器108(例如,惯性测量单元(IMU)、加速计、陀螺仪)的数据、或雷达数据和来自非雷达传感器108的数据两者的组合来检测姿势暂停触发122。在一些情况下,仅当在电子设备102在用户112的阈值距离内(例如,在用户112的大约一、三、四、五或六英尺内)时检测到姿势暂停触发122时,才提供姿势暂停反馈元素124。可以使用雷达数据、来自非雷达传感器108(例如,接近度传感器或图像捕获传感器)的数据、或雷达数据和来自非雷达传感器108的数据两者的组合来确定与用户的阈值距离。
姿势暂停反馈元素124是用户可感知的元素,例如出现在显示器114的活动区域上的视觉元素。姿势暂停反馈元素124还能够是(或包括)不在显示器上的光元素(例如,安装在电子设备的外壳或边框上的发光二极管(LED)或LED阵列)、触觉元素(例如,振动元素)和/或音频元素(例如,用户可感知的声音)。在一些情况下,姿势暂停反馈元素124可以被呈现在显示器114的边缘处或沿着该边缘呈现。在本文档中,短语“在边缘处”和“沿着边缘”指接近或邻近边缘(例如,邻近边缘而没有间隙或具有诸如一个像素、两个像素、三个像素等的间隙)。姿势暂停反馈元素124可以具有各种形状、大小、颜色和其他视觉参数或属性中的任何一种。其它视觉参数或属性的示例包括发光度、颜色、对比度、形状、饱和度或不透明度。发光度是指由人类感知的物体的亮度。修改发光度可以包括修改亮度(例如,亮度)、对比度和/或不透明度。
视觉元素可以具有作为显示器114的活动区域的一部分的区域,该区域具有与显示器114的接近视觉元素的另一部分的发光度或其他视觉属性不同的发光度或其他视觉属性。在这种情况下,视觉元素还可以具有在距显示器的活动区域的边缘的阈值距离内的外部边界的片段。虽然这些示例中的一些将姿势暂停反馈元素124描述为在显示器114的边缘处或沿着边缘呈现,但是姿势暂停反馈元素124可以出现在显示器114上不是边缘的位置处。例如,显示器114的边缘可以包括在显示器114的活动区域的边界处开始并且从该边界延伸不大于显示器114的边界的总长度的大约15%的距离的区域。
在一些实施方式中,姿势暂停反馈元素124的发光度(或其他视觉参数)可以随着姿势暂停反馈元素124延伸跨过距显示器114的活动区域的边缘的距离而变化(例如,在显示器114的边缘处或沿着该边缘具有随着形状延伸远离该边缘而减小的发光度,或反之亦然)。例如,姿势暂停反馈元素124可被呈现为显示器114的具有与显示器114的另一区域(例如,围绕或靠近姿势暂停反馈元素124的区域)不同的亮度并且邻近显示器114的边缘的区域。在另一示例中,姿势暂停反馈元素124可以被呈现为具有预定厚度的线,其具有与显示器114不同的亮度并且与显示器114的边缘相邻。在一些实施方式中,姿势暂停反馈元素124在显示器114的活动区域上移动,并且姿势暂停反馈元素124的移动能够对应于姿势暂停触发122的运动(例如,姿势暂停反馈元素124的速度、振荡频率或其他移动能够对应于姿势暂停触发122的运动、速度或振荡频率)。
如上所述,姿势暂停反馈元素124能够指示雷达姿势应用不能接收与雷达姿势相对应的控制输入。在这种情况下,用户112可能已经尝试或可能尚未尝试做出雷达姿势。输入模式管理器106基于检测到姿势暂停触发122来提供姿势暂停反馈元素124,并且不需要雷达姿势被尝试。相反,姿势暂停反馈元素124是对用户的提醒,即雷达姿势当前不可用于控制电子设备102上的雷达姿势应用。
考虑图1中所示的示例,其示出姿势区域118内的用户112。在图1中,视觉反馈元素126被呈现在示例显示器114-1上(例如,以指示用户112或用户112的一部分,诸如手,已在姿势区域118内被检测到,并且至少一个雷达姿势应用正在电子设备102上操作)。在该示例中,姿势暂停触发122由表示电子设备102的振荡的弯曲的虚线箭头示出,该振荡是由用户112带着在用户侧的电子设备102行走而引起的。在另一示例显示器114-2中,响应于检测到姿势暂停触发122,姿势暂停反馈元素124被呈现。如示例显示器114-2上所示,姿势暂停反馈元素124比视觉元素126小且更暗。在其它实施方式中(图1中未示出),在返回到当检测为姿势暂停触发122的条件结束时的原始位置之前,姿势暂停反馈组件124也或替代地以可以与构成姿势暂停触发122的运动的频率相匹配的频率来回移动或脉动(周期性地增长和收缩)。
在图1所示的示例中,姿势暂停反馈元素124和视觉反馈元素126两者都被示为位于显示器114的顶部边缘处或附近的发光区域。在其他实施方式中,姿势暂停反馈元素124和/或视觉反馈元素126可以是另一大小、另一形状,或者在另一位置处被呈现。该示例示出姿势暂停反馈元素124如何允许用户看到雷达姿势当前不能用于控制电子设备102上的雷达姿势应用。因此,姿势暂停反馈元素124提供对应于电子设备102(或雷达系统104或雷达姿势应用)的状态的动态响应视觉反馈,这能够改善用户112对电子设备102的体验。
在一些实施方式中,姿势暂停反馈元素124和视觉反馈元素126可以是相同的视觉元素(例如,视觉属性相同或相似,并且仅反馈功能不同)。在其他实施方式中,姿势暂停反馈元素124可以被呈现为对已经在显示器的活动区域的边缘处或沿着该边缘被呈现的视觉元素(例如,视觉反馈元素126)的调整。例如,在图1所示的示例中,已经呈现了视觉反馈元素126。当检测到姿势暂停触发122时,视觉反馈元素126可以被调整以变成示例姿势暂停反馈元素124,诸如通过改变大小、形状、颜色或另一视觉属性。
姿势暂停反馈元素124的颜色可以是能够在视觉上与呈现该颜色呈现的显示器114的背景相区分的任何合适的颜色。姿势暂停反馈元素124的颜色可以基于多种因素中的任何一种而改变,诸如电子设备102的操作状态或显示器114的环境背景颜色。在一些实施方式中,输入模式管理器106能够确定显示或者将显示姿势暂停反馈元素124的显示器114的区域的背景颜色。响应于确定背景颜色,输入模式管理器106能够以不同于背景颜色的另一颜色提供姿势暂停反馈元素124,或使显示器114提供该姿势暂停反馈元素。姿势暂停反馈元素124的不同颜色能够提供姿势暂停反馈元素124和背景颜色之间的人类可辨别的对比度,以使得用户更容易看到姿势暂停反馈元素124。在一些情况下,输入模式管理器106能够基于背景颜色的改变来连续地、自动地和动态地调整姿势暂停反馈元素124的颜色。
在一些实施方式中,姿势暂停反馈元素124可以至少部分地作为简短动画而出现。例如,姿势暂停反馈元素124可以出现在活动显示器的边缘处,然后在呈现默认外观之前增长或收缩。类似地,颜色、亮度或形状可以在呈现默认外观之前随着姿势暂停反馈元素124出现或消失(例如,如果检测为姿势暂停触发122的条件结束)而改变。
在一些情况下,姿势暂停反馈元素124可以是出现在显示器114上的图像,而不是出现在显示器114的区域中的元素。图像可以具有与显示器114的环境背景的参数不同的视觉参数,诸如发光度、饱和度、颜色等。在其他情况下,环境背景可以是图像,并且姿势暂停反馈元素124是具有不同视觉参数的相同图像,诸如发光度、饱和度、颜色等。以该方式,姿势暂停反馈元素124能够通过向用户传达电子设备正以雷达姿势当前不可用于与电子设备102交互的模式操作来改善用户的体验。姿势暂停反馈元素124的附加细节和示例参考图15和16被描述。
诸如姿势暂停反馈元素124的视觉反馈元素的位置可以基于显示器114上的内容的定向来确定。例如,输入模式管理器106可以从应用管理器116(或从另一源)获得显示器114上的内容的定向。输入模式管理器106还能够基于内容的定向来确定能够被用于与内容交互的雷达姿势的方向。基于雷达姿势的方向,输入模式管理器106能够使显示器在显示器114的活动区域的与雷达姿势的方向相对应的特定边缘处提供姿势暂停反馈元素124。因此,如果所显示的内容的情境是水平的(例如,雷达姿势的方向将是从左到右或从右到左),则姿势暂停反馈元素124被显示在顶部或底部边缘,以帮助向用户指示雷达姿势是水平的。类似地,如果所显示的内容的情境是竖直的(例如,雷达姿势的方向将是从下到上或从上到下),则姿势暂停反馈元素124被显示在侧边(例如,左边),以帮助向用户指示雷达姿势是竖直的。
此外,输入模式管理器106还可以能够检测电子设备102相对于用户的定向的改变。例如,用户可以将设备从竖直定向转动到水平定向以观看视频,或者从水平定向旋转到竖直定向以阅读文章。基于定向的改变,输入模式管理器106可使得显示器114在活动显示器的不同边缘上提供视觉反馈元素,诸如姿势暂停反馈元素124。该不同边缘能够维持姿势暂停反馈元素124相对于用户的定向和位置(例如,随着用户对设备的定向改变,姿势暂停反馈元素124移动或重新定位)。因此,如果姿势暂停反馈元素124被定位在显示器114的顶部边缘上并且用户旋转电子设备102,则姿势暂停反馈元素124的位置从一个边缘改变到另一个边缘,使得其相对于用户保持在“顶部”。如上所述,输入模式管理器106还考虑内容的定向,并且这些特征能够彼此结合使用,以在显示器114上的在适合于内容在显示器114上的定向和显示器114相对于用户的定向二者的位置处提供姿势暂停反馈元素124。
在一些实施方式中,输入模式管理器106能够确定在电子设备102上操作的雷达姿势应用正在以沉浸式模式操作,诸如没有任何呈现的控件的全屏模式。响应于该确定,当检测到姿势暂停触发122时,输入模式管理器106能够使显示器114短暂地或周期性地提供姿势暂停反馈元素124。例如,显示器114能够提供姿势暂停反馈元素124达到反馈元素呈现持续时间,并且然后停止呈现姿势暂停反馈元素124达到非反馈元素呈现持续时间。反馈元素呈现持续时间和非反馈元素呈现持续时间两者都可以是预定的或可选择的。在一些情况下,持续时间可以是用户可选择的(例如,由用户选择)或者由输入模式管理器106基于各种因素来选择,诸如以沉浸式模式运行的雷达姿势应用的类型(例如,游戏或流媒体播放器)、雷达姿势应用的状态、或者用户采用雷达姿势的频率。
当用户使用除了雷达姿势之外的输入(例如,触摸或语音输入)与电子设备102交互时,包括姿势暂停反馈元素124的视觉反馈元素也可以变淡或完全消失。例如,当电子设备102处于姿势暂停状态时,用户可以决定使用触摸命令来启动另一应用。在此情况下,姿势暂停反馈元素124可以在用户拿起电子设备102或触摸显示器114时变淡或消失。当用户停止触摸显示器114或放下电子设备102时,如果一个或多个雷达姿势应用正在电子设备102上操作且仍检测到姿势暂停触发122,则姿势暂停反馈元素124重新出现(或变亮)。姿势暂停反馈元素124可以在触摸或语音输入结束时立即重新出现或变亮,或在可选择持续时间之后重新出现或变亮。
可以在电子设备102处于锁定状态或解锁状态的同时提供视觉反馈元素,诸如姿势暂停反馈元素124。例如,当用户在附近(例如,在识别区域内)但未被认证时,或当经认证的用户在附近时,电子设备102可以提供姿势暂停反馈元素124(以指示应用不能接收对应于雷达姿势的控制输入)。锁定状态和解锁状态指对电子设备102的访问级别。锁定状态可以是没有用户被认证并且使用该设备的任何人将具有少于完全的权限或访问(例如,没有访问或权限,或有限的访问或权限)的状态。锁定状态的示例可以包括如本文中所述的电子设备102的感知模式和接洽模式。类似地,解锁状态能够是其中至少一个用户被认证并且该用户具有对设备的完全的权限和/或访问的状态。解锁状态的示例是电子设备102的活动模式,如本文中所述。在一些情况下,锁定状态或解锁状态可以具有变化特性,这取决于电子设备102的类型、配置或状态(例如,电池电量或连接性状态)。因此,取决于这些因素,不同设备或不同环境中的相同设备的锁定状态和解锁状态的特性可以重叠或包括类似特征。
更详细地,考虑图2,其示出能够实现用于暂停的雷达姿势的视觉指示器的电子设备102(包括雷达系统104、输入模式管理器106、非雷达传感器108、显示器114、应用管理器116和姿势库120)的示例实施方式200。图2的电子设备102被示出为具有各种示例设备,包括智能电话1021、平板电脑1022、膝上型计算机102-3、台式计算机102-4、计算手表1025、游戏系统102-6、计算眼镜102-7、家庭自动化和控制系统102-8、智能冰箱102-9和汽车102-10。电子设备102还能够包括其他设备,诸如电视机、娱乐系统、音频系统、无人机、跟踪板、绘图板、上网本、电子阅读器、家庭安全系统和其他家用电器。注意,电子设备102能够是可穿戴的、不可穿戴但可移动的、或相对不可移动的(例如,台式机和电器)。
在一些实施方式中,电子设备102的示例性总体横向尺寸可以是大约8厘米乘大约15厘米。雷达系统104的示例性覆盖区域甚至可以被进一步限制,诸如在包括天线的情况下大4毫米乘6毫米。对雷达系统104的这种有限的覆盖区域的这种要求是在这种空间受限的封装中容纳电子设备102的许多其它期望特征(例如,指纹传感器、非雷达传感器108等)。与功率和处理限制相结合,该大小要求能够导致雷达姿势检测的准确性和有效性的折衷,鉴于本文中的教导,能够克服至少其中的一些。
电子设备102还包括一个或多个计算机处理器202和一个或多个计算机可读介质204,其包括存储器介质和存储介质。实现为计算机可读介质204上的计算机可读指令的应用和/或操作系统(未示出)能够由计算机处理器202执行以提供本文中所述的一些或全部功能。例如,处理器202能够被被用于执行计算机可读介质204上的指令以实现输入模式管理器106和/或应用管理器116。电子设备102还可以包括网络接口206。电子设备102能够使用网络接口206来通过有线、无线或光学网络传达数据。作为示例而非限制,网络接口206可以通过局域网(LAN)、无线局域网(WLAN)、个人区域网(PAN)、广域网(WAN)、内联网、互联网、对等网络、点对点网络或网状网络来传达数据。
雷达系统104的各种实施方式能够包括片上系统(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板、或其任意组合。雷达系统104能够通过传送和接收其自己的雷达信号而作为单基地雷达操作。
在一些实施方式中,雷达系统104还可以与在外部环境内的其他雷达系统104协作以实现双基地雷达、多基地雷达或者网络雷达。然而,电子设备102的约束或限制可能影响雷达系统104的设计。电子设备102例如可以具有可用于操作雷达的有限功率、有限计算能力、大小约束、布局限制、使雷达信号衰减或失真的外壳等。雷达系统104包括若干特征,这些特征使高级雷达功能和高性能能够在存在这些约束的情况下被实现,如下面关于图3进一步描述的。注意,在图1和图2中,雷达系统104、输入模式管理器106、应用管理器116和姿势库120被示出为电子设备102的一部分。在其它实施方式中,雷达系统104、输入模式管理器106、应用管理器116或姿势库120中的任一个或多个可以与电子设备102分开或远离。
在下面更详细地阐述这些和其它能力和配置以及图1的实体动作和交互的方式。这些实体可以被进一步划分、组合等等。图1的环境100和图2到图20的详细图示示出能够采用所描述的技术的许多可能的环境和设备中的一些。图3至图6描述雷达系统104的附加细节和特征。在图3至图6中,在电子设备102的情境中描述雷达系统104,但是如上所述,所描述的系统和技术的特征和优点的适用性不一定因此被如此限制,并且涉及其它类型的电子设备的其它实施方式也可以在本教导的范围内。
图3示出雷达系统104的示例实施方式300,其能够被用于启用用于暂停的雷达姿势的视觉指示器。在示例300中,雷达系统104包括以下组件中的每一个中的至少一个:通信接口302、天线阵列304、收发器306、处理器308和系统介质310(例如,一个或多个计算机可读存储介质)。处理器308能够被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如,电子设备102的计算机处理器202)或其一些组合。系统介质310,其可以包括在电子设备102的计算机可读介质204内或者与其分离,包括以下模块中的一个或多个:衰减缓解器314、数字波束形成器316、角度估计器318或功率管理器320。这些模块能够补偿或减轻将雷达系统104集成在电子设备102内的影响,从而使得雷达系统104能够识别小的或复杂的姿势、区分用户的不同定向、连续地监视外部环境或实现目标误警率。利用这些特征,雷达系统104能够在诸如图2中所示的设备的各种不同的设备内被实现。
使用通信接口302,雷达系统104能够向输入模式管理器106提供雷达数据。通信接口302可以是基于雷达系统104被实现为与电子设备102分开还是集成在电子设备102内的无线或有线接口。取决于应用,雷达数据可以包括原始或最小处理数据、同相和正交(I/Q)数据、范围多普勒数据、包括目标位置信息(例如,距离、方位角、仰角)的处理数据、杂乱的地图数据等。通常,雷达数据包含由输入模式管理器106可用于暂停的雷达姿势的视觉指示器的信息。
天线阵列304包括至少一个发射天线元件(未示出)和至少两个接收天线元件(如图4所示)。在一些情况下,天线阵列304可以包括多个发射天线元件以实现能够一次发射多个不同波形(例如,每个发射天线元件发射不同波形)的多输入多输出(MIMO)雷达。多个波形的使用能够提高雷达系统104的测量精度。对于包括三个或更多接收天线元件的实施方式,接收天线元件能够以一维形状(例如,线)或二维形状被定位。一维形状使雷达系统104能够测量一个角度维度(例如,方位角或仰角),而二维形状使两个角度维度能够被测量(例如,方位角和仰角)。参考图4,进一步描述接收天线元件的示例二维布置。
图4示出接收天线元件402的示例布置400。如果天线阵列304包括至少四个接收天线元件402,例如,接收天线元件402能够如图4中间所示的矩形排列404-1被布置。或者,如果天线阵列304包括至少三个接收天线元件402,可以使用三角形排列404-2或L形排列404-3。
由于电子设备102的大小或布局约束,接收天线元件402之间的元件间隔或接收天线元件402的数量对于雷达系统104要监视的角度可能不是理想的。特别地,元件间距可能导致存在角度模糊,这对于常规雷达估计目标的角度位置是个挑战。因此,常规雷达可以限制视场(例如,要被监视的角度)以避免具有角度模糊的模糊区域,并且由此减少错误检测。例如,常规雷达可以将视场限制在大约-45度到45度之间的角度,以避免使用5毫米(mm)的波长和3.5mm的元件间距(例如,元件间距为波长的70%)而发生的角度模糊性。因此,常规雷达可能无法检测超过视场的45度限制的目标。相反,雷达系统104包括数字波束形成器316和角度估计器318,其解决角度模糊性并使雷达系统104能够监视超过45度限制的角度,诸如在大约-90度到90度之间的角度,或达到大约-180度和180度的角度。这些角度范围能够跨一个或多个方向(例如,方位角和/或仰角)被应用。因此,雷达系统104能够针对各种不同的天线阵列设计(包括小于、大于或等于雷达信号的中心波长的一半的元件间距)实现低误警率。
使用天线阵列304,雷达系统104能够形成被转向或未转向、宽或窄、或成形(例如,成形为作为半球、立方体、扇形、圆锥或圆柱体)的波束。作为示例,一个或多个发射天线元件(未示出)可以具有未转向的全向辐射图案,或者可以能够产生宽波束,诸如宽发射波束406。这些技术中的任何一种都使雷达系统104能够照射大的空间体积。然而,为了实现目标角精度和角度分辨率,接收天线元件402和数字波束形成器316能够被用于生成数千个窄波束和转向波束(例如,2000个波束、4000个波束或6000个波束),诸如窄接收波束408。以这种方式,雷达系统104能够有效地监视外部环境并且准确地确定外部环境内的反射的到达角。
返回图3,收发器306包括用于经由天线阵列304传送和接收雷达信号的电路和逻辑。收发器306的组件能够包括用于调节雷达信号的放大器、混频器、开关、模数转换器、滤波器等。收发器306还能够包括执行同相/正交(I/Q)运算(例如调制或解调)的逻辑。收发器306能够被配置用于连续波雷达操作或脉冲雷达操作。各种调制能够被用于生成雷达信号,包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器306能够生成在诸如1千兆赫(GHz)与400GHz之间、4GHz与100GHz之间、或57GHz与63GHz之间的频率范围(例如,频谱)内的雷达信号。频谱能够被划分成具有相似带宽或不同带宽的多个子频谱。带宽能够是大约500兆赫(MHz)、1GHz、2GHz等。作为示例,不同的频率子频谱可以包括在大约57GHz和59GHz之间、59GHz和61GHz之间、或61GHz和63GHz之间的频率。具有相同带宽并且可以是连续的或非连续的多个频率子谱也可以被选择用于相干性。能够使用单个雷达信号或多个雷达信号同时或在时间上分开地传送多个频率子频谱。连续频率子频谱使雷达信号能够具有更宽的带宽,而非连续的频率子频谱能够进一步强调使角度估计器318能够解决角度模糊性的振幅和相位差。衰减缓解器314或角度估计器318可以使收发器306利用一个或多个频率子频谱来提高雷达系统104的性能,如关于图5和6进一步描述的。
功率管理器320使雷达系统104能够在电子设备102内内部地或外部地节省功率。在一些实施方式中,功率管理器320与输入模式管理器106通信以在雷达系统104或电子设备102中的任一者或两者内节省功率。内部地,例如,功率管理器320能够使雷达系统104使用预定义的功率模式或特定的姿势帧更新速率来收集数据。姿势帧更新速率表示雷达系统104通过传送和接收一个或多个雷达信号来主动地监视外部环境的频率。一般而言,功耗与姿势帧更新速率成比例。因此,姿势帧更新率越高导致雷达系统104消耗的电量越大。
每个预定义的功率模式能够与特定的帧结构、特定的发射功率水平或特定的硬件(例如,低功率处理器或高功率处理器)相关联。调整这些参数中的一个或多个影响雷达系统104的功耗。然而,降低功耗影响性能,诸如姿势帧更新率和响应延迟。在这种情况下,功率管理器320在不同的功率模式之间动态地切换,使得基于环境内的活动一起管理姿势帧更新率、响应延迟和功耗。通常,功率管理器320确定何时以及如何节省功率,并且递增地调整功耗以使雷达系统104能够在电子设备102的功率限制内操作。在一些情况下,功率管理器320可以监视剩余的可用电量,并且相应地调整雷达系统104的操作。例如,如果剩余电量低,则功率管理器320可以继续在低功率模式中操作而不是切换到高功率模式。
例如,低功率模式可以使用大约几赫兹(例如,大约1Hz或小于5Hz)的较低姿势帧更新率,并且消耗大学几毫瓦(mW)(例如,在大约2mW和4mW之间)的功率。另一方面,高功率模式可以使用大约几十赫兹(Hz)(例如,大约20Hz或大于10Hz)的较高姿势帧更新率,这使雷达系统104消耗大约几毫瓦(例如,在大约6mW与20mW之间)的功率。虽然低功率模式能够被用于监视外部环境或检测接近的用户,但是如果雷达系统104确定用户正在开始执行姿势,则功率管理器320可以切换到高功率模式。不同的触发可以使功率管理器320在不同的功率模式之间动态地切换。示例触发包括运动或无运动、用户出现或消失、用户移动进入或移动出指定区域(例如,由距离、方位角或仰角定义的区域)、与用户相关联的运动速度的改变、或反射信号强度的改变(例如,由于雷达截面的改变)。通常,指示用户与电子设备102交互的较低概率或使用较长响应延迟来收集数据的偏好的触发可以使得激活低功率模式以节省功率。
每个功率模式能够与特定的帧结构相关联。帧结构指定与雷达信号的传送和接收相关联的配置、安排和信号特性。通常,帧结构被设置成使能够基于外部环境来收集适当的雷达数据。能够定制帧结构以便于收集用于不同应用(例如,接近检测、特征识别或姿势识别)的不同类型的雷达数据。在整个帧结构的每一级别的不活动时间期间,功率管理器320能够关闭图3中的收发器306内的组件以省电。帧结构通过在每个帧类型内的可调占空比使功率能够被节省。例如,第一占空比能够基于相对于特征帧的总数量的活动特征帧的数量。第二占空比能够基于相对于雷达帧的总数量的活动雷达帧的数量。第三占空比能够基于相对于雷达帧的持续时间的雷达信号的持续时间。
考虑用于消耗大约2mW的功率并且具有在大约1Hz与4Hz之间的姿势帧更新率的低功率模式的示例帧结构(未示出)。在该示例中,帧结构包括具有在大约250ms与1秒之间的持续时间的姿势帧。姿势帧包括31个脉冲模式特征帧。31个脉冲模式特征帧中的一个处于活动状态。这导致占空比约等于3.2%。每个脉冲模式特征帧的持续时间在大约8ms与32ms之间。每个脉冲模式特征帧由八个雷达帧组成。在活动脉冲模式特征帧内,所有八个雷达帧都处于活动状态。这导致占空比等于100%。每个雷达帧的持续时间在大约1ms与4ms之间。每个活动雷达帧内的活动时间在大约32μs与128μs之间。这样,所得到的占空比约为3.2%。已经发现该示例帧结构产生良好的性能结果。这些良好的性能结果体现在良好的姿势识别和存在检测方面,同时还在处于低功率状态的手持式智能电话的应用情境中产生良好的功率效率结果。基于该示例帧结构,功率管理器320能够确定雷达系统104不主动收集雷达数据的时间。基于该不活动时间段,功率管理器320能够通过调整雷达系统104的操作状态并关闭收发器306的一个或多个组件来节省功率,如以下进一步描述的。
功率管理器320还能够通过在不活动时间段期间关闭收发器306内的一个或多个组件(例如,压控振荡器、复用器、模数转换器、锁相环、或晶体振荡器)来节省功率。如果雷达系统104没有主动地传送或接收雷达信号,则这些不活动时间段发生,其可以是微秒(μs)、毫秒(ms)或秒(s)的量级。此外,功率管理器320能够通过调整由信号放大器提供的放大量来修改雷达信号的发射功率。另外,功率管理器320能够控制雷达系统104内的不同硬件组件的使用以节省功率。例如,如果处理器308包括较低功率处理器和较高功率处理器(例如,具有不同存储量和计算能力的处理器),则功率管理器320能够在利用较低功率处理器进行低级别分析(例如,实施空闲模式、检测运动、确定用户的位置、或监视环境)与在将较高功率处理器用于输入模式管理器106请求高保真或准确的雷达数据的情形(例如,用于实现感知模式、接洽模式、或活动模式、姿势识别或用户定向)之间切换。
此外,功率管理器320能够确定电子设备102周围的环境的情境。根据该情境,功率管理器320能够确定哪些功率状态将变得可用以及它们如何被配置。例如,如果电子设备102在用户的口袋中,则尽管检测到用户接近电子设备102,但是雷达系统104不需要在具有高姿势帧更新率的高功率模式下操作。因此,即使用户被检测为接近电子设备102,功率管理器320能够使雷达系统104保持在低功率模式,并且使得显示器114保持在关闭或其他低功率状态。电子设备102能够结合雷达系统104使用任何合适的非雷达传感器108(例如,陀螺仪、加速度计、光传感器、接近度传感器、电容传感器等)来确定其环境的情境。该情境可以包括一天中的时间、日历日、亮度/暗度、用户附近的用户数量、周围的噪声水平、周围物体(包括用户)相对于电子设备102的移动速度等)。
图5示出电子设备102内的雷达系统104的示例实施方式500的附加细节。在示例500中,天线阵列304被定位在电子设备102的壳体(诸如玻璃盖或外壳)下方。取决于其材料性质,外部壳体可以充当衰减器502,其使由雷达系统104传送和接收的雷达信号衰减或失真。衰减器502可以包括不同类型的玻璃或塑料,其中一些可以在电子设备102的显示屏、外壳或其他组件内被找到,并且具有在大约4与10之间的介电常数(例如,相对电容率)。因此,衰减器502对于雷达信号506是不透明的或半透明的,并且可以使传送的或接收的雷达信号506的一部分被反射(如由反射部分504所示)。对于常规雷达,衰减器502可以减小能够被监视的有效范围,防止检测到小目标,或者降低整体精度。
假设雷达系统104的发射功率是有限的,并且重新设计外部壳体是不期望的,则调整雷达信号506的一个或多个衰减相关属性(例如,频率子频谱508或转向角510)或衰减器502的衰减相关特性(例如,衰减器502与雷达系统104之间的距离512或衰减器502的厚度514)以缓解衰减器502的影响。这些特性中的一些能够在制造期间被设置,或者在雷达系统104的操作期间由衰减缓解器314调整。衰减缓解器314,例如,能够使收发器306使用所选择的频率子频谱508或转向角510来发射雷达信号506,使平台将雷达系统104移动得更靠近或更远离衰减器502以改变距离512,或者提示用户应用另一衰减器以增加衰减器502的厚度514。
适当的调整能够由衰减缓解器314基于衰减器502的预定特性(例如,存储在电子设备102的计算机可读介质204中或系统介质310内的特性)或通过处理雷达信号506的返回来进行以测量衰减器502的一个或多个特性。即使衰减相关特性中的一些是固定的或受约束的,衰减缓解器314也能够考虑这些限制以平衡每个参数并实现目标雷达性能。结果,衰减缓解器314使雷达系统104能够实现增强的精度和更大的有效范围,以用于检测和跟踪位于衰减器502的相对侧的用户。这些技术提供了增加发射功率的替代方案,这增加了雷达系统104的功耗,或者提供了改变衰减器502的材料特性的替代方案,一旦设备投入生产,这能够是困难且昂贵的。
图6示出由雷达系统104实现的示例方案600。方案600的部分可以由处理器308、计算机处理器202或其它硬件电路执行。方案600能够被定制为支持不同类型的电子设备和基于雷达的应用(例如,输入模式管理器106),并且尽管设计约束,也使雷达系统104能够实现目标角精度。
收发器306基于接收天线元件402对接收到的雷达信号的单独响应而产生原始数据602。接收到的雷达信号可以与由角度估计器318选择的一个或多个频率子频谱604相关联以促进角度模糊性解析。例如,可以选择频率子频谱604以减少旁瓣的数量或减少旁瓣的振幅(例如,将振幅减少0.5dB、1dB或更多)。可以基于雷达系统104的目标角精度或计算限制来确定频率子频谱的数量。
原始数据602包含一段时间的数字信息(例如,同相和正交数据)、不同的波数、以及分别与接收天线元件402相关联的多个信道。对原始数据602执行快速傅立叶变换(FFT)606以生成预处理数据608。预处理数据608包括跨时间段、针对不同范围(例如,范围区间)和针对多个信道的数字信息。对预处理数据608执行多普勒滤波处理610以生成范围多普勒数据612。多普勒滤波处理610可以包括另一个FFT,其生成针对多个范围区间、多个多普勒频率和多个信道的振幅和相位信息。数字波束形成器316基于范围多普勒数据612来产生波束形成数据614。波束形成数据614包含用于方位角和/或仰角集合的数字信息,其表示由数字波束形成器316形成的不同转向角或波束的视场。尽管未描绘,但是数字波束形成器316可以基于预处理数据608替代地生成波束形成数据614,并且多普勒滤波处理610可以基于波束形成数据614生成范围多普勒数据612。为了减少计算量,数字波束形成器316可以基于感兴趣的范围、时间或多普勒频率间隔来处理范围多普勒数据612或预处理数据608的一部分。
数字波束形成器316能够使用单视波束形成器616、多视干涉仪618或多视波束形成器620来实现。通常,单视波束形成器616能够被用于确定性物体(例如,具有单个相位中心的点源目标)。对于非确定性目标(例如,具有多个相位中心的目标),多视干涉仪618或多视波束形成器620被用于提高相对于单视波束形成器616的精度。人类是非确定性目标的示例,并且具有可以基于不同视场角(如624-1和624-2处所示)而改变的多个相位中心622。由多个相位中心622生成的相长干涉或相消干涉的变化能够对常规雷达难以准确地确定角度位置是个挑战。然而,多视干涉仪618或多视波束形成器620执行相干平均以提高波束形成数据614的精度。多视干涉仪618相干地平均两个信道以生成能够被用于精确地确定角信息的相位信息。另一方面,多视波束形成器620能够使用线性或非线性波束形成器(诸如傅立叶、capon、多信号分类(MUSIC)或最小方差无失真响应(MVDR))来相干地平均两个或更多个信道。经由多视波束形成器620或多视干涉仪618提供的增加的精度使得雷达系统104能够识别小姿势或在用户的多个部分之间进行区分。
角度估计器318分析波束形成数据614以估计一个或多个角度位置。角度估计器318可以利用信号处理技术、模式匹配技术或机器学习。角度估计器318还解决可能从雷达系统104的设计或雷达系统104监视器的视场导致的角度模糊性。在振幅图626(例如振幅响应)内示出示例角度模糊性。
振幅图626描绘了对于目标的不同角度位置和对于不同转向角510能够发生的振幅差。第一振幅响应628-1(用实线示出)被示出用于位于第一角度位置630-1的目标。同样,第二振幅响应628-2(用虚线示出)被示出用于位于第二角度位置630-2的目标。在该示例中,跨-180度与180度之间的角度考虑差异。
如振幅图626所示,对于两个角度位置630-1和630-2存在模糊区域,第一振幅响应628-1在第一角度位置630-1处具有最高峰值,并且在第二角度位置630-2处具有较小峰值。虽然最高峰值对应于目标的实际位置,较小峰值导致第一角度位置630-1模糊,因为它在常规雷达可能无法确信地确定目标是处于第一角度位置630-1还是第二角度位置630-2的一些阈值内。相反,第二振幅响应628-2在第二角度位置830-2处具有较小峰值,并且在第一角度位置630-1处具有较高峰值。在这种情况下,较小峰值对应于目标的位置。
虽然常规雷达可以被限制为使用最高峰值振幅来确定角度位置,但是相反角度估计器318分析振幅响应628-1和628-2的形状的细微差异。形状的特征能够包括,例如,衰减(roll-offs)、峰值或零位宽、峰值或零值的角度位置、峰值和零值的高度或深度、旁瓣形状、振幅响应628-1或628-2内的对称性、或振幅响应628-1或628-2内的不对称性。因此,角度估计器318将唯一角度签名或图案映射到角度位置。
角度估计器318可以包括一套算法或工具,其能够根据电子设备102的类型(例如,计算能力或功率约束)或输入模式管理器106的目标角分辨率被选择。在一些实施方式中,角度估计器318能够包括神经网络632、卷积神经网络(CNN)634、或长短期记忆(LSTM)网络636。神经网络632能够具有各种深度或数量的隐藏层(例如,3个隐藏层、5个隐藏层或10个隐藏层),并且还能够包括不同数量的连接(例如,神经网络632能够包括全连通神经网络或部分连通神经网络)。在一些情况下,CNN 634能够被用于增加角度估计器318的计算速度。LSTM网络636能够被用于使角度估计器318能够跟踪目标。使用机器学习技术,角度估计器318采用非线性函数来分析振幅响应628-1或628-2的形状,并生成角度概率数据638,其指示用户或用户的一部分在角度盒子内的可能性。角度估计器318可以为几个角度区间,诸如提供目标位于电子设备102左侧或右侧的概率的两个角度区间,或为数千个角度区间(例如,为连续角度测量提供角度概率数据638)提供角度概率数据638。
基于角度概率数据638,跟踪器模块640产生识别目标的角度位置的角度位置数据642。跟踪器模块640可以基于在角度概率数据638中具有最高概率的角度盒子或者基于预测信息(例如,先前测量的角度位置信息)来确定目标的角度位置。跟踪器模块640还可以保持对一个或多个移动目标的跟踪,以使雷达系统104能够可靠地区分或识别目标。其它数据也能够被用于确定角度位置,包括范围、多普勒、速度或加速度。在一些情况下,跟踪器模块640能够包括α-β跟踪器、卡尔曼滤波器、多假设跟踪器(MHT)等。
量化器模块644获得角度位置数据642并且量化该数据以产生量化的角度位置数据646。能够基于输入模式管理器106的目标角度分辨率来执行量化。在一些情况下,能够使用较少量化级别,使得量化的角度位置数据646指示目标是在电子设备102的右侧还是左侧,或识别目标位于其中的90度象限。这对于一些基于雷达的应用,诸如用户接近检测,可能就足够了。在其它情况下,能够使用较大数量的量化级别,使得量化的角度位置数据646指示在几分之一度、1度、5度等的精度内的目标的角度位置。该分辨率能够被用于较高分辨率的基于雷达的应用,诸如姿势识别,或者被用在实现如本文中所述的姿势区域、识别区域、感知模式、接洽模式或活动模式的实施方式中。在一些实施方式中,数字波束形成器316、角度估计器318、跟踪器模块640和量化器模块644一起被实现在单个机器学习模块中。
在下文中阐述这些和其它能力和配置,以及图1至图6的实体动作和交互的方式。所描述的实体可以进一步被划分、组合、与其他传感器或组件一起使用等等。以这种方式,能够使用具有雷达系统104和非雷达传感器的不同配置的电子设备102的不同实施方式来实现用于暂停的雷达姿势的视觉指示器。图1的示例操作环境100和图2至图6的详细图示仅仅示出了能够采用所述技术的许多可能的环境和设备中的一些。
示例方法
图7描绘了示例方法700,其启用用于暂停的雷达姿势的视觉指示器。方法700能够利用包括或关联于显示器、计算机处理器和能够提供雷达场的雷达系统的电子设备来执行。雷达系统和雷达场能够基于来自诸如电子设备的用户的雷达场中的物体(或者来自诸如用户的手的在雷达场内移动的用户的一部分)的雷达场的反射来提供雷达数据。例如,雷达数据可以由如参考图1所描述的雷达系统104生成和/或通过其接收。雷达数据被用于确定用户与电子设备的交互,诸如用户在雷达场中的存在、用户在雷达场中做出的姿势(雷达姿势)、以及用户相对于电子设备的移动。基于对用户的存在、移动和姿势的确定,电子设备能够进入和退出不同功能模式并且在显示器上呈现不同视觉元素。视觉元素向用户提供反馈以指示用户相对于设备的姿势、电子设备的不同功能的可用性、以及用户与电子设备的交互。视觉元素的其他示例参考图8至图16来描述。
方法700被示出为框的集合,其指定所执行的操作但不必限于用于由相应框执行操作所示出的顺序或组合。此外,可以重复、组合、重新组织或链接一个或多个操作中的任何一个,以提供各种各样的附加和/或替换方法。在以下讨论的部分中,可以参考图1的示例操作环境100或如图2至图6中详细描述的实体或过程,对其的参考仅作为示例。技术不限于由在一个设备上操作的一个实体或多个实体执行。
在702,在以下时间段期间检测姿势暂停触发,在该时间段中,1)雷达系统正在提供通过其能够确定雷达姿势的雷达场,以及2)能够接收与雷达姿势相对应的控制输入的应用通过计算机处理器在电子设备上正在执行。例如,输入模式管理器106能够在满足两个要求的时间段期间检测姿势暂停触发122。第一要求是雷达系统104正在提供能够基于从雷达场中的物体的反射获得的雷达数据来确定雷达姿势的雷达场。第二要求是电子设备102上的能够接收与雷达姿势相对应的控制输入的应用通过计算机处理器正在执行(例如,雷达姿势应用正在执行)。
如参考图1所述,姿势暂停触发122是当存在时使电子设备102和/或雷达系统104进入暂停雷达姿势的状态(例如,雷达姿势应用不能接收与雷达姿势相对应的控制输入和/或执行与控制输入相关联的动作的状态)的条件或条件集合。通常,姿势暂停触发122是能够使得电子设备102或雷达系统104难以准确且高效地确定用户的运动是否是雷达姿势的条件。姿势暂停触发122的示例(参考图1详细描述)包括电子设备102的超过阈值频率的振荡运动、电子设备以高于阈值速度的速度的运动、以及雷达场中的物体的超过阈值频率的振荡运动。在一些实施方式中(参考图1更详细地描述),输入模式管理器106能够使用雷达数据、来自非雷达传感器108的数据、或雷达数据和来自非雷达传感器108的数据两者的组合来检测姿势暂停触发122。
在704,响应于检测到姿势暂停触发,电子设备进入姿势暂停模式,并且在电子设备的显示器上提供姿势暂停反馈元素。姿势暂停反馈元素指示雷达姿势应用不能接收与雷达姿势相对应的控制输入。例如,输入模式管理器106响应于在所描述的时间段期间检测到姿势暂停触发122,能够在电子设备102的显示器114上提供姿势暂停反馈元素124。姿势暂停反馈元素124的外观指示雷达姿势应用不能执行与控制输入相关联的动作,或者在一些实施方式中,不能接收与雷达姿势相对应的控制输入。
在一些情况下,仅当在电子设备102在用户112的阈值距离内(例如,在用户112的大约一、三、四、五或六英尺内)时检测到姿势暂停触发122时,才提供姿势暂停反馈元素124。可以使用雷达数据、来自非雷达传感器108(例如,接近度传感器或图像捕获传感器)的数据、或雷达数据和来自非雷达传感器108的数据两者的组合来确定距用户的阈值距离。
通常,如参考图1所述,姿势暂停反馈元素是用户可感知的元素,诸如在显示器的活动区域上出现的视觉元素或不在显示器上的元素(例如,LED或其他发光元素、触觉元素和/或音频元素)。当姿势暂停反馈元素是出现在显示器的活动区域上的视觉元素时,该姿势暂停反馈元素可以在显示器的边缘处或沿着该边缘被提供,如参考图1所述,并且可以采用各种形状、大小、颜色和其他视觉参数或属性(例如,发光度、颜色、对比度、形状、饱和度或不透明度)中的任何一种。
在一些实施方式中,如参考图1所描述的,视觉元素可以具有作为显示器的活动区域的一部分的区域,该区域具有与显示器的接近视觉元素的另一部分的发光度或其他视觉属性不同的发光度或其他视觉属性。在这种情况下,视觉元素还可以具有在距显示器的活动区域的边缘的阈值距离内的外部边界的片段。另外,姿势暂停反馈元素的发光度(或其他视觉参数)可以随着姿势暂停反馈元素延伸跨过距显示器的活动区域的边缘的距离而变化(例如,在显示器的边缘处或沿着该边缘具有随着形状延伸远离边缘而减小或增大的发光度)。在其他实施方式中,姿势暂停反馈元素可以出现在显示器上不是边缘的位置处(例如,姿势暂停反馈元素可以被提供在显示器的内部区域中,并且不邻近或接触显示器的边缘)。
如参考图1所述,姿势暂停反馈元素124能够在显示器114的活动区域上移动,并且该移动能够对应于姿势暂停触发122的运动(例如,姿势暂停反馈元素124的速度、振荡频率或其他移动可对应于姿势暂停触发122的运动、速度或振荡频率)。此外,如上所述,姿势暂停反馈元素124指示雷达姿势应用由于可能与用户112是否已经尝试做出雷达姿势无关的条件而不能接收对应于雷达姿势的控制输入。输入模式管理器106基于检测到姿势暂停触发122来提供姿势暂停反馈元素124,并且不需要雷达姿势被尝试。相反,姿势暂停反馈元素124是对用户的警告,即雷达姿势当前不可用于控制电子设备102上的雷达姿势应用。
在方法700的一些实施方式中,姿势暂停反馈元素可以被提供作为对已经在显示器的活动区域的边缘处或沿着该边缘提供的视觉元素(例如,指示在电子设备上操作的应用具有接收雷达姿势的能力的先前提供的视觉元素)的调整。例如,在图1所示的示例中,视觉反馈元素126已经被提供在示例显示器114-1上。当检测到姿势暂停触发122时,视觉反馈元素126可以诸如通过改变大小、形状、颜色或另一视觉属性被调整为变成示例姿势暂停反馈元素124,如示例显示器114-2上所示。
姿势暂停反馈元素的颜色可以是能够与提供该颜色的显示器的背景在视觉上相区分的任何合适的颜色。颜色可以基于各种因素中的任何因素而改变,如参考图1所描述的。在方法700的一些实施方式中,电子设备的组件(例如,输入模式管理器106),能够确定显示姿势暂停反馈元素的显示器的区域的背景颜色。响应于确定背景颜色,姿势暂停反馈元素可以以不同于背景颜色的另一颜色被提供,这提供姿势暂停反馈元素与背景颜色之间的人可辨别的对比度,如参考图1所述。在一些情况下,姿势暂停反馈元素的颜色能够基于对背景颜色的改变来连续地、自动地和动态地调整。
如参考图1所描述的,姿势暂停反馈元素可以至少部分地作为简短动画出现。例如,姿势暂停反馈元素可以出现在活动显示器的边缘处,然后在呈现默认外观之前增长或收缩。类似地,颜色、发光度或形状可以在呈现默认外观之前随着姿势暂停反馈元素出现或消失(例如,如果雷达姿势应用停止操作)而改变。此外,姿势暂停反馈元素可以是出现在显示器上的图像,而不是出现在显示器的区域中的元素。图像可以具有与显示器的环境背景的参数不同的视觉参数,诸如发光度、饱和度或颜色。在其他情况下,环境背景可以是图像,并且姿势暂停反馈元素是具有不同视觉参数的相同图像,诸如发光度、饱和度、颜色等。以该方式,姿势暂停反馈元素能够通过向用户传达电子设备正在以雷达姿势当前不可用于与电子设备交互的模式操作来改善用户的体验。
在方法700的一些实施方式中,姿势暂停反馈元素(和其他视觉反馈元素)的位置可以基于显示器上的内容的定向和/或用于与内容交互的雷达姿势的定向来确定。例如,如参考图1所描述的,电子设备的组件,诸如输入模式管理器106,可以(例如,从应用管理器116)获得内容在显示器上的定向。基于内容的定向,显示器能够确定能够被用于与内容交互的雷达姿势的方向,并且在显示器的活动区域的与雷达姿势的方向对应的特定边缘处提供姿势暂停反馈元素。因此,如果所显示的内容的情境是水平的,则姿势暂停反馈元素显示在顶部边缘,并且如果所显示的内容的情境是竖直的,则姿势暂停反馈元素显示在侧边缘。
此外,可以检测电子设备相对于用户的定向的改变,并且基于定向的改变,可以在显示器的不同边缘上提供诸如姿势暂停反馈元素的视觉反馈元素,以便维持姿势暂停反馈元素相对于用户的定向和位置。例如,如参考图1所描述的,用户可以将设备从竖直定向转动到水平定向以观看视频,或者从水平定向转动到竖直定向以阅读文章。基于定向的改变,输入模式管理器106能够使显示器114在活动显示器的不同边缘上提供姿势暂停反馈元素124,以便保持姿势暂停反馈元素124相对于用户的定向和位置。如上所述,也可以考虑内容的定向,并且这些特征能够彼此结合使用以在显示器上在适合于显示器上的内容的定向和显示器相对于用户的定向二者的位置处提供姿势暂停反馈元素。
在一些情况下,能够确定在电子设备上运行的雷达姿势应用正在沉浸式模式下(例如,在没有任何呈现的控件的全屏模式下)操作。响应于该确定,当检测到姿势暂停触发时,显示器可以简单地或周期性地提供姿势暂停反馈元素。例如,如参考图1所描述的,能够在显示器上提供姿势暂停反馈元素124达到反馈元素呈现持续时间,然后停止提供姿势暂停反馈元素124达到非反馈元素呈现持续时间。反馈元素呈现持续时间和非反馈元素呈现持续时间两者都可以是预定的或可选择的。持续时间可以(例如,由用户或由输入模式管理器106基于各种因素,诸如在沉浸模式下运行的雷达姿势应用的类型、雷达姿势应用的状态、或用户采用雷达姿势的频率)是可选择的。
当用户使用除了雷达姿势之外的输入(例如,触摸或语音输入)与电子设备交互时,姿势暂停反馈元素(和其他视觉反馈元素)可以变淡或完全消失。例如,如参考图1所述,用户可以决定在电子设备处于姿势暂停状态时使用电子设备上的触摸命令来开始应用。在这种情况下,当用户拿起电子设备或触摸显示器时,姿势暂停反馈元素可以变淡或消失。当用户停止触摸显示器或放下电子设备时(如果仍然检测到姿势暂停触发),姿势暂停反馈元素重新开始。姿势暂停反馈元素可在触摸或语音输入结束时立即重新出现或变亮,或在可选择的默认持续时间之后重新出现或变亮。
能够在电子设备102处于锁定状态或解锁状态时提供视觉反馈元素,诸如姿势暂停反馈元素124。因此,无论用户是否被认证,当满足所描述的条件时,电子设备都可以提供姿势暂停反馈元素。如参考图1所描述的,锁定状态和解锁状态指对电子设备的访问级别。锁定状态可以是没有用户被认证并且使用该设备的任何人将具有少于完全权限或访问(例如,没有访问或权限,或有限的访问或权限)的状态。锁定状态的示例可以包括如本文中所描述的电子设备的感知模式和接洽模式。类似地,解锁状态能够是其中至少一个用户被认证并且该用户具有对设备的完全权限和/或访问的状态。解锁状态的一个示例是如本文中所描述的电子设备的活动模式。
用于暂停的雷达姿势的视觉指示器的这些技术可以比其他认证和反馈技术更安全。例如,用户的位置、定向或雷达姿势的使用(尤其是用户定义的姿势、微姿势、以及姿势或基于位置的姿势)通常不可由未经授权的人复制或获得(与例如密码不同)。此外,用户的雷达图像(例如,基于上述雷达数据),即使其包括用户的面部,也不能像照片或视频那样在视觉上识别用户。即使如此,进一步对于以上描述,可以向用户提供控制,该控制允许用户对于是否以及何时本文档中描述的系统、程序、管理器、模块或特征中的任何一个可以启用用户信息(例如,用户的图像、描述用户的雷达数据、关于用户的社交网络的信息、社交动作或活动、职业、用户的偏好或用户的当前位置)的收集以及是否以及何时向用户发送来自服务器的内容或通信进行选择。另外,某些数据可以在其被存储或使用之前以一种或多种方式被处理,使得个人可识别信息被移除。例如,可以处理用户的身份,使得不能为用户确定个人可识别信息,或者用户的地理位置可以在获得位置信息的情况下被概括化(诸如到城市、邮政编码/邮政编码或州级),使得不能确定用户的特定位置。因此,用户可以控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息或关于用户提供什么信息。
示例视觉元素
如上所述,本文中描述的技术和系统能够使电子设备102能够提供反馈和通知以使用户知道可以经由雷达姿势接收输入的可用应用,并且在一些情况下,提供关于雷达姿势的使用和结果的附加反馈。反馈和通知由一个或多个用户可感知的元素提供,诸如在显示器114上被呈现的视觉元素。该技术和系统还能够使得能够确定用户的不在、存在和位置,这能够被用于提供更响应和更高效的认证过程。例如,该技术使电子设备能够预测用户何时准备好被认证,并且当用户离开时更准确地确定何时锁定设备。反馈、视觉元素和其它特征使得交互更方便且更少令人沮丧,因为用户感知到输入模式并且能够确信设备能够交互和接收输入的不同方式。图8至图19示出运行雷达姿势应用的电子设备102的示例,并且描述了能够在显示器上被呈现以向用户提供反馈的视觉元素的示例。还描述了在多个不同模式中操作的电子设备的示例以及能够在不同模式中被呈现在显示器上的视觉元素的示例。
考虑图8,其在800一般地示出能够被用于指示雷达姿势应用在电子设备102上运行的视觉反馈元素的示例。在图8中,详细视图800-1示出了示例显示器114-3,以指示没有雷达姿势应用运行的电子设备102的状态。在另一示例显示器114-4上示出其中至少一个雷达姿势应用正在运行的电子设备102的另一状态。如上所述,在示例显示器114-4的顶部的视觉元素802指示电子设备102能够通过雷达姿势接收输入。视觉元素802被示为照亮线,但是如上所述,可以在另一位置、在不同的照明水平(例如,仅部分照亮)被呈现,或者被呈现为另一形状或类型的元素。例如,在另一详细视图800-2中,示出了示例显示器114-5以指示没有雷达姿势应用运行情况下的电子设备102的状态。在另一示例显示器114-6上示出其中至少一个雷达姿势应用正在运行的电子设备102的另一状态。如上所述,在示例显示器114-6的顶部的视觉元素804指示电子设备102可以通过雷达姿势接收输入。视觉元素804被示为照亮区域(例如,发光区域)。如同视觉元素802一样,视觉元素804可以以不同的照明水平(例如,照明更强或照明更弱)被呈现在显示器114-6上的另一位置,或者被呈现为另一形状或类型的元素。注意,为了清楚起见,在示例显示器114-3至114-6上没有示出其他元素(例如,时间、日期或应用启动图标),然而,在其他实施方式中,视觉元素802或804可以与其他内容一起被显示在显示器上。此外,视觉元素802或804可以在电子设备102处于感知模式、接洽模式、活动模式或另一模式时被显示。
在一些实施方式中,电子设备102还能够提供与雷达姿势的可用性相关的更详细的视觉反馈。例如,输入模式管理器106、应用管理器116或与电子设备102相关联的另一组件能够使显示器114呈现提供关于通过雷达姿势接收到的输入的反馈的其他视觉元素。图9至图19示出能够使用视觉元素来提供与雷达姿势的使用相关的反馈的一些方式的附加细节。
例如,考虑图9A至图9D,其在900处一般地示出可以被用于指示用户的手在使雷达姿势应用能够接收雷达姿势的姿势区域(例如,姿势区域118)内的视觉反馈元素的示例。姿势区域118是电子设备102(或雷达系统104)周围的区域,在该区域内电子设备102可以接收、理解雷达姿势并对其进行动作,诸如挥动或收缩。姿势区域能够从电子设备102延伸任何合适的距离(例如,大约三、五、七、九或十二英寸)。
在图9A中,示出处于至少一个雷达姿势应用正在运行的状态的示例显示器114-7(例如,类似于参照图8描述的示例显示器114-6)。用户的手902被示出在示例显示器114-7附近,但在姿势区域118之外(姿势区域的边界被示出为虚线904)。示例视觉元素906被示出为示例显示器114-7的顶部附近的发光度随着距顶部的距离而改变的发光区域(例如,具有变化的亮度、颜色或其他属性的区域或形状)。在其他实施方式中,视觉元素906可以在另一位置处被呈现或者呈现为另一形状或类型的元素(例如,线,如图8的详细视图800-1所示)。在图9B中,用户的手902朝向电子设备移动并且跨越姿势区域的边界904,如箭头908所示。响应于电子设备检测到移动908,另一视觉元素910取代视觉元素906,如示例显示器114-8上所示。在该示例中,视觉元素910是大于视觉元素906的发光区域,并且具有不同的亮度或发光度(例如,更少、更多或完全照亮)。在其他实施方式中,视觉元素910还可以在另一位置处被呈现或者被呈现为另一形状或类型的元素。
如图9C所示,当用户的手902在姿势区域的边界904内时,在一些实施方式中,视觉元素910能够被用于提供指示用户的手902的较小的非姿势运动的反馈,该较小的非姿势运动由双端箭头912表示。例如,如示例显示器114-9上所示,视觉元素能够移动以通过如箭头914所示随用户的手来回移动来指示用户的手移动。在图9D中,用户的手902被撤回到姿势区域的边界904之外,如箭头916所示。响应于用户的手的运动,显示器114返回到如示例显示器114-7中所示的其中视觉元素906被显示在显示器114的顶部边缘附近的状态。
在一些实施方式中(图9A-9D中未示出),非姿势运动能够由其他视觉元素或对视觉元素的改变来表示。例如,大小和/或形状能够改变,或者形状的中心或焦点能够移动以表示运动(而形状本身保持静止)。另外或可替代地,对亮度的强度或颜色的改变能够被用于表示运动(例如,形状或形状的一部分的亮度或颜色根据非姿势运动而改变。视觉元素906和910连同视觉元素910的运动一起能够帮助用户理解姿势何时可用,并且提供指示电子设备102感知到用户的手的相对位置的反馈,这能够改善用户对电子设备102的体验。
如参考图9C所描述的,电子设备102能够提供视觉反馈以表示用户的手在姿势区域中的较小的非姿势运动,诸如在显示器上来回移动视觉元素,其对应于用户的手的运动。类似地,当用户作出雷达姿势(例如,用于跳过歌曲的挥动姿势或用于消除警报或通知的全向姿势)时,电子设备102能够提供反馈以通知用户已经成功地接收到姿势或接收到姿势尝试,但是其不够清楚以被确认为雷达姿势或不对应于用于电子设备上的雷达姿势应用的雷达姿势。例如,图10至图12在1000和1100处一般地示出了能够被用于通知用户已经成功接收到姿势的示例视觉元素的序列。
考虑图10,其示出处于至少一个雷达姿势应用正在运行并且用户的手1002在姿势区域的边界内的状态(例如,类似于参考图9B描述的示例显示器114-8所表示的状态)的示例显示器114-10。示例显示器114-10正在呈现视觉元素1004,其被示出为示例显示器114-10的顶部附近的发光度随着距顶部的距离而改变的发光度的发光区域(例如,具有变化亮度、颜色或其他属性的区域或形状)。在该示例中,视觉元素1004指示雷达姿势的可用性。继续该示例,用户做出从左到右的成功滑动或挥动姿势,如箭头1006所示(例如,满足如参考图1所描述的雷达姿势的准则的姿势对应于应用的控制输入,和/或导致应用接收或响应控制输入)。响应于用户的手1002的运动1006,视觉元素1004也移动,如序列1008中所示(在虚线矩形内所示)。示例显示器114-11示出当视觉元素1004开始向右移动时序列1008的开始,如箭头1010所示。
序列1008在另一示例显示器114-12中继续,其中视觉元素1004围绕示例显示器114-12的拐角弯曲,如箭头1012所示。视觉元素1004能够继续沿着显示器114的一侧向下达到可变距离(例如,一旦视觉元素的尾端完成弯曲或者在尾端已经沿着该侧行进了特定距离之后),并且然后消失。在另一示例显示器114-13中继续序列1008,视觉元素1004从示例显示器114-13的左侧重新出现或重新生成,并且朝向中心位置移动,如箭头1014所示。在一些实施方式中,视觉元素1004能够在初始位置(如示例显示器114-10中所示)而不是从左侧重新出现或重新生成。当序列1008完成时,显示器返回到如示例显示器114-10中所示的状态,其中视觉元素1004显示在显示器114的顶部附近,并且可以在用户的手1002保持在姿势区域的边界内的同时精妙地跟踪该手。注意,在图10的示例中,序列1008在用户开始姿势时开始。在其他情况下,姿势和序列1008可以在不同的时间完成或在显示器114上的另一位置处开始并在另一方向上继续,诸如从右到左、从上到下或从下到上(例如,如果雷达姿势从右到左、从上到下或从下到上移动)。
此外,虽然图10的视觉元素1004被示出为显示器114的顶部附近的发光区域,但是视觉元素可以被呈现在另一位置处或者被呈现为另一形状或类型的元素。例如,图11示出了另一个示例视觉元素1102作为显示器114的顶部边缘附近的照明线。响应于用户的手1104的从左到右的运动(由箭头1106示出),视觉元素1102也移动,如序列1108所示(在虚线矩形内示出)。示例显示器114-14示出当视觉元素1102开始向右移动时序列1108的开始,如箭头1110所示。
序列1108在另一示例显示器114-15中继续,其中视觉元素1102围绕示例显示器114-15的拐角弯曲,如箭头1112所示。如上所述,视觉元素1102可以继续向下到显示器的一侧达到可变距离,然后消失。在另一示例显示器114-16中继续序列1108,视觉元素1102从示例显示器114-16的左侧重新出现或重新生成(或在初始位置重新出现)并且朝向中心位置移动,如箭头1114所示。当序列1108完成时,显示器返回到视觉元素1102被显示在显示器114的顶部附近的状态。
考虑另一示例(未示出),其中用户正在利用智能电话(例如,电子设备102)上的雷达姿势应用来收听音乐。假设用户决定跳过音轨并且在智能电话上做出雷达姿势。雷达姿势可以是在任一方向上的挥动(例如,从左到右以跳到下一音轨,或从右到左以重新开始当前音轨或跳到前一音轨)。当用户的手进入姿势区域时,视觉元素被呈现。当用户开始雷达姿势时,电子设备(例如,通过雷达系统104、输入模式管理器106或应用管理器116)以序列1008或1108呈现视觉元素,如分别参考图10和11所描述的。
在一些实施方式中,视觉元素1004和1102能够在雷达姿势正在被处理的同时在水平方向上移动(例如,如示例显示器114-12和114-15中所示)。当雷达姿势被成功地接收(例如,控制输入被发送和/或应用响应)时,视觉元素1004和1102的运动改变方向(例如,如示例显示器114-13和114-16中所示绕过拐角)。这对于人类视觉系统是特别有利的,因为与例如简单地伸到屏幕的右边缘的元素相比,方向上的改变非常快速地配准。
能够指示成功雷达姿势的视觉反馈元素的其他示例包括弯曲或伸缩(例如,在一端、两端、中间或另一位置)以示出成功雷达姿势的视觉元素,诸如在垂直于显示器114的方向上做出的姿势或具有垂直于显示器114的分量的姿势。在其他情况下,视觉元素1004或1102可以在其伸到拐角处或之前消失,或者其可以围绕拐角沿着显示器114的一侧继续向下,或者甚至围绕显示器114一直移动。
在一些实施方式中,视觉反馈元素能够提供与雷达姿势的运动无关的反馈。例如,在一些实施方式中,全向姿势被用作方向无关的雷达姿势(例如,因为全向姿势消除警报或警告并且不意图在一个方向上移动内容或跳过/重放音乐,所以姿势的方向与其功能无关)。考虑图12,其在1200处一般地示出能够被用于通知用户已经成功接收到方向无关的雷达姿势的示例视觉元素的序列。在图12中,示出处于至少一个雷达姿势应用在电子设备102上操作并且用户的手1202在姿势区域的边界内的状态的示例显示器114-17(例如,类似于参考图9B描述的示例显示器114-8所表示的状态)。示例显示器114-17正在呈现视觉元素1204,其被示出为示例显示器114-17的顶部附近的发光度随着距顶部的距离而改变的发光度的发光区域(例如,具有变化亮度、颜色或其他属性的区域或形状)。在该示例中,视觉元素1204指示雷达姿势的可用性(例如,雷达姿势应用当前正在电子设备上运行或存储在电子设备上)。继续该示例,假设雷达姿势应用正在显示器上呈现警报,并且用户已经决定解除警报。为了这样做,用户朝向电子设备102做出全向姿势,如箭头1206所示。
响应于用户的手1202的运动1206,视觉元素1204改变,如序列1208中所示(在虚线矩形内所示)。示例显示器114-18示出序列1208的开始,因为视觉元素1204变得更大更亮(例如,发光度增加),并且包括靠近显示器114-18的边缘的亮线1210,序列1208在其中视觉元素1204开始在大小上减小的另一示例显示器114-19中继续,如双箭头1212所示。继续另一示例显示器114-20中的序列1208,视觉元素1204继续减小大小,朝着上边缘示例显示器114-20的中心收缩,如双头箭头1214所示。序列1208继续直到视觉元素1204消失(未示出)为止。
当序列1208完成时,显示器返回到如示例显示器114-17中所示的状态,其中视觉元素1204被显示在显示器114的顶部附近并且在用户的手1202保持在姿势区域的边界内的同时精妙地跟踪该手。注意,虽然图12的示例中的序列1208在用户开始姿势时开始,但是姿势和序列1208可以在不同的时间被完成或者在显示器114上的另一位置开始并且以另一方式或方向继续,诸如收缩然后增长或者改变颜色和/或亮度而不改变大小。图10至图12中所示的视觉反馈元素的示例仅示出视觉反馈元素能够被采用来帮助用户理解何时雷达姿势已经被接受以及何时姿势完成的一些方式,这能够改善用户对电子设备102的体验。
视觉反馈元素还能够被用于在尝试但未接收到姿势(例如,检测到用户的运动但不满足要被确认为雷达姿势的准则,不对应于应用的控制输入,和/或不导致应用接收或响应控制输入)时提供反馈。例如,图13和图14在1300和1400处一般地示出了能够被用于通知用户已经检测到姿势但未成功作出或接收姿势的示例视觉元素的序列。
考虑图13,其示出处于至少一个雷达姿势应用正在运行并且用户的手1302在姿势区域的边界内的状态(例如,类似于参考图9B描述的示例显示器114-8中表示的状态)的示例显示器114-21。示例显示器114-21在示例显示器114-21的顶部附近呈现视觉元素1304,其被示出为发光区域(例如,具有变化亮度、颜色或其他属性的区域或形状),其发光度随着距顶部的距离而改变。在该示例中,视觉元素1304指示雷达姿势的可用性并且用户的手1302在姿势区域内。
在图13的示例中,假设用户尝试从左到右做出滑动或挥动姿势,但是未能满足轻扫姿势的标准,或者不对应于电子设备上的雷达姿势应用的雷达姿势,如上所述。例如,如弯曲箭头1306所示,用户的手1302在撤回之前可能无法在相关方向上行进足够距离。在这种情况下,当电子设备102(或雷达系统104)检测到用户的手1302的运动1306,其缺少足够定义以被成功地确定为雷达姿势时,视觉元素1304如序列1308所示(在虚线矩形内示出)移动。示例显示器114-22示出了序列1308的开始,因为视觉元素1304开始向右移动,如箭头1310所示。
继续另一示例显示器114-23中的序列1308,视觉元素1304在伸到示例显示器114-23的相对边缘之前已经停止,在一些情况下,当视觉元素在显示器上移动时,与其开始长度相比,其大小可以减小(如示例显示器114-21中所示)。在其他情况下,视觉元素1304可以在其停止时减小大小(例如,其在到达停止点时压缩)。
序列1308在另一示例显示器114-24中继续,其中视觉元素1304反转方向并开始向其原始位置(在该示例中为中心)移动返回,如另一箭头1312所示。如果视觉元素1304在移动时或在停止其移动时大小减小,则它也能够在其移动返回时或在其完成其返回时开始增长回到其原始长度。在其他实施方式中,视觉元素1304可以在反转方向之前减慢和反弹,而不是停止(并且在一些情况下,收缩)。当序列1308完成时,显示器返回到如示例显示器114-21中所示的状态,其中视觉元素1304被显示在示例显示器114的顶部附近并且在用户的手1302保持在姿势区域的边界内时精妙地跟踪用户的手(例如,如图9A至图9D中所示)。
示出不成功雷达姿势尝试的序列的其他示例包括诸如通过简单地收缩而部分地折叠在其自身上并且然后返回到其原始大小和位置的视觉元素。例如,在一些实施方式中,视觉反馈元素能够提供独立于雷达姿势(全向姿势)的运动的反馈。在这些实施方式中,反馈能够是对视觉元素的改变的序列。
图14示出能够被用于通知用户未能成功地做出或接收姿势(例如,全向姿势)的示例视觉元素的另一序列。在图14中,示例显示器114-25被示出为处于至少一个雷达姿势应用正在运行并且用户的手1402在姿势区域的边界内的状态(例如,类似于参考图9B描述的示例显示器114-8中表示的状态)。示例显示器114-25在示例显示器114-25的顶部附近正在呈现视觉元素1404,其被示出为发光区域(例如,具有变化亮度、颜色或其他属性的区域或形状),其发光度随着距顶部的距离而改变。在该示例中,视觉元素1404指示雷达姿势的可用性以及用户的手1402在姿势区域内。
在图14的示例中,假设用户尝试做出全向姿势,如上所述,但是该姿势不满足全向姿势的准则或者不对应于电子设备上的雷达姿势应用的雷达姿势。例如,如弯曲箭头1406所示,用户的手1402在撤回之前可能无法行进足够距离。在这种情况下,当电子设备102(或雷达系统104)检测到用户的手1402的运动1406,其缺少足够定义以被成功地确定为雷达姿势时,视觉元素1404如序列1408(在虚线矩形内示出)中所示进行移动。示例显示器114-26示出序列1408的开始,因为视觉元素1404开始在亮度上变暗并开始收缩,如双端箭头1410所示。在另一示例显示器114-27中继续序列1408,视觉元素1404停止收缩并且开始变亮和扩展,如另一双端箭头1412所示。序列1408在另一示例显示器114-28中继续,其中视觉元素1404返回到如示例显示器114-25中所示的状态,其中视觉元素1404被显示在示例显示器114的顶部附近并且在用户的手1402保持在姿势区域的边界内时精妙地跟踪用户的手1402(例如,如图9A至图9D中所示)。
视觉元素1304和1404的运动能够帮助用户理解何时姿势尚未成功地完成。这帮助用户学习用于做出成功的雷达姿势的更好的技术,并且还允许用户感知到尝试的姿势何时失败(例如,因此如果必要的话,能够再次尝试它),这能够改善用户对电子设备102的体验。
注意,序列1308和1408可以在电子设备102(或雷达系统104)(例如,使用雷达数据的一个或多个子集)检测到用户已经尝试雷达姿势时开始,但是也确定该姿势无法满足对于接受所必需的至少一个准则。因此,取决于所尝试的姿势的性质和序列1308(或1408)的速度,所尝试的姿势和序列1308(或1408)可以在不同时间完成。此外,如上所述,尽管视觉元素1304和1404都被示出为显示器114的顶部附近的发光区域,但是视觉元素1304和1404可以在另一位置处被呈现或者被呈现为另一形状或类型的元素(例如,如图8的详细视图800-1中所示的照亮线)。序列1308或1408中的任一个或两者也可以在显示器114上的另一位置处开始,并且在另一方向上继续,诸如从右到左、从上到下或从下到上(例如,如果尝试的雷达姿势从右到左、从上到下或从下到上移动)。
通常,电子设备102包括姿势暂停模式,该姿势暂停模式能够关闭或暂停电子设备102的雷达姿势能力。当检测到姿势暂停触发122时,能够激活姿势暂停模式,如参考图1所述,当检测到姿势暂停触发122时,电子设备进入姿势暂停模式,并且输入模式管理器106提供姿势暂停反馈元素124。如上所述,姿势暂停触发122能够是各种情况中的任一种,如参考图1所描述的,诸如电子设备102的超过阈值频率的振荡运动、电子设备的超过阈值速度的运动、或雷达场中的诸如用户112(或用户112的一部分)的物体的超过阈值频率的振荡运动。能够向姿势暂停反馈元素124呈现与姿势暂停触发122相对应的运动。
在姿势暂停触发是电子设备的振荡运动的情况下,视觉元素的对应移动是姿势暂停反馈元素124的至少一部分的发光度(或另一视觉属性)的减小和姿势暂停反馈元素124的大小的减小。在一些情况下,姿势暂停反馈元素124可以收缩并变暗,然后保持在该状态,直到不再检测到姿势暂停触发122(例如,姿势暂停模式结束)为止。在其他情况下,姿势暂停反馈元素124也可以横向地(往复)移动,并且横向移动的频率可以近似地匹配电子设备102的振荡频率。在又一些实施方式中,姿势暂停反馈元素124能够在原始形式与变淡和收缩形式之间“脉动”或交替,并且脉动频率能够匹配电子设备102的振荡频率。
在另一情况下,其中姿势暂停触发是雷达场中的物体(例如,用户112或用户112的一部分,诸如手)的振荡运动的,姿势暂停反馈元素124的相应移动是姿势暂停反馈元素124的至少一部分的发光度(或另一视觉属性)的减小和姿势暂停反馈元素124的大小的减小。在一些情况下,姿势暂停反馈元素124可以收缩并变暗,然后保持在该状态,直到不再检测到姿势暂停触发122(例如,姿势暂停模式结束)为止。在其他情况下,姿势暂停反馈元素124也可以横向地(往复)移动,并且横向移动的频率可以近似匹配雷达场中的物体的振荡频率。在又一些实施方式中,姿势暂停反馈元素124能够在原始形式与暗淡和收缩形式之间“脉动”或交替,并且脉动频率可以匹配雷达场中的物体的振荡频率。
在任一情况下(姿势暂停触发122是电子设备102的振荡或雷达场中的物体的振荡),姿势暂停反馈元素124的对应移动能够是横向移动或脉动(包括匹配频率),如上所述,而发光度或大小不改变。
电子设备102可以基于来自各种传感器中的任何传感器的输入来确定进入姿势暂停模式,其包括雷达传感器(例如,雷达系统104)、惯性测量单元(IMU)、接近度传感器(例如,有源红外接近度传感器)等等。例如,如果用户正在行走并且利用用户的手中的电子设备102收听音频内容,来回摆动,则运动可以类似于基于雷达的轻扫姿势,但是用户不意图跳过音轨或调整音量。因此,因为电子设备102的运动能够将模糊度引入姿势解释过程中,所以电子设备102可以确定进入姿势暂停模式直到模糊度被解析(例如,用户停止行走)为止。
图15在1500一般地示出示例视觉元素(例如,姿势暂停反馈元素124的示例),其可以被用于指示雷达姿势应用可用于接收雷达姿势,但是姿势当前被暂停。无论用户的手是在姿势区域内还是在姿势区域外,只要雷达姿势可用,就可以激活姿势暂停模式。在图15中,示出处于至少一个雷达姿势应用正在运行并且用户的手在姿势区域的边界内的状态的示例显示器114-29(例如,类似于参考图9B描述的示例显示器114-8中表示的状态)。示例显示器114-29正在呈现视觉元素1502,其被示为示例显示器114-29的顶部附近的发光区域,以指示雷达姿势的可用性以及用户的手在姿势区域内。如果用户采取使电子设备102进入姿势暂停模式的动作(例如,检测到姿势暂停触发122,诸如通过用户的手在用户行走时来回移动,如箭头1504所示),则视觉元素1502能够改变,如序列1506中所示(在虚线矩形内)。
示例显示器114-30示出当视觉元素1502在亮度上变暗并收缩时序列1506的开始,如在示例显示器114-30中由双端箭头1508所示。序列1506在另一示例显示器114-31中继续,其中视觉元素1502已经停止收缩并且被显示在显示器114-31的顶部边缘的中心附近,更小的、更暗的视觉元素1502指示姿势暂停模式被接洽。当姿势暂停触发结束并且视觉元素1502返回到示例显示器114-29中所示的状态时,序列1506结束。
如上所述,视觉元素1502被示出为显示器114的顶部的中心附近的发光区域。在其他实施方式中,序列1506还能够在显示器114上的另一位置处开始(例如,取决于显示器114上的内容的定向、雷达姿势的方向、或另一因素),或者视觉元素1502能够在另一位置处被呈现或被呈现为另一形状或类型的元素。在一些情况下,示例视觉元素1502能够具有颜色(例如,蓝色、绿色或多于一种颜色的组合)。在这些情况下,参考示例显示器114-30或114-31描述的步骤可以包括颜色的改变。该改变可以是另一种颜色,例如蓝色到黄色。在其它情况下,视觉元素1502变为无色,并且仅仅是对比的发光区域,使得相对暗背景它是较亮区域,而相对亮背景下它是较暗区域。
例如,图16在1600一般地示出描述另一视觉反馈元素(例如,另一形式的姿势暂停反馈元素124)的另一示例序列1602,该视觉反馈元素能够被用于向用户示出电子设备102处于姿势暂停模式。在图16中,示出了处于至少一个雷达姿势应用正在运行并且用户的手在姿势区域的边界内的状态(例如,类似于参考图9B描述的示例显示器114-8中表示的状态)的示例显示器114-32。示例显示器114-32呈现视觉元素1604,其被示出为靠近示例显示器114-32的顶部的照亮线,以指示雷达姿势的可用性以及用户的手在姿势区域内。示例序列1602(在虚线矩形内示出)开始于示例显示器114-33,其中响应于电子设备102检测到姿势暂停触发122(例如,使得电子设备102进入姿势暂停模式的动作,诸如参考图15描述的移动1504),另一视觉元素1606替换视觉元素1604。如示例显示器114-33上所示,视觉元素1606是比视觉元素1604更短且更暗的另一条线。
序列1602在另一示例显示器114-34中继续,其中视觉元素1606开始向右移动,如箭头1608所示。在另一示例显示器114-35中继续序列1602,视觉元素1606向左移动,如箭头1610所示。在序列1602中,视觉元素1606可以在其伸到显示器的一侧之前停止并反转方向,或者在反转方向之前一直转到边缘。在一些实施方式中,视觉元素1606可以在其停止时进一步收缩以反转方向,并且然后在其开始在相反方向上移动时、之后或随其返回到另一大小。
此外,视觉元素1606的振荡可以匹配姿势暂停模式所基于的条件。例如,在用户的手臂摆动的情况下,视觉元素1606的振荡的速度或频率可以近似地匹配用户的手移动的速度或频率。在一些情况下,序列1602还能够在显示器114上的另一位置处开始并且在另一方向上继续,诸如从右到左、从上到下或从下到上(例如,取决于显示器114上的内容的定向、雷达姿势的方向或另一因素)。当电子设备102退出姿势暂停模式时,序列1506(或1602)完成并且显示器114返回到适当状态,这取决于是否存在雷达姿势应用运行以及用户的手的位置。
序列1506和1602能够帮助用户理解何时可以暂停姿势,并且允许用户调整如何使用电子设备102以避免或利用姿势暂停模式,这能够改善用户对电子设备102的体验。例如,与用户在雷达场中的移动或电子设备102的移动匹配的姿势暂停反馈元素124的移动帮助向用户传达姿势暂停模式已经被激活,因为在姿势暂停反馈元素124的运动和电子设备102的状态(移动或振荡)之间存在相关性。
在一些情况下(图15或图16中未示出),用户的运动可能不引入模糊性,诸如用户带着电子设备行走并且将其稳定地保持在用户前方的情况。在这些情况下,电子设备不进入姿势暂停模式,并且视觉元素1502(或1604)可以改变一个或多个视觉参数以警告用户雷达姿势可用,即使在用户和电子设备处于运动中时。例如,视觉元素1502(或1606)可以从默认颜色改变为另一颜色(例如,从灰色到蓝色、从灰色到白色、或从白色到蓝色)。
在一些实施方式中,电子设备102能够确定在电子设备102上运行的雷达姿势应用正在沉浸式模式下(例如,在没有任何呈现的控件的全屏模式下)操作。响应于该确定,显示器能够周期性地提供参考图8至图16描述的视觉元素(例如,视觉元素802、804、906、910、1004、1102、1204、1304、1404、1502、1604、1606和/或姿势暂停反馈元素124)。例如,视觉元素能够在显示器上被提供达到持续时间,然后停止被提供达到另一持续时间。持续时间可以(例如,由用户或由电子设备102基于诸如在沉浸模式下运行的雷达姿势应用的类型、雷达姿势应用的状态或用户采用雷达姿势的频率的因素)是可选择的。
此外,以上参考图8至图16描述的视觉元素(例如,视觉元素802、804、906、910、1004、1102、1204、1304、1404、1502、1604、1606和/或姿势暂停反馈元素124)可以以任何合适颜色被呈现,该颜色能够在视觉上与呈现该颜色的显示器的背景区分开。此外,视觉元素的颜色可以基于多种因素中的任何因素而改变,诸如电子设备的操作状态或显示器的环境背景颜色。例如,雷达系统104、输入模式管理器106、应用管理器116或另一实体、模块或管理器能够确定视觉元素被显示或将被显示在其上的显示器的区域的背景颜色。响应于确定背景颜色,视觉元素可以以不同于背景颜色的另一颜色被呈现。不同颜色能够在视觉元素与背景颜色之间提供人类可辨别的对比性,以使得用户更容易看到视觉元素。在一些情况下,视觉元素的颜色能够基于背景颜色的变化而被连续地、自动地和动态地调整。
在一些情况下,如本文中所述,即使在雷达姿势可用时(例如,因为用户与语音或触摸输入交互,或为了降低屏幕烧屏的风险),视觉元素也可以被隐藏。在这种情况下,当满足了适当条件时(例如,用户做出成功或不成功的雷达姿势或激活姿势暂停模式),仍可以示出视觉元素(例如,图8至图16中所示的示例视觉元素)。考虑上述音乐播放器示例的变型,其中当用户正在听音乐并使用语音输入来打开另一应用的同时视觉元素被隐藏。在该示例中,用户执行雷达姿势以跳过歌曲,并且显示器呈现序列1008(或1108)以通知用户雷达姿势成功。
用户的位置和移动也能够被用于检测被分类为用户与电子设备交互(或不交互)的意图的指示的用户动作。例如,电子设备可以访问(例如,在存储器设备中的)动作库,该动作库被分类为用户与设备交互或不交互的意图的指示符(例如,伸向电子设备、转向或走近或远离电子设备、倾斜向或看着电子设备)。在一些情况下,电子设备还可以包括机器学习技术,其能够添加、移除或修改该库中存储的动作。基于对用户的存在、移动和意图的检测,电子设备能够使电子设备进入和退出不同功能模式,并且基于模式在显示器上呈现不同视觉元素。这些模式能够实现电子设备的不同功能,并且帮助用户理解电子设备正在操作的模式以及可用的服务和功能。图17至图19示出在多种模式下操作的电子设备,并且描述了能够在不同模式下呈现在显示器上的视觉元素的示例。
例如,当在电子设备附近(例如,在雷达场110或识别区域内)没有检测到用户时,设备在休眠模式下操作。在休眠模式下,显示器(例如,显示器114)可以比在其它模式中呈现更少的视觉元素,或者没有视觉元素,并且显示器可以打开或关闭。当电子设备(例如,使用来自雷达系统104的雷达数据或雷达数据的一个或多个子集)确定用户在识别区域内的存在时,电子设备退出休眠模式并进入感知模式。在感知模式中,显示器呈现能够指示电子设备的状态或功能水平的一个或多个视觉元素。
当电子设备处于感知模式时,电子设备能够检测被分类为用户意图与电子设备交互的指示的用户动作。响应于检测到该用户动作,电子设备能够准备认证系统执行认证过程。在一些实施方式中,当电子设备检测到用户的交互意图的指示时,电子设备还退出感知模式并且进入接洽模式。在接洽模式中,显示器呈现另外的或替代的视觉元素,其能够指示电子设备的状态或功能水平的变化。电子设备还能够检测触发事件,并且基于触发事件,使认证系统认证用户。响应于用户被认证,电子设备退出感知模式或接洽模式并且进入活动模式。在活动模式中,显示器呈现另外的或替代的视觉元素,其能够指示电子设备的状态或功能水平的变化。
图17示出电子设备从休眠模式转换到感知模式的示例1700。详细视图1700-1示出当用户1702在识别区域1704之外时处于休眠模式的电子设备102。在该示例中,识别区域1704具有楔形形状,但是如上所述,识别区域1704能够采取任何合适的形状或大小。继续该示例,在这种情况下,显示器114在休眠模式中不呈现任何视觉元素,如示例显示器114-36上所示。在另一详细视图1700-2中,用户1702更靠近电子设备102,其已经确定了用户1702已经进入识别区域1704。基于该确定,电子设备102退出休眠模式并且进入感知模式,如箭头1706所示。
在细节视图1700-2中,多个视觉元素被呈现在示例显示器114-37上。例如,在感知模式中,示例显示器114-37呈现一天中时间元素1708(时钟)、日期元素1710、连接状态元素1712(例如,Wi-Fi、蜂窝或其他网络连接)和电池水平指示符元素1714(包括图形元素和百分比指示符)。在详细视图1700-2中,示例显示器114-37的其余部分是空白的。然而,在一些实施方式中,可以显示附加元素,包括背景图像,诸如壁纸或其他图像。尽管在图17中未示出,但是如果用户1702退出识别区域1704,则电子设备102可以停止显示视觉元素并且返回到休眠模式(立即或者在用户1702已经在识别区域1704之外达到可选择的预定时间量之后)。
图18示出电子设备从感知模式转变到可选的接洽模式的示例1800。详细视图1800-1示出识别区域1704内的用户1702和处于感知模式的电子设备102,如参考图17所描述的,包括在示例显示器114-38上显示多个视觉元素(1708、1710、1712、1714)。另一详细视图1800-2示出用户1702伸向电子设备102。电子设备102(例如,使用雷达数据的一个或多个子集)检测伸出作为用户动作,该用户动作是用户与电子设备102交互的意图的指示。响应于检测到指示意图的该用户动作,电子设备102退出感知模式并且进入接洽模式,如箭头1802所示。
在细节视图1800-2中,附加视觉元素被呈现在示例显示器114-39上。例如,在接洽模式中,示例显示器114-39呈现背景图像1804(在这种情况下,金门大桥的图像)。背景图像1804可以具有随用户的情境调整的动态特征,诸如动画、或取决于伸出的距离或速度而改变的变化的亮度或透明度水平。当处于接洽模式时,电子设备102还准备认证系统执行认证过程(注意,在一些情况下,电子设备102不进入接洽模式,而是响应于指示用户意图的用户动作,当处于感知模式时准备认证系统)。因此,示例显示器114-39还呈现锁定图标1806,其指示对电子设备102的完全访问不可用,直到用户1702被认证。在一些实施方式中,可以在示例显示器114-38上显示附加视觉元素,并且可以停止呈现在示例显示器114-38上呈现的视觉元素中的一些或全部。尽管在图18中未示出,但是如果用户1702撤回伸出姿势,则电子设备102可以退出接洽模式并且返回到感知模式(立即或者在伸出已经被撤回达到可选择的预定时间量之后)。
图19示出在用户1702被认证之后电子设备从接洽模式转换到活动模式的示例1900(注意,在一些实施方式中,电子设备能够从感知模式转换到活动模式)。详细视图1900-1示出用户1702在识别区域1704内和电子设备102处于接洽模式,如参考图18所描述的,包括在示例显示器114-40上显示多个视觉元素(1708、1710、1712、1714、1804、1806)。如参考图18所述,当用户伸向电子设备102时,认证系统准备认证用户112。在图19中,另一详细视图1900-2示出了用户1702已经拿起电子设备102。电子设备102确定被拿起是触发事件,如上所述,并且认证用户1702。当用户1702被认证时,电子设备102退出接洽模式(或感知模式)并进入活动模式,如箭头1902所示。
与活动模式相关联的附加视觉元素也可被呈现在示例显示器114-41上,如细节视图1900-2所示。例如,在活动模式中,示例显示器114-41继续呈现与感知模式相关联的视觉元素,但(与接洽模式相关联的)背景图像1804已经改变为另一背景图像1904,即海滩轮廓(注意,因为背景图像1904具有不同的色彩方案,因此一些视觉元素已改变对比度或色彩,使得它们对用户1702保持可见)。另外,接洽模式锁定图标1806已经转变到解锁图标1906,其指示用户1702被认证。在一些实施方式中,解锁图标1906可以被呈现达到一定持续时间并且然后变淡。虽然图19中未示出,但是在解锁图标1906变淡之后,可以在示例显示器114-41上显示附加视觉元素,诸如指令(例如,“挥动或轻击以打开”)、一个或多个应用启动图标、或电子设备102可用的其他视觉元素。
在一些实施方式中,在用户1702保持在识别区域(例如,识别区域1704)内或在雷达系统能够检测用户1702的存在的另一定义区域内时,用户1702可以保持被认证。在这些实施方式中,显示器114可以保持被供电并且能够接收输入和呈现内容,或者屏幕可以关闭以节省电池电力。因为用户1702保持被认证,所以即使屏幕关闭,用户也能够通过触摸屏幕、拿起设备或另一动作来访问电子设备102,而不必重新认证。以该方式,能够在保持电池电力的同时改善用户对电子设备102的享受和体验。
此外,所描述的模式之间的进展(例如,从休眠模式,通过感知模式和接洽模式,到认证和活动模式)可以替代地在相反方向上运行。例如,当电子设备102处于活动模式并且用户1702将其设置成向下(例如,另一触发事件发生)时,电子设备可以进入锁定状态(例如,对用户1702解除认证),和/或将电子设备102放置于接洽模式或感知模式,如上所述。因此,如果用户的手保持在电子设备102附近(例如,保持在“伸出”位置),则电子设备102可以保持在接洽模式中。相反,如果用户的手撤回,则电子设备102可以进入感知模式。然后,如上所述,当用户在识别区域中时,电子设备102可以保持在感知模式中。在区域之间的这一进展期间,显示器114可以呈现以上针对每个区域描述的视觉元素,以向用户1702指示电子设备102的改变状态。
如上所述,在一些实施方式中,在电子设备102上运行的应用可以能够通过基于雷达的触摸无关的姿势(雷达姿势)来接收输入。在这些情况下,雷达系统104可以基于电子设备102的情境来检测用户的伸出并且执行动作。例如,当电子设备处于上述模式中的任何模式时,用户可以通过电子设备接收电话呼叫、接收警报、警告或通知、或播放音乐。在这些情况下,用户可以伸向电子设备以对动作作出响应。因此,在来电或警报期间,伸出可以使振铃器或通知减弱或静默。此外,如果用户注意到正在显示警报或通知,并且伸向电子设备,则通知可以被消除或变为交互式的。例如,在检测到用户的伸出时,电子设备可以以允许用户通过消除或推迟警告/通知、回复(在消息或电子邮件通知的情况下)或以另一方式来响应的模式来显示通知。在一些情况下,所显示的通知也可改变颜色或大小。在用户收听音乐的示例中,伸出可以使电子设备呈现用于音乐播放器的控制屏幕,使得用户能够控制音轨、音量或其他参数。
这些特征中的一些或全部可以在不同模式中可用,并且哪些特征可用可以是用户可选择的。例如,用户可以允许在所有模式中的音量静音和音乐控制,但是允许仅在活动模式中(例如,当用户已经被认证并且尚未离开识别区域时)对警报和通知作出响应。用户还可以选择特征和许可级别的其他组合。
在所描述的实施方式的优点中,包括其中雷达感测被用于检测用户在识别区域内的存在的实施方式,并且还包括其中雷达被用于检测被分类为用户意图与电子设备交互的指示的用户动作的实施方式,其任一个可以可替代地使用设置有最现代的智能电话的设备上相机来实现,雷达设施的功率使用显著小于相机设施的功率使用,而雷达设施的结果的适当性通常可以比相机设施的结果的适当性更好。例如,使用上文描述的雷达设备,可以在从一位数毫瓦到仅几十毫瓦(例如,10mW、20mW、30mW或40mW)的范围内的平均功率下实现期望的用户状态或用户意图检测,甚至包括用于处理雷达矢量数据以做出确定的处理功率。在这些低功率水平下,使雷达设备处于始终开启状态将是容易接受的。因此,例如,在智能电话雷达设施处于始终开启状态的情况下,仍然能够为已经与其智能电话跨房间坐了许多小时的用户提供当前描述的期望愉悦和无缝体验。
相反,设置有大多数当今的智能电话的光学相机通常以数百毫瓦的功率(例如,高于40mW的数量级,其为400mW)操作。在这样的功率比下,光学相机将是不利的,因为它们将显著地减少大多数当今的智能电话的电池寿命,以至于使得光学相机处于始终开启状态即使不是禁止的也是非常不切实际的。雷达设备的另一个优点是,即使当用户平躺和面朝上在桌面上时,视场可以相当大,足够容易地检测从任何方向向上行走的用户(对于许多典型的实施方式,其中雷达芯片在与自拍相机相同的总方向上面向外),并且此外,借助于其多普勒处理能力,在检测来自各个方向的运动体的甚至相对细微的运动方面能够是高度有效的(尤其在接近60GHz的工作频率)。
另外,雷达设施能够在相机设施的性能被降低或限制的环境中操作。例如,在低光的环境中,相机设施可以具有降低的检测形状或移动的能力。相反,雷达设备在低照度下也与在全光线下一样好。雷达设施还可以通过一些障碍物来检测存在和姿势。例如,如果智能电话在夹克或裤子的口袋中,则相机设施不能检测用户或姿势。然而,雷达设施仍然能够检测其场中的物体,即使通过会阻挡相机设施的织物。使用雷达设备优于智能电话的机载摄像机设备的更进一步的优点是隐私,因为用户可以具有本文中描述的令人愉快和无缝体验的优点,而同时不需要担心存在为这种目的拍摄它们的视频的摄像机。
示例计算系统
图20示出可以被实现为如参考之前的图1至19所描述的任何类型的客户端、服务器和/或电子设备以实现用于暂停的雷达姿势的视觉指示器的示例计算系统2000的各种组件。
计算系统2000包括通信设备2002,其使得能够进行设备数据2004(例如,雷达数据、认证数据、参考数据、所接收的数据、正在接收的数据、被安排用于广播的数据、以及数据的数据分组)的有线和/或无线通信。设备数据2004或其他设备内容能够包括设备的配置设置、存储在设备上的媒体内容、和/或与设备的用户相关联的信息(例如,雷达场内的人的身份或定制的姿势数据)。存储在计算系统2000上的媒体内容能够包括任何类型的雷达、生物特征、音频、视频和/或图像数据。计算系统2000包括一个或多个数据输入2006,经由其能够接收任何类型的数据、媒体内容和/或输入,诸如人类话语、与雷达场的交互(例如,雷达姿势)、触摸输入、用户可选择的输入或交互(显式或隐式)、消息、音乐、电视媒体内容、记录的视频内容、以及从任何内容和/或数据源接收的任何其他类型的音频、视频和/或图像数据。
计算系统2000还包括通信接口2008,其能够被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个,以及被实现为任何其他类型的通信接口。通信接口2008提供计算系统2000与通信网络之间的连接和/或通信链路,其它电子、计算和通信设备通过该连接和/或通信链路与计算系统2000传达数据。
计算系统2000包括一个或多个处理器2010(例如,微处理器、控制器或其他控制器中的任何一个),其能够处理各种计算机可执行指令以控制计算系统2000的操作,并且实现用于暂停的雷达姿势的视觉指示器的技术,或者在其中能够实现用于多输入模式的输入模式通知的技术。替代地或另外,计算系统2000能够利用硬件、固件或结合处理和控制电路实现的固定逻辑电路中的任何一个或组合来实现,其一般在2012被识别。尽管未示出,但是计算系统2000能够包括耦合设备内的各种组件的系统总线或数据传输系统。该系统总线能够包括不同总线结构中的任何一个或组合,诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线体系结构中的任何一种的处理器或局部总线。同样未示出,计算系统2000能够包括一个或多个非雷达传感器,诸如非雷达传感器108。
计算系统2000还包括计算机可读介质2014,诸如实现持久性和/或非持久性数据存储(例如,与仅信号传输相比)的一个或多个存储器设备,其示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪存、EPROM、EEPROM等中的任何一个或多个)以及盘存储设备。盘存储设备可以被实现为任何类型的磁或光存储设备,诸如硬盘驱动器、可记录和/或可重写光盘(CD)、任何类型的数字多功能盘(DVD)等。计算系统2000还能够包括大容量存储介质设备(存储介质)1716。
计算机可读介质2014提供数据存储机制以存储设备数据2004以及各种设备应用2018和与计算系统2000的操作方面有关的任何其它类型的信息和/或数据。例如,操作系统2020能够利用计算机可读介质2014作为计算机应用被维护并在处理器2010上被执行。设备应用2018可以包括设备管理器,诸如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备本地的代码、抽象模块、姿势识别模块和/或其他模块。设备应用2018还可以包括用于实现用于暂停的雷达姿势的视觉指示器的系统组件、引擎、模块或管理器,诸如雷达系统104、输入模式管理器106、应用管理器116或姿势库120。计算系统2000还可以包括一个或多个机器学习系统,或者可以访问一个或多个机器学习系统。
下面描述几个示例。
示例1:一种在电子设备中实现的方法,该电子设备包括显示器、计算机处理器和雷达系统,该方法包括:检测姿势暂停触发,该检测在以下时段期间,其中:雷达系统提供通过其能够确定雷达姿势的雷达场;以及能够接收与所述雷达姿势相对应的控制输入的应用通过所述计算机处理器在电子设备上正在执行;以及响应于检测到姿势暂停触发,在电子设备的显示器上提供姿势暂停反馈元素,该姿势暂停反馈元素指示应用不能执行与控制输入相关联的动作。
示例2:根据示例1的方法,其中,姿势暂停触发是以下中的至少一个:电子设备的振荡运动,电子设备的振荡运动的第一振荡频率超过第一阈值频率;电子设备以高于阈值速度的速度的运动;或在雷达场中的物体的振荡运动,雷达场中的物体的振荡运动的第二振荡频率超过第二阈值频率。
示例3:根据示例1或示例2的方法,其中,姿势暂停反馈元素是出现在显示器的活动区域上的视觉元素。
示例4:根据示例3的方法,其中,视觉元素在显示器的活动区域上移动,该移动与姿势暂停触发相对应。
示例5:根据示例4的方法,其中,姿势暂停触发是电子设备的振荡运动,并且视觉元素的对应移动包括:从视觉元素的至少一部分的第一发光度减小到视觉元素的至少一部分的第二发光度;以及从视觉反馈元素的第一大小减小到视觉反馈元素的第二大小。
示例6:根据示例5的方法,其中,视觉元素的对应移动还包括视觉元素的横向振荡,该横向振荡具有与所述电子设备的振荡运动的第一振荡频率近似相同的频率。
示例7:根据示例4的方法,其中,姿势暂停触发是在雷达场中的物体的振荡运动,并且视觉元素的对应移动包括:从视觉元素的至少一部分的第一发光度减小到视觉元素的至少一部分的第二发光度;以及从视觉元素的第一大小减小到视觉元素的第二大小。
示例8:根据示例7的方法,其中,视觉元素的对应移动进一步包括视觉元素的横向振荡,横向振荡具有与雷达场中的物体的振荡运动的第二振荡频率近似相同的频率。
示例9:根据示例4的方法,其中:姿势暂停触发是电子设备的振荡运动,并且视觉元素的对应移动包括视觉元素的横向振荡,该横向振荡具有与电子设备的振荡运动的第一振荡频率近似相同的频率;或姿势暂停触发是在雷达场中的物体的振荡运动,并且视觉元素的对应移动包括视觉元素的横向振荡,该横向振荡具有与在雷达场中的物体的振荡运动的第二振荡频率近似相同的频率。
示例10:根据前述示例中的任一个的方法,还包括:确定所述显示器的显示所述姿势暂停反馈元素的区域的背景颜色;以及响应于确定显示器的显示姿势暂停反馈元素的区域的背景颜色,使显示器以不同于背景颜色的另一颜色呈现姿势暂停反馈元素,该不同颜色有效地提供姿势暂停反馈元素与显示器的显示姿势暂停反馈元素的区域之间的人类可辨别的对比度。
示例11:根据前述示例中的任一个的方法,还包括:响应于检测到所述姿势暂停触发,使所述电子设备:退出其中应用能够执行与控制输入相关联的动作的当前状态;并且进入应用不能执行与控制输入相关联的动作的新状态。
示例12:一种电子设备,包括:显示器;计算机处理器;至少部分地以硬件实现的雷达系统,该雷达系统被配置为:提供雷达场;感测来自雷达场中的用户的反射;分析来自雷达场中的用户的反射;以及基于对反射的分析来提供雷达数据;以及计算机可读介质,具有存储在其上的指令,该指令响应于由计算机处理器执行而实现输入模式管理器,该输入模式管理器被配置为:检测姿势暂停触发,该检测在以下时段期间,其中:雷达系统正在提供能够基于雷达数据来确定雷达姿势的雷达场;以及能够接收与雷达姿势相对应的控制输入的应用通过计算机处理器在电子设备上执行;以及响应于检测到姿势暂停触发,在电子设备的显示器上提供姿势暂停反馈元素,该姿势暂停反馈元素指示应用不能执行与控制输入相关联的动作。
示例13:根据示例12的电子设备,其中,姿势暂停触发是以下中的至少一个:电子设备的振荡运动,电子设备的振荡运动的第一振荡频率超过第一阈值频率;电子设备以高于阈值速度的速度的运动;或者在雷达场中的物体的振荡运动,该雷达场中的物体的振荡运动的第二振荡频率超过第二阈值频率。
示例14:根据示例12或示例13的电子设备,其中姿势暂停反馈元素是出现在显示器的活动区域上的视觉元素。
示例15:根据示例14的电子设备,其中,视觉元素在显示器的活动区域上移动,该移动与姿势暂停触发相对应。
示例16:根据示例15的电子设备,其中,姿势暂停触发是电子设备的振荡运动,并且视觉元素的对应移动包括:从视觉元素的至少一部分的第一发光度减小到视觉元素的至少一部分的第二发光度;以及从视觉反馈元素的第一大小减小到视觉反馈元素的第二大小。
示例17:根据示例16的电子设备,其中视觉元素的对应移动还包括视觉元素的横向振荡,该横向振荡具有与电子设备的振荡运动的第一振荡频率近似相同的频率。
示例18:根据示例15的电子设备,其中,姿势暂停触发是在雷达场中的物体的振荡运动,并且视觉元素的对应移动包括:从视觉元素的至少一部分的第一发光度减小到视觉元素的至少一部分的第二发光度;以及从视觉反馈元素的第一大小减小到视觉反馈元素的第二大小。
示例19:根据示例18的电子设备,其中,视觉元素的对应移动进一步包括视觉元素的横向振荡,该横向振荡具有与雷达场中的物体的振荡运动的第二振荡频率近似相同的频率。
示例20:根据示例15的电子设备,其中:姿势暂停触发是电子设备的振荡运动,并且视觉元素的对应移动包括视觉元素的横向振荡,该横向振荡具有与电子设备的振荡运动的第一振荡频率近似相同的频率;或者姿势暂停触发是在雷达场中的物体的振荡运动,并且视觉元素的对应移动包括视觉元素的横向振荡,该横向振荡具有与在雷达场中的物体的振荡运动的第二振荡频率近似相同的频率。
示例21:根据示例12至20中的任一个的电子设备,其中输入模式管理器被进一步配置为:确定显示器的显示姿势暂停反馈元素的区域的背景颜色;以及响应于确定显示器的显示姿势暂停反馈元素的区域的背景颜色,使显示器以不同于背景颜色的另一颜色呈现姿势暂停反馈元素,该不同颜色有效地提供姿势暂停反馈元素与显示器的显示姿势暂停反馈元素的区域之间的人类可辨别的对比度。
示例22:根据示例12至21中的任一个的电子设备,其中输入模式管理器进一步被配置为:响应于检测到所述姿势暂停触发,使电子设备:退出其中应用能够执行与控制输入相关联的动作的当前状态;并且进入其中应用不能执行与控制输入相关联的动作的新状态。
结论
尽管已经以特征和/或方法专用的语言描述了用于暂停的雷达姿势的视觉指示器的技术和实现该视觉指示器的装置的实施方式,但是应当理解,所附权利要求的主题不必限于所描述的特定特征或方法。相反,特定特征和方法被公开为实现用于暂停的雷达姿势的视觉指示器的示例实施方式。

Claims (20)

1.一种在电子设备中实现的方法,所述电子设备包括显示器、计算机处理器和雷达系统,所述方法包括:
检测姿势暂停触发,所述检测在以下时段期间:
所述雷达系统提供通过其能够确定雷达姿势的雷达场;以及
能够接收与所述雷达姿势相对应的控制输入的应用通过所述计算机处理器正在所述电子设备上正在执行;以及
响应于检测到所述姿势暂停触发,在所述电子设备的所述显示器上提供姿势暂停反馈元素,所述姿势暂停反馈元素指示所述应用不能执行与所述控制输入相关联的动作。
2.根据权利要求1所述的方法,其中,所述姿势暂停触发是以下中的至少一个:
所述电子设备的振荡运动,所述电子设备的所述振荡运动的第一振荡频率超过第一阈值频率;
所述电子设备以高于阈值速度的速度的运动;或
在所述雷达场中的物体的振荡运动,所述雷达场中的所述物体的所述振荡运动的第二振荡频率超过第二阈值频率。
3.根据权利要求1或权利要求2所述的方法,其中,所述姿势暂停反馈元素是出现在所述显示器的活动区域上的视觉元素。
4.根据权利要求3所述的方法,其中,所述视觉元素在所述显示器的所述活动区域上移动,所述移动与所述姿势暂停触发相对应。
5.根据权利要求4所述的方法,其中,所述姿势暂停触发是所述电子设备的振荡运动,并且所述视觉元素的所述对应移动包括:
从所述视觉元素的至少一部分的第一发光度减小到所述视觉元素的所述至少一部分的第二发光度;以及
从所述视觉反馈元素的第一大小减小到所述视觉反馈元素的第二大小。
6.根据权利要求5所述的方法,其中,所述视觉元素的所述对应移动还包括所述视觉元素的横向振荡,所述横向振荡具有与所述电子设备的所述振荡运动的所述第一振荡频率近似相同的频率。
7.根据权利要求4所述的方法,其中,所述姿势暂停触发是在所述雷达场中的所述物体的振荡运动,并且所述视觉元素的所述对应移动包括:
从所述视觉元素的至少一部分的第一发光度减小到所述视觉元素的所述至少一部分的第二发光度;以及
从所述视觉元素的第一大小减小到所述视觉元素的第二大小。
8.根据权利要求7所述的方法,其中,所述视觉元素的所述对应移动进一步包括所述视觉元素的横向振荡,所述横向振荡具有与所述雷达场中的所述物体的所述振荡运动的所述第二振荡频率近似相同的频率。
9.根据权利要求4所述的方法,其中:
所述姿势暂停触发是所述电子设备的所述振荡运动,并且所述视觉元素的所述对应移动包括所述视觉元素的横向振荡,所述横向振荡具有与所述电子设备的所述振荡运动的所述第一振荡频率近似相同的频率;或
所述姿势暂停触发是在雷达场中的所述物体的振荡运动,并且所述视觉元素的所述对应移动包括所述视觉元素的横向振荡,所述横向振荡具有与在所述雷达场中的所述物体的所述振荡运动的第二振荡频率近似相同的频率。
10.根据前述权利要求中的任一项所述的方法,进一步包括:
确定所述显示器的显示所述姿势暂停反馈元素的区域的背景颜色;以及
响应于确定所述显示器的显示所述姿势暂停反馈元素的区域的背景颜色,使所述显示器以不同于所述背景颜色的另一颜色呈现所述姿势暂停反馈元素,所述不同颜色有效地提供所述姿势暂停反馈元素与所述显示器的显示所述姿势暂停反馈元素的区域之间的人类能够辨别的对比度。
11.一种电子设备,包括:
显示器;
计算机处理器;
至少部分地以硬件实现的雷达系统,所述雷达系统被配置为:
提供雷达场;
感测来自所述雷达场中的用户的反射;
分析来自所述雷达场中的所述用户的所述反射;以及
基于对所述反射的所述分析,提供雷达数据;以及
计算机可读介质,具有存储在其上的指令,所述指令响应于由所述计算机处理器执行而实现输入模式管理器,所述输入模式管理器被配置为:
检测姿势暂停触发,所述检测在以下时段期间:
所述雷达系统正在提供通过其能够基于所述雷达数据来确定雷达姿势的雷达场;以及
能够接收与所述雷达姿势相对应的控制输入的应用通过所述计算机处理器正在所述电子设备上执行;以及
响应于检测到所述姿势暂停触发,在所述电子设备的所述显示器上提供姿势暂停反馈元素,所述姿势暂停反馈元素指示所述应用不能执行与所述控制输入相关联的动作。
12.根据权利要求11所述的电子设备,其中,所述姿势暂停触发是以下中的至少一个:
所述电子设备的振荡运动,所述电子设备的所述振荡运动的第一振荡频率超过第一阈值频率;
所述电子设备以高于阈值速度的速度的运动;或
在所述雷达场中的物体的振荡运动,所述雷达场中的所述物体的所述振荡运动的第二振荡频率超过第二阈值频率。
13.根据权利要求11或权利要求12所述的电子设备,其中,所述姿势暂停反馈元素是出现在所述电子设备的所述显示器的活动区域上的视觉元素。
14.根据权利要求13所述的电子设备,其中,所述视觉元素在所述显示器的所述活动区域上移动,所述移动与所述姿势暂停触发相对应。
15.根据权利要求14所述的电子设备,其中,所述姿势暂停触发是所述电子设备的振荡运动,并且所述视觉元素的所述对应移动包括:
从所述视觉元素的至少一部分的第一发光度减小到所述视觉元素的所述至少一部分的第二发光度;以及
从所述视觉反馈元素的第一大小减小到所述视觉反馈元素的第二大小。
16.根据权利要求15所述的电子设备,其中,所述视觉元素的所述对应移动还包括所述视觉元素的横向振荡,所述横向振荡具有与所述电子设备的所述振荡运动的所述第一振荡频率近似相同的频率。
17.根据权利要求14所述的电子设备,其中,所述姿势暂停触发是在所述雷达场中的所述物体的振荡运动,并且所述视觉元素的所述对应移动包括:
从所述视觉元素的至少一部分的第一发光度减小到所述视觉元素的所述至少一部分的第二发光度;以及
从所述视觉反馈元素的第一大小减小到所述视觉反馈元素的第二大小。
18.根据权利要求17所述的电子设备,其中,所述视觉元素的所述对应移动进一步包括所述视觉元素的横向振荡,所述横向振荡具有与所述雷达场中的所述物体的所述振荡运动的所述第二振荡频率近似相同的频率。
19.根据权利要求14所述的电子设备,其中:
所述姿势暂停触发是所述电子设备的所述振荡运动,并且所述视觉元素的所述对应移动包括所述视觉元素的横向振荡,所述横向振荡具有与所述电子设备的所述振荡运动的所述第一振荡频率近似相同的频率;或
所述姿势暂停触发是在雷达场中的所述物体的振荡运动,并且所述视觉元素的所述对应移动包括所述视觉元素的横向振荡,所述横向振荡具有与在所述雷达场中的所述物体的所述振荡运动的第二振荡频率近似相同的频率。
20.根据权利要求11至19中的任一项所述的电子设备,其中,所述输入模式管理器进一步被配置为:
确定所述显示器的显示所述姿势暂停反馈元素的区域的背景颜色;以及
响应于确定所述显示器的显示所述姿势暂停反馈元素的区域的背景颜色,使所述显示器以不同于所述背景颜色的另一颜色呈现所述姿势暂停反馈元素,所述不同颜色有效地提供所述姿势暂停反馈元素与所述显示器的显示所述姿势暂停反馈元素的区域之间的人类能够辨别的对比度。
CN201980096557.0A 2019-08-30 2019-08-30 用于暂停的雷达姿势的视觉指示器 Pending CN113892072A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/049233 WO2021040748A1 (en) 2019-08-30 2019-08-30 Visual indicator for paused radar gestures

Publications (1)

Publication Number Publication Date
CN113892072A true CN113892072A (zh) 2022-01-04

Family

ID=67982182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096557.0A Pending CN113892072A (zh) 2019-08-30 2019-08-30 用于暂停的雷达姿势的视觉指示器

Country Status (4)

Country Link
US (2) US11281303B2 (zh)
KR (2) KR102479012B1 (zh)
CN (1) CN113892072A (zh)
WO (1) WO2021040748A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
EP3966662B1 (en) 2019-07-26 2024-01-10 Google LLC Reducing a state based on imu and radar
JP7316383B2 (ja) 2019-07-26 2023-07-27 グーグル エルエルシー Imuおよびレーダーを介した認証管理
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
USD949161S1 (en) * 2019-07-29 2022-04-19 Google Llc Display screen or portion thereof with an animated graphical user interface
US11080383B2 (en) * 2019-08-09 2021-08-03 BehavioSec Inc Radar-based behaviometric user authentication
WO2021040745A1 (en) 2019-08-30 2021-03-04 Google Llc Input methods for mobile devices
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
US11567580B2 (en) * 2020-01-29 2023-01-31 Samsung Electronics Co., Ltd. Adaptive thresholding and noise reduction for radar data
USD956064S1 (en) * 2020-03-31 2022-06-28 Google Llc Display screen with animated graphical user interface
USD956065S1 (en) * 2020-03-31 2022-06-28 Google Llc Display screen with animated graphical user interface
US20230325139A1 (en) * 2020-09-07 2023-10-12 Ntt Docomo, Inc. Information processing apparatus
US20230384420A1 (en) * 2022-05-31 2023-11-30 Samsung Electronics Co., Ltd. Apparatus and method for power saving in gesture recognition using mmwave radar
WO2024054386A1 (en) * 2022-09-06 2024-03-14 Apple Inc. Sensor-based display power control systems and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
CN105278674A (zh) * 2014-06-03 2016-01-27 谷歌公司 通过穿戴式设备的基于雷达的手势识别
US20160071341A1 (en) * 2014-09-05 2016-03-10 Mindray Ds Usa, Inc. Systems and methods for medical monitoring device gesture control lockout
US20170097684A1 (en) * 2015-10-06 2017-04-06 Google, Inc. Compressed Sensing for Gesture Tracking and Recognition with Radar

Family Cites Families (240)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670987A (en) 1993-09-21 1997-09-23 Kabushiki Kaisha Toshiba Virtual manipulating apparatus and method
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6037893A (en) 1998-07-31 2000-03-14 Litton Systems, Inc. Enhanced motion compensation technique in synthetic aperture radar systems
US6303924B1 (en) 1998-12-21 2001-10-16 Microsoft Corporation Image sensing operator input device
US6971072B1 (en) 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
US6727892B1 (en) 1999-05-20 2004-04-27 Micron Technology, Inc. Method of facilitating the selection of features at edges of computer touch screens
ATE316658T1 (de) 1999-07-03 2006-02-15 Siemens Schweiz Ag Bewegungsmelder nach dem doppler-prinzip
WO2002071096A2 (en) 2001-03-02 2002-09-12 Massachusetts Institute Of Technology High-definition imaging apparatus and method
US7088343B2 (en) 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
US20030095154A1 (en) 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Method and apparatus for a gesture-based user interface
DE60229348D1 (de) 2001-12-28 2008-11-27 Matsushita Electric Works Ltd Verwendung eines elektronischen Schlüssels und elektronisches Sicherheitssystem
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7600234B2 (en) 2002-12-10 2009-10-06 Fisher-Rosemount Systems, Inc. Method for launching applications
US7277706B2 (en) 2003-02-12 2007-10-02 Nokia Corporation Provision of service contexts in a communication system
EP1769326A2 (en) 2004-06-29 2007-04-04 Koninklijke Philips Electronics N.V. A method and device for preventing staining of a display device
US6970128B1 (en) 2004-10-06 2005-11-29 Raytheon Company Motion compensated synthetic aperture imaging system and methods for imaging
US6990335B1 (en) 2004-11-18 2006-01-24 Charles G. Shamoon Ubiquitous connectivity and control system for remote locations
KR100597798B1 (ko) 2005-05-12 2006-07-10 삼성전자주식회사 휴대용 단말기에서 동작인식을 위한 정보를 사용자에게제공하기 방법
IL170689A (en) 2005-09-06 2011-08-31 Camero Tech Ltd Imaging device through a wall
JP2007080219A (ja) 2005-09-16 2007-03-29 Navitime Japan Co Ltd 携帯端末装置および携帯端末装置における省電力制御方法
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US20080077015A1 (en) 2006-05-17 2008-03-27 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects with multiple receiver Doppler radar systems
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US7877707B2 (en) 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US7770136B2 (en) 2007-01-24 2010-08-03 Microsoft Corporation Gesture recognition interactive feedback
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
WO2009008411A1 (ja) 2007-07-09 2009-01-15 Sony Corporation 電子機器及びその制御方法
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
EP2203865A2 (en) 2007-09-24 2010-07-07 Apple Inc. Embedded authentication systems in an electronic device
US9545571B2 (en) 2008-01-25 2017-01-17 Nintendo Co., Ltd. Methods and apparatus for a video game magic system
KR101506488B1 (ko) 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
US8943560B2 (en) 2008-05-28 2015-01-27 Microsoft Corporation Techniques to provision and manage a digital telephone to authenticate with a network
US20100008031A1 (en) 2008-07-08 2010-01-14 Emblaze Mobile Ltd Ergonomic handheld device
US8154435B2 (en) 2008-08-22 2012-04-10 Microsoft Corporation Stability monitoring using synthetic aperture radar
US8237666B2 (en) 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US8516397B2 (en) 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US20100192102A1 (en) 2009-01-29 2010-07-29 International Business Machines Corporation Displaying radial menus near edges of a display area
WO2010101697A2 (en) 2009-02-06 2010-09-10 Oculis Labs, Inc. Video-based privacy supporting system
US8254670B2 (en) 2009-02-25 2012-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Self-learning object detection and classification systems and methods
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US20100306716A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
KR20110010906A (ko) 2009-07-27 2011-02-08 삼성전자주식회사 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치
US8488413B2 (en) 2009-10-16 2013-07-16 Casio Computer Co., Ltd. Indicated position detecting apparatus and indicated position detecting method
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US20150301167A1 (en) 2009-12-18 2015-10-22 Christopher Gary Sentelle Detection of movable objects
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US8239785B2 (en) 2010-01-27 2012-08-07 Microsoft Corporation Edge gestures
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
EP2534554B1 (en) 2010-02-11 2020-06-10 Hewlett-Packard Development Company, L.P. Input command
US20120194551A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
US9477324B2 (en) 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
EP2385450A1 (en) 2010-05-07 2011-11-09 Research In Motion Limited Portable electronic device and method of controlling same
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US8508347B2 (en) 2010-06-24 2013-08-13 Nokia Corporation Apparatus and method for proximity based input
US20120032834A1 (en) 2010-08-09 2012-02-09 Weeks Steven V Use of accelerometer and ability to disable power switch for tamper protection and theft tracking
JP2012058921A (ja) 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8483617B2 (en) 2010-09-30 2013-07-09 Broadcom Corporation Portable computing device with high-speed data communication
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
US8898793B2 (en) 2011-01-14 2014-11-25 Nokia Corporation Method and apparatus for adjusting context-based factors for selecting a security policy
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US20120226981A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
US9104239B2 (en) 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US8994499B2 (en) 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
US20120270564A1 (en) 2011-04-19 2012-10-25 Qualcomm Incorporated Methods and apparatuses for use in a mobile device to detect signaling apertures within an environment
US9229489B2 (en) 2011-05-03 2016-01-05 Facebook, Inc. Adjusting mobile device state based on user intentions and/or identity
US20130038564A1 (en) 2011-08-10 2013-02-14 Google Inc. Touch Sensitive Device Having Dynamic User Interface
US20130159940A1 (en) 2011-08-22 2013-06-20 International Technological University Gesture-Controlled Interactive Information Board
US20200302732A9 (en) 2011-10-20 2020-09-24 Robert A. Luciano, Jr. Gesture based gaming controls for an immersive gaming terminal
US20130106898A1 (en) 2011-10-26 2013-05-02 Google Inc. Detecting object moving toward or away from a computing device
WO2013141923A2 (en) 2011-12-20 2013-09-26 Sadar 3D, Inc. Scanners, targets, and methods for surveying
US9207852B1 (en) 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
DE102012000201A1 (de) 2012-01-09 2013-07-11 Daimler Ag Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt
US9619038B2 (en) 2012-01-23 2017-04-11 Blackberry Limited Electronic device and method of displaying a cover image and an application image from a low power condition
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
WO2013169870A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for transitioning between display states in response to gesture
US9392421B2 (en) 2012-05-23 2016-07-12 Qualcomm Incorporated Systems and methods for group communication using a mobile device with mode depending on user proximity or device position
DE102012014910A1 (de) 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Bedienschnittstelle, Verfahren zum Anzeigen einer eine Bedienung einer Bedienschnittstelle erleichternden Information und Programm
US9235241B2 (en) 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
KR20140027837A (ko) 2012-08-27 2014-03-07 삼성전자주식회사 모바일 디바이스 및 모바일 디바이스에서 사용자 인터페이스 방법
KR102051418B1 (ko) 2012-09-28 2019-12-03 삼성전자주식회사 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
US11099652B2 (en) 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140118257A1 (en) * 2012-10-29 2014-05-01 Amazon Technologies, Inc. Gesture detection systems
TW201419036A (zh) 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
TWI471756B (zh) 2012-11-16 2015-02-01 Quanta Comp Inc 虛擬觸控方法
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9081571B2 (en) 2012-11-29 2015-07-14 Amazon Technologies, Inc. Gesture detection management for an electronic device
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
US9075429B1 (en) 2012-12-19 2015-07-07 Amazon Technologies, Inc. Distortion correction for device display
US8996516B2 (en) 2013-01-02 2015-03-31 Google Inc. Adjacent search results exploration
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US9448634B1 (en) 2013-03-12 2016-09-20 Kabam, Inc. System and method for providing rewards to a user in a virtual space based on user performance of gestures
US11017069B2 (en) 2013-03-13 2021-05-25 Lookout, Inc. Method for changing mobile communications device functionality based upon receipt of a second code and the location of a key device
US11044451B2 (en) 2013-03-14 2021-06-22 Jawb Acquisition Llc Proximity-based control of media devices for media presentations
US10216266B2 (en) 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US10121049B2 (en) 2013-04-01 2018-11-06 AMI Research & Development, LLC Fingerprint based smart phone user verification
US9065932B2 (en) 2013-05-10 2015-06-23 Blackberry Limited Device for providing notifications while mated with a carrying case
US9389641B2 (en) 2013-05-10 2016-07-12 Blackberry Limited Carrying case with peek functionality
US9231765B2 (en) 2013-06-18 2016-01-05 Arm Ip Limited Trusted device
CN110442231A (zh) 2013-06-27 2019-11-12 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
US9338116B2 (en) 2013-06-28 2016-05-10 Blackberry Limited Device and method for displaying and interacting with display objects
KR101488193B1 (ko) 2013-09-04 2015-01-30 에스케이 텔레콤주식회사 상황 인지 기반의 명령 수행 방법 및 장치
US20150070263A1 (en) 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
US20150077345A1 (en) 2013-09-16 2015-03-19 Microsoft Corporation Simultaneous Hover and Touch Interface
KR101641091B1 (ko) 2013-09-23 2016-07-20 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 모션 인식방법
EP3050260A2 (en) 2013-09-24 2016-08-03 Fibar Group S.A. Touch-less swipe control
US10591969B2 (en) 2013-10-25 2020-03-17 Google Technology Holdings LLC Sensor-based near-field communication authentication
JP2015103020A (ja) 2013-11-25 2015-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9851896B2 (en) 2013-12-17 2017-12-26 Google Inc. Edge swiping gesture for home navigation
US20150205358A1 (en) 2014-01-20 2015-07-23 Philip Scott Lyren Electronic Device with Touchless User Interface
DE102014202490A1 (de) 2014-02-12 2015-08-13 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Signalisierung einer erfolgreichen Gesteneingabe
WO2015127143A1 (en) 2014-02-24 2015-08-27 Sony Corporation Smart wearable devices and methods for customized haptic feedback
CN106068201B (zh) 2014-03-07 2019-11-01 大众汽车有限公司 用户界面和在手势检测时将输入件3d位置信号化的方法
KR102222561B1 (ko) 2014-03-27 2021-03-05 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9921657B2 (en) 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US10409382B2 (en) 2014-04-03 2019-09-10 Honda Motor Co., Ltd. Smart tutorial for gesture control system
JP6468883B2 (ja) 2014-04-10 2019-02-13 キヤノン株式会社 情報処理装置、及びその制御方法、コンピュータプログラム、記録媒体
US11039314B2 (en) 2014-04-29 2021-06-15 Taliware, Inc. Method for passive authentication of an individual using an individual's geo-location via a communication network and blockchain associated recording of individual's authentication data
WO2015167260A1 (en) 2014-04-30 2015-11-05 Lg Innotek Co., Ltd. Touch device, wearable device having the same and touch recognition method
KR20150129423A (ko) 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
KR101598771B1 (ko) 2014-06-11 2016-03-02 주식회사 슈프리마에이치큐 얼굴 인식 생체 인증 방법 및 장치
WO2015196063A1 (en) 2014-06-19 2015-12-23 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
JP6282188B2 (ja) 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9921660B2 (en) * 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
WO2016036155A1 (en) 2014-09-04 2016-03-10 Samsung Electronics Co., Ltd. Method of providing user with battery power notification in mobile device and mobile device therefor
US11137490B2 (en) 2014-09-16 2021-10-05 Teknologian Tutkimuskeskus Vtt Navigational aid with adaptive radar
CA2904881A1 (en) 2014-09-22 2016-03-22 Gtech Canada Ulc Gesture-based navigation on gaming terminal with 3d display
US9410979B2 (en) * 2014-09-23 2016-08-09 Fitbit, Inc. Hybrid angular motion sensors
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP6249919B2 (ja) 2014-10-06 2017-12-20 三菱電機株式会社 操作入力装置
US10061509B2 (en) 2014-10-09 2018-08-28 Lenovo (Singapore) Pte. Ltd. Keypad control
US20160150124A1 (en) 2014-11-24 2016-05-26 Kyocera Document Solutions Inc. Image Forming Apparatus with User Identification Capabilities
US9830073B2 (en) 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
US10254391B2 (en) 2014-12-15 2019-04-09 Jj Corp Radar detector for recognizing user's motion
EP3234731B1 (en) * 2014-12-16 2020-07-01 Somatix Inc. Methods and systems for monitoring and influencing gesture-based behaviors
US20160306034A1 (en) 2014-12-23 2016-10-20 Infineon Technologies Ag RF System with an RFIC and Antenna System
US10613637B2 (en) * 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
JP6426025B2 (ja) 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
JP6524717B2 (ja) 2015-03-04 2019-06-05 株式会社リコー 電子機器、通信モード制御方法および通信モード制御プログラム
US20160275348A1 (en) 2015-03-17 2016-09-22 Motorola Mobility Llc Low-power iris authentication alignment
US20160282934A1 (en) 2015-03-25 2016-09-29 Motorola Mobility Llc Presence detection for gesture recognition and iris authentication
KR20160123200A (ko) 2015-04-15 2016-10-25 삼성전자주식회사 터치 입력 처리 방법 및 이를 지원하는 전자 장치
US20200364967A1 (en) 2015-04-15 2020-11-19 Richard SPICE Contactless payment terminal
US9904409B2 (en) 2015-04-15 2018-02-27 Samsung Electronics Co., Ltd. Touch input processing method that adjusts touch sensitivity based on the state of a touch object and electronic device for supporting the same
JP6699658B2 (ja) 2015-04-22 2020-05-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10310620B2 (en) 2015-04-30 2019-06-04 Google Llc Type-agnostic RF signal representations
US10241581B2 (en) 2015-04-30 2019-03-26 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
DE102015210130A1 (de) 2015-06-02 2016-12-08 Volkswagen Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Unterstützung eines Anwenders bei Interaktion mit einer Anwenderschnittstelle
KR20170025570A (ko) 2015-08-28 2017-03-08 엘지전자 주식회사 와치 타입 이동 단말기 및 그의 동작 방법
CN106503004B (zh) * 2015-09-07 2020-09-11 腾讯科技(深圳)有限公司 一种信息处理方法及装置、终端
US9629201B2 (en) 2015-09-21 2017-04-18 Qualcomm Incorporated Using Wi-Fi as human control interface
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN106339076B (zh) 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置
CN106371569A (zh) 2015-10-22 2017-02-01 北京智谷睿拓技术服务有限公司 动作识别方法及动作识别装置
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
WO2017100641A1 (en) 2015-12-11 2017-06-15 SomniQ, Inc. Apparatus, system, and methods for interfacing with a user and/or external apparatus by stationary state detection
DE102016100064B4 (de) 2016-01-04 2017-11-23 Volkswagen Aktiengesellschaft Adative Anzeige in B-Säule
US10095876B2 (en) 2016-02-09 2018-10-09 Rovi Guides, Inc. Systems and methods for allowing a user to access blocked media
CN105607745A (zh) 2016-03-16 2016-05-25 京东方科技集团股份有限公司 显示控制电路、显示控制方法和显示装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US10022613B2 (en) 2016-05-02 2018-07-17 Bao Tran Smart device
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US20170329412A1 (en) 2016-05-16 2017-11-16 Google Inc. Systems and Methods of Gesture-Based Control
CN107404628B (zh) 2016-05-18 2020-09-01 佳能株式会社 图像处理装置及方法以及监视系统
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
KR102620138B1 (ko) 2016-06-02 2024-01-03 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US10306051B2 (en) 2016-06-14 2019-05-28 Hand Held Products, Inc. Managing energy usage in mobile devices
US10238976B2 (en) 2016-07-07 2019-03-26 Disney Enterprises, Inc. Location-based experience with interactive merchandise
EP3267291B1 (en) 2016-07-07 2019-11-06 David Franklin Gesture-based user interface
EP3497546B1 (en) 2016-08-09 2021-10-06 Google LLC Radar-based gestural interface
US10086267B2 (en) 2016-08-12 2018-10-02 Microsoft Technology Licensing, Llc Physical gesture input configuration for interactive software and video games
US11389084B2 (en) 2016-08-15 2022-07-19 Georgia Tech Research Corporation Electronic device and method of controlling same
US10416777B2 (en) 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US10934764B2 (en) 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US10168767B2 (en) 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
US10754417B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10372260B2 (en) 2016-12-12 2019-08-06 Microsoft Technology Licensing, Llc Apparatus and method of adjusting power mode of a display of a device
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10356617B2 (en) 2017-02-08 2019-07-16 Qualcomm Incorporated Mobile device to provide continuous authentication based on contextual awareness
US10845477B2 (en) * 2017-05-10 2020-11-24 Google Llc Power management using a low-power radar
CN111194444A (zh) 2017-05-15 2020-05-22 微软技术许可有限责任公司 基于指纹传感器的设备唤醒
EP3602366A1 (en) 2017-05-15 2020-02-05 Microsoft Technology Licensing, LLC Headset with fingerprint authentication
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
EP3661758A4 (en) 2017-07-31 2021-03-17 Hewlett-Packard Development Company, L.P. HEURISTIC-BASED ACOUSTIC EMISSIONS AND ENERGY CONSERVATION
US11030289B2 (en) 2017-07-31 2021-06-08 Stmicroelectronics, Inc. Human presence detection
EP3640782A4 (en) 2017-08-03 2020-07-15 Huawei Technologies Co., Ltd. METHOD AND TERMINAL AVOIDING HANDLING ERRORS
EP3665617A4 (en) 2017-08-09 2021-07-21 The Board of Trustees of the Leland Stanford Junior University BIOMETRIC ULTRASONIC MEASURING DEVICE INTEGRATED WITH AN OPTICS
CN107580129A (zh) 2017-09-01 2018-01-12 北京小米移动软件有限公司 终端状态控制方法及装置
US10612936B2 (en) 2017-09-01 2020-04-07 Telenav, Inc. Navigation system with delivery mechanism and method of operation thereof
CN208339456U (zh) 2017-09-01 2019-01-08 江苏索众智能科技有限公司 一种智能马桶盖
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
CN109491496A (zh) * 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
US10725161B2 (en) 2017-12-15 2020-07-28 Google Llc Seamless authentication using radar
JP6900133B2 (ja) 2018-01-25 2021-07-07 三菱電機株式会社 ジェスチャー操作装置およびジェスチャー操作方法
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
CN110417986B (zh) 2018-04-28 2020-10-23 华为技术有限公司 一种灭屏显示的方法及电子设备
US11027822B2 (en) 2018-06-21 2021-06-08 Rockwell Collins, Inc. Control system for touchless operation of mechanical input devices
JP2019030000A (ja) 2018-06-27 2019-02-21 京セラ株式会社 電子機器、プログラムおよび制御方法
US10284541B1 (en) 2018-07-09 2019-05-07 Capital One Services, Llc System and method for generating enhanced distributed online registry
CN109032488A (zh) 2018-07-17 2018-12-18 Oppo广东移动通信有限公司 黑屏手势的处理方法、存储介质及电子设备
CN108958490B (zh) 2018-07-24 2021-09-17 Oppo(重庆)智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
US11269428B2 (en) 2018-09-09 2022-03-08 Microsoft Technology Licensing, Llc Changing a mode of operation of a computing device by a pen device
US11310226B2 (en) 2018-12-19 2022-04-19 Paypal, Inc. Gesture and motion detection using a device radar component for user authentication
US11417163B2 (en) 2019-01-04 2022-08-16 Byton North America Corporation Systems and methods for key fob motion based gesture commands
CN109857251A (zh) 2019-01-16 2019-06-07 珠海格力电器股份有限公司 智能家电的手势识别控制方法、装置、存储介质及设备
EP4102344A1 (en) 2019-02-19 2022-12-14 Samsung Electronics Co., Ltd. Electronic device and display control method thereof
KR20200101192A (ko) 2019-02-19 2020-08-27 삼성전자주식회사 의도되지 않은 사용자 입력의 수신을 방지하는 전자 장치 및 전자 장치의 동작 방법
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11496387B2 (en) 2019-06-11 2022-11-08 Zscaler, Inc. Auto re-segmentation to assign new applications in a microsegmented network
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11604891B2 (en) 2019-07-17 2023-03-14 Motorola Mobility Llc Displaying sensitive content based on whether others are around user
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
WO2021021218A1 (en) 2019-07-26 2021-02-04 Google Llc Maintaining an authenticated state
JP7316383B2 (ja) 2019-07-26 2023-07-27 グーグル エルエルシー Imuおよびレーダーを介した認証管理
KR20240026524A (ko) 2019-07-26 2024-02-28 구글 엘엘씨 인증된 상태 유지하기
WO2021021224A1 (en) 2019-07-26 2021-02-04 Google Llc Context-sensitive control of radar-based gesture-recognition
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
EP3966662B1 (en) 2019-07-26 2024-01-10 Google LLC Reducing a state based on imu and radar
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
WO2021040749A1 (en) 2019-08-30 2021-03-04 Google Llc Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
WO2021040745A1 (en) 2019-08-30 2021-03-04 Google Llc Input methods for mobile devices
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040747A1 (en) 2019-08-30 2021-03-04 Google Llc Methods for reliable acceptance of user non-contact gesture inputs for a mobile device
US20210103337A1 (en) 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
US11640208B2 (en) 2019-11-21 2023-05-02 Infineon Technologies Ag Gesture feedback in distributed neural network system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
CN105278674A (zh) * 2014-06-03 2016-01-27 谷歌公司 通过穿戴式设备的基于雷达的手势识别
US20160071341A1 (en) * 2014-09-05 2016-03-10 Mindray Ds Usa, Inc. Systems and methods for medical monitoring device gesture control lockout
US20170097684A1 (en) * 2015-10-06 2017-04-06 Google, Inc. Compressed Sensing for Gesture Tracking and Recognition with Radar

Also Published As

Publication number Publication date
KR20230004919A (ko) 2023-01-06
US20220100283A1 (en) 2022-03-31
US11281303B2 (en) 2022-03-22
WO2021040748A1 (en) 2021-03-04
US20210064146A1 (en) 2021-03-04
KR102661485B1 (ko) 2024-04-29
KR102479012B1 (ko) 2022-12-20
KR20210145313A (ko) 2021-12-01
US11687167B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
KR102479012B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
CN112753005B (zh) 移动设备的输入方法
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
US20210064144A1 (en) Methods for Reliable Acceptance of User Non-Contact Gesture Inputs for a Mobile Device
KR102320754B1 (ko) 전자 디바이스와 인터렉션하기 위해 레이더 제스처를 사용하는 것에서 사용자 숙련도 지원
US11169615B2 (en) Notification of availability of radar-based input for electronic devices
CN113614676B (zh) 用于提供多模式界面的基于移动设备的雷达系统及其方法
JP7433397B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
CN113924568A (zh) 基于雷达的认证状态反馈
CN110908516A (zh) 促进用户熟练使用雷达手势来与电子设备交互
CN110989836A (zh) 促进用户熟练使用雷达手势来与电子设备交互

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination