CN111868664A - 用于在较低功率模式下确定用户意图的基于智能电话的雷达系统 - Google Patents

用于在较低功率模式下确定用户意图的基于智能电话的雷达系统 Download PDF

Info

Publication number
CN111868664A
CN111868664A CN201980017941.7A CN201980017941A CN111868664A CN 111868664 A CN111868664 A CN 111868664A CN 201980017941 A CN201980017941 A CN 201980017941A CN 111868664 A CN111868664 A CN 111868664A
Authority
CN
China
Prior art keywords
radar
smartphone
mode
radar system
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980017941.7A
Other languages
English (en)
Other versions
CN111868664B (zh
Inventor
莱昂纳多·朱斯蒂
伊万·波派列夫
林锐志
帕特里克·M·阿米胡德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111868664A publication Critical patent/CN111868664A/zh
Application granted granted Critical
Publication of CN111868664B publication Critical patent/CN111868664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文档描述了实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的技术和系统。这些技术和系统使用雷达场(110)来使得智能电话能够准确地确定用户(112)的存在与否并且进一步确定用户要与智能电话交互的意图(716、718、720、722)。使用这些技术，智能电话能够说明用户的非言语沟通提示以确定并维持对该智能电话的环境中的用户的感知，并且一旦用户已表明要交互的意图就仅对直接交互做出响应，这保存电池电量。智能电话可以通过识别诸如相对于智能电话的位置变化、姿势变化等的来自用户的各种提示或者通过诸如手势的显示动作来确定用户的意图。

Description

用于在较低功率模式下确定用户意图的基于智能电话的雷达 系统
背景技术
智能电话已成为商业和个人生活两者几乎必要的配件。智能电话和其他电子设备上的应用提供了不断增加的各种生产力、娱乐性和用户定期与之交互的沟通特征。这些设备是我们在工作、娱乐和家庭时几乎不变的伴侣。我们经由语音和触摸与它们沟通，并且像对虚拟助理一样对待它们，因为我们使用它们来排程会议和事件，消费数字媒体，并且共享演示文稿和文档。但是，在日常生活中，沟通不仅仅是我们使用的词语。我们如何沟通并表达我们要沟通的意图的大部分是基于我们感知并管理人际空间的方式。人们常常使用空间关系的变化(例如，人际距离或定向)作为隐式沟通形式。例如，我们根据亲密与其他人维持一定距离，我们在与他们打交道时面向人们，我们移动更靠近我们感兴趣的对象，并且我们根据手边任务相对于其他人站着或坐着。
借助于机器学习技术，智能电话应用和智能电话本身变得更熟悉我们的惯例和偏好并且能够提供餐厅推荐，建议电影，而且以其他方式独立地与我们沟通。然而，对于智能电话所有的计算能力和人工智能，智能电话仍然是反应性通信器。也就是说，无论智能电话多么“智能”并且无论我们多么像他们为人们一样与它们交谈，智能电话仍然依赖于被激活，并且用户在与应用实际地交互之前，通常不得不首先占用智能电话并使它感知用户要使用智能电话的意图。因此，利用我们的应用的强大且有趣的特征可能是不方便且令人挫败的，并且我们可能无法实现我们的电子设备和应用的全部潜力。
发明内容
本文档描述了实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的技术和系统。这些技术和系统使用雷达场来使得智能电话能够准确地确定用户(112)的存在与否并且进一步确定用户要与智能电话交互的意图。使用这些技术，智能电话能够说明用户的非言语沟通提示以确定并维持对该智能电话的环境中的用户的感知，并且一旦用户已表明要交互的意图就仅对直接交互做出响应，这保存电池电量。智能电话可以通过识别诸如相对于智能电话的位置变化、姿势变化等的来自用户的各种提示或者通过诸如手势的显示动作来确定用户的意图。
下述方面包括一种智能电话，该智能电话包括雷达系统、一个或多个计算机处理器和一个或多个计算机可读介质。雷达系统至少部分地用硬件实现并提供雷达场。雷达系统也感测来自雷达场中的对象的反射并且分析来自雷达场中的对象的反射。雷达系统基于对反射的分析提供雷达数据。一个或多个计算机可读介质包括存储的指令，这些存储的指令能够由一个或多个计算机处理器执行以实现持久的基于雷达的交互管理器。持久的基于雷达的交互管理器使雷达系统维持在需要不超过约30毫瓦(mW)的功率的空闲模式下。持久的基于雷达的交互管理器也基于雷达数据的第一子集，确定对象在智能电话的感知区内的存在。响应于确定对象在该感知区内的存在，持久的基于雷达的交互管理器使雷达系统进入需要不超过约60mW的功率的注意模式。响应于进入注意模式，并且基于雷达数据的第二子集，持久的基于雷达的交互管理器确定对象的意图级别，并且基于该意图级别，确定对象是否打算与智能电话交互。响应于确定意图级别指示对象不打算与智能电话交互，持久的基于雷达的交互管理器使雷达系统退出注意模式并进入空闲模式。响应于确定意图级别指示用户打算与智能电话交互，持久的基于雷达的交互管理器使雷达系统退出注意模式并进入需要不超过约90mW的功率的交互模式。
下述方面也包括一种在包括雷达系统的电子设备中实现的方法。该方法包括由雷达系统提供雷达场并且由雷达系统感测来自雷达场中的对象的反射。该方法也包括分析来自雷达场中的对象的反射并且基于对反射的分析提供雷达数据。该方法附加地包括使雷达系统维持在需要不超过约30毫瓦(mW)的功率的空闲模式下。该方法也包括：基于雷达数据的第一子集，确定对象在电子设备的感知区内的存在；以及响应于确定对象在该感知区内的存在，使雷达系统进入需要不超过约60mW的功率的注意模式。该方法附加地包括：响应于进入注意模式，并且基于雷达数据的第二子集，确定对象的意图级别；以及基于意图级别，确定对象是否打算与电子设备交互。该方法进一步包括，响应于确定意图级别指示对象不打算与电子设备交互，使雷达系统退出注意模式并进入空闲模式。该方法也包括，响应于确定意图级别指示用户打算与电子设备交互，使雷达系统退出注意模式并进入需要不超过约90mW的功率的交互模式。
下述方面也包括一种在包括雷达系统的电子设备中实现的方法。该方法包括由雷达系统提供雷达场并且由雷达系统感测来自雷达场中的对象的反射。该方法也包括分析来自雷达场中的对象的反射并且基于对反射的分析提供雷达数据。该方法附加地包括使雷达系统维持在需要不超过约30毫瓦(mW)的功率的空闲模式下。该方法也包括：基于雷达数据的第一子集，确定对象在电子设备的感知区内的存在；以及响应于确定对象在感知区内的存在，使雷达系统退出较低功率模式并进入需要不超过约90mW的功率的交互模式。
下述方面也包括一种系统，该系统包括电子设备，该电子设备包括第一装置或与之相关联。第一种装置是用于提供雷达场、感测来自雷达场中的对象的反射、分析来自雷达场中的对象的反射并且基于对反射的分析提供雷达数据的装置。该系统也包括第二装置。第二装置是用于使第一装置维持在需要不超过约30毫瓦(mW)的功率的空闲模式下的装置。第二装置也是用于基于雷达数据的第一子集确定对象在电子设备的感知区内的存在并且响应于确定对象在感知区内的存在而使第一装置进入需要不超过约60mW的功率的注意模式的装置。第二装置也是用于响应于进入注意模式并且基于雷达数据的第二子集确定对象的意图级别的装置。第二装置也是用于基于意图级别确定对象是否打算与电子设备交互并且响应于确定意图级别指示对象不打算与电子设备交互而使第一装置退出注意模式并进入空闲模式的装置。第二装置也是用于响应于确定意图级别指示用户打算与电子设备交互而使第一装置退出注意模式并进入需要不超过约90mW的功率的交互模式的装置。
其他方面包括一种能够在包括雷达系统的电子设备中实现的方法。该方法包括由雷达系统提供雷达场并且由雷达系统感测来自雷达场中的对象的反射。该方法也包括分析来自雷达场中的对象的反射并且基于对反射的分析提供雷达数据。该方法也包括：使雷达系统维持在第一功率模式下；以及基于雷达数据的第一子集并且在第一肯定度上，确定对象要与电子设备交互的第一意图。该方法附加地包括，响应于确定对象要与电子设备交互的第一意图，使雷达系统进入第二功率模式。响应于进入第二功率模式，并且基于雷达数据的第二子集，该方法也包括在第二肯定度上确定对象要与电子设备交互的第二意图。该方法进一步包括，响应于确定对象要与电子设备交互的第二意图，使雷达系统进入第三功率模式。响应于进入第三功率模式，并且基于雷达数据的第三子集，该方法也包括在第三肯定度上确定对象要与电子设备交互的第三意图。
提供本发明内容以介绍与在用于在低功率模式下确定用户意图的基于智能电话的雷达系统有关的简化概念，这将在下面的具体实施方式和附图中进一步描述。本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
附图说明
在本文档中参考以下附图描述用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的一个或多个方面的细节。在所有附图中，相同的数字用于引用相似的特征和组件：
图1图示示例环境，其中可以实现启用用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的技术。
图2图示图1的智能电话的示例实施方式，其包括雷达系统并且可以实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统。
图3图示图2的雷达系统的示例实施方式。
图4图示图3的雷达系统的接收天线元件的示例布置。
图5图示图2的雷达系统的示例实施方式的附加细节。
图6图示可以由图2的雷达系统实现的示例方案。
图7-11描绘启用用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的示例方法。
图12-18图示可以实现图7至图11的方法的附加细节的电子设备的示例实施方式。
图19图示示例计算系统的各种组件，该示例计算系统可以被实现为参考图1至图18所描述的任何类型的客户端、服务器和/或电子设备以实现，或者其中可以实现启用用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的技术。
具体实施方式
概述
本文档描述了实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的技术和系统。如所指出的，电子设备可能难以确定用户要与设备交互的意图，这能够限制其响应性。虽然设备能够接收直接语音或触摸输入并对这些输入起作用，但是人类通常使用言语沟通和非言语沟通的混合来沟通意图，并且当前的智能电话至多理解言语部分。因此，由于在识别非言语沟通方面的限制，用户可能无法实现其智能电话特征的全部潜力。所描述的技术和系统采用雷达系统来确定用户要与电子设备交互或不交互的意图。可以通过确定用户的位置、用户相对于设备的定向、用户的姿势或其他因素来辨别用户的意图。这些技术使细化程度提高，使对事实的符合性提高，或者既使细化程度提高又使对事实的符合性提高。因为电子设备能够在保存电池电力的同时确定用户的意图，所以交互可以更方便且不太令人挫败，因为电子设备能够预期用户的意图并进入适当的模式或状态以交互并接收输入。
附加地，这些技术和系统能够使得智能电话能够经由自然三维(3D)手势交互语言接收手势输入，该自然3D手势交互语言能够用于将智能电话的交互空间扩展到屏幕之外，这在更多的情形下提供可访问性。3D手势(例如，在由雷达场照射的3D空间内包括任何方向上的一个或多个移动的手势)，诸如扫掠或伸手能够用于与智能电话交互而无需触摸它。使用3D手势，用户能够在手脏时在不用触摸屏幕的情况下浏览食谱，在不用伸展或笨拙地按压按钮的情况下从正确的距离和角度自拍，或者通过实现能够用于通过抑制警报、电话呼叫或通知来减少中断的快速手势来维持集中于当前任务。因此，所描述的技术和系统能够使用方便且自然的3D手势来改进用户体验的质量和有效性，从而提高用户的效率、工作流程和娱乐性。
考虑包括能够用于在电子设备附近提供雷达场并确定人们或其他对象何时进入该雷达场的雷达系统和交互管理器的智能电话或其他电子设备。例如，用户可以将智能电话放置在工作台或桌子上而同时用户执行其他任务。交互管理器和雷达系统能够在持久性较低功率模式下操作，这允许雷达系统检测用户在指定距离内的存在。当无用户存在时，交互管理器也能够将智能电话置于较低功率状态下。交互管理器也能够确定用户是否打算与智能电话交互。如果交互管理器确定用户不打算与智能电话交互，则交互管理器能够使交互管理器和雷达系统维持在持久的较低功率模式下并且使智能电话维持在较低功率状态下，直到交互管理器确定用户打算与智能电话交互为止。在此示例中，交互管理器能够通过观察用户的身体姿势和位置来确定用户是否打算交互，诸如用户是否正看着智能电话，转向智能电话或伸手去拿智能电话。示例省电模式能够包括关闭显示元件、隐藏消息预览、隐藏通知等。当交互管理器确定用户打算与智能电话交互时，雷达系统和智能电话能够恢复全部操作以使得用户能够访问智能电话的所有特征和功能。
例如，当雷达系统处于较低功率模式时，智能电话也能够通过关闭或以其他方式降低诸如显示器、触摸屏、麦克风、语音助理等的各种功能的功耗而处于较低功率状态。当雷达系统在区域中检测到用户并且确定用户打算与智能电话交互时，交互管理器能够将智能电话自动地恢复到完全可操作状态。智能电话能够被呈现在准备使用状态下(例如，能够经由基于雷达的认证系统或通过另一方法来自动地对用户进行认证)，或者智能电话能够被呈现为准备好由用户认证(例如，准备接收密码、手势、指纹或其他认证)。以这种方式，交互管理器能够保存电力而不减少用户的功能性。另外，用户可以对智能电话享受改进的体验，因为交互管理器预期用户的意图并能够在可定制状态下呈现智能电话，该可定制状态允许用户在不必拾取或触摸智能电话的情况下开始与智能电话交互，然后等待智能电话准备就绪。
一些常规的电子设备可以使用相机或接近传感器(例如，电容式传感器)来确定用户的位置并且基于用户的接近度调整电子设备的各种功能。例如，除非用户在预定距离内，否则电子设备可以通过关闭显示器来提供附加隐私或美学价值。然而，常规的电子设备通常不能够区分用户(或恰好在电子设备附近的非用户)和打算与电子设备交互的用户的仅仅存在。因此，常规的电子设备使用更多的电力并且潜在地提供更少的隐私或美学价值，因为当非用户在附近时或当用户在附近但对交互不感兴趣时，该电子设备可能接通。例如，用户可以在与客人交谈时将电子设备置于桌子上。先前设置的要预约医生的提醒可以以允许客人看到该提醒的方式被显示。甚至快速反应用户也可能体验到在不适当的时间显示了私人提醒的挫败感或尴尬。与智能电话的持续烦人或不方便的交互能够降低用户体验的效率和质量，或者甚至降低用户将使用一些特征的可能性。
相比之下，所描述的系统和技术能够在保存电池寿命的同时改进若干区域中的效率和可用性。例如，在以上示例中，智能电话能够(例如，通过确定用户远离智能电话)确定用户不在关注智能电话并隐藏提醒。以这种方式，所描述的技术和系统允许与智能电话或其他电子设备进行高效且自然的交互。用户能够享受智能电话提供的优点和方便性，同时交互管理器和雷达系统提供附加灵活性和增强的功能性，而没有过度功耗。这能够通过在维持隐私并减少中断的同时减少用户针对不同的社交设定调整提醒、警报和通知的需求来改进效率并减少用户挫败感，这能够提高用户体验的质量。另外，雷达系统和电子设备它本身的功耗能够大大低于可以使用始终开启相机(或其他传感器或传感器的组合)来控制一些显示特征的一些常规技术。这些只是所描述的技术和设备如何可以用于实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的几个示例。贯穿本文档描述其他示例及其实现方式。本文档现在转向示例环境，此后描述示例系统、装置、方法和组件。
在本文描述的一些示例中，功率、角度或另一可测的量被定义为近似指定值。在这些情况下，功率、角度或其他可测的量位于指定值附近最多5％的范围内。此外或作为替代方案，在一些示例中，在功率、角度或另一可测的量被定义为近似指定值的情况下，功率、角度或另一可测的量的平均值位于指定值附近最多5％的范围内。在这些示例中的一些示例中，功率、角度或其他可测的量的极值能够与指定值相差超过5％。
操作环境
图1图示其中可以实现启用用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的技术的示例环境100。示例环境100包括智能电话102，其包括雷达系统104或持久的基于雷达的交互管理器106(交互管理器106)并且可选地包括一个或多个非雷达传感器108(非雷达传感器108)或者与其相关联。非雷达传感器108可以是多种设备中的任何一种，诸如音频传感器(例如，麦克风)、触摸输入传感器(例如，触摸屏)或图像捕获设备(例如，相机或摄像机)。
在示例环境100中，雷达系统104通过传输一个或多个雷达信号或波形来提供雷达场110，如下面参考图3至图6所述。雷达场110是空间的体积，雷达系统104可以从其中检测雷达信号和波形的反射(例如，从该空间的体积中的对象反射的雷达信号和波形)。雷达系统104还使智能电话102或另一电子设备能够感测和分析来自雷达场110中的对象112的反射。雷达系统104的一些实施例在下述智能电话(诸如，智能电话102)的场境下应用时特别有利：对于该智能电话，同时存在诸如低功率需求、处理效率的需求、天线单元的间距和布局的限制之类的问题以及其他问题，并且雷达系统104的某些实施例甚至在下述智能电话的特定场境下更为有利：该智能电话需要精细手势的雷达检测。尽管这些实施例在需要精细的雷达检测的手势的智能电话的场境下特别有利，但是应当理解，本发明的特征和优点的适用性并不必限于此，并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
对象112可以是雷达系统104可以感测和分析雷达反射的各种对象(诸如，木材、塑料、金属、织物、人体或人体部位(例如，智能电话102的用户的脚、手或者手指))中的任何一种。如图1中所示，对象112是智能电话102的用户(用户112)。基于反射的分析，雷达系统104可以提供雷达数据，该雷达数据包括与雷达场110以及来自用户112的反射相关联的各种类型的信息，如参考图3至图6所描述的(例如，雷达系统104可以将雷达数据传递到其他实体，诸如交互管理器106)。
应该注意的是，可以基于从雷达场110中的对象112感测到的和分析的反射随时间连续或周期性地提供雷达数据。对象112的定位可以随时间变化(例如，对象112可以在雷达场110内移动)，并且因此，雷达数据可以与改变的定位、反射和分析相对应随时间变化。因为雷达数据可以随时间变化，所以雷达系统104可以提供包括对应于不同时间段的雷达数据的一个或多个子集的雷达数据。例如，雷达系统104可以提供对应于第一时间段的雷达数据的第一子集、对应于第二时间段的雷达数据的第二子集等等。
交互管理器106可以用于与智能电话102的各种组件(例如，模块、管理器、系统或接口)进行交互或控制智能电话102的各种组件。例如，交互管理器106可以用于将雷达系统104维持在空闲模式。空闲模式是持久的较低功率雷达模式，其允许雷达系统104扫描智能电话102外部的环境并确定用户112的存在。关于交互管理器106以及雷达系统104的空闲模式的术语“持久”意味着不需要用户交互来将雷达系统104维持在空闲模式或激活交互管理器106。在一些实施方式中，“持久”状态可以(例如，由用户112)被暂停或关闭。在其他实施方式中，可以根据智能电话102(或其他电子设备)的一个或多个参数来排程或以其他方式管理“持久”状态。例如，即使智能电话102在晚上和白天都在工作，用户112也可以排程“持久”状态，使其仅在白天运作。在另一示例中，用户112可以将“持久”状态与智能电话102的省电模式进行协调。
在空闲模式下，交互管理器106可以确定用户112的存在，而无需用户进行口头、触摸或其他输入。例如，当处于空闲模式时，交互管理器106可以使用由雷达系统104提供的雷达数据的一个或多个子集(如本文所述)来确定用户112或可能位于智能电话102的感知区114内的其他对象的存在。这样，在无需明确的交互输入的情况下，交互管理器106可以提供无缝的功率管理。
在一些实施方式中，空闲模式需要不超过大约30毫瓦(mW)的功率。在其他实施方式中，空闲模式可能需要不同量的功率，诸如大约2mW或大约8mW。此外，当交互管理器106将雷达系统104维持在空闲模式时，交互管理器106还可以将智能电话102维持在较低功率状态(例如，睡眠模式或其他省电模式)。以此方式，通过确定用户112(或另一个人)是否在智能电话102附近，当没有用户在智能电话102附近时，交互管理器可以通过减少功耗来帮助节省电池电量。
感知区114是雷达系统104周围的地区，交互管理器106可以在该地区内准确地确定用户112的存在。感知区114可以采取各种形状和形式中的任何一种。例如，感知区114可以与雷达场110近似相连(例如，如例如参考图3和图4描述的雷达场110的形状)。在其他情况下，感知区114可以采用诸如从雷达系统104延伸的半径、在雷达系统104周围的体积(例如，球体、半球、部分球体、波束或圆锥体)的形状或不均匀的形状(例如，以适应感知区中障碍物的干扰)。感知区可以从雷达系统104延伸各种距离中的任何一个，诸如三、七、十或十四英尺(或一、二、三或四米)，并且可以与雷达场110的范围一致。在其他情况下，如图1中所示，感知区114可能小于雷达场110的最大范围。感知区114可以是预定义的、用户可选择的或经由其他方法(例如，基于电量需求、剩余电池寿命或其他因素)来确定的。在一些实施方式中，当交互管理器106确定用户112(或另一个对象)在感知区114内的存在时，交互管理器106可以使雷达系统104退出空闲模式并进入交互模式，在下面进行详细描述。
可选地，或在其他实施方式中，当交互管理器106确定用户112(或另一个对象)在感知区114中的存在时，交互管理器106可以使雷达系统104进入注意模式。注意模式是允许雷达系统104提供有关感知区114内的对象的其他信息的雷达模式。例如，尽管在注意模式下，雷达系统104可以提供其他雷达数据(包括如此处所述的雷达数据的一个或多个其他子集)，其可以用来确定用户112的意图级别。
在一些实施方式中，注意模式所需的功率不超过大约60mW。在其他实施方式中，注意模式可能需要不同量的功率，诸如在大约8mW和大约55mW之间或在大约2mW和大约20mW之间。当交互管理器106将雷达系统104维持在注意模式时，交互管理器106还可以将智能电话102维持在可以与空闲模式一起使用的较低功率状态，或者交互管理器106可以使智能电话退出较低功率状态并进入另一状态(例如，唤醒模式、活动模式等)。
交互管理器106(或另一个模块或实体)可以使用意图级别来确定用户112是否打算与智能电话102进行通信或交互。可以从可以基于其他雷达数据确定的关于(在感知区114内的)用户112的各种信息中确定意图级别。交互管理器106可以确定用户112的意图级别，而无需用户的口头、触摸或其他输入。例如，交互管理器106可通过使用其他雷达数据或其他雷达数据的一个或多个其他子集来确定用户查看智能电话102、与智能电话102通信或以其他方式与智能电话102交互的意图，以确定用户112相对于智能电话102的身体定位或姿势。
对用户112的身体定位和姿势的确定可以包括确定各种不同的非语言身体语言提示、身体定位或身体姿势中的一个或多个。提示、定位和姿势可以包括用户112相对于智能电话102的绝对定位或距离、用户112相对于智能电话102的定位或距离的变化(例如，用户112是否正在靠近或远离智能电话102而移动)、在智能电话102附近移动时用户112的速度(例如，用户112在智能电话102附近时是否暂停)、用户112是朝向智能电话102还是远离智能电话102、用户112是否向智能电话102倾斜、挥手、触及或指向智能电话102等。
考虑其中用户112朝向智能电话102移动的示例。当用户112没有减速并继续经过智能电话102时，交互管理器106确定用户112不打算与智能电话102进行交互。类似地，当用户112减速或者甚至在智能电话102附近停止但远离智能电话102时，交互管理器106还确定用户112不打算与智能电话102进行交互。相反，当用户112停止在智能电话102附近并转向(或正在触及)智能电话102时，交互管理器106确定用户112打算与智能电话102进行交互。以这样的方式，使用用户112的不同身体定位和姿势，交互管理器106可以准确地确定用户112是否打算与智能电话102进行交互。
当交互管理器106确定用户112的意图级别指示用户112不打算与智能电话102进行交互时，交互管理器106可以使雷达系统104退出注意模式并进入(或重新进入)空闲模式。当雷达系统104进入空闲模式时，交互管理器106还可以使智能电话102进入较低功率状态(例如，如果当雷达系统处于注意模式时智能电话102处于较高功率状态)。因此，交互管理器106可以使用用户112的意图级别来帮助管理雷达系统104以及可选地智能电话102的功耗。
相反，当交互管理器106确定用户112的意图级别指示用户112打算与智能电话102交互时，交互管理器106可以使雷达系统104退出注意模式并进入交互模式。交互模式是允许雷达系统104提供关于感知区114内的对象的附加信息的雷达模式。例如，尽管在交互模式下，雷达系统104可以提供附加雷达数据(包括如在此所描述的雷达数据的一个或多个附加子集)，其可以被用于使雷达系统104能够确定用户112做出的3D手势并以使用户112能够经由3D手势与智能电话102进行交互的方式处理3D手势。参考图10至图16描述了如何使用3D手势以与智能电话102进行交互的附加描述和示例。
交互模式还可以向用户112提供附加信息。继续其中用户112朝向智能电话102移动，假设智能电话102的显示器变暗(例如，因为智能电话102处于如上所述的较低功率状态)的上面的示例。另外，假设交互管理器106基于意图级别来确定用户112打算与智能电话102进行交互(例如，因为用户112在智能电话102附近被停止)。作为响应，交互管理器106可以使智能电话102改变显示器的状态(例如，增加当前屏幕的显示亮度或改变屏幕以显示认证屏幕或智能助理)。以此方式，交互管理器106可以在节省电池电量并提供增加的私密性的同时向用户112提供对智能电话102的及时访问。
在一些实施方式中，交互模式需要不超过大约90mW的功率。在其他实施方式中，交互模式可能需要不同量的功率，诸如大约20mW或大约55mW。此外，当交互管理器106将雷达系统104维持在交互模式时，在用户112与智能电话102交互的同时，交互管理器106还可以将智能电话102维持在适当的功率模式(例如，全功率模式、如参考注意模式所描述的唤醒模式或活动模式、如参考空闲模式所描述的睡眠模式或另一功率模式)下。这样，通过确定用户112(或另一个人)是否打算与智能电话102进行交互，交互管理器可以通过为雷达系统104和可选地为智能电话102引入适当的功率模式来帮助节省电池电量，这适合于用户112的交互级别。
可以使用各种技术来调整雷达系统104在空闲模式、注意模式和交互模式下所消耗的功率。例如，雷达系统104可以通过在不同的占空比下收集雷达数据(例如，较低的频率可以使用较少的功率)、在组件不活动时关闭各种组件或调整功率放大水平来减少功耗。参考图3描述关于雷达系统104(和智能电话102)的功率管理的附加细节。
交互管理器106还可以控制非雷达传感器108或与非雷达传感器108通信。例如，当雷达系统104处于空闲状态时，交互管理器106可以将非雷达传感器108维持在非操作状态下。当确定感知区114内的用户112(或另一个对象)的存在并且雷达系统104进入注意模式时，交互管理器106还可以使非雷达传感器108进入操作状态。在另一个示例中，当雷达系统104处于空闲模式时，交互管理器106可以将非雷达传感器108维持在非操作状态，并且当交互管理器106使雷达系统104进入交互模式时，使非雷达传感器108进入操作状态。以此方式，通过管理使用电池电量并且可以观察或记录用户112的传感器和组件的操作，交互管理器106可以节省电池寿命，增加隐私和安全性，并可以改善用户对智能电话102的体验。
在一些实施方式中，智能电话102还可以包括一个或多个其他模块、接口或系统，或者与一个或多个其他模块、接口或系统相关联。如图1中所示，智能电话102包括3D手势模块116和智能电话功率管理接口118。3D手势模块116可以存储与基于雷达数据确定3D手势有关的信息以及与对应于3D手势的动作有关的信息。
3D手势可以是多种手势中的任何一种，包括通过沿着水平维度(例如，从智能电话102的左侧到智能电话102的右侧)在智能电话102上面移动手而做出的滚动手势、由用户的手臂围绕肘部旋转而做出的挥动手势、通过沿着竖直维度(例如，从智能电话102的底侧到智能电话102的顶侧)将用户的手在智能电话102上面移动而做出的推动手势。还可以做出其他类型的3D手势或运动，诸如通过将用户的手朝着智能电话102移动所做出的伸手手势、通过卷曲用户的手的手指以握住假想的门把手并且以顺时针或逆时针方式旋转以模仿转动假想门把手的动作而做出的门把手旋转手势以及通过将拇指和至少另一个手指在一起摩擦而做出的主轴扭转手势。这些示例手势类型中的每一个可以由雷达系统104检测。
基于雷达数据，交互管理器106可以检测用户112的3D手势，并且(例如，使用3D手势模块116)确定该手势对应于智能电话102的特定动作或通过智能电话102的特定动作。特定动作可以是各种动作中的任何动作，诸如激活一个或多个传感器(例如，非雷达传感器108)、与应用交互(例如，浏览、选择或打开应用)、控制媒体播放器或其他应用的用户界面、构图和拍照、与提醒或通知进行交互或管理电话呼叫。以这种方式，雷达系统104可以提供对智能电话102的无触摸控制。示例性3D手势和相应动作在下面参考图10至图16进行描述。
如参考图3至图6所述的，雷达系统104可以使用雷达场110以启用针对手势识别和身体姿势两者的高分辨率和准确性的方式感测和分析来自雷达场110中的对象的反射。因此，3D手势可以是各种类型的3D手势中的任何一种，诸如手臂手势、手或手指手势、微手势或其它类型的手势。此外，可以预定义、从列表中选择或定制3D姿势(例如，用户可以与交互管理器106和雷达系统104交互以定义唯一的姿势或姿势的组合，如对应于特定动作)。
智能电话功率管理接口118提供智能电话102与交互管理器106之间的通信链接。在一些实施方式中，智能电话功率管理接口118还充当(参考图3更加详细地描述的)功率管理器320和交互管理器106之间的通信链接。交互管理器106可以使用智能电话功率管理接口118发送和接收与智能电话102的各种与功率相关的特征中的任何一个(例如，电源状态、电池电量或剩余电池电量)有关的更新。智能电话功率管理接口118还使交互管理器106能够向智能电话102发送和接收控制信号，其可以被用于调整、控制、管理或修改与功率有关的特征(例如，进入较低功率状态、退出睡眠模式等等)。例如，如上所述，当交互管理器106将雷达系统104维持在空闲模式、注意模式或交互模式时，交互管理器106还可以将智能电话102维持在与雷达系统104模式相关的适当的功率模式(例如，睡眠模式、唤醒模式或其他功率级别模式)。交互管理器106可以使用智能电话功率管理接口118来执行这些功能。此外，在一些实施方式中，如上所述，智能电话功率管理接口118也可以用于将非雷达传感器108维持在非操作状态。
如图1中所示，将3D手势模块116和智能电话功率管理接口118描绘为交互管理器106的一部分。然而，在其他实施方式中，3D手势模块116和智能电话功率管理接口118中的任意一个或者两者可以是单独的实体，其可以是智能电话102的一部分或与其分离。
更详细地，考虑图2，图2图示可以实现用于在低功率模式下确定用户意图的基于智能电话的雷达系统的智能电话102(包括雷达系统104、交互管理器106和非雷达传感器108)的示例实施方式200。图2的智能电话102以各种示例设备图示，其包括智能电话102-1、平板电脑102-2、膝上型计算机102-3、台式计算机102-4、计算手表102-5、计算眼镜102-6、游戏系统102-7、家庭自动化和控制系统102-8和微波炉102-9。智能电话102还可以包括其他设备，诸如电视、娱乐系统、音频系统、汽车、无人机、触控板、绘图板、上网本、电子阅读器、家庭安全系统和其他家用电器。注意，智能电话102可以是可穿戴的、不可穿戴的但是可移动的或相对不移动的(例如，台式机和电器)。
应注意的是，智能电话102的示例性整体横向维度可以是例如大约八厘米乘以大约十五厘米。雷达系统104的示例性占用空间(footprint)可以被进一步限制，诸如包括天线在内的大约四毫米乘六毫米。雷达系统104的示例性功耗可以在几毫瓦(mW)到数mW的量级(例如，在大约2mW和20mW之间)。雷达系统104的这种有限的占用空间的要求(雷达系统104的这种有限的占用空间被需要以在结合功率和处理限制的这样的空间受限的封装中容纳智能电话102的许多其他期望的特征(例如，指纹传感器、非雷达传感器108等等))可能会导致雷达手势检测的准确性和有效性的折衷，其中至少一些可以基于本文的教导而被克服。
智能电话102还包括一个或多个计算机处理器202和一个或多个计算机可读介质204，计算机可读介质204包括内存介质和存储介质。在计算机可读介质204上实现为计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器202执行以提供本文描述的一些或者全部功能性。智能电话102还可以包括网络接口206。智能电话102可以使用网络接口206来通过有线、无线或光网络传送数据。作为示例而非限制，网络接口206可以通过局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、广域网(WAN)、内部网、互联网、对等网络、点对点网络或网状网络来传送数据。
雷达系统104的各种实施方式可以包括片上系统(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或被配置成访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板或其任意组合。雷达系统104通过发送和接收其自身的雷达信号而作为单基地雷达工作。在一些实施方式中，雷达系统104还可以与外部环境内的其他雷达系统104合作以实现双基地雷达、多基地雷达或网络雷达。然而，智能电话102的约束或限制可能影响雷达系统104的设计。例如，智能电话102可能具有可用于操作雷达的有限功率、有限的计算能力、尺寸约束、布局限制、使雷达信号衰减或失真的外部壳体等等。雷达系统104包括数个特征，这些特征使得在存在这些约束的情况下能够实现先进的雷达功能和高性能，如下面关于图3进一步描述的。注意，在图2中，雷达系统104和交互管理器106被图示为智能电话的一部分102。在其他实施方式中，雷达系统104和交互管理器106中的任意一个或者两者可以与智能电话102分离或远离智能电话102。
这些和其他能力和配置以及图1的实体动作和交互的方式将在下面更详细地阐述。这些实体可以进一步划分、合并等等。图1的环境100和图2至图18的详细图示示出能够采用所描述的技术的许多可能的环境和设备中的一些。图3至图6描述雷达系统104的附加细节和特征。在图3至图6中，雷达系统104是在智能电话102的场境下描述的，但是如上所述，所描述的系统和技术的特征和优点的适用性并不一定限于此，并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
图3图示雷达系统104的示例实施方式300，其可以用于启用用于在较低功率模式下确定用户意图的基于智能电话的雷达系统。在示例300中，雷达系统104包括以下组件中的每个中的至少一个：通信接口302、天线阵列304、收发器306、处理器308和系统介质310(例如，一个或多个计算机可读存储介质)。处理器308可以被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如，智能电话102的计算机处理器202)或其某种组合。可以包括在智能电话102的计算机可读介质204中或与之分离的系统介质310包括以下模块中的一个或多个：衰减缓解器314、数字波束形成器316、角度估计器318或功率管理器320。这些模块可以补偿或减轻将雷达系统104集成到智能电话102中的影响，从而使雷达系统104能够识别小或复杂的手势，区分用户的不同定向，持续监测外部环境，或实现目标虚警率。通过这些特征，可以在诸如图2所示的设备的各种不同设备中实现雷达系统104。
使用通信接口302，雷达系统104可以将雷达数据提供给交互管理器106。基于雷达系统104与智能电话102分离实现或集成在其中实现，通信接口302可以是无线接口或有线接口。取决于应用，雷达数据可以包括原始或最少已处理的数据、同相和正交(I/Q)数据、距离-多普勒数据、包括目标位置信息(例如，距离、方位角、仰角)的已处理数据、杂乱的地图数据等。通常，雷达数据包含由交互管理器106可用于用于在较低功率模式下确定用户意图的基于智能电话的雷达系统。
天线阵列304包括至少一个发射天线单元(未示出)和至少两个接收天线单元(如图4所示)。在一些情况下，天线阵列304可以包括多个发射天线单元，以实现能够一次发射多个不同波形(例如，每个发射天线单元不同的波形)的多输入多输出(MIMO)雷达。多个波形的使用可以提高雷达系统104的测量精度。对于包括三个或更多个接收单元的实施方式，接收天线单元可以以一维形状(例如，线)或二维形状定位。一维形状使得雷达系统104能够测量一个角度尺寸(例如，方位角或仰角)，而二维形状使得能够测量两个角度尺寸(例如，方位角和仰角两者)。参考图4进一步描述接收天线单元的示例二维布置。
图4图示接收天线单元402的示例布置400。例如，如果天线阵列304包括至少四个接收天线单元402，则接收天线单元402可以布置成矩形布置404-1，如图4的中间所描绘的。可替代地，如果天线阵列304包括至少三个接收天线单元402，则可以使用三角形布置404-2或L形布置404-3。
由于智能电话102的大小或布局约束，接收天线单元402之间的单元间距或接收天线单元402的数量对于雷达系统104将要监测的角度可能不是理想的。特别地，单元间距可能导致存在角度模糊，这给常规雷达估计目标的角位置带来挑战。因此，常规雷达可以限制视场(例如，要监测的角度)，以避免具有角度模糊的模糊区域，从而减少错误检测。例如，常规雷达可将视场限制在大约-45度至45度之间的角度，以避免使用5毫米(mm)的波长和3.5mm的单元间距(例如，单元间距为波长的70％)发生的角度模糊。因此，常规雷达可能无法检测到超出45度视场限制的目标。相比之下，雷达系统104包括数字波束形成器316和角度估计器318，其解析角度模糊并使雷达系统104能够监测超过45度限制的角度，诸如，大约-90度至90度之间的角度，或直到大约-180度和180度。可以在一个或多个方向(例如，方位角和/或仰角)上应用这些角度范围。因此，雷达系统104可以为各种不同的天线阵列设计(包括小于、大于或等于雷达信号的中心波长的一半的单元间距)实现低虚警率。
使用天线阵列304，雷达系统104可以形成被转向或未被转向、宽或窄或被成形(例如，作为半球、立方体、扇形、圆锥体或圆柱体)的波束。作为示例，一个或多个发射天线单元(未示出)可以具有未转向的全向辐射方向图，或者可以能够产生诸如宽发射波束406的宽波束。这些技术中的任何一种都使得雷达系统104能够照射大体积的空间。然而，为了获得目标角精度和角分辨率，接收天线单元402和数字波束形成器316可以用于生成数千个窄且转向的波束(例如，2000个波束、4000个波束或6000个波束)，诸如，窄接收波束408。以这种方式，雷达系统104可以有效地监测外部环境并且准确地确定外部环境内的反射的到达角。
返回图3，收发器306包括用于经由天线阵列304发送和接收雷达信号的电路和逻辑。收发器306的组件可以包括放大器、混频器、开关、模数转换器、滤波器等等，以调节雷达信号。收发器306还可以包括逻辑以执行同相/正交(I/Q)操作，诸如，调制或解调。收发器306可以被配置用于连续波雷达操作或脉冲雷达操作。可以使用各种调制来产生雷达信号，包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器306可以在诸如1吉赫兹(GHz)与400GHz之间、在4GHz与100GHz之间、或者在57GHz与63GHz之间的频率范围(例如，频谱)内生成雷达信号。频谱可以被划分为具有相似带宽或不同带宽的多个子频谱。带宽可以在500兆赫兹(MHz)、1GHz、2GHz等的数量级上。作为示例，不同的频率子频谱可以包括大约57GHz和59GHz之间、59GHz和61GHz之间或61GHz和63GHz之间的频率。具有相同带宽并且可以是连续的或非连续的多个频率子频谱也可以被选择用于相干性。多个频率子频谱可以使用单个雷达信号或多个雷达信号同时发送或在时间上分开地发送。连续频率子频谱使雷达信号能够具有更宽的带宽，而非连续频率子频谱可以进一步强调幅度和相位差，这使得角度估计器318能够解决角度模糊。衰减缓解器314或角度估计器318可以使收发器306利用一个或多个频率子频谱来改善雷达系统104的性能，如关于图5和图6进一步描述的。
功率管理器320使雷达系统104能够在智能电话102内在内部或外部节省功率。在一些实施方式中，功率管理器320与交互管理器106或智能电话功率管理接口118通信，以节省雷达系统104或智能电话102中的一个或两个内的功率。例如，在内部，功率管理器320可以使雷达系统104使用预定功率模式或特定占空比来收集数据。在这样的情况下，功率管理器320动态地在不同功率模式之间切换，使得基于环境内的活动来一起管理响应延迟和功耗。通常，功率管理器320确定何时以及如何节省功率，并且递增地调整功耗以使雷达系统104能够在智能电话102的功率限制内操作。在某些情况下，功率管理器320可以监测剩余可用功率的量并相应地调整雷达系统104的操作。例如，如果剩余功率量低，则功率管理器320可以继续在较低功率模式下操作而不是切换到较高功率模式。
例如，较低功率模式可以使用几赫兹量级(例如，大约1Hz或小于5Hz)的较低占空比，这将功耗降低到几毫瓦(mW)(例如，大约2mW和8mW之间)。另一方面，较高功率模式可以使用几十赫兹(Hz)量级(例如，大约20Hz或大于10Hz)的较高占空比，这导致雷达系统104消耗数毫瓦量级(例如，大约在6mW和20mW之间)的功率。虽然较低功率模式可以用于监测外部环境或检测接近的用户，但是，如果雷达系统104确定用户正开始执行手势，则功率管理器320可以切换到较高功率模式。不同的触发可以使功率管理器320在不同的功率模式之间切换。示例性触发包括运动或缺少运动、用户的出现或消失、用户移入或移出指定区域(例如，由距离、方位角或仰角定义的区域)、与用户关联的运动的速度变化或反射的信号强度的变化(例如，由于雷达横截面的变化)。通常，指示用户与智能电话102交互的低可能性或使用较长的响应延迟来收集数据的偏好的触发可导致激活较低功率模式以节省功率。
功率管理器320还可以通过在不活动的时间段期间关闭收发器306内的一个或多个组件(例如，压控振荡器、复用器、模数转换器、锁相环或晶体振荡器)来节省功率。如果雷达系统104不主动发送或接收雷达信号，则会出现这些不活动的时间段，该时间段可能在微秒(μs)、毫秒(ms)或秒(s)的量级。此外，功率管理器320可以通过调整信号放大器提供的放大量来修改雷达信号的传输功率。另外，功率管理器320可以控制雷达系统104内的不同硬件组件的使用以节省功率。例如，如果处理器308包括较低功率处理器和较高功率处理器(例如，具有不同数量的存储器和计算能力的处理器)，则功率管理器320可以在将较低功率处理器用于低级分析(例如，实现空闲模式、检测运动、确定用户的位置或监视环境)和将较高功率处理器用于其中交互管理器106请求高保真或准确的雷达数据的情况(例如，用于实现注意模式或者交互模式、手势识别或用户定向)之间进行切换。
除了上述内部功率节省技术外，功率管理器320还可以通过激活或停用智能电话102内的其他外部组件或传感器来节省功率。这些外部组件可以包括扬声器、相机传感器、全球定位系统、无线通信收发器、显示器、陀螺仪或加速度计。因为雷达系统104可以使用少量的功率来监测环境，所以功率管理器320可以基于用户所在的位置或用户正在做什么而适当地打开或关闭这些外部组件。以此方式，智能电话102可以无缝地响应用户并且节省功率，而无需使用自动关闭定时器或者用户物理地触摸或口头控制智能电话102。因此所描述的功率管理技术可以用于提供如本文所描述的空闲模式、注意模式和交互模式的各种实施方式。
图5图示智能电话102内的雷达系统104的示例实施方式500的附加细节。在示例500中，天线阵列304位于智能电话102的外部壳体(诸如，玻璃盖或外壳)的下方。取决于其材料特性，外部壳体可以充当衰减器502，其使由雷达系统104发送和接收的雷达信号衰减或失真。衰减器502可以包括不同类型的玻璃或塑料，其中一些可以在智能电话102的显示屏、外部壳体或其他组件内发现并且具有在大约四到十之间的介电常数(例如，相对介电常数)。因此，衰减器502对于雷达信号506是不透明的或半透明的，并且可以使发送或接收的雷达信号506的一部分被反射(如反射部分504所示)。对于常规雷达，衰减器502可以减小可以被监测的有效范围，防止检测到小的目标，或者降低整体精度。
假设雷达系统104的发射功率受到限制，并且不希望重新设计外部壳体，则雷达信号506的一个或多个衰减相关特性(例如，频率子频谱508或转向角度510)或衰减器502的衰减相关特性(例如，衰减器502与雷达系统104之间的距离512或衰减器502的厚度514)被调整以减轻衰减器502的影响。这些特性中的一些可以在制造期间设置或在雷达系统104的操作期间由衰减缓解器314调整。例如，衰减缓解器314可以使收发器306使用所选择的频率子频谱508或转向角度510来发送雷达信号506，使平台将雷达系统104移近或远离衰减器502以改变距离512，或提示用户应用另一个衰减器以增加衰减器502的厚度514。
可以由衰减缓解器314基于衰减器502的预定特性(例如，存储在智能电话102的计算机可读介质204中或系统介质310内的特性)或通过处理雷达信号506的返回以测量衰减器502的一个或多个特性来进行适当的调整。即使某些衰减相关特性是固定的或受约束的，衰减缓解器314仍可以考虑这些限制，以平衡每个参数并实现目标雷达性能。结果，衰减缓解器314使雷达系统104能够实现增强的精度和更大的有效范围，以检测和跟踪位于衰减器502的相对侧的用户。这些技术提供增加发射功率(这增加雷达系统104的发射功率)或改变衰减器502的材料特性(一旦设备投入生产，这可能既困难又昂贵)的替代方案。
图6图示由雷达系统104实现的示例方案600。方案600的部分可以由处理器308、计算机处理器202或其他硬件电路执行。可以定制方案600以支持不同类型的电子设备和基于雷达的应用(例如，交互管理器106)，并且，尽管设计有限制，但也使雷达系统104能够实现目标角度精度。
收发器306基于接收天线单元402对接收到的雷达信号的单独响应来产生原始数据602。接收到的雷达信号可以与由角度估计器318选择的一个或多个频率子频谱604相关联，以促进角度模糊分辨率。例如，可以选择频率子频谱604以减小旁瓣的数量或减小旁瓣的幅度(例如，将幅度减小0.5dB、1dB或更多)。可以基于目标角度精度或雷达系统104的计算限制来确定频率子频谱的数量。
原始数据602包含时间段内的数字信息(例如，同相和正交数据)、不同的波数以及分别与接收天线单元402相关联的多个信道。对原始数据602执行快速傅立叶变换(FFT)606以生成预处理数据608。预处理数据608包括针对不同距离(例如，距离网格)以及针对多个信道跨时间段的数字信息。对预处理数据608执行多普勒滤波过程610以生成距离-多普勒数据612。多普勒滤波过程610可以包括另一FFT，该FFT生成针对多个距离网格、多个多普勒频率以及针对多个信道的幅度和相位信息。数字波束形成器316基于距离-多普勒数据612产生波束形成数据614。波束形成数据614包含针对方位角和/或仰角的集合的数字信息，其表示由数字波束形成器316形成不同的转向角或波束的视场。尽管未描绘，但数字波束形成器316可以可替换地基于预处理数据608生成波束形成数据614，并且多普勒滤波过程610可以基于波束形成数据614生成距离-多普勒数据612。为了减少计算量，数字波束形成器316可以基于感兴趣的距离、时间或多普勒频率间隔来处理距离-多普勒数据612或预处理数据608的一部分。
数字波束形成器316可使用单视波束形成器616、多视干涉仪618或多视波束形成器620来实现。通常，单视波束形成器616可用于确定性对象(例如，具有单相位中心的点源目标)。对于非确定性目标(例如，具有多相位中心的目标)，多视干涉仪618或多视波束形成器620用于相对于单视波束形成器616提高精度。人是非确定性目标的示例并且具有多相位中心622，这些相位中心可以基于不同的视线角(如624-1和624-2所示)而变化。由多相位中心622生成的相长或相消干涉的变化可能给常规雷达准确地确定角位置带来挑战。然而，多视干涉仪618或多视波束形成器620执行相干平均以增加波束形成数据614的精度。多视干涉仪618相干地对两个信道进行平均以生成可用于准确确定角度信息的相位信息。另一方面，多视波束形成器620可以使用线性或非线性波束形成器(诸如，傅立叶、Capon、多信号分类(MUSIC)或最小方差无失真响应(MVDR))相干地平均两个或更多个信道。经由多视波束形成器620或多视干涉仪618提供的增加的精度使雷达系统104能够识别小手势或在用户的多个部分之间进行区分。
角度估计器318分析波束形成数据614以估计一个或多个角位置。角度估计器318可以利用信号处理技术、模式匹配技术或机器学习。角度估计器318还解决了可能由于雷达系统104的设计或雷达系统104监测的视场而导致的角度模糊。在幅度图626(例如，幅度响应)内示出了示例角度模糊。
幅度图626描绘针对目标的不同角位置以及针对不同转向角510可能发生的幅度差。针对位于第一角位置630-1的目标示出第一幅度响应628-1(用实线示出)。同样，针对位于第二角位置630-2的目标示出第二幅度响应628-2(用虚线示出)。在此示例中，在-180度和180度之间的角度上考虑差异。
如幅度图626所示，对于两个角位置630-1和630-2，存在模糊区域。第一幅度响应628-1在第一角位置630-1处具有最高峰，而在第二角度位置630-2处具有较小峰。尽管最高峰对应于目标的实际位置，但较小峰会导致第一角位置630-1模糊，因为它在某个阈值之内，常规雷达可能无法有把握地确定该目标是在第一角位置630-1还是第二角位置630-2。相比之下，第二幅度响应628-2在第二角位置630-2处具有较小峰，而在第一角位置630-1处具有较高峰。在这种情况下，较小峰对应于目标的位置。
尽管常规雷达可能限于使用最高峰值幅度来确定角位置，但是角度估计器318替代地分析幅度响应628-1和628-2的形状的细微差异。形状的特性可以包括例如滚降、峰值或零陷宽度、峰值或零陷的角位置、峰值和零陷的高度或深度、旁瓣形状、幅度响应628-1或628-2中的对称性、或幅度响应628-1或628-2内缺乏对称性。可以在相位响应中分析相似的形状特性，这可以提供附加信息来解决角度模糊。因此，角度估计器318将唯一的角度签名或方向图映射到角位置。
角度估计器318可以包括算法或工具套件，其可以根据智能电话102的类型(例如，计算能力或功率限制)或交互管理器106的目标角度分辨率进行选择。在某些实施方式中，角度估计器318可包括神经网络632、卷积神经网络(CNN)634或长短期记忆(LSTM)网络636。神经网络632可具有各种深度或数量的隐藏层(例如，三个隐藏层、五个隐藏层或十个隐藏层)，并且还可以包括不同数量的连接(例如，神经网络632可以包括完全连接的神经网络或部分连接的神经网络)。在某些情况下，CNN 634可用于增加角度估计器318的计算速度。LSTM网络636可用于使角度估计器318跟踪目标。使用机器学习技术，角度估计器318采用非线性函数来分析幅度响应628-1或628-2的形状并生成角度概率数据638，该数据指示用户或用户的一部分处于在角度格网(angular bin)内的可能性。角度估计器318可以提供一些角度格网(诸如，两个角度格网)的角度概率数据638，以提供目标位于智能电话102左侧或右侧的概率，或者提供数千个角度格网的角度概率数据638(例如，提供用于连续角度测量的角度概率数据638)。
基于角度概率数据638，跟踪器模块640产生角位置数据642，其识别目标的角位置。跟踪器模块640可以基于在角度概率数据638中具有最高概率的角度网格或基于预测信息(例如，先前测量的角度位置信息)来确定目标的角位置。跟踪器模块640还可以跟踪一个或多个移动目标，以使雷达系统104能够置信地区分或识别目标。其他数据也可以用于确定角位置，包括距离、多普勒、速度或加速度。在某些情况下，跟踪器模块640可以包括α-β跟踪器、卡尔曼滤波器、多重假设跟踪器(MHT)等等。
量化器模块644获取角位置数据642，并对该数据进行量化以产生量化的角位置数据646。可以基于用于交互管理器106的目标角分辨率执行量化。在某些情况下，可以使用较少的量化级别，使得量化的角位置数据646指示目标是在智能电话102的右侧还是左侧，或者识别目标位于90度象限内。对于某些基于雷达的应用，诸如，用户接近检测，这可能足够了。在其他情况下，可以使用大量的量化级别，使得量化的角位置数据646在几分之一度、一度、五度等的精度内指示目标的角位置。该分辨率可以用于更高分辨率的基于雷达的应用，诸如手势识别，或者在本文所描述的注意模式或者交互模式的实施方式中。在某些实施方式中，数字波束形成器316、角度估计器318、跟踪器模块640和量化器模块644一起被实现在单个机器学习模块中。
这些和其他能力和配置以及图1至图6的实体动作和互动的方式被阐述如下。所描述的实体可以被进一步划分、组合、与其他传感器或组件一起使用等等。以此方式，具有雷达系统104和非雷达传感器的不同配置的智能电话102的不同实施方式可以用于实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统。图1的示例操作环境100和图2至图6的详细图示仅示出能够采用所描述的技术的许多可能的环境和设备中的一些。
示例方法
图7-11描绘了实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的示例方法700和1000。能够利用使用雷达系统提供雷达场的电子设备来执行方法700和1000。雷达场用于确定对象在雷达场中的存在。雷达场也能够用于确定对象的意图级别，并且意图级别能够用于确定对象是否打算与电子设备交互。基于对对象的意图的确定，电子设备能够进入和退出功能性和功率使用的不同模式。
方法700被示出为一组框，该组框指定所执行的操作，但是不一定限于所示的用于由相应框执行操作的顺序或组合。另外，可以重复、组合、重组或链接这些操作中的任何一个或多个以提供各式各样的附加和/或替代方法。在以下讨论的各部分中，可以参考图1的示例操作环境100或者参考如图2-6中详述的仅作为示例参考的实体或过程。这些技术不限于由一个实体或在一个设备上操作的多个实体来执行。
在702处，提供雷达场。此雷达场能够由各种电子设备中的任一个(例如，上述智能电话102)提供，这些各种电子设备包括雷达系统(例如，雷达系统104)和交互管理器(例如，交互管理器106，其也可以包括3D手势模块116和智能电话功率管理接口118中的任何一者或两者)，或者与之相关联。另外，雷达场可以是各种类型的雷达场中的任一个，诸如上述雷达场110。
在704处，由雷达系统感测来自雷达场中的对象的反射。对象可以是各种对象中的任一个，诸如木材、塑料、金属、织物或有机材料(例如，人，诸如上述对象112，或人的身体部位)。为了清楚，在描述方法700的同时，将对象称为“一个或多个用户”。
在706处，分析来自雷达场中的对象的反射。分析可以由各种实体(例如，雷达系统104、交互管理器106或另一实体)中的任一个执行并且可以包括各种操作或确定，诸如参考图3-6描述的操作或确定。
在708处，基于对反射的分析，提供雷达数据(例如，参考图1-6描述的雷达数据)。雷达数据可以由诸如雷达系统104、交互管理器106或另一实体的各种实体中的任一个提供。在一些实施方式中，雷达系统可以提供雷达数据并将该雷达数据传递到其他实体(例如，所描述的基于雷达的应用、交互管理器或模块中的任一个)。对方法700的描述在图8中继续，如由在图7的框708之后的字母“A”所指示的，该字母“A”与在图8的框710之前的字母“A”相对应。
在710处，(例如，由交互管理器)使雷达系统维持在空闲模式下。如参考图1所指出的，空闲模式可以是需要不超过30毫瓦(mW)的功率的较低功率雷达模式。在一些实现方式中，空闲模式可能需要不同量的功率，诸如约2mW或约8mW。另外，当雷达系统被维持在空闲模式下时，交互管理器也可以使电子设备维持在较低功率状态(例如，睡眠模式或其他省电模式)下。
在712处，基于雷达数据的子集，确定用户在电子设备的感知区内的存在。感知区是雷达系统周围的用户的存在能够由用户在没有言语、触摸或其他输入的情况下准确地确定的区(例如，感知区114)。如参考图1所指出的，感知区可以从雷达系统延伸各种距离中的任一个。用户在感知区内的存在可以由诸如交互管理器的各种实体中的任一个确定。
在714处，响应于确定用户在感知区内，雷达系统能够进入注意模式。雷达系统可以由交互管理器或由另一个实体进入到注意模式中。注意模式是允许雷达系统提供关于感知区内的对象(诸如用户)的其他信息的雷达模式。如参考图1所指出的，注意模式可能需要不超过约60mW的功率。在其他实现方式中，注意模式可能需要不同量的功率，诸如在约8mW与约55mW之间或在约2mW与约20mW之间。另外，当雷达系统被维持在注意模式下时，可以使电子设备维持在可以与空闲模式一起使用的较低功率状态下，或者电子设备可以退出较低功率状态并进入另一功率状态(例如，唤醒模式、活动模式等)。
在716处，响应于电子设备进入注意模式，并且基于雷达数据的另一子集，确定感知区内的用户的意图级别。能够根据能够基于雷达数据的其他子集确定的关于感知区内的用户的各种信息来确定意图级别。例如，当在注意模式下的同时，雷达系统能够提供其他雷达数据(包括雷达数据的一个或多个其他子集)，这些其他雷达数据能够用于如参考图1所描述的那样确定用户相对于电子设备的身体定位或姿势中的任何一者或两者(包括用户的身体定位或姿势的变化)。对方法700的描述在图9中继续，如由在图7的框716之后的字母“B”所指示的，该字母“B”与在图9的框718之前的字母“B”相对应。
在718处，基于意图级别，确定了用户是否打算与电子设备交互。例如，如参考图1所描述的，交互管理器(或另一模块或实体)能够使用意图级别(包括各种不同的非言语身体语言提示、身体定位或身体姿势中的一种或多种)，以确定用户是否打算与电子设备沟通或交互或用户是否不打算与电子设备沟通或交互。
在720处，响应于确定意图级别指示用户不打算与电子设备交互，雷达系统能够退出注意模式并进入空闲模式。雷达系统的模式可以由交互管理器或由另一实体改变。如参考图1所指出的，当雷达系统进入(或重新进入)空闲模式时，电子设备也可以进入较低功率状态。注意，在框714-720中描述的注意模式是任选的。在一些实现方式中，如下所述，当(例如，在框712处)确定用户在电子设备的感知区内的存在时，雷达系统可以退出空闲模式并进入交互模式而不进入注意模式。
在722处，响应于确定意图级别指示用户打算与电子设备交互，雷达系统可以退出注意模式并进入交互模式。如参考图1所指出的，交互模式可能需要不超过约90mW的功率。在其他实现方式中，交互模式可能需要不同量的功率，诸如约55mW或约20mW。另外，如参考图1所描述的，当雷达系统被维持在交互模式下时(例如，在用户与电子设备交互的同时)，电子设备可以退出较低功率状态并且被维持在另一适当的功率模式下。雷达系统可以由交互管理器或由另一实体进入到交互模式中。
交互模式是允许雷达系统提供关于感知区的用户(或其他对象)的附加信息的雷达模式。例如，当在交互模式下的同时，雷达系统能够提供附加雷达数据(包括如本文所描述的雷达数据的一个或多个附加子集)，这些附加雷达数据能够用于使得雷达系统能够确定由用户做出的3D手势并且以使得用户能够经由3D手势与智能电话102交互的方式处理3D手势。例如，如参考图3-6所描述的，雷达系统能够使用雷达场来以实现高分辨率和准确性以进行3D手势识别并且以用于确定身体定位和姿势的方式感测并分析来自雷达场中的对象的反射。
方法1000被示出为一组框，该组框指定所执行的操作，但是不一定限于所示的用于由相应框执行操作的顺序或组合。另外，可以重复、组合、重组或链接这些操作中的任何一个或多个以提供各式各样的附加和/或替代方法。在以下讨论的各部分中，可以参考图1的示例操作环境100或者参考如图2-9中详述的仅作为示例参考的实体或过程。这些技术不限于由一个实体或在一个设备上操作的多个实体来执行。
在1002处，提供雷达场。此雷达场能够由各种电子设备(例如，与在框702处参考方法700描述的那些类似的电子设备)中的任一个提供。
在1004处，由雷达系统感测来自雷达场中的对象的反射(例如，以与在框704处参考方法700描述的方式类似的方式)。为了清楚，在描述方法1000的同时将对象称为“一个或多个用户”。
在1006处，分析来自雷达场中的对象的反射。分析可以由(例如，如在框706处参考方法700所描述的)各种实体中的任一个执行。
在1008处，基于对反射的分析，提供雷达数据(例如，如在框708处参考方法700所描述的)。对方法1000的描述在图11中继续，如由在图10的框1008之后的字母“A”所指示的，该字母“A”与在图11的框1010之前的字母“A”相对应。
在1010处，(例如，由交互管理器)使雷达系统维持在较低功率模式下。较低功率模式可以是如上所述的空闲模式或注意模式或另一较低功率模式。在一些实现方式中，较低功率模式需要不超过约30mW的功率(例如，当较低功率模式是空闲模式时)。在其他实现方式中，较低功率模式需要不超过约60mW的功率(例如，当较低功率模式是注意模式时)。另外，当雷达系统被维持在较低功率模式下时，交互管理器也可以使电子设备维持在较低功率状态(例如，睡眠模式或其他省电模式)下。
在1012处，基于雷达数据的子集，确定用户在电子设备的感知区(例如，在框712处参考方法700描述的感知区)内的存在。
可选地，在1014处，响应于确定用户在感知区内，雷达系统能够进入注意模式。雷达系统可以由交互管理器或由另一实体进入到注意模式中。注意模式可以是允许雷达系统提供关于在电子设备附近(例如，在感知区内)的对象(诸如用户)的其他信息的雷达模式。在一些情况下，注意模式可能需要不超过约60mW的功率。在其他实现方式中，注意模式可能需要不同量的功率，诸如在约8mW与约55mW之间或在约2mW与约20mW之间。另外，当雷达系统被维持在注意模式下时，可以使电子设备维持在可以与空闲模式一起使用的较低功率状态下，或者电子设备可以退出较低功率状态并进入另一功率状态(例如，唤醒模式、活动模式等)。另外，在一些实现方式中，确定感知区内的用户的意图级别，并且基于该意图级别，确定用户是否打算与电子设备交互(例如，如在框716和718处参考方法700所描述的)。响应于确定意图级别指示用户不打算与电子设备交互，雷达系统能够退出注意模式并进入空闲模式(例如，如在框720处参考方法700所描述的)。
在1016处，响应于确定用户在感知区内的存在，雷达系统可以退出空闲模式并进入交互模式。如参考图1所指出的，交互模式可能需要不超过约90mW的功率。在其他实现方式中，交互模式可能需要不同量的功率，诸如约55mW或约20mW。另外，如参考图1所描述的，当雷达系统被维持在交互模式下时(例如，当用户与电子设备交互的同时)，电子设备可以退出较低功率状态并且被维持在另一适当的功率模式下。雷达系统可以由交互管理器或由另一实体进入到交互模式中。
考虑例如图12至图18，图12至图18图示能够实现方法700的附加细节的电子设备的示例实现方式。图12描绘电子设备(在这种情况下为智能电话102，其位于正在利用智能电话102上的应用听音乐的用户1202的口袋中)的示例实现方式1200。智能电话102包括正在提供雷达场110的雷达系统104。在示例实现方式1200中，假定交互管理器(例如，通过确定用户102向智能电话102屈身)已确定用户1202打算与智能电话102交互。作为响应，交互管理器正在使雷达系统维持在交互模式下，使得用户1202能够与智能电话102交互。例如，如图12中所示，用户1202正在通过做出由箭头1024所示的扫掠手势来与智能电话102交互。扫掠手势能够使智能电话102上的音乐应用跳到下一个曲目。
其他3D手势能够用于控制其他特征或应用。例如，一组3D手势能够从一定距离控制多媒体应用(例如，音乐、视频、演示文稿或协作应用和游戏)的播放体验。其他3D手势可以包括用于播放/暂停的空中轻敲、用于调整音量的向上或向下扫掠、用于复制和粘贴文本的捏合手势或用于选择新内容的旋转手势。能够在“投射”上下文中使用相同类型的3D手势。例如，如果用户正在从智能电话102(或另一设备)将内容投射到另一设备(例如，大屏幕电视)，则用户能够经由处于交互模式的智能电话102利用3D手势控制另一设备上的媒体体验。
类似地，图13描绘电子设备(在这种情况下为智能电话102，其位于用户1302附近的工作台上)的示例实现方式1300。智能电话102包括正在提供雷达场110的雷达系统104。在示例实现方式1300中，假定用户1302正在根据在智能电话102上显示的食谱在碗中混合湿配料并且用户的双手沾满湿配料。进一步假定交互管理器(例如，通过确定用户1302向智能电话102倾斜并伸手)已确定用户1302打算与智能电话102交互。作为响应，交互管理器正在使雷达系统维持在交互模式下，使得用户1302能够与智能电话102交互。例如，如图13中所示，用户1302正在通过做出由箭头1304所示的伸手手势来与智能电话102交互。伸手手势能够使智能电话102将所显示的食谱滚动或前进，使得用户1302能够阅读接下来的步骤。
图14描绘电子设备的示例实现方式1400，该电子设备在这种情况下为智能电话102，其正被用户1402举起，该用户正在定位智能电话102以与另一用户1404一起拍照片(例如，“自拍”)。智能电话102包括正在提供雷达场110的雷达系统104。在示例实现方式1000中，假定交互管理器(例如，通过确定用户102向智能电话102伸手)已确定用户1404打算与智能电话102交互。作为响应，交互管理器正在使雷达系统维持在交互模式下，使得用户1404能够与智能电话102交互。例如，如图14中所示，用户1404正在通过做出由箭头1406所示的扫掠手势来与智能电话102交互。扫掠手势能够使智能电话102应用滤镜，调整缩放级别，改变闪光灯设定等。诸如轻敲、扭曲或旋转的其他3D手势可以控制其他相机功能，从而允许用户1402和1404舒适地拍照片，而不用过度伸展或以不自然的方式摆姿势以便触及控件。
图15描绘电子设备(在这种情况下为智能电话102，其正被用户1502握住，该用户正致力于需要使用智能电话102上的多个应用的任务)的示例实现方式1500。智能电话102包括正在提供雷达场110的雷达系统104。在示例实现方式1500中，假定交互管理器(例如，通过确定用户102向智能电话102屈身并拾取智能电话102)已确定用户1002打算与智能电话102交互。作为响应，交互管理器正在使雷达系统维持在交互模式下，使得用户1502能够与智能电话102交互。例如，如图15中所示，用户1502正在通过做出由箭头1504所示的扫掠手势来与智能电话102交互。扫掠手势能够使智能电话102在不同应用之间切换(例如，按时间顺序或以预定义顺序前进和后退)。
图16描绘电子设备(在这种情况下为智能电话102，其位于用户1602附近的床头柜上)的示例实现方式1600。智能电话102包括正在提供雷达场110的雷达系统104。在示例实现方式1600中，假定交互管理器(例如，通过确定用户102向智能电话102伸手)已确定用户1002打算与智能电话102交互。作为响应，交互管理器正在使雷达系统维持在交互模式下，使得用户1602能够与智能电话102交互。例如，在图16中，进一步假定早晨闹钟已唤醒了正在通过做出由箭头1604所示的扫掠手势来与智能电话102交互的用户1602。扫掠手势能够使智能电话102将闹钟关闭或延迟(例如，打盹)，使得用户1602能够准备起床而不必在闹钟界面上查找触摸输入。
图17描绘电子设备(在这种情况下为智能电话102，其位于用户1702附近的工作台上，该用户正在致力于不需要使用智能电话102的任务)的示例实现方式1700。智能电话102包括正在提供雷达场110的雷达系统104。在示例实现方式1700中，假定交互管理器(例如，通过确定用户102向智能电话102伸手，即使用户1702确实未转向智能电话102)已确定用户1002打算与智能电话102交互。作为响应，交互管理器正在使雷达系统维持在交互模式下，使得用户1702能够与智能电话102交互。例如，在图17中，进一步假定智能电话102正在响铃(接听电话呼叫)，但是用户1702不想被打断。用户1702通过做出由箭头1704所示的扫掠手势来与智能电话102交互。扫掠手势能够使智能电话102让振铃器静默或将电话呼叫发送到语音邮件，使得用户1702能够完成当前任务而不必接电话或查找触摸输入。
图18描绘电子设备(在这种情况下为智能电话102，其位于用户1802附近的工作台上，该用户正在与另一用户进餐)的示例实现方式1800。智能电话102包括正在提供雷达场110的雷达系统104。在示例实现方式1800中，假定交互管理器(例如，通过确定用户102向智能电话102伸手，即使用户1802确实未转向智能电话102)已确定用户1002打算与智能电话102交互。作为响应，交互管理器正在使雷达系统维持在交互模式下，使得用户1802能够与智能电话102交互。例如，在图18中，进一步假定智能电话102正在显示通知，但是用户1802不想被打断。用户1802通过做出由箭头1806所示的扫掠手势来与智能电话102交互。扫掠手势能够使智能电话102隐藏并推迟通知，使得用户1802能够享受用餐而不必解决通知或查找触摸输入。
如图12-18中图示的示例中所示，方法700和/或1000的技术能够使得用户能够在不用将智能电话102从口袋或其他容器中取出或者不必触摸智能电话102的情况下与智能电话102交互。这些技术从而提供若干优点。例如，智能电话102(和其他电子设备)的交互空间被扩展到屏幕之外，这在触摸屏幕或其他输入方法会不方便、不安全或不舒服时使电子设备保持有用且可访问。另外，这些技术允许用户快速地访问其电子设备并与之交互(例如，使闹钟或警报静默)，而不会分心，使得用户能够利用经由电子设备可获得的更新和信息，但是尽量保持不分心。
应当注意，用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的这些技术可能比可以其他技术更安全。不仅是未经授权的人通常无法获得3D手势(尤其是用户定义的手势、微手势以及基于姿势或基于方位的手势)(例如，不同于密码)，而且因为用户的雷达图像包括用户的面部，也无法像照片或视频那样在视觉上识别用户。即便如此，除了上述描述之外，还可以给用户提供允许用户做出关于本文献中描述的系统、程序、管理器、模块或特征中的任一个是否且何时可以使得能够收集用户信息(例如，关于用户的社交网络、社交动作或活动、职业、用户的偏好或用户的当前位置的信息)且用户是否并且何时被从服务器发送了内容或通信的选择的控制。此外，某些数据可以在它被存储或使用之前被以一种或多种方式处理，使得个人可识别的信息被移除。例如，可以处理用户的身份，使得对该用户来说不能确定个人可识别的信息，或者可以在获得定位信息的情况下使用户的地理定位一般化(诸如为城市、邮编/邮政编码或州级别)，使得不能够确定用户的特定位置。因此，用户可以控制关于用户收集什么信息、如何使用该信息以及向用户或关于用户提供什么信息。
示例计算系统
图19图示示例计算系统1900的各种组件，该示例计算系统1900可以被实现为参考先前的图1至图18所描述的任何类型的客户端、服务器和/或电子设备以实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统。
计算系统1900包括通信设备1902，其使得能够进行设备数据1904(例如，雷达数据、3D手势数据、认证数据、参考数据、接收到的数据、正在接收的数据、调度用于广播的数据、以及数据的数据分组)的有线和/或无线通信。设备数据1904或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备的用户相关联的信息(例如，雷达场内的人的身份或者定制的手势数据)。存储在计算系统1900上的媒体内容可以包括任何类型的雷达、生物特征、音频、视频和/或图像数据。计算系统1900包括一个或多个数据输入1906，经由该一个或多个数据输入1906，可以接收任何类型的数据、媒体内容和/或输入，诸如，人的言语、与雷达场的交互、触摸输入、用户可选择的输入(显式或隐式)、消息、音乐、电视媒体内容、录制的视频内容以及从任何内容和/或数据源接收到的任何其他类型的音频、视频和/或图像数据。数据输入1906可以包括例如交互管理器106、3D手势模块116、或者智能电话功率管理接口118。
计算系统1900还包括通信接口1908，其可以被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个，以及任何其他类型的通信接口。通信接口1908提供计算系统1900与通信网络之间的连接和/或通信链路，其他电子、计算和通信设备通过该通信网络与计算系统1900传送数据。
计算系统1900包括一个或多个处理器1910(例如，微处理器、控制器或其他控制器中的任何一个)，其可以处理各种计算机可执行指令以控制计算系统1900的操作并且启用用于在较低功率模式下确定用户意图的基于智能电话的雷达系统或者其中能够实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的技术。可替代地或附加地，计算系统1900可以利用结合处理和控制电路实现的硬件、固件或固定逻辑电路中的任何一种或组合来实现，所述处理和控制电路通常在1912处被标识。尽管未示出，但是计算系统1900可以包括系统总线或数据传输系统，其连接设备内的各种组件。系统总线可以包括不同总线结构(诸如，存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任何一种的处理器或本地总线)中的任何一种或不同总线结构的组合。
计算系统1900还包括计算机可读介质1914，诸如，使得能够进行持久和/或非暂时性数据存储(即，与仅信号传输相反)的一个或多个存储器设备，其示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪存、EPROM、EEPROM等中的任何一个或多个)和磁盘存储设备。磁盘存储设备可以实现为任何类型的磁或光存储设备(诸如，硬盘驱动器)、可记录和/或可重写光盘(CD)、任何类型的数字多功能光盘(DVD)等。计算系统1900还可包括大容量存储介质设备(存储介质)1916。
计算机可读介质1914提供数据存储机制以存储设备数据1904以及各种设备应用1918和与计算系统1900的操作方面有关的任何其他类型的信息和/或数据。例如，操作系统1920可以维护为具有计算机可读介质1914的计算机应用，并在处理器1910上执行。设备应用1918可以包括设备管理器(例如，任何形式的控制应用)、软件应用、信号处理和控制模块、特定设备的本机代码、抽象模块、手势识别模块和其他模块。设备应用1918还可以包括系统组件、引擎或管理器，以实现用于在较低功率模式下确定用户意图的基于智能电话的雷达系统，诸如雷达系统104、交互管理器106、3D手势模块116、或者智能电话功率管理接口118。计算系统1900还可包括或有权访问一个或多个机器学习系统。
在下面的段落中描述数个示例。
示例1：一种智能电话，包括：雷达系统，所述雷达系统至少部分地用硬件实现，被配置成：提供雷达场；感测来自所述雷达场中的对象的反射；分析来自所述雷达场中的所述对象的所述反射；并且基于对所述反射的分析提供雷达数据；一个或多个计算机处理器；和上面存储有指令的一个或多个计算机可读介质，所述指令响应于由所述一个或多个计算机处理器执行，实现持久的基于雷达的交互管理器，所述持久的基于雷达的交互管理器被配置成：使所述雷达系统维持在空闲模式下，所述空闲模式需要不超过约30毫瓦的功率；基于所述雷达数据的第一子集，确定所述对象在所述智能电话的感知区内的存在；响应于确定所述对象在所述感知区内的存在，使所述雷达系统进入注意模式，所述注意模式需要不超过约60毫瓦的功率；响应于进入所述注意模式，并且基于所述雷达数据的第二子集，确定所述对象的意图级别；基于所述意图级别，确定所述对象是否打算与所述智能电话交互；响应于确定所述意图级别指示所述对象不打算与所述智能电话交互，使所述雷达系统退出所述注意模式并进入所述空闲模式；并且响应于确定所述意图级别指示所述用户打算与所述智能电话交互，使所述雷达系统退出所述注意模式并进入交互模式，所述交互模式需要不超过约90毫瓦的功率。
示例2：根据示例1所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成响应于使所述雷达系统维持在所述空闲模式下，使所述智能电话维持在省电模式下。
示例3：根据示例2所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成响应于使所述雷达系统进入所述交互模式，使所述智能电话退出所述省电模式。
示例4：根据示例2所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成响应于使所述雷达系统进入所述注意模式，使所述智能电话维持在所述省电模式下。
示例5：根据示例2所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成响应于使所述雷达系统进入所述注意模式，使所述智能电话退出所述省电模式。
示例6：根据前述示例中的任一项所述的智能电话，其中，所述空闲模式需要不超过约八毫瓦的功率。
示例7：根据前述示例中的任一项所述的智能电话，其中，所述注意模式需要介于约八毫瓦的功率与约55毫瓦的功率之间。
示例8：根据示例1所述的智能电话，其中，所述交互模式需要不超过约55毫瓦的功率。
示例9：根据前述示例中的任一项所述的智能电话，其中，所述雷达系统进一步包括数字波束形成器和角度估计器，并且所述雷达系统被配置成监视介于约-90度与约90度之间的视场中的角度。
示例10：根据前述示例中的任一项所述的智能电话，其中：所述空闲模式使得所述雷达系统能够提供所述雷达场以扫描在所述智能电话外部的环境并确定所述对象的存在；以及所述交互模式使得所述雷达系统能够确定由所述对象在所述雷达场中做出的3D手势并且处理所述3D手势，从而有效地使得所述对象能够经由所述3D手势与所述智能电话交互。
示例11：根据前述示例中的任一项所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成：在无需所述用户进行言语或触摸输入的情况下确定所述用户的存在；并且在无需所述用户进行言语或触摸输入的情况下确定所述用户的意图级别。
示例12：根据示例1所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成基于所确定的所述用户的意图级别引起所述智能电话的显示器的状态的变化。
示例13：一种在包括雷达系统的电子设备中实现的方法，所述方法包括：由所述雷达系统提供雷达场；由所述雷达系统感测来自所述雷达场中的对象的反射；分析来自所述雷达场中的所述对象的所述反射；基于对所述反射的分析提供雷达数据；使所述雷达系统维持在空闲模式下，所述空闲模式需要不超过约30毫瓦的功率；基于所述雷达数据的第一子集，确定所述对象在所述电子设备的感知区内的存在；响应于确定所述对象在所述感知区内的存在，使所述雷达系统进入注意模式，所述注意模式需要不超过约60毫瓦的功率；响应于进入所述注意模式，并且基于所述雷达数据的第二子集，确定所述对象的意图级别；基于所述意图级别，确定所述对象是否打算与所述电子设备交互；响应于确定所述意图级别指示所述对象不打算与所述电子设备交互，使所述雷达系统退出所述注意模式并进入所述空闲模式；以及响应于确定所述意图级别指示所述用户打算与所述电子设备交互，使所述雷达系统退出所述注意模式并进入交互模式，所述交互模式需要不超过约90毫瓦的功率。
示例14：根据示例13所述的方法，进一步包括：响应于使所述雷达系统维持在所述空闲模式下，使所述电子设备维持在省电模式下；以及响应于所述雷达系统进入所述交互模式，使所述电子设备退出所述省电模式。
示例15：根据示例14所述的方法，进一步包括，响应于所述雷达系统进入所述注意模式，使所述电子设备维持在所述省电模式下。
示例16：根据示例14所述的方法，进一步包括，响应于所述雷达系统进入所述注意模式，使所述电子设备退出所述省电模式。
示例17：根据示例13-16中的任一项所述的方法，其中，所述空闲模式需要不超过约八毫瓦的功率。
示例18：根据示例13-17中的任一项所述的方法，其中，所述注意模式需要介于约八毫瓦的功率与约55毫瓦的功率之间。
示例19：根据示例13-18中的任一项所述的方法，其中，所述交互模式需要不超过约55毫瓦的功率。
示例20：一种智能电话，包括：雷达系统，所述雷达系统至少部分地用硬件实现，被配置成：提供雷达场；感测来自所述雷达场中的对象的反射；分析来自所述雷达场中的所述对象的所述反射；并且基于对所述反射的分析提供雷达数据；一个或多个计算机处理器；和上面存储有指令的一个或多个计算机可读介质，所述指令响应于由所述一个或多个计算机处理器执行，实现持久的基于雷达的交互管理器，所述持久的基于雷达的交互管理器被配置成：使所述雷达系统维持在较低功率模式下，所述较低功率模式需要不超过约30毫瓦的功率；基于所述雷达数据的第一子集，确定所述对象在所述电子设备的感知区内的存在；并且响应于确定所述对象在所述感知区内的存在，使所述雷达系统退出所述较低功率模式并进入交互模式，所述交互模式需要不超过约90毫瓦的功率。
示例21：一种在包括雷达系统的电子设备中实现的方法，所述方法包括：由所述雷达系统提供雷达场；由所述雷达系统感测来自所述雷达场中的对象的反射；分析来自所述雷达场中的所述对象的所述反射；基于对所述反射的分析提供雷达数据；使所述雷达系统维持在较低功率模式下，所述较低功率模式需要不超过约30毫瓦的功率；基于所述雷达数据的第一子集，确定所述对象在所述电子设备的感知区内的存在；以及响应于确定所述对象在所述感知区内的存在，使所述雷达系统退出所述较低功率模式并进入交互模式，所述交互模式需要不超过约90毫瓦的功率。
示例22：根据示例21所述的方法，其中，所述较低功率模式是空闲模式或注意模式。
结论
尽管已经以专用于特征和/或方法的语言描述了用于启用用于在较低功率模式下确定用户意图的基于智能电话的雷达系统的技术和装置的实施方式，但是应该理解，所附权利要求的主题并不一定限于所描述的特定特征或方法。相反，公开了特定的特征和方法作为实现启用在较低功率模式下确定用户意图的基于智能电话的雷达系统的示例实施方式。

Claims (22)

1.一种智能电话，包括：
雷达系统，所述雷达系统至少部分地用硬件实现，被配置成：
提供雷达场；
感测来自所述雷达场中的对象的反射；
分析来自所述雷达场中的所述对象的所述反射；并且
基于对所述反射的分析提供雷达数据；
一个或多个计算机处理器；和
一个或多个计算机可读介质，所述计算机可读介质上存储有指令，所述指令响应于由所述一个或多个计算机处理器执行，实现持久的基于雷达的交互管理器，所述持久的基于雷达的交互管理器被配置成：
使所述雷达系统维持在空闲模式下，所述空闲模式需要不超过约30毫瓦的功率；
基于所述雷达数据的第一子集，确定所述对象在所述智能电话的感知区内的存在；
响应于确定所述对象在所述感知区内的存在，使所述雷达系统进入注意模式，所述注意模式需要不超过约60毫瓦的功率；
响应于进入所述注意模式，并且基于所述雷达数据的第二子集，确定所述对象的意图级别；
基于所述意图级别，确定所述对象是否打算与所述智能电话交互；
响应于确定所述意图级别指示所述对象不打算与所述智能电话交互，使所述雷达系统退出所述注意模式并进入所述空闲模式；并且
响应于确定所述意图级别指示所述用户打算与所述智能电话交互，使所述雷达系统退出所述注意模式并进入交互模式，所述交互模式需要不超过约90毫瓦的功率。
2.根据权利要求1所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成响应于使所述雷达系统维持在所述空闲模式下，使所述智能电话维持在省电模式下。
3.根据权利要求2所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成响应于使所述雷达系统进入所述交互模式，使所述智能电话退出所述省电模式。
4.根据权利要求2所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成响应于使所述雷达系统进入所述注意模式，使所述智能电话维持在所述省电模式下。
5.根据权利要求2所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成响应于使所述雷达系统进入所述注意模式，使所述智能电话退出所述省电模式。
6.根据权利要求1所述的智能电话，其中，所述空闲模式需要不超过约八毫瓦的功率。
7.根据权利要求1所述的智能电话，其中，所述注意模式需要介于约八毫瓦的功率与约55毫瓦的功率之间。
8.根据权利要求1所述的智能电话，其中，所述交互模式需要不超过约55毫瓦的功率。
9.根据权利要求1所述的智能电话，其中，所述雷达系统进一步包括数字波束形成器和角度估计器，并且所述雷达系统被配置成监视介于约-90度与约90度之间的视场中的角度。
10.根据权利要求1所述的智能电话，其中：
所述空闲模式使得所述雷达系统能够提供所述雷达场以扫描在所述智能电话外部的环境并确定所述对象的存在；以及
所述交互模式使得所述雷达系统能够确定由所述对象在所述雷达场中做出的3D手势并且处理所述3D手势，从而有效地使得所述对象能够经由所述3D手势与所述智能电话交互。
11.根据权利要求1所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成：
在无需所述用户进行言语或触摸输入的情况下确定所述用户的存在；并且
在无需所述用户进行言语或触摸输入的情况下确定所述用户的意图级别。
12.根据权利要求1所述的智能电话，其中，所述持久的基于雷达的交互管理器被进一步配置成基于所确定的所述用户的意图级别引起所述智能电话的显示器的状态的变化。
13.一种在包括雷达系统的电子设备中实现的方法，所述方法包括：
由所述雷达系统提供雷达场；
由所述雷达系统感测来自所述雷达场中的对象的反射；
分析来自所述雷达场中的所述对象的所述反射；
基于对所述反射的分析提供雷达数据；
使所述雷达系统维持在空闲模式下，所述空闲模式需要不超过约30毫瓦的功率；
基于所述雷达数据的第一子集，确定所述对象在所述电子设备的感知区内的存在；
响应于确定所述对象在所述感知区内的存在，使所述雷达系统进入注意模式，所述注意模式需要不超过约60毫瓦的功率；
响应于进入所述注意模式，并且基于所述雷达数据的第二子集，确定所述对象的意图级别；
基于所述意图级别，确定所述对象是否打算与所述电子设备交互；
响应于确定所述意图级别指示所述对象不打算与所述电子设备交互，使所述雷达系统退出所述注意模式并进入所述空闲模式；以及
响应于确定所述意图级别指示所述用户打算与所述电子设备交互，使所述雷达系统退出所述注意模式并进入交互模式，所述交互模式需要不超过约90毫瓦的功率。
14.根据权利要求13所述的方法，进一步包括：
响应于使所述雷达系统维持在所述空闲模式下，使所述电子设备维持在省电模式下；以及
响应于所述雷达系统进入所述交互模式，使所述电子设备退出所述省电模式。
15.根据权利要求14所述的方法，进一步包括，响应于所述雷达系统进入所述注意模式，使所述电子设备维持在所述省电模式下。
16.根据权利要求14所述的方法，进一步包括，响应于所述雷达系统进入所述注意模式，使所述电子设备退出所述省电模式。
17.根据权利要求13所述的方法，其中，所述空闲模式需要不超过约八毫瓦的功率。
18.根据权利要求13所述的方法，其中，所述注意模式需要介于约八毫瓦的功率与约55毫瓦的功率之间。
19.根据权利要求13所述的方法，其中，所述交互模式需要不超过约55毫瓦的功率。
20.一种智能电话，包括：
雷达系统，所述雷达系统至少部分地用硬件实现，被配置成：
提供雷达场；
感测来自所述雷达场中的对象的反射；
分析来自所述雷达场中的所述对象的所述反射；并且
基于对所述反射的分析提供雷达数据；
一个或多个计算机处理器；和
一个或多个计算机可读介质，所述计算机可读介质上存储有指令，所述指令响应于由所述一个或多个计算机处理器执行，实现持久的基于雷达的交互管理器，所述持久的基于雷达的交互管理器被配置成：
使所述雷达系统维持在较低功率模式下，所述较低功率模式需要不超过约30毫瓦的功率；
基于所述雷达数据的第一子集，确定所述对象在所述电子设备的感知区内的存在；并且
响应于确定所述对象在所述感知区内的存在，使所述雷达系统退出所述较低功率模式并进入交互模式，所述交互模式需要不超过约90毫瓦的功率。
21.一种在包括雷达系统的电子设备中实现的方法，所述方法包括：
由所述雷达系统提供雷达场；
由所述雷达系统感测来自所述雷达场中的对象的反射；
分析来自所述雷达场中的所述对象的所述反射；
基于对所述反射的分析提供雷达数据；
使所述雷达系统维持在较低功率模式下，所述较低功率模式需要不超过约30毫瓦的功率；
基于所述雷达数据的第一子集，确定所述对象在所述电子设备的感知区内的存在；以及
响应于确定所述对象在所述感知区内的存在，使所述雷达系统退出所述较低功率模式并进入交互模式，所述交互模式需要不超过约90毫瓦的功率。
22.根据权利要求21所述的方法，其中，所述较低功率模式是空闲模式或注意模式。
CN201980017941.7A 2018-10-22 2019-09-27 用于在较低功率模式下确定用户意图的基于智能电话的雷达系统 Active CN111868664B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/166,900 2018-10-22
US16/166,900 US10788880B2 (en) 2018-10-22 2018-10-22 Smartphone-based radar system for determining user intention in a lower-power mode
PCT/US2019/053602 WO2020086215A1 (en) 2018-10-22 2019-09-27 Smartphone-based radar system for determining user intention in a lower-power mode

Publications (2)

Publication Number Publication Date
CN111868664A true CN111868664A (zh) 2020-10-30
CN111868664B CN111868664B (zh) 2024-09-24

Family

ID=68290351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017941.7A Active CN111868664B (zh) 2018-10-22 2019-09-27 用于在较低功率模式下确定用户意图的基于智能电话的雷达系统

Country Status (4)

Country Link
US (3) US10788880B2 (zh)
EP (2) EP4216037A1 (zh)
CN (1) CN111868664B (zh)
WO (1) WO2020086215A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406572A (zh) * 2021-06-23 2021-09-17 四川九洲电器集团有限责任公司 一种雷达并行处理系统及方法、存储介质、终端

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11194398B2 (en) 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
DE112019007085T5 (de) 2019-03-27 2022-01-20 Intel Corporation Intelligente Anzeigetafeleinrichtung und verwandte Verfahren
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11693086B2 (en) * 2019-06-28 2023-07-04 Google Llc Smart device with an integrated radar system
KR20190102147A (ko) * 2019-08-14 2019-09-03 엘지전자 주식회사 사용자 근접 검출 장치 및 방법
US11543873B2 (en) * 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
US11467254B2 (en) * 2020-02-27 2022-10-11 Samsung Electronics Co., Ltd. Method and apparatus of radar-based activity detection
CN113495267B (zh) * 2020-04-07 2024-06-21 北京小米移动软件有限公司 雷达天线阵列、移动终端、手势识别方法及装置
US11442608B1 (en) 2021-08-06 2022-09-13 Google Llc Preserving engagement state based on contextual signals
US20230087202A1 (en) * 2021-09-17 2023-03-23 Ford Global Technologies, Llc Augmented Reality And Touch-Based User Engagement Parking Assist
US11963110B2 (en) 2021-10-26 2024-04-16 Dell Products Lp Method and apparatus for detecting, managing antenna proximity, and user privacy by sharing radar sensing telemetry
US11775057B1 (en) * 2022-05-25 2023-10-03 Microsoft Technology Licensing, Llc Head-mounted display operation based on face tracking
WO2024072463A1 (en) * 2022-09-30 2024-04-04 Google Llc Radar-based gesture determination at long ranges
WO2024096392A1 (ko) * 2022-11-02 2024-05-10 삼성전자주식회사 적어도 하나의 객체에 대한 연속적인 빔포밍을 수행하는 웨어러블 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150277569A1 (en) * 2014-03-28 2015-10-01 Mark E. Sprenger Radar-based gesture recognition
US20160252607A1 (en) * 2015-02-27 2016-09-01 Texas Instruments Incorporated Gesture Recognition using Frequency Modulated Continuous Wave (FMCW) Radar with Low Angle Resolution
US20170097413A1 (en) * 2015-10-06 2017-04-06 Google Inc. Radar-Enabled Sensor Fusion
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection

Family Cites Families (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1323087C (en) 1988-01-19 1993-10-12 Helmut Hans Lanziner Marine navigation and positioning system
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
JPH11338120A (ja) 1998-05-27 1999-12-10 Dainippon Screen Mfg Co Ltd レイアウト装置
US7511630B2 (en) 1999-05-04 2009-03-31 Intellimat, Inc. Dynamic electronic display system with brightness control
US6971072B1 (en) 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
JP3518431B2 (ja) 1999-07-21 2004-04-12 トヨタ自動車株式会社 物体検出装置及びシステム
US7085253B2 (en) 2001-11-02 2006-08-01 Samsung Electronics Co., Ltd. System and method for notifying a user of the status of other mobile terminals
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7434169B2 (en) 2002-11-25 2008-10-07 Aol Llc, A Delaware Limited Liability Company Facilitating communications between computer users across a network
IL156629A0 (en) 2003-06-25 2004-01-04 A method and a system for control over unauthorized persons
US7199749B2 (en) 2003-12-12 2007-04-03 Georgia Tech Research Corporation Radar detection device employing a scanning antenna system
US7301494B2 (en) 2004-05-03 2007-11-27 Jeffrey Waters Combination cellular telephone and radar detector
JP2006013819A (ja) 2004-06-24 2006-01-12 Fujitsu Ltd レーダ用レフレクタ
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
EP2296079A3 (en) 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
TW200731743A (en) 2006-02-15 2007-08-16 Asustek Comp Inc Mobile device capable of adjusting volume dynamically and related method
US20080029316A1 (en) 2006-08-07 2008-02-07 Denny Jaeger Method for detecting position of input devices on a screen using infrared light emission
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8723811B2 (en) 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
JP5134409B2 (ja) 2008-03-27 2013-01-30 日本写真印刷株式会社 プレゼンテーションシステム
US20090322690A1 (en) 2008-06-30 2009-12-31 Nokia Corporation Screen display
JP2010038607A (ja) 2008-08-01 2010-02-18 Hitachi Ltd 検出装置および鉄道車両
TWI384850B (zh) 2008-12-25 2013-02-01 Inventec Appliances Corp 手機及自動切換手機來電提示之方法
US8243724B2 (en) 2009-02-18 2012-08-14 MBTE Holdings Sweden AB Enhanced calling features
US7924212B2 (en) 2009-08-10 2011-04-12 Robert Bosch Gmbh Method for human only activity detection based on radar signals
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
KR20110101585A (ko) 2010-03-09 2011-09-16 삼성전자주식회사 휴대용 단말기의 화면 전환 장치 및 방법
US20110237274A1 (en) 2010-03-25 2011-09-29 Palm, Inc. Mobile computing device having relative positioning circuit
US8860672B2 (en) 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR101330811B1 (ko) 2010-08-25 2013-11-18 주식회사 팬택 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US8723986B1 (en) 2010-11-04 2014-05-13 MCube Inc. Methods and apparatus for initiating image capture on a hand-held device
TW201228332A (en) 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
US20120235855A1 (en) * 2011-03-18 2012-09-20 University Of Florida Research Foundation Inc. Advanced low power personnel/vehicle detecting radar
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US8803697B2 (en) 2011-05-13 2014-08-12 Nokia Corporation Detecting movement for determining characteristics of user notification
KR101853277B1 (ko) 2011-07-18 2018-04-30 삼성전자 주식회사 통화 중 응용 프로그램 실행 방법 및 이를 지원하는 모바일 단말기
EP2560145A3 (en) 2011-08-18 2017-03-15 Layar B.V. Methods and systems for enabling the creation of augmented reality content
US20130053007A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US20130057571A1 (en) 2011-09-02 2013-03-07 Nokia Siemens Networks Oy Display Orientation Control
KR20190133080A (ko) 2011-09-19 2019-11-29 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
EP2575006B1 (en) 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US20180032997A1 (en) 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
JP2014534405A (ja) 2011-10-21 2014-12-18 ネスト・ラブズ・インコーポレイテッド ユーザフレンドリーな、ネットワーク接続された学習サーモスタットならびに関連するシステムおよび方法
US20130120458A1 (en) 2011-11-16 2013-05-16 Microsoft Corporation Detecting screen orientation by using one or more proximity sensors
JP2013125328A (ja) 2011-12-13 2013-06-24 Stella Green Corp 拡張現実感表示方法
KR101371547B1 (ko) 2012-03-08 2014-03-07 삼성전자주식회사 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법
CN103383607B (zh) 2012-05-02 2017-03-01 国际商业机器公司 用于对触摸屏设备中的所显示内容进行钻取的方法和系统
US9494973B2 (en) 2012-05-09 2016-11-15 Blackberry Limited Display system with image sensor based display orientation
JP5477424B2 (ja) 2012-07-02 2014-04-23 沖電気工業株式会社 物体検知装置、物体検知方法及びプログラム
US20140046922A1 (en) 2012-08-08 2014-02-13 Microsoft Corporation Search user interface using outward physical expressions
DE112013006096T5 (de) * 2012-12-19 2015-08-27 Sony Corporation Verfahren zum Betreiben einer tragbaren Abtasteinrichtung und eine tragbare Abtasteinrichtung
US9632584B2 (en) 2013-01-08 2017-04-25 2236008 Ontario Inc. On-demand user control
WO2014125482A1 (en) 2013-02-12 2014-08-21 Inuitive Ltd. System and method for combining touch and gesture in a three dimensional user interface
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
KR102091028B1 (ko) 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
JP5790692B2 (ja) 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140315531A1 (en) 2013-04-17 2014-10-23 Donald Joong System & method for enabling or restricting features based on an attention challenge
US9075435B1 (en) 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
WO2014181326A1 (en) 2013-05-08 2014-11-13 Geva Ran Motion-based message display
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20140347188A1 (en) 2013-05-22 2014-11-27 Motorola Mobility Llc Auto-adjust of indication characteristics based on user proximity
TWI547626B (zh) 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US9058738B1 (en) * 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20150036999A1 (en) 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
JP2017504796A (ja) 2013-12-18 2017-02-09 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 対象物の光学的検出に使用するターゲットデバイス
EP2887092A1 (en) 2013-12-18 2015-06-24 BAE SYSTEMS plc Computing radar cross section
US20150187137A1 (en) 2013-12-31 2015-07-02 Daqri, Llc Physical object discovery
JP5899251B2 (ja) 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置
US20160118036A1 (en) 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US10338800B2 (en) 2014-02-21 2019-07-02 FLIR Belgium BVBA Enhanced pilot display systems and methods
JP6417104B2 (ja) 2014-04-16 2018-10-31 株式会社日立システムズ テキスト編集装置、テキスト編集方法、及びプログラム
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10367950B2 (en) 2014-06-11 2019-07-30 Lenovo (Singapore) Pte. Ltd. Device notification adjustment dependent on user proximity
US20150370472A1 (en) 2014-06-19 2015-12-24 Xerox Corporation 3-d motion control for document discovery and retrieval
US9497592B2 (en) 2014-07-03 2016-11-15 Qualcomm Incorporated Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person
US9600177B2 (en) 2014-07-17 2017-03-21 Google Technology Holdings LLC Electronic device with gesture display control and corresponding methods
KR20160012410A (ko) 2014-07-24 2016-02-03 삼성전자주식회사 전자 장치 및 이의 출력 제어 방법
WO2016017978A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
JP2016035625A (ja) 2014-08-01 2016-03-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
WO2016032806A1 (en) 2014-08-26 2016-03-03 Apple Inc. User interface for limiting notifications and alerts
CN204145834U (zh) 2014-09-26 2015-02-04 生迪光电科技股份有限公司 智能照明装置及照明系统
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US20160103655A1 (en) 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
US9911235B2 (en) 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
TWI514193B (zh) 2014-12-25 2015-12-21 Univ Nat Sun Yat Sen 動作感測裝置
CN104793731A (zh) 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备
KR102256676B1 (ko) 2015-02-06 2021-05-26 삼성전자주식회사 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스
US10168785B2 (en) 2015-03-03 2019-01-01 Nvidia Corporation Multi-sensor based user interface
JP2016205907A (ja) 2015-04-20 2016-12-08 株式会社Ｉｈｉエアロスペース コーナーリフレクタ、及び該コーナーリフレクタを備えたデコイシステム。
KR102236958B1 (ko) 2015-04-30 2021-04-05 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10139916B2 (en) 2015-04-30 2018-11-27 Google Llc Wide-field radar-based gesture recognition
US10134368B2 (en) 2015-06-04 2018-11-20 Paypal, Inc. Movement based graphical user interface
JP6595597B2 (ja) 2015-07-29 2019-10-23 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US9691361B2 (en) 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
JP6515028B2 (ja) 2015-12-18 2019-05-15 本田技研工業株式会社 車両用操作装置
US11558848B2 (en) 2016-03-30 2023-01-17 Lenovo (Singapore) Pte. Ltd. Intelligent notification delivery
US10687184B2 (en) * 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
US10613213B2 (en) * 2016-05-13 2020-04-07 Google Llc Systems, methods, and devices for utilizing radar with smart devices
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
US20170349184A1 (en) 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10353478B2 (en) 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
US20180018965A1 (en) 2016-07-12 2018-01-18 Bose Corporation Combining Gesture and Voice User Interfaces
US20180052520A1 (en) 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US10299290B2 (en) * 2016-09-30 2019-05-21 Intel IP Corporation Apparatus, system and method of radar detection
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
KR101847295B1 (ko) 2016-10-31 2018-05-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US10726835B2 (en) 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller
JP2018116653A (ja) 2017-01-20 2018-07-26 株式会社デンソーテン 識別装置、識別システム、および識別方法
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
US10845477B2 (en) * 2017-05-10 2020-11-24 Google Llc Power management using a low-power radar
US10719870B2 (en) 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
WO2019056393A1 (zh) 2017-09-25 2019-03-28 华为技术有限公司 一种终端界面的显示方法及终端
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
CN108334199A (zh) 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
US10796157B2 (en) 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US10579154B1 (en) * 2018-08-20 2020-03-03 Google Llc Smartphone-based radar system detecting user gestures using coherent multi-look radar processing
US10794997B2 (en) * 2018-08-21 2020-10-06 Google Llc Smartphone-based power-efficient radar processing and memory provisioning for detecting gestures
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150277569A1 (en) * 2014-03-28 2015-10-01 Mark E. Sprenger Radar-based gesture recognition
US20160252607A1 (en) * 2015-02-27 2016-09-01 Texas Instruments Incorporated Gesture Recognition using Frequency Modulated Continuous Wave (FMCW) Radar with Low Angle Resolution
US20170097413A1 (en) * 2015-10-06 2017-04-06 Google Inc. Radar-Enabled Sensor Fusion
US20170289766A1 (en) * 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406572A (zh) * 2021-06-23 2021-09-17 四川九洲电器集团有限责任公司 一种雷达并行处理系统及方法、存储介质、终端
CN113406572B (zh) * 2021-06-23 2022-08-26 四川九洲电器集团有限责任公司 一种雷达并行处理系统及方法、存储介质、终端

Also Published As

Publication number Publication date
US10788880B2 (en) 2020-09-29
EP3750034A1 (en) 2020-12-16
EP3750034B1 (en) 2023-04-12
EP4216037A1 (en) 2023-07-26
US12111713B2 (en) 2024-10-08
CN111868664B (zh) 2024-09-24
US20200125158A1 (en) 2020-04-23
WO2020086215A1 (en) 2020-04-30
US20220269329A1 (en) 2022-08-25
US11314312B2 (en) 2022-04-26
US20210026434A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN111868664B (zh) 用于在较低功率模式下确定用户意图的基于智能电话的雷达系统
CN111149079B (zh) 智能电话和在电子设备中实现的方法
KR102479012B1 (ko) 일시정지된 레이더 제스처에 대한 시각적 표시자
TWI781479B (zh) 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統
US11169615B2 (en) Notification of availability of radar-based input for electronic devices
CN112753005B (zh) 移动设备的输入方法
US20210064145A1 (en) Detecting and Processing Unsuccessfully Recognized or Unsuccessfully Utilized Non-Contact Gestures for a Computing System
JP7433397B2 (ja) 異なる電力モードをマルチモードインターフェイスに適用するためのモバイルデバイスベースのレーダーシステム
CN113924568A (zh) 基于雷达的认证状态反馈
CN113614676A (zh) 用于提供多模式界面的基于移动设备的雷达系统及其方法
CN111512276A (zh) 用于基于雷达的应用的雷达图像整形器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant