CN111766943A - 包括雷达系统的智能电话、系统和方法 - Google Patents

包括雷达系统的智能电话、系统和方法 Download PDF

Info

Publication number
CN111766943A
CN111766943A CN202010434459.8A CN202010434459A CN111766943A CN 111766943 A CN111766943 A CN 111766943A CN 202010434459 A CN202010434459 A CN 202010434459A CN 111766943 A CN111766943 A CN 111766943A
Authority
CN
China
Prior art keywords
radar
display
user
radar system
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010434459.8A
Other languages
English (en)
Inventor
莱昂纳多·朱斯蒂
伊万·波派列夫
帕特里克·M·阿米胡德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111766943A publication Critical patent/CN111766943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/424—Stacked beam radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/288—Coherent receivers
    • G01S7/2883—Coherent receivers using FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

本文档描述了实现包括雷达系统的智能电话、系统和方法的技术和系统。该技术和系统使用雷达场来准确确定可用于与呈现在电子设备(诸如，智能电话)的显示器上的增强现实(AR)对象进行交互的三维(3D)手势。这些技术允许用户远距离做出3D手势——用户在触摸屏幕时不必握住电子设备，并且手势不会妨碍用户查看呈现在显示器上的AR对象。

Description

包括雷达系统的智能电话、系统和方法
分案说明
本申请属于申请日为2019年8月5日的中国发明专利申请201980004742.2的分案申请。
技术领域
本公开一般地涉及包括雷达系统的智能电话、系统和方法。
背景技术
电子设备(诸如，智能电话)被用于通信、导航、购物、玩游戏、增强现实(AR)交互以及许多其他功能。用户通常利用触摸输入与其电子设备上的应用进行交互。由于这些应用可以提供广泛的功能，因此用户提供多级或其他方式的复杂输入的需求变得越来越普遍。当手势是通过设备表面(诸如，触摸屏和触摸板)做出时，手势识别技术已经成功实现了与电子设备的复杂度较低的手势交互。然而，与电子设备进行交互以利用触摸输入界面提供更复杂的输入可能是不方便、无效和不舒适的。
特别地，AR环境可能给用户带来挑战。使用二维(2D)触摸屏来操纵三维(3D)对象可能很困难。例如，要操作与特定真实对象有关的3D AR对象，用户必须使用一只手保持电子设备稳定(这样，AR对象仍保持框入在显示器中)，而使用另一只手经由2D触摸屏与AR对象交互。这可能会导致挫败感、不适以及不准确或不完整的输入。因此，由于触摸输入方法的局限性，用户可能无法实现其电子设备的全部潜力。
发明内容
本文档描述实现包括雷达系统的智能电话、系统和方法的技术和系统。该技术和系统使用雷达场来准确地确定可用于与呈现在电子设备(诸如，智能电话)的显示器上的增强现实(AR)对象进行交互的三维(3D)手势。这些技术允许用户远距离做出3D手势——用户在触摸屏幕时不必握住电子设备，并且手势不会妨碍用户查看呈现在显示器上的AR对象。
以下描述的各方面包括一种智能电话，该智能电话包括显示器、雷达系统、一个或多个计算机处理器以及一个或多个计算机可读介质。雷达系统至少部分地以硬件实现，并提供雷达场。雷达系统还感测来自雷达场中的对象的反射，并分析来自雷达场中的对象的反射。雷达系统进一步基于对反射的分析来提供雷达数据。一个或多个计算机可读介质包括可以由一个或多个计算机处理器执行以实现基于雷达的应用的存储指令。基于雷达的应用通过智能电话的显示屏呈现增强现实(AR)元素。AR元素包括触摸输入控件并且与真实对象有关。真实对象的图像呈现在智能电话的显示器上。响应于基于雷达数据确定雷达场中的对象正朝着显示器移动，基于雷达的应用将触摸输入控件保持在显示器上的固定位置。
以下描述的各方面还包括一种系统，该系统包括电子设备，该电子设备包括显示器、雷达系统、一个或多个计算机处理器以及一个或多个计算机可读介质。雷达系统至少部分地以硬件实现，并提供雷达场。雷达系统在第一时间感测到雷达场中的对象的反射。雷达系统还分析雷达场中的对象的反射，并基于对反射的分析提供雷达数据。一个或多个计算机可读介质包括可以由一个或多个计算机处理器执行以实现基于雷达的应用的存储指令。基于雷达的应用通过电子设备的显示器呈现增强现实(AR)元素。基于雷达的应用还在晚于第一时间的第二时间接收选择AR元素的输入。此外，基于雷达的应用基于雷达数据确定雷达场中的对象的手势，并执行与所述选择的AR元素有关的动作。所执行的动作对应于确定的手势。
以下描述的各方面还包括一种在电子设备中实现的方法，该电子设备包括显示器、雷达系统和基于雷达的应用。该方法包括由雷达系统提供雷达场，并由雷达系统感测来自雷达场中的对象的反射。该方法还包括分析来自雷达场中的对象的反射，并基于对反射的分析由雷达系统提供雷达数据。该方法还包括由基于雷达的应用通过电子设备的显示器呈现增强现实(AR)元素。AR元素包括触摸输入控件，并且与真实对象有关，真实对象的图像呈现在显示器上。响应于基于雷达数据确定雷达场中的对象正朝着显示器移动，将触摸输入控件维持在显示器上的固定位置。
以下描述的各方面还包括一种系统，该系统包括电子设备和用于提供雷达场并确定雷达场中的对象正朝着电子设备移动的装置。该系统通过电子设备的显示器呈现增强现实(AR)元素。AR元素包括触摸输入控件并且与真实对象有关，真实对象的图像呈现在电子设备的显示器上。该系统进一步包括用于响应于确定雷达场中的对象正朝着显示器移动而将触摸输入控制保持在电子设备的显示器上的固定位置的装置。
提供本发明内容以介绍与包括雷达系统的智能电话、系统和方法有关的简化概念，这将在下面的具体实施方式和附图中进一步描述。本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
附图说明
在本文档中参考以下附图描述包括雷达系统的智能电话、系统和方法的一个或多个方面的细节。在所有附图中，相同的数字用于引用相似的特征和组件：
图1图示其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的示例环境。
图2图示包括雷达系统并且可以实现包括雷达系统的智能电话、系统和方法的图1的智能电话的示例实施方式。
图3图示图2的雷达系统的示例实施方式。
图4图示图3的雷达系统的接收天线单元的示例布置。
图5图示图2的雷达系统的示例实现的附加细节。
图6图示可以由图2的雷达系统实现的示例方案。
图7图示其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的另一示例环境。
图8图示图7的雷达系统的示例实施方式，其描述关于使用三维(3D)手势以实现包括雷达系统的智能电话、系统和方法的雷达系统的能力的附加细节。
图9图示图7的雷达系统的另一示例实施方式，其描述关于使用3D手势以实现包括雷达系统的智能电话、系统和方法的雷达系统的能力的更多细节。
图10和11描绘实现包括雷达系统的智能电话、系统和方法的示例方法。
图12图示图10和11的方法的附加细节。
图13图示可以实施的或在其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的示例计算系统。
具体实施方式
概述
本文档描述实现包括雷达系统的智能电话、系统和方法的技术和系统。如上所述，因为很难使用二维(2D)触摸屏来操纵三维(3D)对象，所以使用触摸输入界面为增强现实(AR)应用进行复杂的输入可能具有挑战性。因此，由于触摸输入方法的局限性，用户可能无法实现其AR应用的全部潜力。该技术和系统采用雷达场来准确地确定三维(3D)手势(例如，在由雷达场照射的3D空间内在任何方向上包括一个或多个运动的手势)。3D手势可用于与增强现实(AR)对象进行交互。除非通过特定上下文另外指示，否则增加的准确度是指增加的改进程度、增加的对真实的符合度、或增加的改进程度和增加的对真实的符合度两者。因为该技术和系统使用雷达场来使电子设备能够识别在电子设备周围的3D空间中做出的手势，所以用户不必触摸屏幕或妨碍查看呈现在显示器上的对象。
该技术和系统可使电子设备能够识别AR环境中的3D手势和二维(2D)触摸输入。通常，AR内容与真实对象有关。因此，当用户四处移动设备以查看启用了AR的真实对象时，可以将AR内容作为2D触摸输入控件呈现在显示器上，同时将真实对象框入在显示器中。例如，家具店中的装饰植物的AR内容可能包括产品信息和购买选项。使用具有所描述的技术的雷达场，电子设备可以确定用户正在接近显示器上的2D触摸输入控件，并在特定位置处将触摸输入控件固定或锁定到2D触摸屏。即使用户移动电子设备使得真实对象不再被框入在显示器中，这也允许用户与控件进行交互。另外，该技术和系统可使设备能够确定可以用于在三个维度上操纵AR对象的3D手势。从而，该技术通过启用方便自然的3D手势以与3D对象进行交互而不必妨碍用户的查看，提高了使用AR应用时的用户的效率、工作流程和娱乐性。
例如，考虑一种电子设备，该电子设备包括基于雷达的应用，该基于雷达的应用具有在购物时提供附加功能的AR界面。例如，基于雷达的应用可以允许用户查看商店中的真实对象并显示与真实对象相关联的AR对象，诸如，虚拟价格标签或允许用户将真实对象添加到虚拟购物车的链接。在该示例中，电子设备可以包括多个相机以启用AR界面。常规的AR界面主要被配置用于“发现”(例如，围绕真实环境平移以显示可用的任何AR内容)。因此，用户可以在真实环境中四处移动设备，并且与在屏幕上显示的真实对象有关的触摸激活的AR内容可以呈现在所显示的真实对象附近的屏幕上(例如，“添加到购物车”按钮)。然而，常规的AR界面通常不便于在触摸屏上进行触摸交互。例如，为了与AR内容进行交互，用户必须尝试用一只手握住设备，同时用另一只手接近设备。这可能会妨碍用户查看显示器，或者导致用户移动设备使得真实对象不再被显示，这会导致基于雷达的应用停止显示AR内容。与AR界面的持续困难或不便的交互可能会降低用户的效率、手势的有效性以及用户对设备和应用的体验质量。
将这些常规技术与本文档中描述的系统和技术进行对比，本文档中描述的系统和技术可以在多个领域中提高效率和可用性。例如，在上面的示例中，用户用第一只手在真实环境中四处移动设备，并且与真实对象有关的触摸激活的AR内容呈现在显示的真实对象附近的屏幕上(例如，“添加到购物车”按钮)。在这种情况下，电子设备可以包括雷达系统，该雷达系统可以提供雷达场，该雷达场延伸到设备周围的区域(例如，设备周围的五英尺或八英尺半径，该区域通常包括“相机后面”的空间，其包含用户的另一只手)。雷达传感器可以使用从进入雷达场的对象反射的雷达信号来检测用户的另一只手正在接近电子设备。一旦检测到该接近，电子设备就可以将AR内容固定在特定位置，使得即使用户继续移动设备，AR内容也不会移动或消失。
以这种方式，所描述的技术和系统允许容易且方便地与基于触摸的AR内容和应用进行交互。用户可以享受AR应用的可发现性特征，并且仍然可以容易地与基于触摸的AR内容进行交互。这可以提高效率并减少用户的挫败感，诸如，必须重新框住对象才能访问AR内容，这提高了用户体验的质量。此外，雷达系统的功耗可以实质上低于一些常规技术，该常规技术可以使用多个相机来提供AR界面并确定用户是否正在接近电子设备。
这些仅仅是本文中所描述的技术和设备可以如何用于允许用户利用3D和2D手势与AR应用和对象进行交互的几个示例。在本文档中将描述其他示例和实施方式。现在，文档转向示例环境，之后描述示例系统、装置、方法和组件。
操作环境
图1图示其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的示例环境100。示例环境100包括智能电话102(其包括雷达系统104，或与雷达系统104相关联)、基于雷达的应用106和显示器108。雷达系统104的某些实施例在下述智能电话(诸如，智能电话102)的场境下应用时特别有利：对于该智能电话，同时存在诸如低功率需求、处理效率的需求、天线单元的间距和布局的限制之类的问题以及其他问题，并且雷达系统104的某些实施例甚至在下述智能手机的特定场境下更为有利：该智能手机需要精细手势的雷达检测。尽管这些实施例在需要精细的雷达检测的手势的智能电话的场境下特别有利，但是应当理解，本发明的特征和优点的适用性并不必限于此，并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
在示例环境100中，雷达系统104通过发送一个或多个雷达信号或波形来提供雷达场110，如下面参考图3至图6所述。雷达场110是空间的体积，雷达系统104可以从该空间中检测雷达信号和波形的反射(例如，从该空间中的对象反射的雷达信号和波形)。雷达系统104还使智能电话102能够感测和分析来自雷达场110中的对象112的反射。对象112可以是雷达系统104可以感测和分析来自其的反射的各种对象(诸如，木材、塑料、金属、织物或人体部位(例如，智能电话102的用户的手))中的任何一种。基于对反射的分析，雷达系统104可以提供雷达数据，该雷达数据包括与雷达场110相关联的各种类型的信息以及来自对象112的反射，如下文参照图3-6所描述的(例如，雷达系统104可以将雷达数据传递到其他实体，诸如，基于雷达的应用106)。此外，基于雷达数据，雷达系统104、基于雷达的应用106或另一实体可以确定雷达场110中的对象112正朝着显示器108移动(如阴影箭头114所示)。
应该注意的是，可以基于从雷达场110中的对象112感测到的和分析的反射随时间连续或周期性地提供雷达数据。对象112的位置可以随时间变化(例如，对象112可以在雷达场110内移动)，并且因此，雷达数据可以与改变的位置、反射和分析相对应随时间变化。因为雷达数据可以随时间变化，所以雷达系统104可以提供包括对应于不同时间段的雷达数据的一个或多个子集的雷达数据。例如，雷达系统104可以提供对应于第一时间段的雷达数据的第一子集、对应于第二时间段的雷达数据的第二子集，等等。
基于雷达的应用106还可以通过显示器108呈现增强现实(AR)元素116。AR元素116包括触摸输入控件118，并且与通过显示器108可见的真实对象120-1有关。当被触摸时，触摸输入控件118可以提供关于真实对象120-1的附加详细信息(例如，尺寸、重量或技术规格)、购买真实对象120-1的链接或与真实对象120-1有关的项目列表。如图1所示，AR元素116是包括触摸输入控件118的虚拟价格标签。以这种方式，用户可以触摸AR元素116，并且触摸输入控件118呈现附加的AR内容。
在某些实施方式中，基于雷达的应用106可以是AR应用，其可以在显示器108上显示真实对象120-1的图像和与真实对象120-1有关的AR元素116。例如，如图1所示，真实对象120-1是装饰植物，其既在真实环境中示出又在显示器108上显示为图像120-2(图像120-2用虚线箭头指示)。在某些实施方式中，基于雷达的应用106实时(或接近实时)呈现真实对象120-1的图像120-2。实时或接近实时的呈现可以例如经由包括在智能电话102中或与智能电话102分离但与之通信的一个或多个图像捕获设备来实现。
响应于确定雷达场110中的对象112正在朝显示器108移动，基于雷达的应用106可以在智能电话102的触摸屏上的固定位置提供触摸输入控件118。在某些实施例中，即使当真实对象120-1的图像120-2本身在显示器108中不再可见时，基于雷达的应用106也可以保持触摸输入控件118的固定位置。此外，响应于固定位置处的触摸输入控件118在确定雷达场110中的对象112正在朝显示器108移动的阈值时间内未被触摸，基于雷达的应用106可以停止在固定位置处提供触摸输入控件。例如，基于触摸输入控件118在阈值时间内未被触摸，基于雷达的应用106可以返回到默认模式，基于雷达的应用106可以停止呈现触摸输入控件118(例如，触摸输入控件消失)，或者基于雷达的应用106可以继续在适合于在显示器108上呈现内容的任何位置而不是固定位置来呈现触摸输入控件118。阈值时间可以是任何合适的时间，诸如，1.5秒、2秒或3秒。在其他实施方式中，如果确定雷达场110中的对象112正以超过阈值速度(例如，0.25英尺/秒(fps)、0.5fps或0.75fps)的速度向显示器108移动，则基于雷达的应用106可以在固定位置提供触摸输入控件。因此，智能电话102以及雷达系统104和基于雷达的应用106共同协作以使AR应用的用户能够高效便捷地在AR环境中使用触摸输入。
例如，假设智能电话102包括具有AR特征和功能的应用。为了访问AR功能中的至少一些，用户在接近和触摸智能电话102的显示器108以激活各种触摸输入控件的同时必须保持将真实对象框入在显示器108中。这可能给用户带来一些挑战，因为接近显示器108可能会妨碍用户查看显示器108，从而使其难以与控件进行交互。一些用户可能还难以保持某些设备稳定，特别是大型或沉重的设备。此外，如果用户移动智能电话102以使得真实对象不再被框住，则可以不再显示AR控件。相比之下，考虑提供雷达场110的雷达系统104，雷达场100使雷达系统104(或另一个实体，诸如，基于雷达的应用106)能够自动确定用户何时接近显示器108，然后无缝且自动地将控件冻结或固定在显示器108上。显而易见，与使用常规AR界面的设备相比，雷达系统104可以使AR界面实质上更容易且更方便使用，并提供更好的体验。
更详细地，考虑图2，其图示智能电话102(包括雷达系统104、基于雷达的应用106和显示器108)的示例实施方式200。图2的智能电话102被图示为包括可以实现包括雷达系统的智能电话、系统和方法的其他非限制性示例设备，包括移动电话102-1、平板电脑102-2、膝上型计算机102-3、台式计算机102-4、计算手表102-5、计算眼镜102-6、游戏系统102-7、微波炉102-8和车辆102-9。其他电子设备可能还包括电视、娱乐系统、音频系统、无人机、触控板、绘图板、上网本、电子阅读器、家庭自动化和控制系统、家庭安全系统以及其他家用电器。注意，可以实现所描述的技术的电子设备可以是可穿戴的、不可穿戴但移动的或相对不移动的(例如，台式机和电器)。
智能电话102的示例性整体横向尺寸可以是例如大约八厘米乘以大约十五厘米。雷达系统104的示例性占用空间(footprint)可以被进一步限制，诸如包括天线在内的大约四毫米乘六毫米。雷达系统104的示例性功耗可以在几毫瓦(mW)到数mW的量级(例如，在大约2mW和20mW之间)。雷达系统104的这种有限的占用空间的要求(雷达系统104的这种有限的占用空间被需要以在结合功率和处理限制的这样的空间受限的封装中容纳智能电话102的许多其他期望的特征(例如，相机、指纹传感器、显示器108等等))可能会导致雷达手势检测的准确性和有效性的折衷，其中至少一些可以基于本文的教导而被克服。
智能电话102还包括一个或多个计算机处理器202和一个或多个计算机可读介质204，计算机可读介质204包括内存介质和存储介质。在计算机可读介质204上实现为计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器202执行以提供本文描述的一些功能。智能电话102还可以包括网络接口。智能电话102可以使用网络接口206来通过有线、无线或光网络传送数据。作为示例而非限制，网络接口206可以通过局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、广域网(WAN)、内部网、互联网、对等网络、点对点网络或网状网络来传送数据。
雷达系统104的各种实施方式可以包括片上系统(SoC)、一个或多个集成电路(IC)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板或其任意组合。雷达系统104通过发送和接收其自身的雷达信号而作为单基地雷达工作。在一些实施方式中，雷达系统104还可以与外部环境内的其他雷达系统104合作以实现双基地雷达、多基地雷达或网络雷达。如所指出的，智能电话102的约束或限制可能影响雷达系统104的设计。例如，智能电话102可能具有可用于操作雷达的有限功率、有限的计算能力、尺寸约束、布局限制、使雷达信号衰减或失真的外部壳体等等。雷达系统104包括数个特征，这些特征使得在存在这些约束的情况下能够实现先进的雷达功能和高性能，如下面关于图3进一步描述的。注意，在图2中，雷达系统104被图示为智能电话的一部分102。在其他实施方式中，雷达系统104可以与智能电话102分离或远离智能电话102。
这些和其他能力和配置以及图1的实体动作和交互的方式将在下面更详细地阐述。这些实体可以进一步划分、合并等等。图1的环境100和图2至图12的详细图示示出能够采用所描述的技术的许多可能的环境和设备中的一些。图3至图6描述雷达系统104的附加细节和特征。在图3至图6中，雷达系统104是在智能电话102的场境下描述的，但是如上所述，所描述的系统和技术的特征和优点的适用性并不一定限于此，并且涉及其他类型的电子设备的其他实施例也可以在本教导的范围内。
图3图示雷达系统104的示例实施方式300，其可以用于实现包括雷达系统的智能电话、系统和方法。在示例300中，雷达系统104包括以下组件中的每个中的至少一个：通信接口302、天线阵列304、收发器306、处理器308和系统介质310(例如，一个或多个计算机可读存储介质)。处理器308可以被实现为数字信号处理器、控制器、应用处理器、另一处理器(例如，智能电话102的计算机处理器202)或其某种组合。可以包括在智能电话102的计算机可读介质204中或与之分离的系统介质310包括以下模块中的一个或多个：衰减缓解器314、数字波束形成器316、角度估计器318或功率管理器320。这些模块可以补偿或减轻将雷达系统104集成到智能电话102中的影响，从而使雷达系统104能够识别小或复杂的手势，区分用户的不同定向，持续监测外部环境，或实现目标虚警率。通过这些特征，可以在诸如图2所示的设备的各种不同设备中实现雷达系统104。
使用通信接口302，雷达系统104可以将雷达数据提供给基于雷达的应用106。基于雷达系统104与智能电话102分离实现还是将雷达系统104集成在智能电话102内实现，通信接口302可以是无线接口或有线接口。取决于应用，雷达数据可以包括原始或经过最少处理的数据、同相和正交(I/Q)数据、距离-多普勒数据、包括目标位置信息(例如，距离、方位角、仰角)的已处理数据、杂乱的地图数据等。通常，雷达数据包含由基于雷达的应用106可用于实现包括雷达系统的智能电话、系统和方法的信息。
天线阵列304包括至少一个发射天线单元(未示出)和至少两个接收天线单元(如图4所示)。在一些情况下，天线阵列304可以包括多个发射天线单元，以实现能够一次发射多个不同波形(例如，每个发射天线单元不同的波形)的多输入多输出(MIMO)雷达。多个波形的使用可以提高雷达系统104的测量精度。对于包括三个或更多个接收单元的实施方式，接收天线单元可以以一维形状(例如，线)或二维形状定位。一维形状使得雷达系统104能够测量一个角度尺寸(例如，方位角或仰角)，而二维形状使得能够测量两个角度尺寸(例如，方位角和仰角两者)。参照图4进一步描述接收天线单元的示例二维布置。
图4图示接收天线单元402的示例布置400。例如，如果天线阵列304包括至少四个接收天线单元402，则接收天线单元402可以布置成矩形布置404-1，如图4的中间所描绘的。可替代地，如果天线阵列304包括至少三个接收天线单元402，则可以使用三角形布置404-2或L形布置404-3。
由于智能电话102的大小或布局约束，接收天线单元402之间的单元间距或接收天线单元402的数量对于雷达系统104将要监测的角度可能不是理想的。特别地，单元间距可能导致存在角度模糊，这给常规雷达估计目标的角位置带来挑战。因此，常规雷达可以限制视场(例如，要监测的角度)，以避免具有角度模糊的模糊区域，从而减少错误检测。例如，常规雷达可将视场限制在大约-45度至45度之间的角度，以避免使用5毫米(mm)的波长和3.5mm的单元间距(例如，单元间距为波长的70％)发生的角度模糊。因此，常规雷达可能无法检测到超出45度视场限制的目标。相比之下，雷达系统104包括数字波束形成器316和角度估计器318，其解析角度模糊并使雷达系统104能够监测超过45度限制的角度，诸如，大约-90度至90度之间的角度，或直到大约-180度和180度。可以在一个或多个方向(例如，方位角和/或仰角)上应用这些角度范围。因此，雷达系统104可以为各种不同的天线阵列设计(包括小于、大于或等于雷达信号的中心波长的一半的单元间距)实现低虚警率。
使用天线阵列304，雷达系统104可以形成被转向或未被转向、宽或窄或被成形(例如，作为半球、立方体、扇形、圆锥体或圆柱体)的波束。作为示例，一个或多个发射天线单元(未示出)可以具有未转向的全向辐射方向图，或者可以能够产生诸如宽发射波束406的宽波束。这些技术中的任何一种都使得雷达系统104能够照射大体积的空间。然而，为了获得目标角精度和角分辨率，接收天线单元402和数字波束形成器316可以用于生成数千个窄且转向的波束(例如，2000个波束、4000个波束或6000个波束)，诸如，窄接收波束408。以这种方式，雷达系统104可以有效地监测外部环境并且准确地确定外部环境内的反射的到达角。
返回图3，收发器306包括用于经由天线阵列304发送和接收雷达信号的电路和逻辑。收发器306的组件可以包括放大器、混频器、开关、模数转换器、滤波器等等，以调节雷达信号。收发器306还可以包括逻辑以执行同相/正交(I/Q)操作，诸如，调制或解调。收发器306可以被配置用于连续波雷达操作或脉冲雷达操作。可以使用各种调制来产生雷达信号，包括线性频率调制、三角频率调制、步进频率调制或相位调制。
收发器306可以在诸如1吉赫兹(GHz)与400GHz之间、在4GHz与100GHz之间、或者在57GHz与63GHz之间的频率范围(例如，频谱)内生成雷达信号。频谱可以被划分为具有相似带宽或不同带宽的多个子频谱。带宽可以在500兆赫兹(MHz)、1GHz、2GHz等的数量级上。作为示例，不同的频率子频谱可以包括大约57GHz和59GHz之间、59GHz和61GHz之间或61GHz和63GHz之间的频率。具有相同带宽并且可以是连续的或非连续的多个频率子频谱也可以被选择用于相干性。多个频率子频谱可以使用单个雷达信号或多个雷达信号同时发送或在时间上分开地发送。连续频率子频谱使雷达信号能够具有更宽的带宽，而非连续频率子频谱可以进一步强调幅度和相位差，这使得角度估计器318能够解决角度模糊。衰减缓解器314或角度估计器318可以使收发器306利用一个或多个频率子频谱来改善雷达系统104的性能，如关于图5和图6进一步描述的。
功率管理器320使雷达系统104能够在智能电话102内部或外部节省功率。例如，在内部，功率管理器320可以使雷达系统104使用预定功率模式或特定的占空比来收集数据。代替在低功率模式或高功率模式下操作，功率管理器320动态地在不同功率模式之间切换，使得基于环境内的活动来一起管理响应延迟和功耗。通常，功率管理器320确定何时以及如何节省功率，并且递增地调整功耗以使雷达系统104能够在智能电话102的功率限制内工作。在某些情况下，功率管理器320可以监测剩余可用功率的量并相应地调整雷达系统104的操作。例如，如果剩余功率量低，则功率管理器320可以继续以低功率模式操作而不是切换到较高功率模式。
例如，低功率模式可以使用几赫兹量级的低占空比(例如，大约1Hz或小于5Hz)，这将功耗降低到几毫瓦(mW)(例如，大约2mW和5mW之间)。另一方面，高功率模式可以使用几十赫兹(Hz)量级的高占空比(例如，大约20Hz或大于10Hz)，这导致雷达系统104消耗数毫瓦量级(例如，大约在8mW和20mW之间)的功率。虽然低功率模式可以用于监测外部环境或检测接近的用户，但是，如果雷达系统104确定用户正开始执行手势，则功率管理器320可以切换到高功率模式。不同的触发可以使功率管理器320在不同的功率模式之间切换。示例性触发包括运动或缺少运动、用户的出现或消失、用户移入或移出指定区域(例如，由距离、方位角或仰角定义的区域)、与用户关联的运动的速度变化或反射的信号强度的变化(例如，由于雷达横截面的变化)。通常，指示用户与智能电话102交互的低可能性或使用较长的响应延迟来收集数据的偏好的触发可导致激活较低功率模式以节省功率。
功率管理器320还可以通过在不活动的时间段期间关闭收发器306内的一个或多个组件(例如，压控振荡器、复用器、模数转换器、锁相环或晶体振荡器)来节省功率。如果雷达系统104不主动发送或接收雷达信号，则会出现这些不活动的时间段，该时间段可能在微秒(μs)、毫秒(ms)或秒(s)的量级。另外，功率管理器320可以控制雷达系统104内的不同硬件组件的使用以节省功率。例如，如果处理器308包括低功率处理器和高功率处理器(例如，具有不同数量的存储器和计算能力的处理器)，则功率管理器320可以在将低功率处理器用于低级分析(例如，检测运动，确定用户的位置或监视环境)和将高功率处理器用于基于雷达的应用106请求高保真或准确的雷达数据的情况(例如，对于手势识别或用户定向)之间进行切换。
除了上述内部功率节省技术外，功率管理器320还可以通过激活或停用智能电话102内的其他外部组件或传感器来节省功率。这些外部组件可以包括扬声器、相机传感器、全球定位系统、无线通信收发器、显示器、陀螺仪或加速度计。因为雷达系统104可以使用少量的功率来监测环境，所以功率管理器320可以基于用户所在的位置或用户正在做什么而适当地打开或关闭这些外部组件。以此方式，智能电话102可以无缝地响应用户并且节省功率，而无需使用自动关闭定时器或者用户物理地触摸或口头控制智能电话102。
图5图示智能电话102内的雷达系统104的示例实施方式500的附加细节。在示例500中，天线阵列304位于智能电话102的外部壳体(诸如，玻璃盖或外壳)的下方。取决于其材料特性，外部壳体可以充当衰减器502，其使由雷达系统104发送和接收的雷达信号衰减或失真。衰减器502可以包括不同类型的玻璃或塑料，其中一些可以在智能电话102的显示屏、外部壳体或其他组件内发现并且具有在大约四到十之间的介电常数(例如，相对介电常数)。因此，衰减器502对于雷达信号506是不透明的或半透明的，并且可以使发送或接收的雷达信号506的一部分被反射(如反射部分504所示)。对于常规雷达，衰减器502可以减小可以被监测的有效范围，防止检测到小的目标，或者降低整体精度。
假设雷达系统104的发射功率受到限制，并且不希望重新设计外部壳体，则雷达信号506的一个或多个衰减相关特性(例如，频率子频谱508或转向角度510)或衰减器502的衰减相关特性(例如，衰减器502与雷达系统104之间的距离512或衰减器502的厚度514)被调整以减轻衰减器502的影响。这些特性中的一些可以在制造期间设置或在雷达系统104的操作期间由衰减缓解器314调整。例如，衰减缓解器314可以使收发器306使用所选择的频率子频谱508或转向角度510来发送雷达信号506，使平台将雷达系统104移近或远离衰减器502以改变距离512，或提示用户应用另一个衰减器以增加衰减器502的厚度514。
可以由衰减缓解器314基于衰减器502的预定特性(例如，存储在智能电话102的计算机可读介质204中或系统介质310内的特性)或通过处理雷达信号506的返回以测量雷达信号506的一个或多个特性来进行适当的调整。即使某些衰减相关特性是固定的或受约束的，衰减缓解器314仍可以考虑这些限制，以平衡每个参数并实现目标雷达性能。结果，衰减缓解器314使雷达系统104能够实现增强的精度和更大的有效范围，以检测和跟踪位于衰减器502的相对侧的用户。这些技术提供增加发射功率(这增加雷达系统104的发射功率)或改变衰减器502的材料特性(一旦设备投入生产，这可能既困难又昂贵)的替代方案。
图6图示由雷达系统104实现的示例方案600。方案600的部分可以由处理器308、计算机处理器202或其他硬件电路执行。可以定制方案600以支持不同类型的电子设备和基于雷达的应用106，并且，尽管设计有限制，但也使雷达系统104能够实现目标角度精度。
收发器306基于接收天线单元402对接收到的雷达信号的单独响应来产生原始数据602。接收到的雷达信号可以与由角度估计器318选择的一个或多个频率子频谱604相关联，以促进角度模糊分辨率。例如，可以选择频率子频谱604以减小旁瓣的数量或减小旁瓣的幅度(例如，将幅度减小0.5dB、1dB或更多)。可以基于目标角度精度或雷达系统104的计算限制来确定频率子频谱的数量。
原始数据602包含时间段的数字信息(例如，同相和正交数据)、不同的波数以及分别与接收天线单元402相关联的多个信道。对原始数据602执行快速傅立叶变换(FFT)606以生成预处理数据608。预处理数据608包括针对不同距离(例如，距离网格)以及针对多个信道跨时间段的数字信息。对预处理数据608执行多普勒滤波过程610以生成距离-多普勒数据612。多普勒滤波过程610可以包括另一FFT，该FFT生成针对多个距离网格、多个多普勒频率以及针对多个信道的幅度和相位信息。数字波束形成器316基于距离-多普勒数据612产生波束形成数据614。波束形成数据614包含针对方位角和/或仰角的集合的数字信息，其表示由数字波束形成器316形成不同的转向角或波束的视场。尽管未描绘，但数字波束形成器316可以可替换地基于预处理数据608生成波束形成数据614，并且多普勒滤波过程610可以基于波束形成数据614生成距离-多普勒数据612。为了减少计算量，数字波束形成器316可以基于感兴趣的距离、时间或多普勒频率间隔来处理距离-多普勒数据612或预处理数据608的一部分。
数字波束形成器316可使用单视波束形成器616、多视干涉仪618或多视波束形成器620来实现。通常，单视波束形成器616可用于确定性对象(例如，具有单相位中心的点源目标)。对于非确定性目标(例如，具有多相位中心的目标)，多视干涉仪618或多视波束形成器620用于相对于单视波束形成器616提高精度。人是非确定性目标的示例并且具有多相位中心622，这些相位中心可以基于不同的视线角(如624-1和624-2所示)而变化。由多相位中心622生成的相长或相消干涉的变化可能给常规雷达准确地确定角位置带来挑战。然而，多视干涉仪618或多视波束形成器620执行相干平均以增加波束形成数据614的精度。多视干涉仪618相干地对两个信道进行平均以生成可用于准确确定角度信息的相位信息。另一方面，多视波束形成器620可以使用线性或非线性波束形成器(诸如，傅立叶、Capon、多信号分类(MUSIC)或最小方差无失真响应(MVDR))相干地平均两个或更多个信道。经由多视波束形成器620或多视干涉仪618提供的增加的精度使雷达系统104能够识别小手势或在用户的多个部分之间进行区分。
角度估计器318分析波束形成数据614以估计一个或多个角位置。角度估计器318可以利用信号处理技术、模式匹配技术或机器学习。角度估计器318还解决了可能由于雷达系统104的设计或雷达系统104监测的视场而导致的角度模糊。在幅度图626(例如，幅度响应)内示出了示例角度模糊。
幅度图626描绘针对目标的不同角位置以及针对不同转向角510可能发生的幅度差。针对位于第一角位置630-1的目标示出第一幅度响应628-1(用实线示出)。同样，针对位于第二角位置630-2的目标示出第二幅度响应628-2(用虚线示出)。在此示例中，在-180度和180度之间的角度上考虑差异。
如幅度图626所示，对于两个角位置630-1和630-2，存在模糊区域。第一幅度响应628-1在第一角位置630-1处具有最高峰，而在第二角度位置630-2处具有较小峰。尽管最高峰对应于目标的实际位置，但较小峰会导致第一角位置630-1模糊，因为它在某个阈值之内，常规雷达可能无法有把握地确定该目标是在第一角位置630-1还是第二角位置630-2。相比之下，第二幅度响应628-2在第二角位置630-2处具有较小峰，而在第一角位置630-1处具有较高峰。在这种情况下，较小峰对应于目标的位置。
尽管常规雷达可能限于使用最高峰值幅度来确定角位置，但是角度估计器318替代地分析幅度响应628-1和628-2的形状的细微差异。形状的特性可以包括例如滚降、峰值或零陷宽度、峰值或零陷的角位置、峰值和零陷的高度或深度、旁瓣形状、幅度响应628-1或628-2中的对称性、或幅度响应628-1或628-2内缺乏对称性。可以在相位响应中分析相似的形状特性，这可以提供附加信息来解决角度模糊。因此，角度估计器318将唯一的角度签名或方向图映射到角位置。
角度估计器318可以包括算法或工具套件，其可以根据电子设备的类型(例如，计算能力或功率限制)或基于雷达的应用106的目标角度分辨率进行选择。在某些实施方式中，角度估计器318可包括神经网络632、卷积神经网络(CNN)634或长短期记忆(LSTM)网络636。神经网络632可具有各种深度或数量的隐藏层(例如，三个隐藏层、五个隐藏层或十个隐藏层)，并且还可以包括不同数量的连接(例如，神经网络632可以包括完全连接的神经网络或部分连接的神经网络)。在某些情况下，CNN 634可用于增加角度估计器318的计算速度。LSTM网络636可用于使角度估计器318跟踪目标。使用机器学习技术，角度估计器318采用非线性函数来分析幅度响应628-1或628-2的形状并生成角度概率数据638，该数据指示用户或用户的一部分处于在角度格网(angular bin)内的可能性。角度估计器318可以提供一些角度格网(诸如，两个角度格网)的角度概率数据638，以提供目标位于智能电话102左侧或右侧的概率，或者提供数千个角度格网的角度概率数据638(例如，提供用于连续角度测量的角度概率数据638)。
基于角度概率数据638，跟踪器模块640产生角位置数据642，其识别目标的角位置。跟踪器模块640可以基于在角度概率数据638中具有最高概率的角度网格或基于预测信息(例如，先前测量的角度位置信息)来确定目标的角位置。跟踪器模块640还可以跟踪一个或多个移动目标，以使雷达系统104能够置信地区分或识别目标。其他数据也可以用于确定角位置，包括距离、多普勒、速度或加速度。在某些情况下，跟踪器模块640可以包括α-β跟踪器、卡尔曼滤波器、多重假设跟踪器(MHT)等等。
量化器模块644获取角位置数据642，并对该数据进行量化以产生量化的角位置数据646。可以基于用于基于雷达的应用106的目标角分辨率执行量化。在某些情况下，可以使用较少的量化级别，使得量化的角位置数据646指示目标是在智能电话102的右侧还是左侧，或者识别目标位于90度象限内。对于某些基于雷达的应用106，诸如，用户接近检测，这可能足够了。在其他情况下，可以使用大量的量化级别，使得量化的角位置数据646在几分之一度、一度、五度等的精度内指示目标的角位置。该分辨率可以用于更高分辨率的基于雷达的应用106，诸如，手势识别。在某些实施方式中，数字波束形成器316、角度估计器318、跟踪器模块640和量化器模块644一起被实现在单个机器学习模块中。
这些和其他能力和配置以及图1至图6的实体动作和互动的方式被阐述如下。所描述的实体可以被进一步划分、组合、与其他传感器或组件一起使用，等等。以此方式，具有雷达系统104和非雷达传感器的不同配置的电子设备(例如，智能电话102)的不同实施方式可以用于实现包括雷达系统的智能电话、系统和方法。图1的示例操作环境100和图2至图6的详细图示仅示出能够采用所描述的技术的许多可能的环境和设备中的一些。
示例系统
如上所述，本文描述的技术和系统还可以使设备能够确定可用于操纵增强现实(AR)对象的三维(3D)手势。
图7图示其中可以实施实现包括雷达系统的智能电话、系统和方法的技术的另一示例环境700。示例操作环境700包括智能电话102(其包括雷达系统104或与雷达系统104相关联)、显示器108和基于雷达的应用702。尽管示例操作环境700是在智能电话102的场境下示出的，但其他电子设备(如上面参考图1和2所描述的)也可以用于实现参照图7至图9描述的特征和技术。在示例环境700中，雷达系统104提供雷达场110，如上面参考图1至图6所描述的。雷达系统104还使智能电话102能够感测和分析来自雷达场110中的对象704的反射。如图7所示，对象704是人手，但是对象704可以是雷达系统104可以感测和分析来自其的反射的多种对象(诸如，木材、塑料、金属、织物或有机材料(例如，用户的身体部位))中的任何一种。基于对反射的分析，雷达系统104可以提供雷达数据，如上面参考图1至图6所描述的。例如，雷达系统104可以将雷达数据传递给其他实体，诸如，基于雷达的应用702。
基于雷达的应用702可以是可以通过显示器108呈现AR元素706并且接收选择AR元素706的输入的各种具有AR能力的应用中的任何一种(例如，基于雷达的应用106)。接收到的用于选择AR元素706的输入可以是通过智能电话102的触摸屏接收的语音输入或触摸输入。此外，基于雷达的应用702可以基于雷达数据来确定由雷达场110中的对象704(例如，用户的手或其他身体部位)做出的手势，并执行对应于确定的手势、与所选择的AR元素706有关的动作。用于确定手势的雷达数据是基于对基于雷达的应用702已经接收到选择AR元素706的输入之后所接收到的反射的分析的雷达数据。在某些实施方式中，所确定的手势可以是3D手势(例如，在由雷达场110照射的3D空间内在任何方向上包括一个或多个运动的手势)。
3D手势可以是多种手势(包括通过沿水平维度(例如，从智能电话102的左侧到智能电话102的右侧)在智能电话102上方移动手而做出的滚动手势、用户的手臂围绕肘部旋转而做出的挥动手势、通过沿垂直维度(例如，从智能电话102的底侧移动到智能电话的顶侧)在智能电话102上方移动用户的手而做出的推动手势102)中的任何一种。也可以做出其他类型的3D手势或动作，诸如，通过将用户的手移向智能电话102所做出的接近手势、通过卷曲用户的手的手指以握住假想的门把手并以顺时针或逆时针方式旋转以模仿转动假想门把手的动作的把手转动手势以及通过将拇指和至少另一个手指搓在一起而做出的捻锭(spindle-twisting)手势。这些示例手势类型中的每一个都可以由雷达系统104检测。在检测到这些手势中的每一个时，智能电话102可以执行动作，诸如，显示新内容，移动光标，激活一个或多个传感器，打开应用，或操纵AR元素。以这种方式，雷达系统104提供对智能电话102的无接触控制。示例性3D手势和相应动作在下面参考图8和图9进行描述。
基于雷达的应用702还可以包括3D手势模块708，其可以存储与基于雷达数据确定3D手势有关的信息以及与对应于3D手势的动作有关的信息。以此方式，所描述的装置和技术可以使AR应用的用户能够在AR环境中无缝且方便地使用触摸输入和3D手势。
作为又一示例，考虑图8和图9，其分别图示示例实施方式800和900。示例实施方式800和900描述关于使用3D手势实现包括雷达系统的智能电话、系统和方法的雷达系统104的能力的附加细节。
在图8的详细视图800-1中，示例环境800图示包括正在提供雷达场110(未示出)的雷达系统104的智能电话102。在详细视图800-1中，假定用户已经例如通过经由触摸输入选择AR元素802选择了AR元素802。用户的身体部位804(在这种情况下为用户的手804)在雷达场110中，并且雷达系统104可以确定由用户的手804做出的3D手势。
在详细视图800-2中，用户已经通过改变用户的手804与雷达系统104之间的距离来做出了手势(例如，接近手势)。在详细视图800-2中，通过移动用户的手804以增加用户的手804与雷达系统104之间的距离(如箭头806所示)来改变距离。对应于该手势的动作是所选AR元素802靠近用户的运动，在详细视图800-2中图示为所选AR元素802的尺寸的增大。类似地，尽管未在图8中显示，但是用户可以通过移动用户的手804以减小用户的手804与雷达系统104之间的距离来做出手势。在这种情况下，对应于该手势的动作是所选AR元素802远离用户的运动。
在某些实施方式中，所选择的AR元素802靠近用户的运动与用户的手804和雷达系统104之间的增加的距离成比例。类似地，所选择的AR元素802远离用户的运动与用户的手804和雷达系统104之间的减小的距离成比例。在其他实施方式中，所选择的AR元素802的运动可以与可以从雷达数据(诸如，速度或角度)确定的手势的其他方面成比例，或与手势的各个方面的组合成比例。
在图9的详细视图900-1中，示例环境900图示包括正在提供雷达场110(未示出)的雷达系统104的智能电话102。在详细视图900-1中，假设用户已经例如通过经由触摸输入选择AR元素902选择了AR元素902。用户的身体部位904(在这种情况下为用户的手904)在雷达场110中，并且雷达系统104可以确定由用户的手904做出的3D手势。
在详细视图900-2中，用户已经通过改变用户的手904相对于雷达系统104的位置来做出了手势，同时保持用户的手904与参考(诸如，显示器108的平面)之间的基本相似的距离(例如，滚动手势)。在详细视图900-2中，用户的手904的改变的位置是从右到左的运动，如箭头906所示。对应于该手势的动作是所选择的AR元素902在围绕所选择的AR元素902的轴的方向的旋转，并且图示AR元素902的标记侧(带有“X”标记)旋转了大约90度。类似地，尽管未在图9中示出，但是用户可以通过从左向右移动用户的手904来做出手势。在这种情况下，对应于该手势的动作是所选择的AR元素902在围绕轴的反方向的旋转。
在某些实施方式中，所选择的AR元素902绕轴的旋转的速度和量分别与用户的手904的侧向运动的速度或距离成比例。在其它实施方式中，AR元素902的旋转可以与可以从雷达数据确定的手势的其他方面(诸如，用户的手904的形状或表面积)成比例，或者与手势的各个方面的组合成比例。
应注意，示例实现方式800和900仅仅是使用所描述的技术、系统和装置可能实现的许多可能手势中的两个示例，所述技术、系统和装置实现包括雷达系统的智能电话、系统和方法。例如，用户可以在AR环境中使用触摸输入来选择3D对象，然后使用3D捏合手势使3D对象更小甚至删除该对象。类似地，用户可以使用轻拂动作在AR环境中抛出所选择的3D对象。
此外，所描述的技术还可以与其他类型的应用(例如，非AR)或AR应用的非AR特征结合使用。例如，用户可以使用混合控件(例如，结合3D手势的触摸或语音输入)来与基于绘图或文本的应用和特征进行交互。在一个示例中，用户可以通过使手指触摸到设备的触摸屏并且然后沿着触摸屏滑动手指来在应用中画线。然后，用户可以将手指从触摸屏上移开，并使用3D手势(诸如，转动虚拟拨号盘)来更改线的粗细或其他属性。在另一示例中，用户可以在触摸屏上选择、复制和粘贴文本。例如，用户可以在触摸屏上执行触摸和捏合手势以选择显示的文本的一部分。然后，用户可以执行3D捏合手势来复制文本，然后切换回触摸输入，将光标放在触摸屏上。另一个3D捏手势将所选择的文本粘贴到新位置。以此方式，包括雷达系统的智能电话、系统和方法使触摸和3D手势能够无缝集成以改善AR和非AR应用两者的功能和用户享受。
示例方法
图10和11描绘实现包括雷达系统的智能电话、系统和方法的示例方法1000。可以利用使用雷达系统提供雷达场的电子设备来执行方法1000。雷达场用于确定雷达场中的对象正在向雷达系统移动，并且可以响应于确定该对象正在向雷达系统移动而将各种触摸输入控件的位置固定到特定位置。方法1000被示出为规定执行的操作但不必限于所示的由各个框执行操作的顺序或组合的框的集合。此外，可以重复、组合、重新组织或链接一个或多个操作中的任何一个，以提供各种附加和/或替代方法。在以下讨论的部分中，可以参考图1的示例操作环境100或图2至图9中详细描述的实体或过程，参考仅作为示例。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在1002，提供雷达场。雷达场可以由包括显示器(例如，显示器108)、雷达系统(例如，雷达系统104)和基于雷达的应用(例如，基于雷达的应用106或702)的各种电子设备中的任何一个(例如，上述智能电话102)来提供。此外，雷达场可以是多种类型的雷达场中的任何一种，诸如，上述雷达场110。
在1004，雷达系统感测来自雷达场中的对象的反射。对象可以是多种对象(诸如，木材、塑料、金属、织物或有机材料)中的任何一种。例如，对象可以是人体部位(例如，手)，诸如，如上所述的对象112、704、804或904之一。
在1006，分析来自雷达场中的对象的反射。分析可以由多种实体中的任何一种(例如，雷达系统104或本文所述的基于雷达的应用中的任何一种)执行，并且可以包括各种操作或确定，诸如参考图3至图6所描述的那些。
在1008，基于对反射的分析，提供雷达数据，诸如，以上参考图3至图6描述的雷达数据。雷达数据可以由各种实体中的任何一种(诸如，雷达系统104或本文所述的基于雷达的应用中的任何一种)提供。在某些实施方式中，雷达系统可以提供雷达数据并且将雷达数据传递到其他实体(例如，所描述的基于雷达的应用中的任何一个)。在图11中继续对方法1000的描述，如图10中的框1008之后的字母“A”所指示的，其对应于图11中的框1010之前的字母“A”。
在1010，基于雷达的应用通过显示器(例如，显示器108)呈现增强现实(AR)元素。AR元素可以是各种类型的AR元素中的任何一种，诸如，上述的AR元素116。AR元素包括诸如上述触摸输入控件118的触摸输入控件，并且与真实对象(例如，上述真实对象120-1)有关，该真实对象的图像被呈现在显示器上。
在1012，响应于确定雷达场中的对象正在朝着雷达系统移动，提供触摸输入控件并将其保持在电子设备的触摸屏上的固定位置。固定位置可以是最初显示触摸输入控件的位置，或者可以是显示器上的另一个位置。可以通过诸如雷达系统或基于雷达的应用的多种实体中的任何一种来确定雷达场中的对象正在朝着雷达系统移动。
在某些实施方式中，当真实对象的图像不再呈现在显示器上时，触摸输入控件被保持在固定位置。例如，假设在相关的真实对象在电子设备的显示器中可见并且用户正接近显示器的同时，AR元素与输入控件呈现在显示器的特定拐角。如果由于某种原因停止在显示器上呈现真实对象的图像(例如，因为用户在接近触摸输入控件的同时并没有保持将真实对象框在显示器中)，则可以继续将触摸输入控件保持在显示器的特定拐角(或在另一位置)，以便用户可以与触摸输入控件进行交互。
例如，考虑图12，其图示描述方法1000的附加细节的示例环境1200。在图12的详细视图1200-1中，示例环境1200图示包括正在提供雷达场110(未示出)的雷达系统104的电子设备(在这种情况下，为智能电话102)。详细视图1200-1示出在一只手(例如，左手1202)握住智能电话的用户已经在运行在智能电话102-1上的基于雷达的应用106的AR界面中框住了真实对象120-1。如所示出的，基于雷达的应用106在显示器108上呈现真实对象120-1的图像(例如，图像120-2)(图像120-2以虚线箭头示出)。基于雷达的应用106还在显示器108的拐角附近的位置呈现包括触摸输入控件118的AR元素116。
在详细视图1200-2中，用户已开始用另一只手(例如，右手1204)接近触摸输入控件118，如阴影箭头1206所示。假定已确定用户正接近智能电话102(例如，基于雷达的应用106或另一个实体已经使用雷达数据确定右手1204正接近智能电话102)。当用右手1204接近触摸输入控件118时，用户还移动了智能电话102，使得真实对象120-1的图像120-2不再通过显示器108可见。该运动由点划线箭头1208示出。使用描述的技术，基于雷达的应用106仍将AR元素116和触摸输入控件118保持在显示器108的拐角附近的大致相同的位置。
在详细视图1200-3中，假设用户已激活触摸输入控件118(例如，经由利用右手1204的触摸输入)。作为响应，基于雷达的应用106呈现2D界面1210，其示出真实对象120-1的另一图像120-2(未示出)以及可以向用户提供关于真实对象120-1的信息的附加触摸输入控件1212。
在某些实施方式中，如果在从确定雷达场中的对象正朝着显示器108移动的阈值时间内未触摸设置在固定位置处的触摸输入控件118，则可以停止在固定位置提供触摸输入控件。阈值时间可以是各种时间，诸如，1.5秒、2秒或3秒，并且阈值时间可以是预设的或用户可选择的。在又一其他实施方式中，仅当确定用户的手正以超过阈值速度的速度朝着显示器108移动时，基于雷达的应用106才可以在固定位置提供触摸输入控件。阈值速度可以是任何合适的速度，诸如，0.25英尺/秒(fps)，0.5fps或0.75fps。
示例计算系统
图13图示示例计算系统1300的各种组件，该示例计算系统1300可以被实现为参考先前的图1至图12所描述的任何类型的客户端、服务器和/或电子设备，以实现包括雷达系统的智能电话、系统和方法。
计算系统1300包括通信设备1302，其使得能够进行设备数据1304(例如，雷达数据、3D手势数据、认证数据、参考数据、接收到的数据、正在接收的数据、调度用于广播的数据、数据的数据分组)的有线和/或无线通信。设备数据1304或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备的用户相关联的信息(例如，雷达场内的人的身份)。存储在计算系统1300上的媒体内容可以包括任何类型的雷达、生物特征、音频、视频和/或图像数据。计算系统1300包括一个或多个数据输入1306，经由该一个或多个数据输入1306，可以接收任何类型的数据、媒体内容和/或输入，诸如，人的言语、与雷达场的交互、触摸输入、用户可选择的输入(显式或隐式)、消息、音乐、电视媒体内容、录制的视频内容以及从任何内容和/或数据源接收到的任何其他类型的音频、视频和/或图像数据。
计算系统1300还包括通信接口1308，其可以被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个，以及任何其他类型的通信接口。通信接口1308提供计算系统1300与通信网络之间的连接和/或通信链路，其他电子、计算和通信设备通过该通信网络与计算系统1300传送数据。
计算系统1300包括一个或多个处理器1310(例如，微处理器、控制器或其他控制器中的任何一个)，其可以处理各种计算机可执行指令以控制计算系统1300的操作并实现用于包括雷达系统的智能电话、系统和方法或在其中可以实现包括雷达系统的智能电话、系统和方法的技术。可替代地或附加地，计算系统1300可以利用结合处理和控制电路实现的硬件、固件或固定逻辑电路中的任何一种或组合来实现，所述处理和控制电路通常在1312处被标识。尽管未示出，但是计算系统1300可以包括系统总线或数据传输系统，其连接设备内的各种组件。系统总线可以包括不同总线结构(诸如，存储器总线或存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任何一种的处理器或本地总线)中的任何一种或不同总线结构的组合。
计算系统1300还包括计算机可读介质1314，诸如，使得能够进行持久和/或非暂时性数据存储(即，与仅信号传输相反)的一个或多个存储器设备，其示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪存、EPROM、EEPROM等中的任何一个或多个)和磁盘存储设备。磁盘存储设备可以实现为任何类型的磁或光存储设备(诸如，硬盘驱动器)、可记录和/或可重写光盘(CD)、任何类型的数字多功能光盘(DVD)等。计算系统1300还可包括大容量存储介质设备(存储介质)1316。
计算机可读介质1314提供数据存储机制以存储设备数据1304以及各种设备应用1318和与计算系统1300的操作方面有关的任何其他类型的信息和/或数据。例如，操作系统1320可以维护为具有计算机可读介质1314的计算机应用，并在处理器1310上执行。设备应用1318可以包括设备管理器(例如，任何形式的控制应用)、软件应用、信号处理和控制模块、特定设备的本机代码、抽象模块、手势识别模块和其他模块。设备应用1318还可以包括系统组件、引擎或管理器，以实现包括雷达系统(例如，雷达系统104、基于雷达的应用106或基于雷达的应用702)的智能电话、系统和方法。计算系统1300还可包括或有权访问一个或多个机器学习系统。
在下面描述了一些示例。
示例1：一种智能电话，包括：显示器；雷达系统，其至少部分地以硬件实现，该雷达系统被配置为：提供雷达场；感测来自雷达场中的对象的反射；分析来自雷达场中的对象的反射；并且基于对反射的分析，提供雷达数据；一个或多个计算机处理器；以及在其上存储有指令的一个或多个计算机可读介质，该指令响应于一个或多个计算机处理器的执行，实现基于雷达的应用，该基于雷达的应用被配置为：通过智能电话的显示器呈现增强现实(AR)元素，该AR元素包括触摸输入控件并与真实对象有关，真实对象的图像呈现在显示器上；响应于确定雷达场中的对象正在朝着显示器移动，基于雷达数据，将触摸输入控件保持在显示器上的固定位置。
示例2：示例1的智能电话，其中雷达场中的对象是用户，并且通过即使当真实对象的图像正在显示器上不稳定地移动时也将触摸输入控件保持在固定位置，从而促进用户与触摸输入控件的交互的易用性和准确性。
示例3：示例1或2的智能电话，其中，基于雷达的应用进一步被配置为在用户用第一只手握住智能电话的同时，呈现包括触摸输入控件的增强现实(AR)元素。
示例4：前述示例中的至少一个的智能电话，其中：确定雷达场中的对象正朝着显示器移动包括：确定用户正用第二只手接近智能电话；定位智能电话使得真实对象的图像不再呈现在显示器上；并且基于雷达的应用进一步被配置为将AR元素和触摸输入控件保持在显示器上与在用户移动智能电话之前所呈现的位置大致相同的位置，使得真实对象的图像不再呈现在显示器上。
示例5：前述示例中的至少一个的智能电话，其中：触摸输入控件已经经由第二只手的先前触摸输入被激活；基于雷达的应用进一步被配置为响应于触摸输入控件的激活，在显示器上呈现二维(2D)界面，该2D界面包括：真实对象的另一图像；为用户提供有关真实对象的信息的另一触摸输入控件。
示例6：前述示例中的至少一个的智能电话，其中，基于雷达的应用进一步被配置为当真实对象的图像不再呈现在显示器上时，保持触摸输入控件的固定位置。
示例7：前述示例中的至少一个的智能电话，其中，基于雷达的应用进一步被配置为：响应于固定位置处的触摸输入控件在阈值时间内未被触摸，停止在固定位置处提供触摸输入控件。
示例8：前述示例中的至少一个的智能电话，其中，基于雷达的应用进一步被配置为：如果雷达场中的对象正以超过阈值速度的速度朝着显示器移动，则在固定位置处提供触摸输入控件。
示例9：前述示例中的至少一个的智能电话，其中，智能电话包括图像捕获设备，并且基于雷达的应用经由图像捕获设备实时或接近实时地呈现真实对象的图像。
示例10：前述示例中的至少一个的智能电话，其中，雷达系统进一步被配置为基于雷达数据确定雷达场中的对象正朝显示器移动。
示例11：前述示例中的至少一个的智能电话，其中基于雷达的应用进一步被配置为基于雷达数据确定雷达场中的对象正在朝显示器移动。
示例12：前述示例中的至少一个的智能电话，其中雷达场中的对象是用户的身体部位。
示例13：一种系统，包括：包括显示器的电子设备；雷达系统，其至少部分地以硬件实现，该雷达系统被配置为：提供雷达场；在第一时间感测来自雷达场中的对象的反射；分析来自雷达场中的对象的反射；并且基于对反射的分析，提供雷达数据；一个或多个计算机处理器；在其上存储有指令的一个或多个计算机可读介质，该指令响应于一个或多个计算机处理器的执行，实现基于雷达的应用，该基于雷达的应用被配置为：通过电子设备的显示器呈现增强现实(AR)元素；在第二时间接收选择所述AR元素的输入，所述第二时间晚于所述第一时间；基于雷达数据，确定雷达场中的对象的手势；并执行与所述选择的AR元素有关的动作，该动作对应于所确定的手势；或者在其上存储有指令的一个或多个计算机可读介质，该指令响应于一个或多个计算机处理器的执行，实现基于雷达的应用，该基于雷达的应用被配置为：通过智能电话的显示器呈现增强现实(AR)元素，该AR元素包括触摸输入控件并与真实对象有关，真实对象的图像呈现在显示器上；响应于基于雷达数据确定雷达场中的对象正在朝显示器移动，将触摸输入控件保持在显示器上的固定位置。
示例14：示例13的系统，其中，选择AR元素的输入是触摸输入。
示例15：示例13或14的系统，其中，所述确定的手势是三维(3D)手势。
示例16：示例13至15中的至少一个的系统，其中，对象是用户的身体部位。
示例17：示例13至示例16中的至少一项的系统，其中，所述确定的手势包括改变对象与雷达系统之间的距离。
示例18：示例17的系统，其中：与所述改变的距离是对象与雷达系统之间的增加的距离相对应的动作是所述选择的AR元素靠近用户的运动；并且与所述改变的距离是对象与雷达系统之间的减小的距离相对应的动作是所述选择的AR元素远离用户的运动。
示例19：示例18的系统，其中：所述选择的AR元素靠近用户的运动与增加的距离成比例；并且所述选择的AR元素远离用户的运动与减小的距离成比例。
示例20：示例13至19中的至少一项的系统，其中，所述确定的手势包括改变对象相对于雷达系统的位置，同时在身体部位与电子设备的显示器的平面之间保持基本相似的距离。
示例21：示例20的系统，其中：对应于在第一方向上改变位置的动作是所述选择的AR元素在围绕所述选择的AR元素的轴的第一旋转方向的旋转；对应于在第二方向上改变位置的动作是所述选择的AR元素在围绕所述选择的AR元素的轴的第二旋转方向的旋转。
示例22：示例13至21中的至少一项的系统，其中，雷达系统进一步包括数字波束形成器和角度估计器，并且雷达系统被配置为在大约-90度和大约90度之间的视场中监测角度。
示例23：一种在包括显示器、雷达系统和基于雷达的应用的电子设备中实现的方法，该方法包括：通过雷达系统提供雷达场；通过雷达系统感测来自雷达场中的对象的反射；分析来自雷达场中的对象的反射；基于对反射的分析，提供雷达数据；通过基于雷达的应用通过电子设备的显示器呈现增强现实(AR)元素，该AR元素包括触摸输入控件并且与真实对象有关，真实对象的图像呈现在显示器上；响应于基于雷达数据确定雷达场中的对象正朝着显示器移动，将触摸输入控件保持在显示器上的固定位置。
示例24：示例23的方法，其中，基于雷达数据，通过雷达系统或通过基于雷达的应用确定雷达场中的对象正朝着显示器移动。
示例25：示例23或24的方法，其中，电子设备是手持设备，雷达场中的对象是用户，并且所述方法进一步包括：即使当真实对象的图像在显示器上不稳定地移动时，也将触摸输入控件保持在固定位置，从而促进用户与触摸输入控件的交互的易用性和准确性。
示例26：示例23至25中至少一个的方法，进一步包括：在用户用第一只手握住电子设备的同时，通过基于雷达的应用呈现包括触摸输入控件的增强现实(AR)元素。
示例27：示例23至26中的至少一个的方法，其中：确定雷达场中的对象正朝着显示器移动包括确定用户正在用第二只手接近电子设备。电子设备被定位使得真实对象的图像不再呈现在显示器上；所述方法进一步包括：通过基于雷达的应用，将AR元素和触摸输入控件保持在显示器上与在用户移动电子设备之前所呈现的位置大致相同的位置，使得真实对象的图像不再呈现在显示器上。
示例28：示例23至27中的至少一个的方法，其中，触摸输入控件已经经由第二只手的先前触摸输入被激活，并且所述方法进一步包括：响应于触摸输入控件的激活，通过基于雷达的应用在显示器上呈现二维(2D)用户界面，该2D用户界面包括：真实对象的另一图像；为用户提供有关真实对象的信息的另一触摸输入控件。
结论
尽管已经以专用于特征和/或方法的语言描述了用于实现包括雷达系统的智能电话、系统和方法的技术和装置的实施方式，但是应该理解，所附权利要求的主题并不一定限于所描述的特定特征或方法。相反，公开了特定的特征和方法作为实现包括雷达系统的智能电话、系统和方法的示例实施方式。

Claims (15)

1.一种用于在增强现实(AR)环境中执行动作的系统，包括：
电子设备，所述电子设备包括显示器；
雷达系统，所述雷达系统至少部分以硬件实现，所述雷达系统被配置为：
提供雷达场；
在第一时间感测来自所述雷达场中的对象的反射；
分析来自所述雷达场中的所述对象的反射；以及
基于对所述反射的分析提供雷达数据；
一个或多个计算机处理器；和
一个或多个计算机可读介质，所述计算机可读介质上存储有指令，所述指令响应于所述一个或多个计算机处理器的执行，实现基于雷达的应用，所述基于雷达的应用被配置为：
通过所述电子设备的所述显示器呈现AR元素；
在第二时间接收通过所述电子设备的所述显示器作出的触摸输入，所述触摸输入使得所述AR元素被选择，所述第二时间晚于所述第一时间；
基于所述雷达数据确定所述雷达场中的所述对象的手势；以及
执行与所选择的AR元素有关的动作，所述动作对应于所确定的手势。
2.根据权利要求1所述的系统，其中，所确定的手势是三维手势。
3.根据权利要求1所述的系统，其中，所述对象是用户的身体部位。
4.根据权利要求3所述的系统，其中，所确定的手势包括改变所述对象与所述雷达系统之间的距离。
5.根据权利要求4所述的系统，其中：
在改变所述对象与所述雷达系统之间的距离是增加所述对象与所述雷达系统之间的距离的情况下，与所述对象与所述雷达系统之间的所增加的距离相对应的所述动作是所选择的AR元素靠近所述用户的运动；并且
在改变所述对象与所述雷达系统之间的距离是减小所述对象与所述雷达系统之间的距离的情况下，与所述对象与所述雷达系统之间的所减小的距离相对应的所述动作是所选择的AR元素远离所述用户的运动。
6.根据权利要求5所述的系统，其中：
所选择的AR元素靠近所述用户的运动与所述增加的距离成比例；并且
所选择的AR元素远离所述用户的运动与所述减小的距离成比例。
7.根据权利要求3所述的系统，其中，所确定的手势包括改变所述对象相对于所述雷达系统的位置，同时在所述身体部位与所述电子设备的所述显示器的平面之间保持基本相似的距离。
8.根据权利要求7所述的系统，其中：
在改变所述对象的所述位置是在第一方向上改变所述对象的所述位置的情况下，与在所述第一方向上改变所述对象的所述位置相对应的所述动作是所选择的AR元素在围绕所选择的AR元素的轴的第一旋转方向上的旋转；并且
在改变所述对象的所述位置是在第二方向上改变所述对象的所述位置的情况下，与在所述第二方向上改变所述对象的所述位置相对应的所述动作是所选择的AR元素在围绕所述轴的第二旋转方向上的旋转。
9.根据权利要求1所述的系统，其中，所述雷达系统进一步包括数字波束形成器和角度估计器，并且所述雷达系统被配置为在-90度和90度之间的视场中监测角度。
10.一种用于在增强现实(AR)环境中执行动作的方法，所述方法在包括显示器、雷达系统和基于雷达的应用的电子设备中实现，所述方法包括：
由所述雷达系统提供雷达场；
由所述雷达系统在第一时间感测来自所述雷达场中的对象的反射；
分析来自所述雷达场中的所述对象的反射；以及
基于对所述反射的分析提供雷达数据；
由所述基于雷达的应用通过所述电子设备的所述显示器呈现AR元素；
在第二时间接收通过所述电子设备的所述显示器作出的触摸输入，所述触摸输入使得所述AR元素被选择，所述第二时间晚于所述第一时间；
基于所述雷达数据确定所述雷达场中的所述对象的手势；以及
执行与所选择的AR元素有关的动作，所述动作对应于所确定的手势。
11.根据权利要求10所述的方法，其中，所确定的手势是三维手势。
12.根据权利要求10所述的方法，其中，所述对象是用户的身体部位。
13.根据权利要求12所述的方法，其中，所确定的手势包括改变所述对象与所述雷达系统之间的距离。
14.根据权利要求12所述的方法，其中，所确定的手势包括改变所述对象相对于所述雷达系统的位置，同时在所述身体部位与所述电子设备的所述显示器的平面之间保持基本相似的距离。
15.一种智能电话，包括：
显示器；
雷达系统，所述雷达系统至少部分以硬件实现，所述雷达系统被配置为：
提供雷达场；
在第一时间感测来自所述雷达场中的对象的反射；
分析来自所述雷达场中的所述对象的反射；以及
基于对所述反射的分析提供雷达数据；
一个或多个计算机处理器；和
一个或多个计算机可读介质，所述计算机可读介质上存储有指令，所述指令响应于所述一个或多个计算机处理器的执行，实现基于雷达的应用，所述基于雷达的应用被配置为：
通过所述电子设备的所述显示器呈现AR元素；
在第二时间接收通过所述电子设备的所述显示器作出的触摸输入，所述触摸输入使得所述AR元素被选择，所述第二时间晚于所述第一时间；
基于所述雷达数据确定所述雷达场中的所述对象的手势；以及
执行与所选择的AR元素有关的动作，所述动作对应于所确定的手势。
CN202010434459.8A 2018-08-24 2019-08-05 包括雷达系统的智能电话、系统和方法 Pending CN111766943A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/112,130 2018-08-24
US16/112,130 US10698603B2 (en) 2018-08-24 2018-08-24 Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
CN201980004742.2A CN111149079B (zh) 2018-08-24 2019-08-05 智能电话和在电子设备中实现的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980004742.2A Division CN111149079B (zh) 2018-08-24 2019-08-05 智能电话和在电子设备中实现的方法

Publications (1)

Publication Number Publication Date
CN111766943A true CN111766943A (zh) 2020-10-13

Family

ID=67660474

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201980004742.2A Active CN111149079B (zh) 2018-08-24 2019-08-05 智能电话和在电子设备中实现的方法
CN202110307190.1A Pending CN113220115A (zh) 2018-08-24 2019-08-05 智能电话和在电子设备中实现的方法
CN202010434459.8A Pending CN111766943A (zh) 2018-08-24 2019-08-05 包括雷达系统的智能电话、系统和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201980004742.2A Active CN111149079B (zh) 2018-08-24 2019-08-05 智能电话和在电子设备中实现的方法
CN202110307190.1A Pending CN113220115A (zh) 2018-08-24 2019-08-05 智能电话和在电子设备中实现的方法

Country Status (7)

Country Link
US (3) US10698603B2 (zh)
EP (2) EP3722928A1 (zh)
JP (4) JP6851547B2 (zh)
KR (3) KR102184107B1 (zh)
CN (3) CN111149079B (zh)
TW (1) TWI738022B (zh)
WO (1) WO2020040966A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017131114A1 (de) * 2017-12-22 2019-06-27 S.M.S, Smart Microwave Sensors Gmbh Verfahren und Vorrichtung zum Bestimmen wenigstens eines Parameters eines Objektes
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US11494051B1 (en) * 2018-11-01 2022-11-08 Intuit, Inc. Image template-based AR form experiences
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11082535B2 (en) * 2018-12-20 2021-08-03 Here Global B.V. Location enabled augmented reality (AR) system and method for interoperability of AR applications
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
US20230186573A1 (en) * 2020-03-06 2023-06-15 Sandvik Ltd Computer enhanced maintenance system
US20210405179A1 (en) * 2020-06-25 2021-12-30 Lassen Peak, Inc. Systems and Methods for Noninvasive Detection of Impermissible Objects
EP4179411A1 (en) 2020-07-10 2023-05-17 Telefonaktiebolaget LM ERICSSON (PUBL) Visual feedback from a user equipment
KR20220009207A (ko) 2020-07-15 2022-01-24 삼성전기주식회사 고주파 모듈을 포함하는 전자 기기
EP3944107A1 (en) 2020-07-22 2022-01-26 Nokia Technologies Oy Apparatus, method and computer program for authenticating images
TWI760808B (zh) * 2020-08-04 2022-04-11 何忠誠 雷達距離探測裝置與方法
KR102322817B1 (ko) * 2020-09-10 2021-11-08 한국항공대학교산학협력단 도플러 레이다 및 음성 센서를 이용한 cnn 기반의 hmi 시스템, hmi 시스템의 센서 데이터 처리 장치 및 그 동작 방법
KR20220080399A (ko) * 2020-12-07 2022-06-14 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 방법
US11928263B2 (en) 2020-12-07 2024-03-12 Samsung Electronics Co., Ltd. Electronic device for processing user input and method thereof
CN112904999A (zh) * 2020-12-30 2021-06-04 江苏奥格视特信息科技有限公司 一种基于激光雷达的增强现实体感交互方法及系统
US11982734B2 (en) 2021-01-06 2024-05-14 Lassen Peak, Inc. Systems and methods for multi-unit collaboration for noninvasive detection of concealed impermissible objects
US12000924B2 (en) 2021-01-06 2024-06-04 Lassen Peak, Inc. Systems and methods for noninvasive detection of impermissible objects
US11474232B2 (en) 2021-03-19 2022-10-18 KaiKuTek Inc. Range doppler angle detection method and range doppler angle detection device
TWI756122B (zh) * 2021-04-30 2022-02-21 開酷科技股份有限公司 距離都卜勒雷達角度感測方法及裝置
US20230096207A1 (en) * 2021-09-29 2023-03-30 The Adt Security Corporation Gesture based interface for a premises security system
CN113918015B (zh) * 2021-10-08 2024-04-19 三星电子（中国）研发中心 一种增强现实的交互方法和装置
TWI804072B (zh) * 2021-11-26 2023-06-01 國立陽明交通大學 使用毫米波雷達的即時物件運動狀態辨識方法
WO2024057375A1 (ja) * 2022-09-13 2024-03-21 三菱電機株式会社 機械学習による位置推定部を備える操作パネル装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11338120A (ja) * 1998-05-27 1999-12-10 Dainippon Screen Mfg Co Ltd レイアウト装置
CN105278674A (zh) * 2014-06-03 2016-01-27 谷歌公司 通过穿戴式设备的基于雷达的手势识别
CN106489080A (zh) * 2014-08-07 2017-03-08 谷歌公司 基于雷达的手势感测和数据传输
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
WO2018004757A1 (en) * 2016-06-29 2018-01-04 Google Llc Hover touch input compensation in augmented and/or virtual reality
US9921657B2 (en) * 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US7511630B2 (en) 1999-05-04 2009-03-31 Intellimat, Inc. Dynamic electronic display system with brightness control
US6971072B1 (en) 1999-05-13 2005-11-29 International Business Machines Corporation Reactive user interface control based on environmental sensing
JP3518431B2 (ja) 1999-07-21 2004-04-12 トヨタ自動車株式会社 物体検出装置及びシステム
US7085253B2 (en) 2001-11-02 2006-08-01 Samsung Electronics Co., Ltd. System and method for notifying a user of the status of other mobile terminals
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7434169B2 (en) 2002-11-25 2008-10-07 Aol Llc, A Delaware Limited Liability Company Facilitating communications between computer users across a network
IL156629A0 (en) 2003-06-25 2004-01-04 A method and a system for control over unauthorized persons
US7199749B2 (en) 2003-12-12 2007-04-03 Georgia Tech Research Corporation Radar detection device employing a scanning antenna system
US7301494B2 (en) 2004-05-03 2007-11-27 Jeffrey Waters Combination cellular telephone and radar detector
JP2006013819A (ja) 2004-06-24 2006-01-12 Fujitsu Ltd レーダ用レフレクタ
WO2007027738A2 (en) 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
EP1967942A1 (en) 2005-10-26 2008-09-10 Sony Computer Entertainment America, Inc. System and method for interfacing and computer program
TW200731743A (en) 2006-02-15 2007-08-16 Asustek Comp Inc Mobile device capable of adjusting volume dynamically and related method
US20080029316A1 (en) 2006-08-07 2008-02-07 Denny Jaeger Method for detecting position of input devices on a screen using infrared light emission
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR100984230B1 (ko) * 2008-03-20 2010-09-28 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기 및 이를 이용한화면 제어 방법
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
JP5134409B2 (ja) * 2008-03-27 2013-01-30 日本写真印刷株式会社 プレゼンテーションシステム
US20090322690A1 (en) 2008-06-30 2009-12-31 Nokia Corporation Screen display
JP2010038607A (ja) 2008-08-01 2010-02-18 Hitachi Ltd 検出装置および鉄道車両
TWI384850B (zh) 2008-12-25 2013-02-01 Inventec Appliances Corp 手機及自動切換手機來電提示之方法
WO2010096546A1 (en) 2009-02-18 2010-08-26 MBTE Holdings Sweden AB Telephone call scheduling and initiation system
US7924212B2 (en) 2009-08-10 2011-04-12 Robert Bosch Gmbh Method for human only activity detection based on radar signals
US9335825B2 (en) * 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
US20110181510A1 (en) 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
KR20110101585A (ko) 2010-03-09 2011-09-16 삼성전자주식회사 휴대용 단말기의 화면 전환 장치 및 방법
US20110237274A1 (en) 2010-03-25 2011-09-29 Palm, Inc. Mobile computing device having relative positioning circuit
US8860672B2 (en) * 2010-05-26 2014-10-14 T-Mobile Usa, Inc. User interface with z-axis interaction
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
KR101330811B1 (ko) * 2010-08-25 2013-11-18 주식회사 팬택 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US9569003B2 (en) 2010-09-30 2017-02-14 Broadcom Corporation Portable computing device including a three-dimensional touch screen
US8723986B1 (en) 2010-11-04 2014-05-13 MCube Inc. Methods and apparatus for initiating image capture on a hand-held device
WO2013058820A1 (en) 2011-10-21 2013-04-25 Nest Labs, Inc. User-friendly, network connected learning thermostat and related systems and methods
TW201228332A (en) 2010-12-20 2012-07-01 Hui-Chuan Chien Mobile electronic device
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US8803697B2 (en) 2011-05-13 2014-08-12 Nokia Corporation Detecting movement for determining characteristics of user notification
KR101853277B1 (ko) 2011-07-18 2018-04-30 삼성전자 주식회사 통화 중 응용 프로그램 실행 방법 및 이를 지원하는 모바일 단말기
EP2560145A3 (en) * 2011-08-18 2017-03-15 Layar B.V. Methods and systems for enabling the creation of augmented reality content
US20130053007A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US20130057571A1 (en) 2011-09-02 2013-03-07 Nokia Siemens Networks Oy Display Orientation Control
KR20190133080A (ko) * 2011-09-19 2019-11-29 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
EP2575006B1 (en) * 2011-09-27 2018-06-13 Elo Touch Solutions, Inc. Touch and non touch based interaction of a user with a device
US20180032997A1 (en) 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
US20130120458A1 (en) 2011-11-16 2013-05-16 Microsoft Corporation Detecting screen orientation by using one or more proximity sensors
JP2013125328A (ja) * 2011-12-13 2013-06-24 Stella Green Corp 拡張現実感表示方法
KR101371547B1 (ko) 2012-03-08 2014-03-07 삼성전자주식회사 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법
CN103383607B (zh) * 2012-05-02 2017-03-01 国际商业机器公司 用于对触摸屏设备中的所显示内容进行钻取的方法和系统
US9494973B2 (en) 2012-05-09 2016-11-15 Blackberry Limited Display system with image sensor based display orientation
JP5477424B2 (ja) 2012-07-02 2014-04-23 沖電気工業株式会社 物体検知装置、物体検知方法及びプログラム
US20140046922A1 (en) * 2012-08-08 2014-02-13 Microsoft Corporation Search user interface using outward physical expressions
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
EP4006700A1 (en) 2013-01-08 2022-06-01 BlackBerry Limited On-demand user control
WO2014125482A1 (en) * 2013-02-12 2014-08-21 Inuitive Ltd. System and method for combining touch and gesture in a three dimensional user interface
US20140267130A1 (en) 2013-03-13 2014-09-18 Microsoft Corporation Hover gestures for touch-enabled devices
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
JP5790692B2 (ja) 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US20140315531A1 (en) 2013-04-17 2014-10-23 Donald Joong System & method for enabling or restricting features based on an attention challenge
US9075435B1 (en) 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
WO2014181326A1 (en) 2013-05-08 2014-11-13 Geva Ran Motion-based message display
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US20140347188A1 (en) 2013-05-22 2014-11-27 Motorola Mobility Llc Auto-adjust of indication characteristics based on user proximity
TWI547626B (zh) 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US20140380249A1 (en) 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US9058738B1 (en) 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20150036999A1 (en) 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
EP2887092A1 (en) 2013-12-18 2015-06-24 BAE SYSTEMS plc Computing radar cross section
US20150187137A1 (en) 2013-12-31 2015-07-02 Daqri, Llc Physical object discovery
JP5899251B2 (ja) * 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置
US20160118036A1 (en) 2014-10-23 2016-04-28 Elwha Llc Systems and methods for positioning a user of a hands-free intercommunication system
US10338800B2 (en) 2014-02-21 2019-07-02 FLIR Belgium BVBA Enhanced pilot display systems and methods
JP6417104B2 (ja) * 2014-04-16 2018-10-31 株式会社日立システムズ テキスト編集装置、テキスト編集方法、及びプログラム
US10367950B2 (en) 2014-06-11 2019-07-30 Lenovo (Singapore) Pte. Ltd. Device notification adjustment dependent on user proximity
US20150370472A1 (en) * 2014-06-19 2015-12-24 Xerox Corporation 3-d motion control for document discovery and retrieval
US9497592B2 (en) 2014-07-03 2016-11-15 Qualcomm Incorporated Techniques for determining movements based on sensor measurements from a plurality of mobile devices co-located with a person
US9600177B2 (en) 2014-07-17 2017-03-21 Google Technology Holdings LLC Electronic device with gesture display control and corresponding methods
KR20160012410A (ko) 2014-07-24 2016-02-03 삼성전자주식회사 전자 장치 및 이의 출력 제어 방법
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
JP2016035625A (ja) * 2014-08-01 2016-03-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
DE202015005999U1 (de) 2014-08-26 2015-11-26 Apple Inc. Benutzerschnittstelle zum Einschränken von Meldungen und Alarmen
CN204145834U (zh) 2014-09-26 2015-02-04 生迪光电科技股份有限公司 智能照明装置及照明系统
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US20160103655A1 (en) * 2014-10-08 2016-04-14 Microsoft Corporation Co-Verbal Interactions With Speech Reference Point
US9911235B2 (en) * 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
CN104793731A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 可穿戴设备的信息输入方法及可穿戴设备
KR102256676B1 (ko) 2015-02-06 2021-05-26 삼성전자주식회사 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스
US9817109B2 (en) 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
US10481696B2 (en) 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
JP2016205907A (ja) 2015-04-20 2016-12-08 株式会社Ｉｈｉエアロスペース コーナーリフレクタ、及び該コーナーリフレクタを備えたデコイシステム。
JP6427279B2 (ja) * 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡
WO2016176574A1 (en) * 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
US10134368B2 (en) 2015-06-04 2018-11-20 Paypal, Inc. Movement based graphical user interface
JP6595597B2 (ja) * 2015-07-29 2019-10-23 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
US9691361B2 (en) 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
JP6515028B2 (ja) * 2015-12-18 2019-05-15 本田技研工業株式会社 車両用操作装置
US20170289766A1 (en) 2016-03-29 2017-10-05 Microsoft Technology Licensing, Llc Digital Assistant Experience based on Presence Detection
US11558848B2 (en) 2016-03-30 2023-01-17 Lenovo (Singapore) Pte. Ltd. Intelligent notification delivery
US10687184B2 (en) 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
US10613213B2 (en) 2016-05-13 2020-04-07 Google Llc Systems, methods, and devices for utilizing radar with smart devices
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US20170349184A1 (en) 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US20180018965A1 (en) 2016-07-12 2018-01-18 Bose Corporation Combining Gesture and Voice User Interfaces
US20180052520A1 (en) 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
US10299290B2 (en) 2016-09-30 2019-05-21 Intel IP Corporation Apparatus, system and method of radar detection
KR101847295B1 (ko) * 2016-10-31 2018-05-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US10726835B2 (en) 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller
JP2018116653A (ja) 2017-01-20 2018-07-26 株式会社デンソーテン 識別装置、識別システム、および識別方法
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
US10845477B2 (en) 2017-05-10 2020-11-24 Google Llc Power management using a low-power radar
US10719870B2 (en) * 2017-06-27 2020-07-21 Microsoft Technology Licensing, Llc Mixed reality world integration of holographic buttons in a mixed reality device
WO2019056393A1 (zh) * 2017-09-25 2019-03-28 华为技术有限公司 一种终端界面的显示方法及终端
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
CN108334199A (zh) 2018-02-12 2018-07-27 华南理工大学 基于增强现实的移动式多模态交互方法及装置
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
US10579154B1 (en) 2018-08-20 2020-03-03 Google Llc Smartphone-based radar system detecting user gestures using coherent multi-look radar processing
US10794997B2 (en) 2018-08-21 2020-10-06 Google Llc Smartphone-based power-efficient radar processing and memory provisioning for detecting gestures
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11338120A (ja) * 1998-05-27 1999-12-10 Dainippon Screen Mfg Co Ltd レイアウト装置
US9921657B2 (en) * 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
CN105278674A (zh) * 2014-06-03 2016-01-27 谷歌公司 通过穿戴式设备的基于雷达的手势识别
CN106489080A (zh) * 2014-08-07 2017-03-08 谷歌公司 基于雷达的手势感测和数据传输
WO2018004757A1 (en) * 2016-06-29 2018-01-04 Google Llc Hover touch input compensation in augmented and/or virtual reality
CN106980362A (zh) * 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置

Also Published As

Publication number Publication date
US10936185B2 (en) 2021-03-02
KR20200055157A (ko) 2020-05-20
CN113220115A (zh) 2021-08-06
KR102318342B1 (ko) 2021-10-27
JP2020173817A (ja) 2020-10-22
KR20200036944A (ko) 2020-04-07
US20200285383A1 (en) 2020-09-10
TWI738022B (zh) 2021-09-01
US10698603B2 (en) 2020-06-30
KR102318343B1 (ko) 2021-10-27
KR102184107B1 (ko) 2020-11-27
EP3673346B1 (en) 2021-10-06
US11204694B2 (en) 2021-12-21
JP2021504771A (ja) 2021-02-15
EP3722928A1 (en) 2020-10-14
KR20200133832A (ko) 2020-11-30
WO2020040966A1 (en) 2020-02-27
EP3673346A1 (en) 2020-07-01
CN111149079B (zh) 2021-04-02
JP6851547B2 (ja) 2021-03-31
JP7340656B2 (ja) 2023-09-07
CN111149079A (zh) 2020-05-12
JP6861311B2 (ja) 2021-04-21
US20200064996A1 (en) 2020-02-27
US20210132788A1 (en) 2021-05-06
JP7296415B2 (ja) 2023-06-22
JP2021099857A (ja) 2021-07-01
TW202009650A (zh) 2020-03-01
JP2022119986A (ja) 2022-08-17

Similar Documents

Publication Publication Date Title
CN111149079B (zh) 智能电话和在电子设备中实现的方法
EP3750034B1 (en) Smartphone-based radar system for determining user intention in a lower-power mode
US11841933B2 (en) Radar-based authentication status feedback
US20230251725A1 (en) Gesture Input Notification for a Multi-Input Mode
CN111512276B (zh) 用于基于雷达的应用的雷达图像整形器
EP3936980A1 (en) Input methods for mobile devices
WO2021040749A1 (en) Detecting and processing unsuccessfully recognized or unsuccessfully utilized non-contact gestures for a computing system
WO2021040747A1 (en) Methods for reliable acceptance of user non-contact gesture inputs for a mobile device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination