CN114365008A - 使用时空神经网络执行姿态识别的基于智能设备的雷达系统 - Google Patents

使用时空神经网络执行姿态识别的基于智能设备的雷达系统 Download PDF

Info

Publication number
CN114365008A
CN114365008A CN202080064138.1A CN202080064138A CN114365008A CN 114365008 A CN114365008 A CN 114365008A CN 202080064138 A CN202080064138 A CN 202080064138A CN 114365008 A CN114365008 A CN 114365008A
Authority
CN
China
Prior art keywords
radar
data
composite
user
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080064138.1A
Other languages
English (en)
Inventor
米卡尔·马图兹克
阿贝尔·塞勒什·门格斯图
尼古拉斯·吉利恩
阿比吉特·阿隆·沙阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN114365008A publication Critical patent/CN114365008A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了实现能够使用时空神经网络(222)执行姿态识别的基于智能设备的雷达系统的技术和装置。时空神经网络(222)采用机器学习来基于复合雷达数据识别用户的姿态。时空神经网络(222)使用多级机器学习架构来实现，这使得雷达系统(102)能够节省功率并(例如，在姿态被执行时)实时识别用户的姿态。时空神经网络(222)也是可适配的，并且可以被扩展以识别多种类型的姿态，诸如挥扫姿态和伸手姿态，而不显著增加大小、计算要求或时延。

Description

使用时空神经网络执行姿态识别的基于智能设备的雷达系统
背景技术
雷达是可以检测对象的有用设备。相对于其他类型的传感器(如相机)，雷达可以在存在不同环境条件(诸如低照明和起雾)或者具有移动或重叠对象的情况下提供改进的性能。雷达还可以通过一个或多个遮挡物(诸如钱包或口袋)来检测对象。虽然雷达具有许多优点，但是存在与在电子设备中集成雷达相关联的许多挑战。
一个挑战涉及小型或移动电子设备内的功率约束。一些雷达的操作显著耗尽电子设备的电池，并且导致用户频繁地对电子设备进行再充电。因此，在由于可用功率的限制而削减或禁用雷达的有效操作的情况下，可能无法实现利用雷达的优点。
另一个挑战涉及小型消费者设备可能对雷达的设计或操作施加的限制。为了满足尺寸或布局约束，例如，可以使用更少的天线元件和各种天线元件间隔。其他约束可能限制雷达信号的带宽、传输功率或更新率。因此，雷达的设计可能导致降低的信噪比性能，这可能使得对于一些应用实现足够的精度具有挑战性。因此，集成在电子设备内的雷达的性能可能显著降低。这可能限制雷达可以支持的应用的类型或可以结合雷达的电子设备的类型。
发明内容
描述了实现能够使用时空神经网络执行姿态(gesture)识别的基于智能设备的雷达系统的技术和装置。时空神经网络采用机器学习来分析复合雷达数据(例如，幅度和相位信息两者)以进行姿态识别。通过分析幅度和相位信息两者，相对于处理幅度信息的其他信号处理技术、启发式技术或机器学习技术，时空神经网络可以实现检测分布式对象和识别姿态的改进的准确度。
时空神经网络使用多级机器学习架构来实现。在第一级，空间递归网络在空间域上分析复合雷达数据以生成特征数据。特征数据标识由用户执行的姿态的一个或多个特征(例如，特性)。将特征数据存储在循环缓冲区的存储器元件中达至少一部分时间。随着时间的推移，其他特征数据被存储在循环缓冲区的其他存储器元件中。在第二级中，时间递归网络在时域上分析特征数据以识别姿态。
这种多级设计使得雷达系统能够节省功率并(例如，在姿态被执行时)实时识别姿态。例如，循环缓冲区的使用使得雷达系统能够通过减轻重新生成特征数据或存储复合雷达数据的需要来节省功率和存储器。存储特征数据而不是复合雷达数据还减少了用于识别姿态的计算时间。时空神经网络也是可适配的，并且可以被扩展以识别多种类型的姿态，诸如挥扫(swipe)姿态和伸手姿态，而不会显著增加大小、计算要求或时延。
下面描述的方面包括由雷达系统执行的用于姿态识别的方法。该方法包括使用雷达系统的天线阵列发射雷达发射信号。该方法还包括使用天线阵列接收雷达接收信号。雷达接收信号包括由至少一个用户反射的雷达发射信号的版本。该方法还包括基于雷达接收信号生成复合雷达数据，并将复合雷达数据提供给雷达系统的时空神经网络。时空神经网络包括多级机器学习架构。该方法进一步包括使用时空神经网络分析复合雷达数据以识别由至少一个用户执行的姿态。
下面描述的方面还包括一种包括雷达系统的装置。该雷达系统包括天线阵列和收发器。雷达系统还包括被配置为执行任何所描述的方法的处理器和计算机可读存储介质。
下面描述的方面包括计算机可读存储介质，该计算机可读存储介质包括计算机可执行指令，该计算机可执行指令响应于由处理器执行而实现时空神经网络，该时空神经网络被配置为接受与由至少一个对象反射的雷达接收信号相关联的复合雷达数据。时空神经网络还被配置为使用机器学习在空间域上分析复合雷达数据以生成特征数据。另外，时空神经网络被配置为使用机器学习在时域上分析特征数据以生成雷达应用数据。时空神经网络被配置为将雷达应用数据传递到基于雷达的应用。
下文所描述的方面还包括一种具有用于基于复合雷达数据执行姿态辨识的时空神经网络装置的系统。
附图说明
参考以下附图描述了用于实现能够使用时空神经网络执行姿态识别的基于智能设备的雷达系统的装置和技术。在整个附图中使用相同的附图标记来指代相同的特征和组件：
图1图示了可以实现能够使用时空神经网络执行姿态识别的基于智能设备的雷达系统的示例环境。
图2图示了作为智能设备的一部分的雷达系统的示例实现方式。
图3-1图示了示例雷达系统的操作。
图3-2图示了用于姿态识别的示例雷达成帧结构。
图4图示了雷达系统的示例天线阵列和雷达系统的示例收发器。
图5图示了由雷达系统实现的用于使用时空神经网络执行姿态识别的示例方案。
图6-1图示了用于姿态识别的示例硬件抽象模块。
图6-2图示了由用于姿态识别的硬件抽象模块生成的示例硬件无关的复合雷达数据。
图7-1图示了用于执行姿态识别的示例时空神经网络。
图7-2图示了时空神经网络的示例啁啾级分析模块。
图7-3图示了时空神经网络的示例特征级分析模块。
图7-4图示了时空神经网络的示例应用级分析模块。
图8图示了用于执行基于智能设备的雷达系统的操作的示例方法，该基于智能设备的雷达系统能够使用时空神经网络执行姿态识别。
图9图示了示例计算系统，该示例计算系统体现雷达系统或者可以实现能够使用雷达系统的技术，该雷达系统能够使用时空神经网络执行姿态识别。
具体实施方式
概述
将雷达系统集成在电子设备内可能是具有挑战性的。例如，电子设备可以具有有限的可用电量。因此，雷达系统可能无法增加传输功率或利用更高的更新率。在一些情况下，电子设备的尺寸或布局约束可能限制天线元件的数量或导致次优天线元件间隔，这可能限制角分辨率。其他硬件限制或频率限制可能限制雷达信号的带宽，这可能限制使用脉冲压缩技术的雷达的距离分辨率。由于这些限制，一些雷达实现目标精度可能是具有挑战性的。
目标精度对于检测具有非确定性雷达特征信号的分布式对象而言也可能是具有挑战性的。分布式对象的示例类型包括人体部位(例如，手指、手、面部或附肢)或人体。从雷达的角度来看，分布式对象具有多个相位中心(例如，散射点)，这使得分布式对象的雷达特征信号在不同的观察角上变化。在观察分布式对象时，观察角可能由于分布式对象的运动或雷达的运动而改变。随着观察角改变，雷达特征信号的幅度或相位可能变化，这增加了使用适合于非分布式对象(例如，具有确定性雷达特征信号的对象)的雷达处理技术产生的位置数据的误差或不确定性。
为了解决这些问题，本文档描述了实现能够使用时空神经网络执行姿态识别的基于智能设备的雷达系统的技术和设备。时空神经网络采用机器学习来分析复合雷达数据(例如，幅度和相位信息)以进行姿态识别。通过分析幅度和相位信息两者，相对于处理幅度信息的其他信号处理技术、启发式技术或机器学习技术，时空神经网络可以实现用于检测分布式对象和识别姿态的改进的准确度。除非本文的特定上下文另有说明，否则增加的准确度是指增加的细化程度、增加的与真实的一致性、或增加的细化程度和增加的与真实的一致性两者。
时空神经网络使用多级机器学习架构来实现。在第一级，空间递归网络在空间域上分析复合雷达数据以生成特征数据。特征数据标识由用户执行的姿态的一个或多个特征(例如，特性)。将特征数据存储在循环缓冲区的存储器元件中达至少一部分时间。随着时间的推移，其他特征数据被存储在循环缓冲区的其他存储器元件中。在第二级中，时间递归网络在时域上分析特征数据以识别姿态。
这种多级设计使得雷达系统能够节省功率并(例如，在姿态被执行时)实时识别姿态。例如，循环缓冲区的使用使得雷达系统能够通过减轻重新生成特征数据或存储复合雷达数据的需要来节省功率和存储器。存储特征数据而不是复合雷达数据还减少了用于识别姿态的计算时间。时空神经网络也是可适配的，并且可以被扩展以识别多种类型的姿态，诸如挥扫姿态和伸手姿态，而不会显著增加大小、计算要求或时延。
示例环境
图1是示例环境100-1至100-6的图示，其中，可以体现使用基于智能设备的雷达系统的技术和包括基于智能设备的雷达系统的装置，该基于智能设备的雷达系统能够使用时空神经网络执行姿态识别。在所描绘的环境100-1至100-6中，智能设备104包括能够使用(图2的)时空神经网络来检测一个或多个对象(例如，用户)的雷达系统102。智能设备104被示出为环境100-1至100-5中的智能电话和环境100-6中的智能车辆。
在环境100-1至100-4中，用户执行不同类型的姿态，这些姿态由雷达系统102检测。在一些情况下，用户使用附肢或身体部位执行姿态。可替选地，用户也可以使用触笔、手持对象、戒指或任何类型的可以反射雷达信号的材料来执行姿态。
在环境100-1中，用户通过沿水平维度(例如，从智能设备104的左侧向智能设备104的右侧)在智能设备104上方移动手来做出滚动姿态。在环境100-2中，用户做出伸手姿态，这减小智能设备104与用户的手之间的距离。环境100-3中的用户做出姿态以在智能设备104上玩游戏。在一种情况下，用户通过沿垂直维度(例如，从智能设备104的底部到智能设备104的顶部)在智能设备104上方移动手来做出推动姿态。在环境100-4中，智能设备104被存放在钱包内，并且雷达系统102通过检测被钱包遮挡的姿态来提供遮挡姿态识别。
雷达系统102还可以识别图1中未示出的其他类型的姿态或运动。姿态的示例类型包括把手转动姿态，其中，用户卷曲他们的手指以紧握假想的门把手并且以顺时针或逆时针的方式旋转他们的手指和手以模仿转动假想的门把手的动作。姿态的另一示例类型包括轴扭转姿态，用户通过将拇指和至少另一个手指在一起摩擦来执行该姿态。姿态可以是二维的，诸如与触敏显示器一起使用的姿态(例如，两指捏合、两指展开或轻敲)。姿态也可以是三维的，诸如许多手语姿态，例如，美国手语(ASL)和全球其他手语的姿态。一旦检测到这些姿态中的每一个，智能设备104就可以执行诸如显示新内容、移动光标、激活一个或多个传感器、打开应用等的动作。以这种方式，雷达系统102提供对智能设备104的无接触控制。
在环境100-5中，雷达系统102生成周围环境的三维地图以用于场境感知。雷达系统102还检测并跟踪多个用户以使得两个用户都能够与智能设备104交互。雷达系统102还可以执行生命体征检测。在环境100-6中，雷达系统102监视驾驶车辆的用户的生命体征。示例生命体征包括心率和呼吸率。例如，如果雷达系统102确定驾驶员正在入睡，则雷达系统102可以使智能设备104警告用户。可替选地，如果雷达系统102检测到危及生命的紧急事件，诸如心脏病发作，则雷达系统102可以使智能设备104向医疗专业人员或紧急服务发出警报。
雷达系统102的一些实现方式在智能设备104的场景中应用时特别有利，由此存在问题的汇聚。这可能包括对雷达系统102的间隔和布局以及低功率的限制的需要。智能设备104的示例性总体横向尺寸可以是例如大约八厘米乘大约十五厘米。雷达系统102的示例性占用面积甚至可以被更多地限制，诸如包括天线在内的大约四毫米乘六毫米。雷达系统102的示例性功耗可以在几毫瓦到几十毫瓦的数量级上(例如，在近似两毫瓦和二十毫瓦之间)。雷达系统102的这种有限的占用面积和功耗的要求使得智能设备104能够在空间受限的包装中包括其他期望的零件(例如，相机传感器、指纹传感器、显示器等)。参考图2进一步描述智能设备104和雷达系统102。
图2将雷达系统102图示为智能设备104的一部分。智能设备104被图示有各种非限制性示例设备，包括台式计算机104-1、平板计算机104-2、膝上型计算机104-3、电视机104-4、计算手表104-5、计算眼镜104-6、游戏系统104-7、微波炉104-8以及车辆104-9。也可以使用其他设备，诸如家庭服务设备、智能扬声器、智能恒温器、安全相机、婴儿监视器、Wi-FiTM路由器、无人机、触控板、绘图板、上网本、电子阅读器、家庭自动化和控制系统、墙上显示器以及其他家用电器。注意，智能设备104可以是可穿戴的、不可穿戴的但移动的或相对不移动的(例如，台式机和电器)。雷达系统102可以用作独立雷达系统，或者与许多不同的智能设备104或外围设备一起使用，或嵌入许多不同的智能设备104或外围设备中，诸如嵌入控制家用电器和系统的控制面板中、嵌入汽车中以控制内部功能(例如，音量、巡航控制或甚至汽车驾驶)或者用作膝上型计算机的附件来控制膝上型计算机上的计算应用。
智能设备104包括一个或多个计算机处理器202和一个或多个计算机可读介质204，该计算机可读介质204包括存储器介质和存储介质。体现为计算机可读介质204上的计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器202执行，以提供本文所述的一些功能性。计算机可读介质204还包括基于雷达的应用206，该基于雷达的应用206使用由雷达系统102生成的雷达数据来执行功能，诸如存在检测、基于姿态的无接触控制、自动驾驶的碰撞避免、人类生命体征通知等。
智能设备104还可以包括用于通过有线、无线或光网络传达数据的网络接口208。例如，网络接口208可以通过局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、有线局域网(WAN)、内联网、互联网、对等网络、点对点网络、网状网络等来传达数据。智能设备104还可以包括显示器(未示出)。
雷达系统102包括用于将雷达数据传送到远程设备的通信接口210，尽管当雷达系统102被集成在智能设备104内时不需要使用此接口。通常，由通信接口210提供的雷达数据是以基于雷达的应用206可使用的格式。
雷达系统102还包括至少一个天线阵列212和至少一个收发器214，以发射和接收雷达信号。天线阵列212包括至少一个发射天线元件和至少两个接收天线元件。在一些情况下，天线阵列212包括多个发射天线元件，以实现能够在给定时间发射多个不同波形的多输入多输出(MIMO)雷达(例如，每个发射天线元件发射不同的波形)。天线元件可以是圆极化的、水平极化的、垂直极化的或其组合。
天线阵列212的接收天线元件可以以一维形状(例如，线)或二维形状(例如，矩形布置、三角形布置或“L”形布置)加以定位，用于包括三个或更多接收天线元件的实现方式。一维形状使得雷达系统102能够测量一个角度维度(例如，方位角或俯仰角)，而二维形状使得雷达系统102能够测量两个角度维度(例如，以确定对象的方位角和仰角)。与接收天线元件相关联的元件间距可以小于、大于或等于雷达信号的中心波长的一半。
使用天线阵列212，雷达系统102可以形成被导向或未导向、宽或窄或整形(例如，半球形、立方体、扇形、圆锥形、圆柱体)的波束。可以通过模拟波束成形或数字波束成形来实现导向和整形。一个或多个发射天线元件可以具有例如未导向的全向辐射图案，或者可以产生宽的可导向波束以照亮大空间体积。为了实现目标角精度和角分辨率，接收天线元件可以被用于利用数字波束成形生成数百或数千个窄导向波束。以这种方式，雷达系统102可以有效地监视外部环境并检测一个或多个用户。
收发器214包括用于经由天线阵列212发射和接收雷达信号的电路和逻辑。收发器214的组件可以包括用于调节雷达信号的放大器、混频器、开关、模数转换器或滤波器。收发器214还包括用于执行诸如调制或解调的同相/正交(I/Q)运算的逻辑。可以使用各种调制，包括线性频率调制、三角频率调制、步进频率调制或相位调制。可替选地，收发器214可以产生具有相对恒定的频率或单音调的雷达信号。收发器214可以被配置为支持连续波或脉冲雷达操作。
收发器214用于生成雷达信号的频谱(例如，频率范围)可以包含1和400吉赫兹(GHz)之间、4和100GHz之间、1和24GHz之间、2和4GHz、之间、57和64GHz之间、或在近似2.4GHz的频率。在一些情况下，频谱可以被划分成具有相似或不同带宽的多个子频谱。带宽可以在500兆赫兹(MHz)、1GHz、2GHz等的数量级上。不同的频率子频谱可以包括例如在近似57和59GHz、59和61GHz或61和63GHz之间的频率。尽管上述示例频率子频谱是连续的，但是其他频率子频谱可能不是连续的。为了实现相干性，收发器214可以使用具有相同带宽的多个频率子频谱(连续的或不连续的)来生成多个雷达信号，所述多个雷达信号被同时发射或在时间上分离。在一些情况下，可以使用多个连续的频率子频谱来发射单个雷达信号，从而使雷达信号具有宽的带宽。
雷达系统102还包括一个或多个系统处理器216和一个或多个系统介质218(例如，一个或多个计算机可读存储介质)。系统介质218可选地包括硬件抽象模块220。系统介质218还包括至少一个时空神经网络222和至少一个循环缓冲区224。硬件抽象模块220、时空神经网络222和循环缓冲区224可以使用硬件、软件、固件或其组合来实现。在该示例中，系统处理器216实现硬件抽象模块220和时空神经网络222。系统处理器216或存储器控制器可以实现和管理循环缓冲区224。硬件抽象模块220、时空神经网络222和循环缓冲区224一起使得系统处理器216能够处理来自天线阵列212中的接收天线元件的响应，以检测用户、确定对象的位置和/或识别由用户302执行的姿态。
在替代实现方式(未示出)中，硬件抽象模块220、时空神经网络222或循环缓冲区224被包括在计算机可读介质204内并且由计算机处理器202实现。这使得雷达系统102能够经由通信接口210向智能设备104提供原始数据，使得计算机处理器202可以处理用于基于雷达的应用206的原始数据。
硬件抽象模块220将由收发器214提供的原始数据变换成硬件无关的复合雷达数据，其可以由时空神经网络222处理。特别地，硬件抽象模块220使来自各种不同类型的雷达信号的复合雷达数据符合时空神经网络222的预期输入。这使得时空神经网络222能够处理由雷达系统102接收的不同类型的雷达信号，包括利用用于调频连续波雷达、相位调制扩频雷达或脉冲雷达的不同调制方案的那些信号。硬件抽象模块220还可以归一化来自具有不同中心频率、带宽、发射功率电平或脉冲宽度的雷达信号的复合雷达数据。
另外，硬件抽象模块220符合使用不同硬件架构生成的复合雷达数据。不同的硬件架构可以包括位于智能设备104的不同表面上的不同天线阵列212或天线阵列212内的不同天线元件集合。通过使用硬件抽象模块220，时空神经网络222可以处理由具有不同增益的不同天线元件集合、各种数量的不同天线元件集合或具有不同天线元件间隔的不同天线元件集合生成的复合雷达数据。
通过使用硬件抽象模块220，时空神经网络222可以在具有影响可用雷达调制方案、传输参数或硬件架构类型的不同限制的雷达系统102中操作。参考图6-1至图6-2进一步描述硬件抽象模块220。
时空神经网络222使用机器学习来分析硬件无关的复合雷达数据，并生成用于基于雷达的应用206的雷达应用数据。雷达应用数据的示例类型包括用户的位置、用户的移动、由用户执行的姿态的类型、用户的测量的生命体征或对象的特性。时空神经网络222分析复合雷达数据的幅度和相位信息两者，以相对于处理幅度信息的其他信号处理技术、启发式技术或机器学习技术提高检测分布式对象的准确度。
对于姿态识别，时空神经网络222可以被设计为识别特定姿态或多个姿态，诸如上面参考图1描述的那些姿态。在一些情况下，时空神经网络222包括可以根据智能设备104的类型或基于雷达的应用206单独选择的一套机器学习架构。可以定制机器学习架构的设计以支持具有不同可用存储器量、不同可用功率量或不同计算能力的智能设备104。例如，低功率、非计算密集的时空神经网络222可以处理来自较少量的接收信道(例如，两个到四个接收信道)的信息，具有较少的隐藏层，或者对被压缩的输入数据进行操作。相反，高功率、计算密集的时空神经网络222可以处理来自更大量的接收信道(例如，多于四个接收信道)的信息，执行，具有更大量的隐藏层，或者对未被压缩的输入数据进行操作。
循环缓冲区224是使用系统介质218内的存储器的分配部分实现的固定大小的存储器缓冲区。循环缓冲区224包括多个存储器元件，并且提供先进先出队列，其中使用存储器元件顺序地存储和访问数据。一旦所有存储器元件存储数据，则覆盖存储在循环缓冲区224内的最旧数据。循环缓冲区224在时空神经网络222的两级之间实现。这样，循环缓冲区224存储由时空神经网络222的第一级生成的数据，并且使得时空神经网络222的第二级能够访问所存储的数据。参考图7-3进一步描述循环缓冲区224。
使用多级机器学习架构来实现时空神经网络222。在第一级，空间递归网络在空间域上分析复合雷达数据以生成特征数据。特征数据标识由用户执行的姿态的一个或多个特征(例如，特性)。换句话说，特征数据是复合雷达数据的压缩表示。通过使用特征数据的较小分量来表示复合雷达数据，可以显著地降低时空神经网络222内的后一级的复杂性。这可以使得时空神经网络222能够在存储器受限或计算受限的设备内得以实现。
特征数据被存储在循环缓冲区224的存储器元件中达至少一部分时间。随着时间的推移，其他特征数据被存储在循环缓冲区224的其他存储器元件中。在第二级中，时间递归网络跨循环缓冲区224内的多个存储器元件分析特征数据以识别姿态。循环缓冲区224和第二级一起从存储在循环缓冲区224中的特征数据内包含的本地信息中提取全局或时间信息。参考图7-1至图7-4进一步描述时空神经网络222。
图3-1图示了雷达系统102的示例操作。在所描绘的配置中，雷达系统102被实现为调频连续波雷达。然而，可以实现其他类型的雷达架构，如上参考图2所述。在环境300中，用户302位于距雷达系统102的特定倾斜范围304处。用户302表示分布式对象，其具有多个相位中心305(例如，多个散射点)。作为示例，用户302的手在特定观察角处具有五个相位中心305。观察角是相对于视线的入射角，雷达系统102沿着该视线“看到”对象(例如，用户302的手)。如果考虑对象的速度矢量的取向来识别观察角，则观察角也可以被认为是视角。
相位中心305的数量和相应位置可以在不同的观察角处变化。当观察角改变时，诸如当用户302执行姿态时，雷达特征信号的幅度或相位可以变化。这种变化(也称为散斑)可能使得使用处理幅度信息的其他信号处理技术、启发式技术或机器学习技术来识别姿态具有挑战性。
为了检测用户302，雷达系统102发射雷达发射信号306。雷达发射信号306的至少一部分被用户302反射。该反射部分表示雷达接收信号308。雷达系统102接收雷达接收信号308，并处理雷达接收信号308以提取用于基于雷达的应用206的数据。如所描绘的，由于在传播和反射期间引起的损耗，雷达接收信号308的幅度小于雷达发射信号306的幅度。
雷达发射信号306包括啁啾序列310-1至310-N，其中N表示大于一的正整数。雷达系统102可以以连续突发发射啁啾310-1至310-N，或者作为时间分离的脉冲发射啁啾310-1至310-N，如参考图3-2进一步所述。例如，每个啁啾310-1至310-N的持续时间可以在数十或数千微秒的数量级上(例如，在近似30微秒(μs)至5毫秒(ms)之间)。
啁啾310-1至310-N的各个频率可以随时间增加或减少。在所描绘的示例中，雷达系统102采用双斜率周期(例如，三角频率调制)以随着时间线性地增大和线性地减小啁啾310-1至310-N的频率。双斜率周期使得雷达系统102能够测量由用户302的运动引起的多普勒频移。通常，啁啾310-1至310-N的发射特性(例如，带宽、中心频率、持续时间和发射功率)可以被定制以实现特定的检测范围、范围分辨率或多普勒灵敏度，以检测用户302的一个或多个特征或用户302执行的一个或多个动作。
在雷达系统102处，雷达接收信号308表示雷达发射信号306的延迟版本。延迟量与从雷达系统102的天线阵列212到用户302的倾斜范围304(例如，距离)成比例。具体来说，该延迟表示雷达发射信号306从雷达系统102传播到用户302所花费的时间与雷达接收信号308从用户302传播到雷达系统102所花费的时间的总和。如果用户302正在移动，则由于多普勒效应雷达接收信号308在频率方面相对于雷达发射信号306被偏移。类似于雷达发射信号306，雷达接收信号308由啁啾310-1至310N中的一个或多个组成。
多个啁啾310-1至310-N使得雷达系统102在预定时间段内对用户302进行多个观察。雷达成帧结构确定啁啾310-1至310-N的定时，如参考图3-2进一步所述。
图3-2图示用于姿态识别的示例雷达成帧结构312。在所描绘的配置中，雷达成帧结构312包括三种不同类型的帧。在最高等级处，雷达成帧结构312包括主帧314的序列，其可以处于活动状态或非活动状态。一般而言，相对于非活动状态，活动状态消耗更大量的功率。在中间等级处，雷达成帧结构312包括特征帧316的序列，其可以类似地处于活动状态或非活动状态。不同类型的特征帧316包括脉冲模式特征帧318(在图3-2的左下方示出)和突发模式特征帧320(在图3-2的右下方示出)。在低等级处，雷达成帧结构312包括雷达帧(RF)322的序列，它们也可以处于活动状态或非活动状态。
雷达系统102在活动的雷达帧322期间发射和接收雷达信号。在一些情况下，针对诸如搜索和跟踪、杂波图生成、用户位置确定等等的基本的雷达操作单独地分析雷达帧322。可以在完成雷达帧322之后将在每个活动雷达帧322期间收集到的雷达数据保存到缓冲区中，或者直接提供给图2的系统处理器216。
雷达系统102跨多个雷达帧322(例如，跨与活动特征帧316相关联的一组雷达帧322)分析雷达数据，以标识与一个或多个雷达功能(例如，姿态识别、存在检测、碰撞避免或人类生命体征检测)相关联的特定特征。示例特征类型包括特定类型的运动、与特定附肢或姿态装置(例如，手、各个手指或触笔)相关联的运动、与姿态的不同部分相关联的特征以及用户或另一对象的至少一部分的位置。例如，为了识别用户302在活动主帧314期间执行的姿态，雷达系统102分析与一个或多个活动特征帧316相关联的雷达数据。
取决于雷达功能的类型，主帧314的持续时间可以在毫秒或秒的数量级上(例如，在近似10ms与10秒之间)。在活动主帧314-1和314-2出现之后，雷达系统102是不活动的，如由不活动主帧314-3和314-4所示。不活动主帧314-3和314-4的持续时间由深度睡眠时间324表征，该深度睡眠时间可以在数十毫秒或更长(例如，大于50ms)的数量级上。在示例实现方式中，雷达系统102关闭收发器214内的所有活动组件(例如，放大器、有源滤波器、压控振荡器(VCO)、压控缓冲区、多路复用器、模数转换器、锁相环(PLL)或晶体振荡器)以在深度睡眠时间324期间节省功率。
在所描绘的雷达成帧结构312中，每个主帧314包括K个特征帧316，其中K是正整数。如果主帧314处于非活动状态，则与该主帧314相关联的所有特征帧316也处于非活动状态。相反，活动主帧314包括J个活动特征帧316和K-J个不活动特征帧316，其中J是小于或等于K的正整数。特征帧316的数量可以基于姿态的复杂性，并且可以包括几个到一百个特征帧316(例如，K可以等于2、10、30、60或100)。每个特征帧316的持续时间可以在毫秒的数量级上(例如，在近似1ms与50ms之间)。
为了节省功率，活动特征帧316-1至316-J出现在不活动特征帧316-(J+1)至316-K之前。不活动特征帧316-(J+1)至316-K的持续时间由睡眠时间326表征。以这种方式，连续执行不活动特征帧316-(J+1)至316-K，使得相对于可能使不活动特征帧316-(J+1)至316-K与活动特征帧316-1至316-J交错的其他技术，雷达系统102可以处于断电状态达更长的持续时间。一般而言，增加睡眠时间326的持续时间使得雷达系统102能够关闭收发器214内需要更长启动时间的组件。
每个特征帧316包括L个雷达帧322，其中L是可以等于或可以不等于J或K的正整数。在一些实现方式中，一定数量的雷达帧322可以跨不同的特征帧316变化并且可以包括几帧或几百帧(例如，L可以等于5、15、30、100或500)。雷达帧322的持续时间可以是在数十或数千个微秒的数量级上(例如，在近似30μs和5ms之间)。可以针对预定的检测范围、范围分辨率或多普勒敏感度来定制特定特征帧316内的雷达帧322，这有助于检测特定特征或姿态。例如，雷达帧322可以利用特定类型的调制、带宽、频率、发射功率或定时。如果特征帧316处于非活动状态，则与该特征帧316相关联的所有雷达帧322也处于非活动状态。
脉冲模式特征帧318和突发模式特征帧320包括不同的雷达帧322的序列。一般而言，活动的突发模式特征帧318内的雷达帧322发射在时间上以预定的量隔开的脉冲。这随着时间分散观察，由于相对于突发模式特征帧320在脉冲模式特征帧318内观察到的啁啾310-1至310-N中的较大变化，这可以使雷达系统102更容易识别姿态。相反，活动的突发模式特征帧320内的雷达帧322跨突发模式特征帧320的一部分连续地发射脉冲(例如，脉冲没有隔开预定的时间量)。这将通过关闭包括具有更长启动时间的组件的较大数量的组件使得活动的突发模式特征帧320消耗的功率比脉冲模式特征帧318少，如下面进一步所述。
在每个活动脉冲模式特征帧318内，雷达帧322的序列在活动状态和非活动状态之间交替。每个活动的雷达帧322发射啁啾310(例如，脉冲)，其由三角形图示。啁啾310的持续时间由活动时间328表征。在活动时间328期间，收发器214内的组件被通电。在包括活动雷达帧322内的剩余时间和随后的不活动雷达帧322的持续时间的短空闲时间330期间，雷达系统102通过关闭收发器214内具有在短空闲时间330的持续时间内的启动时间的一个或多个活动组件来节省功率。
活动的突发模式特征帧320包括P个活动的雷达帧322和L-P个不活动的雷达帧322，其中P是小于或等于L的正整数。为了节省功率，活动的雷达帧322-1至322-P在不活动的雷达帧322-(P+1)至322-L之前出现。非活动地雷达帧322-(P+1)至322-L的持续时间由长空闲时间332表征。通过将不活动的雷达帧322-(P+1)至322-L分组在一起，雷达系统102可以相对于在脉冲模式特征帧318期间出现的短空闲时间330处于断电状态达较长持续时间。另外，雷达系统102可以关闭收发器214内的具有比短空闲时间330长且比长空闲时间332短的启动时间的附加的组件。
活动的突发模式特征帧320内的每个活动的雷达帧322发射啁啾310的一部分。在该示例中，活动的雷达帧322-1至322-P在发射频率增加的啁啾310的一部分和频率减少的啁啾310的一部分之间交替。
雷达成帧结构312使得能够通过每种帧类型内的可调占空比来节省功率。第一占空比334基于相对于特征帧316(K)的总数量的活动特征帧316(J)的数量。第二占空比336基于相对于雷达帧322(L)的总数量的活动雷达帧322的数量(例如，L/2或P)。第三占空比338基于相对于雷达帧322的持续时间的啁啾310的持续时间。
考虑针对功率状态的示例雷达成帧结构312，其消耗近似2毫瓦(mW)的功率并且具有在近似1和4赫兹(Hz)之间的主帧更新率。在该示例中，雷达成帧结构312包括主帧314，其持续时间在近似250ms与1秒之间。主帧314包括三十一个脉冲模式特征帧318(例如，K等于31)。三十一个脉冲模式特征帧318中的一个处于活动状态。这导致占空比334近似等于3.2％。每个脉冲模式特征帧318的持续时间在近似8和32ms之间。每个脉冲模式特征帧318由八个雷达帧322(例如，L等于8)组成。在活动脉冲模式特征帧318内，所有八个雷达帧322都处于活动状态。这导致占空比336等于100％。每个雷达帧322的持续时间在近似1到4ms之间。每个活动雷达帧322内的活动时间328在近似32到128μs之间。这样，所得占空比338近似为3.2％。已经发现该示例雷达成帧结构312产生良好的性能结果。这些良好的性能结果在良好的姿态识别和存在检测方面，同时在低功率状态的手持智能电话的应用背景中也产生良好的功率效率结果。参考图4进一步描述(图3-1的)雷达发射信号306的生成和(图3-1的)雷达接收信号308的处理。
图4图示雷达系统102的示例天线阵列212和示例收发器214。在所描绘的配置中，收发器214包括发射器402和接收器404。发射器402包括至少一个压控振荡器406(VOC 406)和至少一个功率放大器408(PA 408)。接收器404包括至少两个接收信道410-1至410-M，其中M是大于1的正整数。每个接收信道410-1至410-M包括至少一个低噪声放大器412(LNA412)、至少一个混频器414、至少一个滤波器416和至少一个模数转换器418(ADC 418)。
天线阵列212包括至少一个发射天线元件420和至少两个接收天线元件422-1至422-M。发射天线元件420被耦合到发射器402。接收天线元件422-1至422-M分别被耦合到接收信道410-1至410-M。
在发射期间，压控振荡器406以射频生成调频雷达信号424。功率放大器408将调频雷达信号424放大，以经由发射天线元件420发射。发射的调频雷达信号424由雷达发射信号306表示，其可以包括基于图3-2的雷达成帧结构312的多个啁啾310-1至310-N。作为示例，根据图3-2的突发模式特征帧320生成雷达发射信号306，并且雷达发射信号306包括16个啁啾310(例如，N等于16)。
在接收期间，每个接收天线元件422-1至422-M接收雷达接收信号308-1至308-M的版本。通常，雷达接收信号308-1至308-M的这些版本之间的相对相位差是由于接收天线元件422-1至422-M的位置差异引起的。在每个接收信道410-1至410-M内，低噪声放大器412放大雷达接收信号308，并且混频器414将放大的雷达接收信号308与调频雷达信号424混频。特别地，混频器执行差拍操作，其下变频和解调雷达接收信号308以生成差拍信号426。
差拍信号426的频率表示调频的雷达信号424和雷达接收信号308之间的频率差，该频率差与图3-1的倾斜范围304成比例。尽管未示出，但是差拍信号426可以包括多个频率，其表示来自用户302的不同部分(例如，不同的手指、手的不同部分或不同的身体部位)或来自不同对象的反射。在一些情况下，这些不同部分相对于雷达系统102以不同的速度移动、沿不同的方向移动或被定位在不同的倾斜范围处。
滤波器416对差拍信号426进行滤波，并且模数转换器418将滤波后的差拍信号426进行数字化。接收信道410-1至410-M分别生成数字差拍信号428-1至428-M，它们被提供给系统处理器216以进行处理。收发器214的接收信道410-1至410-M被耦合到系统处理器216，如图5中所示。
图5图示了由雷达系统102实现的用于使用时空神经网络222执行姿态识别的示例方案。在所描绘的配置中，系统处理器216实现硬件抽象模块220和时空神经网络222。系统处理器216被连接到接收信道410-1至410-M。系统处理器216还可以与计算机处理器202通信。尽管未示出，但是硬件抽象模块220和/或时空神经网络222可以由计算机处理器202实现。
在该示例中，硬件抽象模块220从接收信道410-1至410-M接受数字差拍信号428-1至428-M。数字差拍信号428-1至428-M表示原始或未处理的复合雷达数据。硬件抽象模块220执行一个或多个操作以基于数字差拍信号428-1至428-M生成硬件无关的复合雷达数据502-1至502-M。硬件抽象模块220将由数字差拍信号428-1至428-M提供的复合雷达数据变换为时空神经网络222所预期的形式。在一些情况下，硬件抽象模块220对与不同发射功率电平相关联的幅度进行归一化或将复合雷达数据变换为频域表示。
硬件无关的复合雷达数据502-1至502-M包括幅度和相位信息(例如，同相和正交分量)两者。在一些实现方式中，硬件无关的复合雷达数据502-1至502-M包括用于每个接收信道410-1至410-M和用于特定活动特征帧316的距离多普勒图。在其他实现方式中，硬件无关的复合雷达数据502-1至502-M包括复合干涉测量数据，其是距离多普勒图的正交表示。作为另一示例，硬件无关的复合雷达数据502-1至502-M包括活动特征帧316的数字差拍信号428-1至428-M的频域表示。尽管未示出，但是雷达系统102的其他实现方式可以将数字差拍信号428-1至428-M直接提供给时空神经网络222。
时空神经网络222使用经训练的回归或分类模型来分析硬件无关的复合雷达数据502-1至502-M并生成雷达应用数据504。对于基于姿态的应用，雷达应用数据504提供关于由用户302执行的姿态的信息。例如，雷达应用数据504指示由用户302执行的姿态是左扫姿态还是右扫姿态。在其他实现方式中，雷达应用数据504指示与不同类型的姿态相关联的不同概率，诸如挥扫姿态的概率和伸手姿态的概率。尽管参考姿态识别进行了描述，但是由时空神经网络222执行的训练过程和时空神经网络222的机器学习架构可以适于支持其他类型的应用，包括存在检测、碰撞避免和人类生命体征检测。
在一些实现方式中，时空神经网络222依赖于监督学习并记录测量(例如，真实)数据以用于机器学习训练目的。训练使得时空神经网络222能够学习非线性映射函数，用于基于硬件无关的复合雷达数据502-1至502-M生成雷达应用数据504。在其他实现方式中，时空神经网络222依赖于无监督学习来确定非线性映射函数。
示例训练过程提示用户302选择并执行特定姿态，诸如伸手姿态或挥扫姿态。在执行姿态时，时空神经网络222记录作为输入提供的复合雷达数据(例如，硬件无关的复合雷达数据502-1至502-M或数字差拍信号428-1至428-M)。时空神经网络222调整机器学习参数(例如，系数、权重或偏差)以基于所记录的输入数据来识别姿态。所确定的机器学习参数由系统介质218存储或预编程到时空神经网络222中以使得能够识别未来的姿态。在一些情况下，可以重复该过程多次，以使得时空神经网络222能够考虑用户302如何执行姿态中的轻微变化。
示例离线训练过程使用运动捕获系统来生成用于训练时空神经网络222的真实数据。运动捕获系统可以包括多个光学传感器，诸如红外传感器或相机，以测量放置在人体的不同部分上(诸如手臂、手、躯干或头上)的多个标记的位置。当人相对于雷达系统102移动到不同位置或执行不同姿态时，输入数据与来自运动捕获系统的位置数据一起被记录。从运动捕获系统记录的位置数据被转换成相对于雷达系统102的位置测量，并且表示真实数据。附加地或可替代地，真实数据包括所执行的姿态的类型。时空神经网络222一起分析训练数据和真实数据，并调整机器学习参数以最小化误差。在一些情况下，离线训练过程可以提供用于训练时空神经网络222的相对无噪声的环境和高分辨率真实数据。
附加地或可替代地，实时训练过程可以使用智能设备104内的可用传感器来生成用于训练时空神经网络222的真实数据。在这种情况下，训练过程可以由智能设备104的用户302发起。当用户302在智能设备104周围移动或执行姿态时，来自智能设备104和雷达系统102的光学传感器(例如，相机或红外传感器)的数据被收集并作为真实数据提供给时空神经网络222。实时训练过程使得时空神经网络222能够针对用户302定制、考虑当前环境条件，并考虑智能设备104的当前位置或取向。
时空神经网络222包括两个或更多个人工神经网络(例如，神经网络)。神经网络包括被组织成一个或多个层的一组连接节点(例如，神经元或感知器)。作为示例，时空神经网络222包括深度神经网络，其包括输入层、输出层以及位于输入层和输出层之间的一个或多个隐藏层。深度神经网络的节点可以在层之间部分连接或完全连接。
在一些情况下，深度神经网络是递归深度神经网络(例如，长短期记忆(LSTM)递归深度神经网络)，其中节点之间的连接形成循环以针对输入数据序列的后续部分保留来自输入数据序列的先前部分的信息。在其他情况下，深度神经网络是前馈深度神经网络，其中节点之间的连接不形成循环。附加地或替代地，时空神经网络222可以包括另一类型的神经网络，诸如卷积神经网络。参考图7-1进一步描述了时空神经网络222的示例实现。
图6-1图示了用于姿态识别的示例硬件抽象模块220。在所描绘的配置中，硬件抽象模块220包括预处理级602和信号变换级604。预处理级602对数字差拍信号428-1至428-M内的每个啁啾310-1至310-N进行操作。换句话说，预处理级602对每个活动雷达帧322执行操作。在该示例中，预处理级602包括一维(1D)快速傅里叶变换(FFT)模块606-1至606-M，其分别处理数字差拍信号428-1至428-M。执行类似操作的其他类型的模块也是可能的，诸如傅里叶变换模块。
信号变换级604对数字差拍信号428-1至428-M中的每一个内的啁啾310-1至310-M的序列进行操作。换句话说，信号变换级604对每个活动特征帧316执行操作。在该示例中，信号变换级604包括缓冲区608-1至608-M和二维(2D)FFT模块610-1至610-M。
在接收期间，一维FFT模块606-1至606-M对数字差拍信号428-1至428-M内的啁啾310-1至310-M执行单独的FFT操作。假设雷达接收信号308-1至308-M包括16个啁啾310-1至310-N(例如，N等于16)，则每一一维FFT模块606-1至606-M执行16个FFT运算以每个啁啾612-1至612-M产生经预处理的复合雷达数据。当执行各个运算时，缓冲区608-1至608-M存储结果。一旦与活动特征帧316相关联的所有啁啾310-1至310-M已经由预处理级602处理，由缓冲区608-1至608-M存储的信息就表示针对用于相应接收信道410-1至410-M的每个特征帧614-1至614-M的经预处理的复合雷达数据。
二维FFT模块610-1至610-M分别处理每一特征帧614-1至614-M的经预处理的复合雷达数据以产生硬件无关的复合雷达数据502-1至502-M。在这种情况下，硬件无关的复合雷达数据502-1至502-M包括复合距离多普勒图，如参考图6-2进一步所述。
图6-2图示了由硬件抽象模块220生成的用于姿态识别的示例硬件无关的复合雷达数据502-1。硬件抽象模块220被示出为处理与接收信道410-1相关联的数字差拍信号428-1。数字差拍信号428-1包括作为时域信号的啁啾310-1至310-M。啁啾310-1至310-M以它们被收发器214接收和处理的顺序被传递到一维FFT模块606-1。
如上所述，一维FFT模块606-1在第一时间对数字差拍信号428-1的第一啁啾310-1执行FFT运算。缓冲区608-1存储与第一啁啾310-1相关联的预处理的复合雷达数据612-1的第一部分。一维FFT模块606-1继续处理后续的啁啾310-2至310-N，并且缓冲区608-1继续存储经预处理的复合雷达数据612-1的相应部分。该过程继续直到缓冲区608-1存储与啁啾310-M相关联的经预处理的复合雷达数据612-M的最后部分。
此时，缓冲区608-1存储与特定特征帧614-1相关联的经预处理的复合雷达数据。每个特征帧614-1的经预处理的复合雷达数据表示跨不同啁啾310-1至310-N和跨不同范围区间(range bin)616-1至616-A的(如所示的)幅度信息和相位信息(未示出)，其中A表示正整数。
二维FFT 610-1接受每一特征帧614-1的经预处理的复合雷达数据，并执行二维FFT运算以形成表示距离多普勒图的硬件无关的复合雷达数据502-1。距离多普勒图包括用于范围区间616-1至616-A和多普勒区间618-1至618-B的复合雷达数据，其中B表示正整数。换句话说，每个范围区间616-1至616-A和多普勒区间618-1至618-B包括具有实部和虚部的复数，实部和虚部一起表示幅度和相位信息。范围区间616-1至616-A的数量可以在数十或数百的数量级上，诸如64或128(例如，A等于64或128)。多普勒区间的数量可以在数十或数百的数量级上，诸如32、64或124(例如，B等于32、64或124)。硬件无关的复合雷达数据502-1以及(图6-1的)硬件无关的复合雷达数据502-1至502-M被提供给时空神经网络222，如图7-1中所示。
图7-1图示用于检测姿态检测的示例时空神经网络222。在所描绘的配置中，时空神经网络222包括分别由空间递归网络702和时间递归网络704实现的两级。空间递归网络702包括啁啾级分析模块706和特征级分析模块708。通常，空间递归网络702针对每个活动特征帧316在空间域上分析硬件无关的复合雷达数据502-1至502-M。结果数据由循环缓冲区224存储。时间递归网络704包括应用级分析模块710，其分析存储在用于两个或更多个活动特征帧316的循环缓冲区224内的数据。以这种方式，时间递归网络704针对活动主帧314的至少一部分在时域上分析数据。在一些实现方式中，循环缓冲区224的大小被定制为活动主帧314的持续时间，以便使得能够存储活动主帧314的所有活动特征帧316。对于姿态识别，活动主帧314的持续时间可以与一个或多个姿态的持续时间相关联。通常，应用级分析模块710被设计为支持一个或多个基于雷达的应用，包括姿态识别、存在检测、碰撞避免和人类生命体征检测。
在接收期间，啁啾级分析模块706处理跨每个范围区间616-1至616-A的复合雷达数据以生成信道多普勒数据712。特征级分析模块708分析信道多普勒数据712以生成特征数据714，特征数据714表征与应用级分析模块710相关的一个或多个特征。例如，特征数据714可以表征由用户302执行的姿态的特征以用于姿态识别。循环缓冲区224存储特征数据714。
随着时间的推移，循环缓冲区224存储与不同活动特征帧316相关联的特征数据714。与两个或更多个活动特征帧316相关联的特征数据714被称为特征数据的时间集合716。特征数据的时间集合716被提供给应用级分析模块710或由应用级分析模块710访问。应用级分析模块710分析特征数据的时间集合716以生成雷达应用数据504。作为示例，雷达应用数据504包括关于由用户302执行的姿态的类型的预测。当循环缓冲区224存储与更大量的活动特征帧316相关联的特征数据714时，预测的准确性提高。在一些情况下，当与主帧314相关联的后续特征帧316由空间递归网络702处理时，应用级分析模块710连续地生成或更新雷达应用数据504。可替代地，应用级分析模块710延迟雷达应用数据504的生成，直到与主帧314相关联的特征帧316的全部(或至少一部分)已经由空间递归网络702处理。参考图7-2至图7-4进一步描述啁啾级分析模块706、特征级分析模块708和应用级分析模块710的实现方式。
图7-2图示了时空神经网络222的示例啁啾级分析模块706。在所描绘的配置中，啁啾级分析模块706包括信道多普勒处理模块718-1至718-A。每个信道多普勒处理模块718-1至718-A包括具有一个或多个层720-1至720-Q的神经网络，其中Q是正整数。Q的值可以取决于实现方式而改变。作为示例，Q可以等于2、4或10。层720-1至720-Q可以完全连接、部分连接、以前馈方式连接和/或以递归方式连接。例如，层720-1至720-Q内的节点可以执行非线性整流器激活函数。信道多普勒处理模块718-1至718-A还可以执行加法和乘法。
信道多普勒处理模块718-1至718-A根据范围区间616-1至616-A接受硬件无关的复合雷达数据502-1至502-M的相应部分。特别地，信道多普勒处理模块718-1跨所有接收信道410-1至410-M以及跨所有多普勒区间618-1至618-B接收与第一范围区间616-1相关联的复合雷达数据。将每个复数提供为层720-1的各个节点的输入。层720-1至720-Q使用非线性整流器激活函数来分析数据，以生成信道多普勒数据712-1。类似的运算也由信道多普勒处理模块718-2至718-A执行。组合的信道多普勒数据712-1至712-A表示矢量。例如，假设存在三个接收信道410-1至410-M(例如，M等于3)、32个多普勒区间618-1至618-B(例如，B等于32)和16个范围区间616-1至616-A(例如，A等于16)，信道多普勒数据712-1至712-A形成值的1x16矢量，其表示跨多普勒域中的接收信道的关系以使得特征级分析模块708能够识别姿态的一个或多个特征。
图7-3图示时空神经网络222的示例特征级分析模块708。在所描绘的配置中，使用一个或多个递归层722-1至722-V来实现特征级分析模块708，其中V表示正整数。在递归层722-1至722-V内，节点之间的连接形成循环，其为后续的活动特征帧316保留来自先前的活动特征帧316的信息。使用递归层722-1至722-V，特征级分析模块708可以实现长短期记忆(LSTM)网络或一些其他的时间卷积网络。
如上所述，特征级分析模块708跨范围区间616-1至616-A处理信道多普勒数据712-1至712-A以生成特征数据714。尽管未示出，但是空间递归网络702的一些实现方式可以包括被连接到递归层722-V的输出的附加的全连接层720。类似于啁啾级分析模块706的层720，这些层720也可以执行非线性变换。
随着时间的推移，与活动特征帧316-1至316-J相关联的特征数据714-1至714-J由循环缓冲区224顺序地存储在不同的存储器元件中。特征数据714-1至714-J表示由应用级分析模块708处理的特征数据的时间集合716，如参考图7-4进一步所述。
图7-4图示了时空神经网络222的示例应用级分析模块710。在所描绘的配置中，使用一个或多个递归层724-1至724-W来实现应用级分析模块708，其中W表示可以等于或可以不等于V的正整数。使用递归层724-W至724-W，应用级分析模块710可以实现长短期记忆(LSTM)网络或时间卷积网络。应用级分析模块710可以可选地包括分类器模块726，其表示应用级分析模块710的一个或多个层。对于姿态识别，分类器模块726可以区分不同类型的姿态，诸如左扫姿态、右扫姿态或伸手姿态。在一些实现方式中，分类器模块726具有多个头(例如，多个子模块)，其可以支持不同的基于雷达的应用。例如，第一头可以检测用户302的存在以支持存在检测，而第二头检测由用户302执行的姿态以支持姿态识别。
应用级分析模块710处理存储在循环缓冲区224内的两个或更多个特征数据714-1至714-J。对于姿态识别，应用级分析模块710基于特征数据714-1至714-J中的两个或更多个来形成关于所执行的姿态的类型的预测。在一些情况下，应用级分析模块710可以等待以形成预测，直到指定数量的特征数据714-1至714-J可用，诸如15个。如果活动主帧314包括多于15个活动特征帧316(例如，J大于15)，则应用级分析模块710可以继续基于最后15个活动特征帧316来更新其预测。通常，预测的准确性随时间增加或者当分析更大量的特征数据714-1至714-J时增加。
可选地，分类器模块726可以进一步细化使用递归层724-1至724-W进行的预测。例如，分类器模块726可以区分不同的方向性挥扫，因为它们与智能设备104的取向有关。具体地，分类器模块726可以确定挥扫姿态是纵向模式下的向上挥扫姿态还是横向模式下的左扫姿态。为了实现该逻辑，分类器模块726可以包括具有根据由分类器模块726检测到的姿态类型激活的类节点的至少一个全连接层。
尽管参考雷达系统进行了描述，但是可以修改时空神经网络222以利用由其他类型的传感器或电磁系统提供的数据进行操作。通常，这些传感器或电磁系统具有对通过空间传播的信号的一个或多个特性(诸如信号的幅度、相位或频率)进行编码的能力。示例包括BluetoothTM系统、WiGigTM系统、超声波传感器、激光雷达传感器等。
示例方法
图8描绘用于执行能够使用时空神经网络222执行姿态识别的基于智能设备的雷达系统的操作的示例方法800。方法800被示为执行的操作(或动作)的集合，但不必限于本文示出操作的顺序或组合。此外，操作中的任何一个或者多个可以被重复、组合、重组或链接，以提供各种各样的附加和/或替代方法。在以下讨论的部分中，可以参考图1的环境100-1至100-6，以及图4或5详述的实体，对其的参考仅作为示例。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在802处，使用雷达系统的天线阵列来发射雷达发射信号。例如，如图4中所示，雷达系统102使用至少一个发射天线元件420来发射雷达发射信号306。在一些实现方式中，雷达发射信号306包括频率被调制的多个啁啾310-1至310-N，如图3所示。
在804处，使用天线阵列接收雷达接收信号。雷达接收信号包括由至少一个用户反射的雷达发射信号的版本。例如，雷达系统102使用至少一个接收天线元件422来接收由用户302反射的雷达接收信号308的版本，如图4中所示。
在806处，基于雷达接收信号来生成复合雷达数据。例如，雷达系统102的接收信道410基于雷达接收信号308来生成数字差拍信号428。数字差拍信号表示复合雷达数据，并且包括幅度和相位信息(例如，同相和正交信息)两者。
在808处，将复合雷达数据提供给雷达系统的时空神经网络。时空神经网络包括多级机器学习架构。例如，接收信道410-1至410-M将数字差拍信号428-1至428-M提供(例如，直接提供或通过硬件抽象模块220间接提供)给时空神经网络222，如图5所示。时空神经网络222包括多级机器学习架构，其包括图7-1的空间递归网络702和时间递归网络704。空间递归网络702表示时空神经网络222的第一级，并在空间域上分析复合雷达数据。时间递归网络704表示时空神经网络222的第二级，并且在时域上分析由空间递归网络702提供的数据。
在810处，使用时空神经网络分析复合雷达数据以识别由至少一个用户执行的姿态。例如，时空神经网络222分析数字差拍信号428-1至428-M或硬件无关的复合雷达数据502-1至502-M以生成标识由用户302执行的姿态的雷达应用数据504。尽管针对姿态识别进行了描述，但是也可以针对其他应用执行类似的操作，包括存在检测、碰撞避免、生命体征检测等。
示例计算系统
图9图示示例计算系统900的各种组件，所述示例计算系统900可以被实现为如参考先前的图2所述的任何类型的客户端、服务器和/或计算设备以使用时空神经网络222实现姿态识别。
计算系统900包括通信设备902，该通信设备902能够实现设备数据904(例如，接收到的数据、正在接收的数据、为广播而调度的数据或者数据的数据分组)的有线和/或无线通信。尽管未示出，但是通信设备902或计算系统900可以包括一个或多个雷达系统102。设备数据904或其它设备内容可以包括设备的配置设定、存储在设备上的媒体内容和/或与设备的用户302相关联的信息。存储在计算系统900上的媒体内容可以包括任何类型的音频、视频和图像数据。计算系统900包括可以经由其接收任何类型的数据、媒体内容和/或输入的一个或多个数据输入906，诸如人类发言、基于雷达的应用206、用户可选输入(显式的或隐式的)、消息、音乐、电视媒体内容、录制的视频内容以及从任何内容和/或数据源接收的任何其它类型的音频、视频和/或图像数据。
计算系统900还包括通信接口908，其可以被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个以及被实现为任何其它类型的通信接口。通信接口908提供计算系统900与通信网络之间的连接和/或通信链路，其它电子、计算和通信设备通过所述通信网络来与计算系统900传达数据。
计算系统900包括一个或多个处理器910(例如，微处理器、控制器等中的任何一个)，所述处理器910处理各种计算机可执行指令以控制计算系统900的操作并启用用于或者其中可以体现在存在饱和的情况下的姿态识别的技术。可替选地或附加地，计算系统900可以利用连同通常在912处标识的处理和控制电路一起实现的硬件、固件或固定逻辑电路中的任何一个或组合来实现。尽管未示出，但是计算系统900可以包括耦合设备内的各种组件的系统总线或数据传输系统。系统总线可以包括不同总线结构的任何一种或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线，和/或利用各种总线架构中的任一种的处理器或本地总线。
计算系统900还包括计算机可读介质914，诸如能够实现持久和/或非暂时性数据存储(即，与仅信号传输相反)的一个或多个存储器设备，其示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪存、EPROM、EEPROM等中的任何一种或多种)和盘存储设备。可以将盘存储设备实现为任何类型的磁或光学存储设备，诸如硬盘驱动器、可记录和/或可重写光盘(CD)、任何类型的数字通用盘(DVD)等。计算系统900还可以包括大容量存储介质设备(存储介质)916。
计算机可读介质914提供存储设备数据904以及各种设备应用918和与计算系统900的操作方面有关的任何其它类型的信息和/或数据的数据存储机制。例如，操作系统920可以利用计算机可读介质914被维护为计算机应用并在处理器910上执行。设备应用918可以包括设备管理器，诸如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备本机的代码、用于特定设备的硬件抽象层等等。
设备应用918还包括使用机器学习来实现角度估计的任何系统组件、引擎或管理器。在该示例中，设备应用918包括图2的基于雷达的应用206和时空神经网络222。
结论
尽管已经以特定于特征和/或方法的语言描述了使用基于智能设备的雷达系统的技术和包括基于智能设备的雷达系统的装置，该基于智能设备的雷达系统使用时空神经网络执行姿态识别，但是应当理解，所附权利要求书的主题不必限于所描述的具体特征或方法。相反，具体特征和方法被公开为使用时空神经网络执行姿态识别的基于智能设备的雷达系统的示例实现方式。
下面描述一些示例。
示例1：一种由雷达系统执行的方法，所述方法包括：
使用所述雷达系统的天线阵列发射雷达发射信号；
使用所述天线阵列接收雷达接收信号，所述雷达接收信号包括由至少一个用户反射的雷达发射信号的版本；
基于所述雷达接收信号生成复合雷达数据；
将所述复合雷达数据提供给所述雷达系统的时空神经网络，所述时空神经网络包括多级机器学习架构；以及
使用所述时空神经网络分析所述复合雷达数据以识别由所述至少一个用户执行的姿态。
示例2：根据示例1所述的方法，其中：
对所述复合雷达数据的分析包括使用机器学习技术分析所述复合雷达数据的幅度和相位信息两者以识别所述姿态。
示例3：根据示例1或2所述的方法，其中：
所述多级机器学习架构包括空间递归网络和时间递归网络；以及
其中，对所述复合雷达数据的分析包括：
使用所述空间递归网络在空间域上分析所述复合雷达数据，以生成与所述姿态相关联的特征数据；以及
使用所述时间递归网络在时域上分析所述特征数据，以识别所述姿态。
示例4：根据示例3所述的方法，进一步包括：
将所述特征数据存储在循环缓冲区中；以及
由所述时间递归网络访问存储在所述循环缓冲区中的特征数据。
示例5：根据示例3或4所述的方法，其中，在所述空间域上分析所述复合雷达数据包括：
使用非线性激活函数单独地处理所述复合雷达数据中与不同范围区间相关联的部分，以生成用于每个范围区间的信道多普勒数据；以及
跨所述不同范围区间分析所述信道多普勒数据以生成所述特征数据。
示例6：根据示例3至5中的任一项所述的方法，其中，在所述时域上分析所述特征数据包括：通过分析与至少两个不同时间帧相关联的所述特征数据来形成关于所述姿态的预测。
示例7：根据示例3至6中的任一项所述的方法，其中，所述空间递归网络包括啁啾级分析模块和特征级分析模块。
示例8：根据示例3至7中的任一项所述的方法，其中，所述时间递归网络包括应用级分析模块。
示例9：根据任一前述示例所述的方法，其中，所述复合雷达数据包括以下中的至少一个：
复合距离多普勒图；
复合干涉测量数据；
与所述雷达接收信号相关联的多个数字差拍信号；或
所述多个数字差拍信号的频域表示。
示例10：根据任一前述示例所述的方法，其中，所述姿态包括以下中的至少一个：
挥扫姿态；
伸手姿态；
把手转动姿态；或
轴扭转姿态。
示例11：根据任一前述示例所述的方法，其中：
接收所述雷达接收信号包括使用所述雷达系统的不同天线元件接收所述雷达接收信号的多个版本；以及
生成所述复合雷达数据包括使用所述雷达系统的相应接收信道生成数字差拍信号，所述相应接收信道分别被连接到所述不同天线元件。
示例12：根据示例4至11中的任一项所述的方法，其中，由所述空间递归网络处理的特征数据由循环缓冲区存储并且特征数据的时间集合由所述时间递归网络访问。
示例13：一种装置，包括：
雷达系统，所述雷达系统包括：
天线阵列；
收发器；以及
被配置为执行根据示例1至12中的任一项所述的方法的处理器和计算机可读存储介质。
示例14：根据示例13所述的装置，其中，所述装置包括智能设备，所述智能设备包括以下之一：
智能电话；
智能手表；
智能扬声器；
智能恒温器；
安全相机；
车辆；或者
家用电器。
示例15：一种包括计算机可执行指令的计算机可读存储介质，所述计算机可执行指令响应于由处理器执行而实现：
时空神经网络，所述时空神经网络被配置为：
接受与由至少一个对象反射的雷达接收信号相关联的复合雷达数据；
在空间域上分析所述复合雷达数据以生成特征数据；
在时域上分析所述特征数据以生成雷达应用数据；以及
将所述雷达应用数据传递给基于雷达的应用。
示例16：根据示例15所述的计算机可读存储介质，其中，所述时空神经网络进一步被配置为分析所述复合雷达数据的幅度和相位信息两者以生成所述雷达应用数据。
示例17：根据示例15或16所述的计算机可读存储介质，其中：
所述至少一个对象包括用户；
所述雷达应用数据识别由所述用户执行的姿态；以及
所述计算机可执行指令响应于由所述处理器执行而实现所述基于雷达的应用，所述基于雷达的应用被配置为：
接受所述雷达应用数据；以及
基于所识别的姿态向所述用户显示内容。
示例18：根据示例17所述的计算机可读存储介质，其中，所述时空神经网络进一步被配置为：
提示所述用户执行所述姿态；
在所述用户执行所述姿态时将所述复合雷达数据记录为训练数据；以及
执行训练过程以识别由所述用户执行的未来姿态。
示例19：根据示例15或16所述的计算机可读存储介质，其中：
所述至少一个对象包括触笔；以及
所述雷达应用数据标识由用户使用所述触笔执行的姿态。
示例20：根据示例15或16所述的计算机可读存储介质，其中：
所述至少一个对象包括无生命对象和用户；
所述雷达应用数据标识所述无生命对象与所述用户之间的潜在碰撞；以及
所述计算机可执行指令响应于由所述处理器执行而实现基于雷达的应用，所述基于雷达的应用被配置为：
接受所述雷达应用数据；以及
警告所述用户所述潜在碰撞。
示例21：根据示例15或16所述的计算机可读存储介质，其中：
所述至少一个对象包括用户；
所述雷达应用数据包括所述用户的测量的生命体征；以及
所述计算机可执行指令响应于由所述处理器执行而实现基于雷达的应用，所述基于雷达的应用被配置为：
接受所述雷达应用数据；以及
向所述用户通知所测量的生命体征。
示例22：根据示例15至21中的任一项所述的计算机可读存储介质，其中，所述计算机可执行指令响应于由所述处理器执行而实现硬件抽象模块，所述硬件抽象模块被配置为：
基于所述复合雷达数据生成硬件无关的复合雷达数据；以及
向所述时空神经网络提供所述硬件无关的复合雷达数据作为所述复合雷达数据。
示例23：一种包括计算机可执行指令的计算机可读存储介质，所述计算机可执行指令响应于由处理器执行而实现：
时空神经网络，所述时空神经网络包括多级机器学习架构，所述时空神经网络被配置为：
接受与由至少一个对象反射的雷达接收信号相关联的复合雷达数据；以及
分析所述复合雷达数据以识别由所述至少一个用户执行的姿态。
示例24：根据示例23所述的计算机可读存储介质，其中，所述时空神经网络进一步被配置为：
在空间域上分析所述复合雷达数据以生成特征数据；在时域上分析所述特征数据以生成雷达应用数据；以及将所述雷达应用数据传递给基于雷达的应用。

Claims (19)

1.一种由雷达系统执行的方法，所述方法包括：
使用所述雷达系统的天线阵列发射雷达发射信号；
使用所述天线阵列接收雷达接收信号，所述雷达接收信号包括由至少一个用户反射的雷达发射信号的版本；
基于所述雷达接收信号生成复合雷达数据；
将所述复合雷达数据提供给所述雷达系统的时空神经网络，所述时空神经网络包括多级机器学习架构；以及
使用所述时空神经网络分析所述复合雷达数据以识别由所述至少一个用户执行的姿态。
2.根据权利要求1所述的方法，其中：
对所述复合雷达数据的分析包括使用机器学习技术分析所述复合雷达数据的幅度和相位信息两者以识别所述姿态。
3.根据权利要求1或2所述的方法，其中：
所述多级机器学习架构包括空间递归网络和时间递归网络；以及
其中，对所述复合雷达数据的分析包括：
使用所述空间递归网络在空间域上分析所述复合雷达数据，以生成与所述姿态相关联的特征数据；以及
使用所述时间递归网络在时域上分析所述特征数据，以识别所述姿态。
4.根据权利要求3所述的方法，进一步包括：
将所述特征数据存储在循环缓冲区中；以及
由所述时间递归网络访问存储在所述循环缓冲区中的特征数据。
5.根据权利要求3或4所述的方法，其中，在所述空间域上分析所述复合雷达数据包括：
使用非线性激活函数单独地处理所述复合雷达数据中与不同范围区间相关联的部分，以生成用于每个范围区间的信道多普勒数据；以及
跨所述不同范围区间分析所述信道多普勒数据以生成所述特征数据。
6.根据权利要求3至5中的任一项所述的方法，其中，在所述时域上分析所述特征数据包括：通过分析与至少两个不同时间帧相关联的所述特征数据来形成关于所述姿态的预测。
7.根据任一前述权利要求所述的方法，其中，所述复合雷达数据包括以下中的至少一个：
复合距离多普勒图；
复合干涉测量数据；
与所述雷达接收信号相关联的多个数字差拍信号；或
所述多个数字差拍信号的频域表示。
8.根据任一前述权利要求所述的方法，其中，所述姿态包括以下中的至少一个：
挥扫姿态；
伸手姿态；
把手转动姿态；或
轴扭转姿态。
9.根据任一前述权利要求所述的方法，其中：
接收所述雷达接收信号包括使用所述雷达系统的不同天线元件接收所述雷达接收信号的多个版本；以及
生成所述复合雷达数据包括使用所述雷达系统的相应接收信道生成数字差拍信号，所述相应接收信道分别被连接到所述不同天线元件。
10.一种装置，包括：
雷达系统，所述雷达系统包括：
天线阵列；
收发器；以及
被配置为执行根据权利要求1至9中的任一项所述的方法的处理器和计算机可读存储介质。
11.根据权利要求10所述的装置，其中，所述装置包括智能设备，所述智能设备包括以下之一：
智能电话；
智能手表；
智能扬声器；
智能恒温器；
安全相机；
车辆；或者
家用电器。
12.一种包括计算机可执行指令的计算机可读存储介质，所述计算机可执行指令响应于由处理器执行而实现：
时空神经网络，所述时空神经网络被配置为：
接受与由至少一个对象反射的雷达接收信号相关联的复合雷达数据；
在空间域上分析所述复合雷达数据以生成特征数据；
在时域上分析所述特征数据以生成雷达应用数据；以及
将所述雷达应用数据传递给基于雷达的应用。
13.根据权利要求12所述的计算机可读存储介质，其中，所述时空神经网络进一步被配置为分析所述复合雷达数据的幅度和相位信息两者以生成所述雷达应用数据。
14.根据权利要求12或13所述的计算机可读存储介质，其中：
所述至少一个对象包括用户；
所述雷达应用数据识别由所述用户执行的姿态；以及
所述计算机可执行指令响应于由所述处理器执行而实现所述基于雷达的应用，所述基于雷达的应用被配置为：
接受所述雷达应用数据；以及
基于所识别的姿态向所述用户显示内容。
15.根据权利要求14所述的计算机可读存储介质，其中，所述时空神经网络进一步被配置为：
提示所述用户执行所述姿态；
在所述用户执行所述姿态时将所述复合雷达数据记录为训练数据；以及
执行训练过程以识别由所述用户执行的未来姿态。
16.根据权利要求12或13所述的计算机可读存储介质，其中：
所述至少一个对象包括触笔；以及
所述雷达应用数据标识由用户使用所述触笔执行的姿态。
17.根据权利要求12或13所述的计算机可读存储介质，其中：
所述至少一个对象包括无生命对象和用户；
所述雷达应用数据标识所述无生命对象与所述用户之间的潜在碰撞；以及
所述计算机可执行指令响应于由所述处理器执行而实现基于雷达的应用，所述基于雷达的应用被配置为：
接受所述雷达应用数据；以及
警告所述用户所述潜在碰撞。
18.根据权利要求12或13所述的计算机可读存储介质，其中：
所述至少一个对象包括用户；
所述雷达应用数据包括所述用户的测量的生命体征；以及
所述计算机可执行指令响应于由所述处理器执行而实现基于雷达的应用，所述基于雷达的应用被配置为：
接受所述雷达应用数据；以及
向所述用户通知所测量的生命体征。
19.根据权利要求12至18中的任一项所述的计算机可读存储介质，其中，所述计算机可执行指令响应于由所述处理器执行而实现硬件抽象模块，所述硬件抽象模块被配置为：
基于所述复合雷达数据生成硬件无关的复合雷达数据；以及
向所述时空神经网络提供所述硬件无关的复合雷达数据作为所述复合雷达数据。
CN202080064138.1A 2019-10-30 2020-10-20 使用时空神经网络执行姿态识别的基于智能设备的雷达系统 Pending CN114365008A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962928029P 2019-10-30 2019-10-30
US62/928,029 2019-10-30
PCT/US2020/056505 WO2021086688A2 (en) 2019-10-30 2020-10-20 Smart-device-based radar system performing gesture recognition using a space time neural network

Publications (1)

Publication Number Publication Date
CN114365008A true CN114365008A (zh) 2022-04-15

Family

ID=73402159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080064138.1A Pending CN114365008A (zh) 2019-10-30 2020-10-20 使用时空神经网络执行姿态识别的基于智能设备的雷达系统

Country Status (6)

Country Link
US (1) US20220326367A1 (zh)
EP (1) EP4052173A2 (zh)
JP (1) JP7481434B2 (zh)
KR (1) KR20220044809A (zh)
CN (1) CN114365008A (zh)
WO (1) WO2021086688A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983327B2 (en) * 2021-10-06 2024-05-14 Fotonation Limited Method for identifying a gesture
CN113918019A (zh) * 2021-10-19 2022-01-11 亿慧云智能科技（深圳）股份有限公司 终端设备的手势识别控制方法、装置、终端设备及介质
WO2024081122A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Object detection using radar sensors
CN115345908B (zh) * 2022-10-18 2023-03-07 四川启睿克科技有限公司 一种基于毫米波雷达的人体姿态识别方法
SE2251238A1 (en) * 2022-10-25 2024-04-26 Xfinder Sweden Ab Millimeter radar for interrogation, classification and localization of target objects having a non-linear frequency dependent frequency response, enhanced by wideband chaos generating material (wcgm)
CN117724094B (zh) * 2024-02-07 2024-05-07 浙江大华技术股份有限公司 生命体征检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664849A (zh) 2017-03-30 2018-10-16 富士通株式会社 视频中事件的检测装置、方法以及图像处理设备
EP3552076B1 (en) 2017-11-21 2023-08-30 Google LLC Low-power ambient computing system with machine learning
CN111433627B (zh) * 2018-04-05 2023-09-22 谷歌有限责任公司 使用机器学习执行角估计的基于智能设备的雷达系统

Also Published As

Publication number Publication date
WO2021086688A3 (en) 2021-06-10
US20220326367A1 (en) 2022-10-13
KR20220044809A (ko) 2022-04-11
JP2022553619A (ja) 2022-12-26
JP7481434B2 (ja) 2024-05-10
EP4052173A2 (en) 2022-09-07
WO2021086688A2 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
CN111812633B (zh) 检测基于智能设备的雷达系统中的参考系变化
CN111433627B (zh) 使用机器学习执行角估计的基于智能设备的雷达系统
JP7481434B2 (ja) 空間時間ニューラルネットワークを使用してジェスチャ認識を実行するスマートデバイスベースのレーダシステム
US11204694B2 (en) Radar system facilitating ease and accuracy of user interactions with a user interface
EP4131064A1 (en) Gesture recognition method and related apparatus
US11175378B2 (en) Smart-device-based radar system performing symmetric doppler interference mitigation
US20230161027A1 (en) Smart-Device-Based Radar System Performing Near-Range Detection
CN113454481A (zh) 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统
US20240027600A1 (en) Smart-Device-Based Radar System Performing Angular Position Estimation
US20210396867A1 (en) Multi-Radar System
KR20230165914A (ko) 레이더 애플리케이션 프로그래밍 인터페이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination