CN111812633A - 检测基于智能设备的雷达系统中的参考系变化 - Google Patents

检测基于智能设备的雷达系统中的参考系变化 Download PDF

Info

Publication number
CN111812633A
CN111812633A CN202010663766.3A CN202010663766A CN111812633A CN 111812633 A CN111812633 A CN 111812633A CN 202010663766 A CN202010663766 A CN 202010663766A CN 111812633 A CN111812633 A CN 111812633A
Authority
CN
China
Prior art keywords
radar
data
reference frame
radar system
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010663766.3A
Other languages
English (en)
Other versions
CN111812633B (zh
Inventor
尼古拉斯·爱德华·吉利恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202410233722.5A priority Critical patent/CN118191817A/zh
Publication of CN111812633A publication Critical patent/CN111812633A/zh
Application granted granted Critical
Publication of CN111812633B publication Critical patent/CN111812633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/354—Extracting wanted echo-signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/522—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves
    • G01S13/524—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi
    • G01S13/53—Discriminating between fixed and moving objects or between objects moving at different speeds using transmissions of interrupted pulse modulated waves based upon the phase or frequency shift resulting from movement of objects, with reference to the transmitted signals, e.g. coherent MTi performing filtering on a single spectral line and associated with one or more range gates with a phase detector or a frequency mixer to extract the Doppler information, e.g. pulse Doppler radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及检测基于智能设备的雷达系统中的参考系变化。描述了实现能够检测参考系变化的基于智能设备的雷达系统的技术和装置。具体而言，雷达系统包括参考系机器学习模块，该参考系机器学习模块被训练以辨识雷达系统的参考系是否变化。参考系机器学习模块分析从反射的雷达信号的至少一个啁啾生成的复杂雷达数据，以分析至少一个对象随时间的相对运动。通过直接使用机器学习来分析复杂雷达数据，雷达系统可以作为运动传感器进行操作，而无需依赖非基于雷达的传感器，诸如陀螺仪、惯性传感器或加速度计。在了解参考系是静止的还是移动的情况下，雷达系统可以确定手势是否可能发生，并且在一些情况下，补偿雷达系统本身的相对运动。

Description

检测基于智能设备的雷达系统中的参考系变化
技术领域
本公开涉及检测基于智能设备的雷达系统中的参考系变化。
背景技术
雷达是可以检测对象的有用设备。相对于如相机的其他类型的传感器，雷达可以在诸如低光照和起雾或具有移动或重叠对象的许多不同的环境条件下提供改进的性能。雷达还可以通过一个或多个遮挡物(诸如钱包或口袋)检测对象。尽管雷达具有许多优点，但是存在与将雷达集成到电子设备中相关联的许多挑战。
一个挑战涉及在可以移动的电子设备(诸如移动设备或可穿戴设备)中操作雷达。雷达可能在电子设备静止或移动时进行操作，关于雷达的参考系是固定的还是变化存在不确定性。对于雷达在雷达是静止的和对象正在移动、对象是静止的并且雷达是在移动或者雷达和对象都在移动的情况之间进行区分是有挑战性的。
发明内容
描述了实现能够检测参考系变化的基于智能设备的雷达系统的技术和装置。雷达系统包括参考系机器学习模块，该参考系机器学习模块被训练以作为运动传感器操作。参考系机器学习模块使用机器学习来辨识雷达系统的参考系是否变化。特别地，参考系机器学习模块分析从反射的雷达信号的至少一个啁啾生成的复杂雷达数据，以识别至少一个对象随时间的相对运动中的细微的图案(patterns)。在一些情况下，参考系机器学习模块比较(例如，关联)两个或更多对象的相对运动。通过直接使用机器学习来分析复杂雷达数据，参考系机器学习模块可以确定雷达系统的参考系是否变化，而无需依赖非基于雷达的传感器，诸如陀螺仪、惯性传感器或加速度计。在了解参考系是静止的还是移动的情况下，雷达系统可以确定手势是否可能发生，并且在一些情况下，可以补偿雷达系统本身的相对运动。
以下描述的方面包括由雷达系统执行的用于检测参考系变化的方法。该方法包括使用雷达系统的天线阵列发射第一雷达发射信号，以及使用天线阵列接收第一雷达接收信号。第一雷达接收信号包括至少一个对象反射的第一雷达发射信号的版本。该方法还包括基于第一雷达接收信号生成复杂雷达数据。该方法另外包括使用机器学习来分析复杂雷达数据，以检测雷达系统的参考系的变化。
以下描述的方面还包括一种包含雷达系统的装置。该雷达系统包含天线阵列和收发器。雷达系统还包括配置成执行任何所述方法的处理器和计算机可读存储介质。
下面描述的方面包括计算机可读存储介质，该计算机可读存储介质包括计算机可执行指令，该计算机可执行指令响应于处理器的执行，实现被配置成接受与至少一个对象反射的雷达接收信号相关联的复杂雷达数据的参考系机器学习模块。参考系机器学习模块还配置成使用机器学习来分析复杂雷达数据，以生成参考系数据。参考系机器学习模块还被配置成基于参考系数据确定接收雷达接收信号的天线阵列是静止的还是移动的。
以下描述的方面还包括一种具有机器学习装置的系统，该机器学习装置用于基于复杂雷达数据来检测参考系变化。
附图说明
参考以下附图描述用于实现能够检测参考系变化的基于智能设备的雷达系统的装置和技术。在整个附图中使用相同的标记来指代相似的特征和组件：
图1图示示例环境，其中可以实现能够检测参考系变化的基于智能设备的雷达系统。
图2-1图示作为智能设备的一部分的雷达系统的示例实施方式。
图2-2图示参考系机器学习模块的示例实施方式。
图3-1图示示例雷达系统的操作。
图3-2图示用于检测参考系变化的示例性雷达成帧结构。
图4图示雷达系统的示例性天线阵列和示例性收发器。
图5图示由雷达系统实现的用于检测参考系变化的示例方案。
图6图示用于检测参考系变化的硬件抽象模块的示例部分。
图7-1图示用于检测参考系变化的示例空间时间神经网络。
图7-2图示空间时间神经网络的示例线性啁啾级分析模块。
图7-3图示空间时间神经网络的示例特征级分析模块。
图7-4图示空间时间神经网络的示例主级分析模块。
图8图示用于执行能够检测参考系变化的基于智能设备的雷达系统的操作的示例方法。
图9图示示例计算系统，其体现能够检测参考系变化的雷达系统，或者其中可以实现能够使用能够检测参考系变化的雷达系统的技术。
具体实施方式
概述
将雷达系统集成在电子设备内可能是具有挑战性的。一个挑战涉及在可移动的电子设备(诸如移动设备或可穿戴设备)中操作雷达系统。由于雷达系统在电子设备静止或移动时可能会运行，所以存在关于雷达系统的参考系是固定的还是变化的不确定性。这可能使对于雷达系统在雷达系统是静止的且对象正在朝着雷达系统移动、对象是静止的且雷达系统朝着该对象移动，或者雷达系统和对象两者朝向彼此移动的情况之间进行区分是具有挑战性的。在不知道参考系是固定的还是变化的情况下，雷达系统可能会尝试在用户只移动电子设备而没有执行手势的情况下辨识手势。
一些技术可以通过附加的运动传感器来增强雷达系统。但是，这些运动传感器会增加电子设备的功耗和成本。另外，将运动传感器集成在空间受限的电子设备中可能具有挑战性。其他封闭形式的信号处理技术可以对雷达系统和其他对象正在移动的不同情况进行建模。但是，对包括用户执行的有意和无意运动的非均匀运动建模可能具有挑战性。这些运动可以包括其中用户处置包括雷达系统的电子设备的情况或用户在雷达系统附近的同时移动的情况。
相反，本文描述实现能够检测参考系变化的基于智能设备的雷达系统的技术和设备。雷达系统包括参考系机器学习模块，该参考系机器学习模块被训练以作为运动传感器操作。参考系机器学习模块使用机器学习来辨识雷达系统的参考系是否变化。特别地，参考系机器学习模块分析从反射的雷达信号的至少一个啁啾生成的复杂雷达数据，以识别至少一个对象随时间的相对运动中的细微图案。在一些情况下，参考系机器学习模块比较(例如，关联)两个或更多对象的相对运动。通过直接使用机器学习来分析复杂雷达数据，参考系机器学习模块可以确定雷达系统的参考系是否变化，而无需依赖非基于雷达的传感器，诸如陀螺仪、惯性传感器或加速度计。在了解参考系是静止的还是移动的情况下，雷达系统可以确定手势是否可能发生，并且在一些情况下，可以补偿雷达系统本身的相对运动。
示例环境
图1是示例环境100-1至100-8的图示，其中可以体现使用能够检测参考系的基于智能设备的雷达系统的技术以及包括该基于智能设备的雷达系统的装置。在所描绘的环境100-1至100-8中，智能设备104包括能够使用机器学习来检测一个或多个对象(例如，用户)的雷达系统102。智能设备104在环境100-1至100-7中示出为智能电话，并且在环境100-8中示出为智能车辆。
在环境100-1至100-4和100-6中，用户执行不同类型的手势，这些手势由雷达系统102检测。在一些情况下，用户使用附肢或身体部位执行手势。可替选地，用户也可以使用触笔、手持对象、戒指或任何类型的可以反射雷达信号的材料来执行手势。
在环境100-1中，用户通过沿水平方向(例如，从智能设备104的左侧向智能设备104的右侧)在智能设备104上方移动手来做出滚动手势。在环境100-2中，用户做出伸手手势，这减小智能设备104与用户的手之间的距离。环境100-3中的用户做出手势以在智能设备104上玩游戏。在一种情况下，用户通过沿垂直维度(例如，从智能设备104的底侧到智能设备104的顶部)在智能设备104上方移动手来做出推动手势。在环境100-4中，智能设备104被存储在钱包内，并且雷达系统102通过检测被钱包遮挡的手势来提供遮挡手势辨识。在环境100-6中，用户在智能设备104前面挥动他们的手。
雷达系统102还可以辨识图1中未示出的其他类型的手势或运动。手势的示例类型包括把手转动手势，其中用户卷曲他们的手指以紧握假想的门把手并且以顺时针或逆时针的方式旋转他们的手指和手以模仿转动假想的门把手的动作。手势的另一示例类型包括轴扭转手势，用户通过将拇指和至少另一个手指在一起摩擦来执行该手势。手势可以是二维的，诸如与触敏显示器一起使用的手势(例如，两指捏合、两指展开或轻敲)。手势也可以是三维的，诸如许多手语手势，例如，美国手语(ASL)和全球其他手语的手势。一旦检测到这些手势中的每一个，智能设备104就可以执行诸如显示新内容、移动光标、激活一个或多个传感器、打开应用等的动作。以这种方式，雷达系统102提供对智能设备104的无接触控制。
在环境100-7中，雷达系统102生成周围环境的三维地图以用于场境感知。雷达系统102还检测并跟踪多个用户以使两个用户都能够与智能设备104交互。雷达系统102还可以执行生命体征检测。在环境100-8中，雷达系统102监视驾驶车辆的用户的生命体征。示例生命体征包括心率和呼吸率。例如，如果雷达系统102确定驾驶员正在入睡，则雷达系统102可以使智能设备104警报用户。可替选地，如果雷达系统102检测到危及生命的紧急事件，诸如心脏病发作，则雷达系统102可以使智能设备104向医疗专业人员或紧急服务发出警报。
在不同的环境100-1至100-8中，雷达系统102可以是静止的或移动的。例如，在环境100-1至100-3和100-7中，智能设备104被定位在诸如桌子的非移动表面上。在这种情况下，雷达系统102的参考系是静止的(例如，被固定)106，而一个或多个对象(例如，用户)移动。相反，环境100-5图示其中对雷达系统102可见的用户的一部分保持静止并且雷达系统102移动的情况。特别地，用户以使智能设备104通过他们的腿的方式摇摆他们的手臂。在这种情况下，雷达系统102的参考系正在移动108(例如，正在变化)，而雷达系统102所观察到的用户的部分是静止的。在其他环境中，用户和雷达系统102都移动。作为示例，环境100-4和100-6中的用户在执行手势的同时(有意或无意地)移动雷达系统102。为了在这些不同情况之间进行区分，雷达系统102使用机器学习来检测参考系变化，如关于图2进一步描述的。
雷达系统102的一些实施方式在智能设备104的背景中应用时特别有利，由此存在问题的汇聚。这可能包括对雷达系统102的间隔和布局以及低功率的限制的需要。智能设备104的示例性总体横向尺寸可以是例如大约八厘米乘大约十五厘米。雷达系统102的示例性占地面积甚至可以被更多地限制，诸如包括天线在内的大约四毫米乘六毫米。雷达系统102的示例性功耗可以在几毫瓦到几十毫瓦的数量级上(例如，在近似两毫瓦和二十毫瓦之间)。雷达系统102的这种有限的占地面积和功耗的要求使智能设备104能够在空间受限的包装中包括其他期望的特征(例如，相机传感器、指纹传感器、显示器等)。参考图2进一步描述智能设备104和雷达系统102。
图2-1图示雷达系统102作为智能设备104的一部分。智能设备104被图示有各种非限制性示例设备，包括台式计算机104-1、平板电脑104-2、膝上型计算机104-3、电视机104-4、计算手表104-5、计算眼镜104-6、游戏系统104-7、微波炉104-8以及车辆104-9。也可以使用其他设备，诸如家庭服务设备、智能扬声器、智能恒温器、安全相机、婴儿监视器、Wi-FiTM路由器、无人机、触控板、绘图板、上网本、电子阅读器、家庭自动化和控制系统、墙上显示器以及其他家用电器。注意，智能设备104可以是可穿戴的、不可穿戴的但移动的或相对不移动的(例如，台式机和电器)。雷达系统102可以用作独立雷达系统，或者与许多不同的智能设备104或外围设备一起使用，或嵌入许多不同的智能设备104或外围设备中，诸如在控制家用电器和系统的控制面板中、在汽车中以控制内部功能(例如，音量、巡航控制或甚至汽车驾驶)或者作为膝上型计算机的附件来控制膝上型计算机上的计算应用。
智能设备104包括一个或多个计算机处理器202和计算机可读介质204，该计算机可读介质204包括存储器介质和存储介质。体现为计算机可读介质204上的计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器202执行，以提供本文所述的一些功能性。计算机可读介质204还包括基于雷达的应用206，该基于雷达的应用206使用由雷达系统102生成的雷达数据来执行功能，诸如运动感测、存在检测、基于手势的无接触控制、自动驾驶的碰撞避免、人类生命体征通知等。
智能设备104还可以包括用于通过有线、无线或光网络传达数据的网络接口208。例如，网络接口208可以通过局域网(LAN)、无线局域网(WLAN)、个人局域网(PAN)、有线局域网(WAN)、内联网、互联网、对等网络、点对点网络、网状网络等来传达数据。智能设备104还可以包括显示器(未示出)。
雷达系统102包括用于将雷达数据传送到远程设备的通信接口210，然而当雷达系统102集成在智能设备104内时不需要使用此接口。通常，由通信接口210提供的雷达数据是以基于雷达的应用206可使用的格式。
雷达系统102还包括至少一个天线阵列212和至少一个收发器214，以发射和接收雷达信号。天线阵列212包括至少一个发射天线元件和至少两个接收天线元件。在一些情况下，天线阵列212包括多个发射天线元件，以实现能够在给定时间发射多个不同波形的多输入多输出(MIMO)雷达(例如，每个发射天线元件发射不同的波形)。天线元件可以是圆极化的、水平极化的、垂直极化的或其组合。
天线阵列212的接收天线元件可以以一维形状(例如，线)或二维形状(例如，矩形布置、三角形布置或“L”形布置)定位，用于包括三个或更多接收天线元件的实现。一维形状使雷达系统102能够测量一个角度维度(例如，方位角或俯仰角)，而二维形状使雷达系统102能够测量两个角度维度(例如，以确定对象302的方位角和仰角)。与接收天线元件相关联的元件间距可以小于、大于或等于雷达信号的中心波长的一半。
使用天线阵列212，雷达系统102可以形成被导向或未导向，宽或窄或整形(例如，半球形、立方体、扇形、圆锥形、圆柱体)的波束。可以通过模拟波束成形或数字波束成形来实现导向和整形。一个或多个发射天线元件可以具有例如未导向的全向辐射方向图，或者可以产生宽的可导向波束以照亮大空间体积。为了实现目标角精度和角分辨率，接收天线元件可以被用于通过数字波束成形生成数百或数千个窄导向波束。以此方式，雷达系统102可以有效地监视外部环境并检测一个或多个用户。
收发器214包括用于经由天线阵列212发射和接收雷达信号的电路和逻辑。收发器214的组件可以包括用于调节雷达信号的放大器、混频器、开关、模数转换器或滤波器。收发器214还包括用于执行诸如调制或解调的相位/正交(I/Q)运算的逻辑。可以使用各种调制，包括线性频率调制、三角频率调制、步进频率调制或相位调制。可替选地，收发器214可以产生具有相对恒定的频率或单音调的雷达信号。收发器214可以被配置成支持连续波或脉冲雷达操作。
收发器214用于生成雷达信号的频谱(例如，频率范围)可以包含1到400吉赫兹(GHz)之间、4到100GHz之间、1到24GHz之间、2到4GHz、之间、在57和64GHz之间、或在近似2.4GHz的频率。在一些情况下，频谱可以被划分成具有相似或不同带宽的多个子频谱。带宽可以在500兆赫兹(MHz)、1GHz、2GHz等的数量级上。不同的频率子频谱可以包括例如在近似57至59GHz、59至61GHz或61至63GHz之间的频率。尽管上述示例频率子频谱是连续的，但是其他频率子频谱可能不是连续的。为了实现相干性，收发器214可以使用具有相同带宽的多个频率子频谱(连续的或不连续的)来生成多个雷达信号，所述多个雷达信号被同时发射或在时间上分离。在一些情况下，可以使用多个连续的频率子频谱来发射单个雷达信号，从而使雷达信号具有宽的带宽。
雷达系统102还包括一个或多个系统处理器216和系统介质218(例如，一个或多个计算机可读存储介质)。系统介质218可选地包括硬件抽象模块220和至少一个循环缓冲区224。系统介质218还包括至少一个参考系机器学习(ML)模块222。硬件抽象模块220、参考系机器学习模块222和循环缓冲区224可以使用硬件、软件、固件或其组合来实现。在此示例中，系统处理器216实现硬件抽象模块220和参考系机器学习模块222。系统处理器216或存储器控制器可以实现和管理循环缓冲区224。硬件抽象模块220、参考系机器学习模块222和循环缓冲区224一起使系统处理器216能够处理来自天线阵列212中接收天线元件的响应以检测用户，确定对象的位置，辨识用户执行的手势和/或检测参考系变化。
在替代实施方式(未示出)中，硬件抽象模块220、参考系机器学习模块222或循环缓冲区224被包括在计算机可读介质204内并且由计算机处理器202实现。这使雷达系统102能够经由通信接口210提供智能设备104原始数据，使得计算机处理器202可以为基于雷达的应用206处理原始数据。
硬件抽象模块220将由收发器214提供的原始数据变换成与硬件无关的复杂雷达数据，其可以由参考系机器学习模块222进行处理。特别地，硬件抽象模块220使来自各种不同类型的雷达信号的复杂雷达数据符合参考系机器学习模块222的预期输入。这使得参考系机器学习模块222能够处理雷达系统102接收的不同类型的雷达信号，包括那些利用用于调频连续波雷达、调相扩频雷达或脉冲雷达的不同调制方案的信号。硬件抽象模块220还可以根据具有不同中心频率、带宽、发射功率水平或脉冲宽度的雷达信号归一化复杂雷达数据。
此外，硬件抽象模块220符合使用不同硬件体系结构生成的复杂雷达数据。不同的硬件体系结构可以包括被定位在智能设备104的不同表面上的不同天线阵列212或天线阵列212内的不同天线元件集。通过使用硬件抽象模块220，参考系机器学习模块222可以处理由具有不同增益的不同天线元件集、不同数量的不同天线元件集或具有不同天线元件间距的不同天线元件集生成的复杂雷达数据。
通过硬件抽象模块220，参考系机器学习模块222可以在影响可用雷达调制方案、发射参数或硬件架构类型的不同限制的情况下在雷达系统102中操作。关于图5和图6进一步描述硬件抽象模块220。
参考系机器学习模块222使用机器学习来分析诸如与硬件无关的复杂雷达数据的复杂雷达数据，并确定雷达系统102的参考系是静止的还是移动的。具体而言，参考系机器学习模块222分析至少一个对象随时间的相对运动和/或比较(例如，关联)两个或更多个对象的相对运动。参考系机器学习模块222可以分析复杂雷达数据的幅度和相位信息，以改善用于检测参考系变化的准确性。参考系机器学习模块222的设计可以被定制以支持具有不同量的可用存储器、不同量的可用功率或不同的计算能力的智能设备104。在一些情况下，参考系机器学习模块222包括一套机器学习架构，其可以根据智能设备104或基于雷达的应用206的类型来单独选择。
在某些情况下，参考系机器学习模块222实现手势辨识模块(未示出)的一部分或将参考系数据提供给手势辨识模块。手势辨识模块可以使用参考系数据来确定是否有可能执行手势。例如，如果参考系数据指示雷达系统102的参考系正在移动，则手势辨识模块可以确定检测到的用户运动至少部分地是由于移动的参考系。这样，用户不太可能在移动雷达系统102时执行有意的手势。在这种情况下，手势辨识模块可以决定不执行手势辨识，以便于避免潜在的虚警。相反，如果参考系数据指示雷达系统102的参考系是静止的，则手势辨识模块可以确定检测到的用户运动很可能表示有意的手势。在这种情况下，手势辨识模块可以决定执行手势辨识。
附加地或替代地，参考系机器学习模块222确定描述雷达系统102的轨迹的关于参考系变化的一个或多个特性。例如，这些特性可用于更新雷达系统102维护的杂波图，或者通过去除由雷达系统102的运动引起的运动分量来确定对象的绝对运动。在一些情况下，雷达系统102绘制外部环境的地图并确定智能设备104相对于外部环境内的静止对象(诸如家具、墙壁、建筑物或路牌)的位置。使用参考系机器学习模块222，雷达系统102可以更新其在外部环境内的已知位置。
在一些实施方式中，雷达系统102避免其他运动传感器的使用，并且可以用于确定智能设备104的定向、加速度或位置。以这种方式，空间受限的设备，诸如可穿戴设备可以利用雷达系统102以提供除了基于雷达的应用206的数据之外的运动数据。
循环缓冲区224是使用系统介质218内的存储器的分配部分实现的固定大小的存储器缓冲区。循环缓冲区224包括多个存储器元件，并提供先进先出队列，其中使用存储器元件顺序存储和访问数据。一旦所有存储器元件都存储数据，最早的存储数据将被覆写。在参考系机器学习模块222的一些实施方式中，循环缓冲区224在参考系机器学习模块222的两个阶段之间实现。这样，循环缓冲区224存储由参考系机器学习模块222的第一阶段生成的数据，并且使参考系机器学习模块222的第二阶段访问所存储的数据。参考图7-3进一步描述循环缓冲区224。在具有或不具有硬件抽象模块220和循环缓冲区224的情况下，参考系机器学习模块222可以至少部分地实现参考系的检测，如关于图2-2进一步描述的。
图2-2图示参考系机器学习模块222的示例实施方式。参考系机器学习模块222可以包括一个或多个人工神经网络(在本文中称为神经网络)。神经网络包括连接的节点(例如，神经元或感知器)的组，其被组织成一个或多个层。作为示例，参考系机器学习模块222包括深度神经网络230，其包括输入层232、输出层234和被定位在输入层232与输出层234之间的一个或多个隐藏层236。深度神经网络230的节点可以在层之间部分连接或完全连接。
输入层232包括多个输入238-1、2388-2…238-X，其中X表示正整数。多个隐藏层236包括层240-1、240 2…40-W，其中W表示正整数。每个隐藏层236包括多个神经元，诸如神经元242-1、242-2…242-Y，其中Y是正整数。每个神经元242连接到另一隐藏层236中的至少一个其他神经元242。对于不同的隐藏层236，一定数量的神经元242可以是相似或不同的。在一些情况下，隐藏层236可以是先前层的复制(例如，层240-2可以是层240-1的复制)。输出层234包括输出244-1、244-2…244-Z，其中Z表示正整数。各种不同的深度神经网络230可以与各种数量的输入238、隐藏层236、神经元242和输出244一起使用。
在某些情况下，深度神经网络230是具有节点之间的连接的递归深度神经网络(例如，长短期记忆(LSTM)递归深度神经网络)，所述连接形成循环以为输入数据序列的后续部分保留来自输入数据序列的先前部分的信息。在其他情况下，深度神经网络230是前馈深度神经网络，其中节点之间的连接不形成循环。附加地或替代地，参考系机器学习模块222可以包括另一种类型的神经网络，诸如卷积神经网络。
通常，参考系机器学习模块222的机器学习架构可以基于可用功率、可用存储器或计算能力来定制。机器学习架构还可以定制为实现指示是否检测到参考系变化的分类模型、指示与参考系是静止和移动相关联的概率的回归模型或者表征参考系变化的另一个回归模型(例如，在距离、方向和/或速度方面描述雷达系统102的轨迹)。
在操作期间，将复杂雷达数据246提供给输入层232。复杂雷达数据246可以包括复杂范围多普勒图、复杂干涉测量数据、与反射的雷达信号相关联的多个数字差拍(beat)信号或与多个数字差拍信号的频域表示，如关于图5进一步描述的。通常，复杂雷达数据246包括复数的矩阵(或矢量)。在一些情况下，矩阵的每个元素被提供给输入238-1至238-X之一。在其他情况下，一定数量的连续元素被组合并且被提供给输入238-1至238-X之一。
隐藏层236中的每个神经元242使用激活函数来分析复杂雷达数据246的不同区段或部分。当在复杂雷达数据246内检测到特定类型的特性时，神经元242激活(或反向激活)。示例性激活函数可以包括例如非线性函数，诸如双曲正切函数。朝向图2-2的顶部，示出神经元242以获得输入IN1W1、IN2W2…INXWX和偏置W0，其中IN1、IN2…INX对应于先前输入或隐藏层(例如，图2-2中的层240-1)的输出并且W1、W2…WX对应于应用于IN1、IN2…INX.的相应权重。由神经元242生成的输出(OUT)基于激活函数f(z)被确定。在所描绘的示例中，对于完全连接的网络，X等于Y。可以通过另一权重缩放输出OUT，并将其作为输入提供给另一层240或输出层234。
在输出层234处，参考系机器学习模块222生成参考系数据248。如上所述，参考系数据248可以包括指示是否检测到参考系变化的布尔值、指示参考系静止的第一概率和参考系移动的第二概率的连续值或者指示与参考系的变化相关联的距离、方向和/或速度的其他连续值。
通过训练，参考系机器学习模块222可以通过辨识至少一个对象的相对运动中的细微图案来检测参考系变化。附加地或可替选地，参考系机器学习模块222还通过比较(例如，关联)两个或更多个对象的相对运动来检测参考系变化。参考系机器学习模块222可以比较相对运动的不同特性，包括位置(例如，范围、方位角或俯仰角)、范围变化率或多普勒或速度的变化。
在一些实施方式中，参考系机器学习模块222依赖于监督学习，并且可以将测量到的(例如，真实的)数据用于机器学习训练目的。通常，在雷达系统102正在移动并且对象(例如，用户)是静止，、对象(例如，用户)正在移动并且雷达系统102是静止以及雷达系统102和对象都正在移动的情况下收集真实数据。其他场景也可以包括正在移动或不移动的其他对象。其中一些运动是由人做出的，对于封闭形式的信号处理技术而言这可能很难识别。训练使参考系机器学习模块222能够学习用于基于复杂雷达数据246来检测参考系状态的非线性映射功能。在其他实施方式中，参考系机器学习模块222依靠无监督学习来确定非线性映射函数。
示例性离线训练过程使用运动捕获系统来生成用于训练参考系机器学习模块222的真相数据。运动捕获系统可以包括多个光学传感器，诸如红外传感器或相机，并测量放置在人的身体不同部位(诸如手臂、手、躯干或头部)上的多个标记的位置。一些标记也定位在智能设备104或雷达系统102上。当人或雷达系统102移动时，来自雷达系统102的复杂雷达数据246和来自运动捕获系统的位置数据被记录。复杂雷达数据246表示训练数据。从运动捕获系统记录的位置数据被转换成符合参考系数据248并表示真相数据的格式。真相数据和训练数据在时间上同步，并提供给参考系机器学习模块222。参考系机器学习模块222基于训练数据生成参考系数据248的估计，并确定估计的参考系数据248和真相数据之间的误差量。参考系机器学习模块222调整机器学习参数(例如，权重和偏置)以最小化这些误差。基于该离线训练过程，将确定的权重和偏置预编程到参考系机器学习模块222中，以使得能够使用机器学习来检测后续的参考系变化。在一些情况下，离线训练过程可以提供相对无噪声的环境和高分辨率的真相数据，用于训练参考系机器学习模块222。
附加地或可替选地，实时训练过程可以使用智能设备104中的可用传感器来生成用于训练参考系机器学习模块222的真相数据。在这种情况下，可以由智能设备104的用户发起训练过程。当用户在智能设备104周围移动和/或移动智能设备104时，收集来自于智能设备104的一个或多个传感器(例如，加速度计、陀螺仪、惯性传感器、相机或红外传感器)的数据和由雷达系统102生成的复杂雷达数据246，并将其提供给参考系机器学习模块222。参考系机器学习模块222确定或调整机器学习参数以最小化估计的参考系数据248和由传感器提供的真相数据之间的误差。使用实时训练过程，参考系机器学习模块222可以针对用户定制、考虑当前环境条件并考虑智能设备104的当前位置或定向。
图3-1图示雷达系统102的示例性操作。在所描绘的配置中，雷达系统102被实现为调频连续波雷达。然而，如以上关于图2所描述的，可以实现其他类型的雷达架构。在环境300中，用户302位于距雷达系统102的特定倾斜范围304处。为了检测用户302，雷达系统102发射雷达发射信号306。雷达发射信号306的至少一部分被用户302反射。该反射部分表示雷达接收信号308。雷达系统102接收雷达接收信号308，并处理雷达接收信号308以提取用于基于雷达的应用206的数据。如所描绘的，由于在传播和反射期间引起的损耗，雷达接收信号308的幅度小于雷达发射信号306的幅度。
雷达发射信号306包括啁啾a310-1至310-N的序列，其中N表示大于一的正整数。雷达系统102可以以连续突发发射啁啾310-1至310-N，或者作为时间分离的脉冲发射啁啾310-1至310-N，如关于图3-2进一步描述的。例如，每个啁啾310-1至310-N的持续时间可以在数十或数千微秒的数量级上(例如，在近似30微秒(μs)至5毫秒(ms)之间)。
啁啾310 1至310-N的各个频率可以随时间增加或减少。在所描绘的示例中，雷达系统102采用双斜率循环(例如，三角频率调制)以随着时间线性增大和线性减小啁啾310-1至310-N的频率。双斜率循环使雷达系统102能够测量由用户302的运动引起的多普勒频移。通常，啁啾310-1至310-N的发射特性(例如，带宽、中心频率、持续时间和发射功率)可以被定制以实现特定的检测范围、范围分辨率或多普勒灵敏度，以检测用户302的一个或多个特征或用户302执行的一个或多个动作。
在雷达系统102处，雷达接收信号308表示雷达发射信号306的延迟版本。延迟量与从雷达系统102的天线阵列212到用户302的倾斜范围304(例如，距离)成比例。具体来说，此延迟表示雷达发射信号306从雷达系统102传播到用户302所花费的时间与雷达接收信号308从用户302传播到雷达系统102所花费的时间的总和。如果用户302和/或雷达系统102正在移动，则由于多普勒效应雷达接收信号308在频率中相对于雷达发射信号306被偏移。换句话说，雷达接收信号308的特性取决于手的运动和/或雷达系统102的运动。类似于雷达发射信号306，雷达接收信号308由啁啾310-1至310N中的一个或多个组成。
多个啁啾310-1至310-N使雷达系统102在预定时间段内对用户302进行多个观察。雷达成帧结构确定啁啾310-1至310-N的定时，如关于图3-2进一步描述的。
图3-2图示用于检测参考系变化的示例性雷达成帧结构312。在所描绘的配置中，雷达成帧结构312包括三种不同类型的帧。在最高等级处，雷达成帧结构312包括主帧314的序列，其可以处于活动状态或非活动状态。一般而言，相对于非活动状态，活动状态消耗更大量的功率。在中间等级处，雷达成帧结构312包括特征帧316的序列，其可以类似地处于活动状态或非活动状态。不同类型的特征帧316包括脉冲模式特征帧318(在图3-2的左下方示出)和突发模式特征帧320(在图3-2的右下方示出)。在低等级处，雷达成帧结构312包括雷达帧(RF)322的序列，它们也可以处于活动状态或非活动状态。
雷达系统102在活动的雷达帧322期间发射和接收雷达信号。在一些情况下，针对诸如搜索和跟踪、杂波图生成、用户位置确定等等的基本的雷达操作单独地分析雷达帧322。可以在完成雷达帧322之后将在每个活动雷达帧322期间收集到的雷达数据保存到缓冲区中，或者直接提供给图2的系统处理器216。
雷达系统102跨越多个雷达帧322(例如，跨越与活动特征帧316相关联的雷达帧322的组)分析雷达数据，以识别特定特征。特征的示例类型包括特定类型的运动、与特定附肢(例如，手或各个手指)相关联的运动以及与手势的不同部分相关联的特征。为了检测雷达系统102的参考系中的变化或辨识用户302在活动的主帧314期间执行的手势，雷达系统102分析与一个或多个活动的特征帧316相关联的雷达数据。
主帧314的持续时间可以在毫秒或秒的数量级上(例如，在近似10ms与10秒之间)。在活动的主帧314-1和314-2出现之后，雷达系统102是不活动的，如不活动的主帧314-3和314-4所示。不活动的主帧314-3和314-4的持续时间通过深度睡眠时间324表征，该深度睡眠时间可以在数十毫秒或更长(例如，大于50ms)的数量级上。在示例实施方式中，雷达系统102关闭收发器214内的所有的活动组件(例如，放大器、有源滤波器、压控振荡器(VCO)、压控缓冲区、多路复用器、模数转换器、锁相环(PLL)或晶体振荡器)以在深度睡眠时间324期间节省功率。
在所描绘的雷达成帧结构312中，每个主帧314包括K个特征帧316，其中K是正整数。如果主帧314处于非活动状态，则与该主帧314相关联的所有特征帧316也处于非活动状态。相反，活动的主帧314包括J个活动的特征帧316和K-J个不活动的特征帧316，其中J是小于或等于K的正整数。可以基于环境的复杂性或手势的复杂性来调整特征帧316的数量。例如，主帧314可以包括几个到一百个特征帧316(例如，K可以等于2、10、30、60或100)。每个特征帧316的持续时间可以在毫秒的数量级上(例如，在近似1ms与50ms之间)。
为了节省功率，活动的特征帧316-1至316-J出现在不活动的特征帧316-(J+1)至316-K之前。不活动的特征帧316-(J+1)至316-K的持续时间由睡眠时间326表征。以这种方式，连续执行不活动的特征帧316-(J+1)至316-K，使得相对于可能使不活动的特征帧316-(J+1)至316-K与活动的特征帧316-1至316-J交错的其他技术，雷达系统102可以处于断电状态达更长的持续时间。一般而言，增加睡眠时间326的持续时间使得雷达系统102能够关闭收发器214内需要更长启动时间的组件。
每个特征帧316包括L个雷达帧322，其中L是可以等于或可以不等于J或K的正整数。在一些实施方式中，一定数量的雷达帧322可以跨越不同的特征帧316上变化并且可以包括几帧或几百帧(例如，L可以等于5、15、30、100或500)。雷达帧322的持续时间可以是在数十或数千个微秒的数量级上(例如，在近似30μs和5ms之间)。可以针对预定的检测范围、范围分辨率或多普勒敏感度来定制特定特征帧316内的雷达帧322，这有助于检测特定特征或手势。例如，雷达帧322可以利用特定类型的调制、带宽、频率、发射功率或定时。如果特征帧316处于非活动状态，则与该特征帧316相关联的所有雷达帧322也处于非活动状态。
脉冲模式特征帧318和突发模式特征帧320包括不同的雷达帧322的序列。一般而言，活动的突发模式特征帧318内的雷达帧322发射在时间上以预定的量隔开的脉冲。这随着时间分散观察，由于相对于突发模式特征帧318在脉冲模式特征帧318内观察到的啁啾310-1至310-N中的较大变化，这可以使雷达系统102更容易检测参考系的变化。相反，活动的突发模式特征帧320内的雷达帧322跨越突发模式特征帧320的一部分连续地发射脉冲(例如，脉冲没有隔开预定的时间量)。这将通过关闭包括具有更长启动时间的组件的较大数量的组件使活动的突发模式特征帧320消耗的功率比脉冲模式特征帧318少，如下面进一步描述的。
在每个活动脉冲模式特征帧318内，雷达帧322的序列在活动状态和非活动状态之间交替。每个活动的雷达帧322发射啁啾a310(例如，脉冲)，其由三角形图示。啁啾310的持续时间由活动时间328表征。在活动时间328期间，收发器214内的组件被通电。在包括活动雷达帧322内的剩余时间和随后的不活动雷达帧322的持续时间的短空闲时间330期间，雷达系统102通过关闭收发器214内具有在短空闲时间330的持续时间内的启动时间的一个或多个活动组件来节省功率。
活动的突发模式特征帧320包括P个活动的雷达帧322和L-P个不活动的雷达帧322，其中P是小于或等于L的正整数。为了节省功率，活动的雷达帧322-1至322-P在不活动的雷达帧322-(P+1)至322-L之前出现。非活动地雷达帧322-(P+1)至322-L的持续时间由长空闲时间332表征。通过将不活动的雷达帧322(P+1)至322-L分组在一起，雷达系统102可以相对于在脉冲模式特征帧318期间出现的短空闲时间330处于断电状态达较长持续时间。另外，雷达系统102可以关闭收发器214内的具有比短空闲时间330长而比长空闲时间332短的启动时间的附加的组件。
活动的突发模式特征帧320中的每个活动的雷达帧322发射啁啾310的一部分。在此示例中，活动的雷达帧322-1至322P在发射频率增加的啁啾310的一部分和频率减少的啁啾310的一部分之间交替。
雷达成帧结构312使能够通过每种帧类型内的可调占空比来节省功率。第一占空比334基于活动特征帧316(J)的数量相对于特征帧316(K)的总数量。第二占空比336基于活动雷达帧322的数量(例如，L/2或P)相对于雷达帧322(L)的总数量。第三占空比338基于啁啾310的持续时间相对于雷达帧322的持续时间。
考虑针对功率状态的示例性雷达成帧结构312，其消耗近似2毫瓦(mW)的功率并且具有在近似1和4赫兹(Hz)之间的主帧更新速率。在该示例中，雷达成帧结构312包括主帧314，其持续时间在近似250ms与1秒之间。主帧314包括三十一个脉冲模式特征帧318(例如，K等于31)。三十一个脉冲模式特征帧318中的一个处于活动状态。这导致占空比334近似等于3.2％。每个脉冲模式特征帧318的持续时间在近似8和32ms之间。每个脉冲模式特征帧318由八个雷达帧322(例如，L等于8)组成。在活动的脉冲模式特征帧318内，所有八个雷达帧322都处于活动状态。这导致占空比336等于100％。每个雷达帧322的持续时间在近似1到4ms之间。每个活动雷达帧322内的活动时间328在近似32到128μs之间。这样，所得占空比338近似为3.2％。已经发现此示例雷达成帧结构312产出良好的性能结果。这些良好的性能结果在良好的参考系检测、手势辨识和状态检测方面，同时在低功率状态的手持智能电话的应用背景中也产出良好的功率效率结果。相对于图4进一步描述(图3-1的)雷达发射信号306的生成和(图3-1的)雷达接收信号308的处理。
图4图示雷达系统102的示例性天线阵列212和示例性收发器214。在所描绘的配置中，收发器214包括发射器402和接收器404。发射器402包括至少一个压控振荡器406和至少一个功率放大器408。接收器404包括至少两个接收信道410-1至410-M，其中M是大于1的正整数。每个接收信道410-1至410-M包括至少一个低噪声放大器412、至少一个混频器414、至少一个滤波器416和至少一个模数转换器418。
天线阵列212包括至少一个发射天线元件420和至少两个接收天线元件422-1至422-M。发射天线元件420被耦合到发射器402。接收天线元件422-1到422-M分别耦合到接收信道410-1到410-M。
在发射期间，压控振荡器406以射频生成调频雷达信号424。功率放大器408将调频雷达信号424放大，以经由发射天线元件420发射。发射的调频雷达信号424由雷达发射信号306表示，其可以包括基于图3-2的雷达成帧结构312的多个啁啾310-1至310-N。作为示例，根据图3-2的突发模式特征帧320生成雷达发射信号306，并且雷达发射信号306包括16个啁啾310(例如，N等于16)。
在接收期间，每个接收天线元件422-1至422-M接收雷达接收信号308-1至308-M的版本。通常，雷达接收信号308-1至308-M的这些版本之间的相对相位差是由于接收天线元件422-1至422-M的位置差异引起的。在每个接收信道410-1至410-M内，低噪声放大器412放大雷达接收信号308，并且混频器414将放大的雷达接收信号308与调频雷达信号424混频。特别地，混频器执行差拍操作，其下变频和解调雷达接收信号308以生成差拍信号426。
差拍信号426的频率表示调频的雷达信号424和雷达接收信号308之间的频率差，该频率差与图3-1的倾斜范围304成比例。尽管未示出，但是差拍信号426可以包括多个频率，其表示来自用户302的不同部分(例如，不同的手指、手的不同部分或不同的身体部位)的反射。在一些情况下，这些不同部分相对于雷达系统102以不同的速度移动，沿不同的方向移动或被定位在不同的倾斜范围处。
滤波器416对差拍信号426进行滤波，并且模数转换器418将滤波后的差拍信号426进行数字化。接收信道410-1至410-M分别生成数字差拍信号428-1至428-M，它们被提供给系统处理器216以进行处理。收发器214的接收信道410-1至410-M耦合到系统处理器216，如图5中所示。
图5图示由雷达系统102实现的用于检测参考系变化的示例方案。在所描绘的配置中，系统处理器216实现硬件抽象模块220和参考系机器学习模块222。系统处理器216连接到接收信道410-1至410-M。系统处理器216也可以与计算机处理器202通信。尽管未示出，但是硬件抽象模块220和/或参考系机器学习模块222可以由计算机处理器202实现。
在此示例中，参考系机器学习模块222使用包括多阶段机器学习架构的空间时间神经网络500来实现。在第一阶段中，空间递归网络在空间域上分析复杂雷达数据246以生成特征数据。特征数据识别与至少一个对象的运动轨迹相关联的一个或多个特征(例如，特性)。特征数据在至少一部分时间内存储在循环缓冲区224的存储器元件中。随着时间的流逝，其他特征数据被存储在循环缓冲区224的其他存储器元件中。其他特征数据可以对应于同一对象或另一对象。在第二阶段中，时间递归网络跨越循环缓冲区224内的多个存储器元件分析特征数据，以检测参考系变化。相对于图7-1至7-4进一步描述空间时间神经网络500。
此多阶段设计使雷达系统102能够节省功率并实时(例如，在执行手势时)检测参考系变化。例如，使用循环缓冲区224使雷达系统102能够通过减轻对重新生成特征数据或存储复杂雷达数据246的需求而节省功率和存储器。存储特征数据而不是复杂雷达数据246还减少用于检测参考系变化的计算时间。空间时间神经网络500也是适合的，并且可以扩展以检测各种不同情况下的参考系变化，同时不会显着增加大小、计算要求或时延。另外，空间时间神经网络500可以被定制以辨识多种类型的手势，诸如滑动手势和伸手手势。
在该示例中，硬件抽象模块220从接收信道410-1至410-M接受数字差拍信号428-1至428-M。数字差拍信号428-1至428-M表示原始或未处理的复杂雷达数据。硬件抽象模块220基于数字差拍信号428-1至428-M执行一个或多个操作以生成与硬件无关的复杂雷达数据502-1至502-M。硬件抽象模块220将数字差拍信号428-1至428-M提供的复杂雷达数据变换为空间时间神经网络500期望的形式。在一些情况下，硬件抽象模块220将与不同的发射功率水平相关联的幅度归一化，或将复杂雷达数据变换为频域表示。
与硬件无关的复杂雷达数据502-1至502-M包括幅度和相位信息(例如，同相和正交分量)。在一些实施方式中，与硬件无关的复杂雷达数据502-1至502-M包括针对每个接收信道410-1至410-M和针对特定活动的特征帧316的范围多普勒图。在其他实施方式中，与硬件无关的复杂雷达数据502-1至502-M包括复杂干涉测量数据，其是范围多普勒图的正交表示。作为另一个示例，与硬件无关的复杂雷达数据502-1至502-M包括针对活动的特征帧316的数字差拍信号428-1至428-M的频域表示。尽管未示出，但是雷达系统102的其它实施方式可以将数字差拍信号428-1至428-M直接提供给空间时间神经网络500。
空间时间神经网络500使用训练的回归或分类模型来分析与硬件无关的复杂雷达数据502-1至502-M并生成参考系数据248。尽管关于运动感测进行描述，但是由空间时间神经网络500执行的训练过程和空间时间神经网络500的机器学习架构可以适用于支持其他类型的应用，包括存在检测、手势辨识、避免碰撞和人类生命体征检测。关于图7-1至7-4进一步描述空间时间神经网络500的示例实施方式。
图6图示用于检测参考系变化的示例硬件抽象模块220。在所描绘的配置中，硬件抽象模块220包括预处理阶段602和信号变换阶段604。预处理阶段602在数字差拍信号428-1至428-M内的每个啁啾310-1至310-N上进行操作。换句话说，预处理阶段602对每个活动的雷达帧322执行操作。在此示例中，预处理阶段602包括分别处理数字差拍信号428-1至428-M的M个一维(1D)快速傅里叶变换(FFT)模块。执行类似操作的其他类型的模块也是可能的，诸如傅立叶变换模块。
为了简单起见，硬件抽象模块220被示出为处理与接收信道410-1相关联的数字差拍信号428-1。数字差拍信号428-1包括啁啾310-1至310-M，它们是时域信号。啁啾310-1到310-M以其被收发器214接收和处理的顺序传递到一维FFT模块606-1。假定雷达接收信号308-1至308-M包括16个啁啾310-1至310-N(例如，N等于16)中，一维FFT模块606-1执行16个FFT运算以生成每个啁啾的预处理的复杂雷达数据612-1。
信号变换阶段604在每个数字差拍信号428-1至428-M内的啁啾310 1至310-M的序列上进行操作。换句话说，信号变换阶段604对每个活动特征帧316执行操作。在此示例中，信号变换阶段604包括M个缓冲区和M个二维(2D)FFT模块。为了简单起见，示出信号变换阶段604以包括缓冲区608-1和二维FFT模块610-1。
缓冲区608-1存储与第一啁啾310-1相关联的预处理的复杂雷达数据612-1的第一部分。一维FFT模块606-1继续处理后续的啁啾310-2至310-N，并且缓冲区608 1继续存储预处理的复杂雷达数据612-1的对应部分。该过程继续直到缓冲区608-1存储与啁啾310-M相关联的预处理的复杂雷达数据612-1的最后部分。
此时，缓冲区608-1存储与特定特征帧相关联的预处理的复杂雷达数据614-1。每个特征帧的预处理的复杂雷达数据614-1表示跨越不同啁啾310-1至310-N和跨越不同范围块(range bin)616-1至616-A的幅度信息(如所示的)和相位信息(未示出)，其中A表示正整数。
二维FFT 610-1接受每特征帧的预处理复杂雷达数据614-1，并执行二维FFT运算以形成表示范围多普勒图的与硬件无关的复杂雷达数据502-1。范围多普勒图包括用于范围块616-1至616-A和多普勒块618-1至618-B的复杂雷达数据，其中B表示正整数。换句话说，每个范围块616-1至616-A和多普勒块618-1至618-B包括具有实部和虚部的复数，实部和虚部一起表示幅度和相位信息。范围块616-1至616-A的数量可以在数十或数百的数量级上，诸如64或128(例如，A等于64或128)。多普勒块的数量可以在数十或数百的数量级上，诸如32、64或124(例如，B等于32、64或124)。与硬件无关的复杂雷达数据502-1以及与硬件无关的复杂雷达数据502-1至502-M(图6-1的)被提供给空间时间神经网络500，如图7-1中所示。
图7-1图示用于检测参考系变化的示例空间时间神经网络500。在所描绘的配置中，空间时间神经网络500包括分别由空间递归网络702和时间递归网络704实现的两个阶段。空间递归网络702包括啁啾级分析模块706和特征级分析模块708。通常，空间递归网络702针对每个活动特征帧316在空间域上分析与硬件无关的复杂雷达数据502-1至502-M。结果数据由循环缓冲区224存储。时间递归网络704包括主级分析模块710，其分析两个或更多个活动特征帧316的循环缓冲区224内存储的数据。以这种方式，时间递归网络704针对活动的主帧314的至少一部分在时域上分析数据。
在接收期间，啁啾级分析模块706跨越每个范围块616-1至616-A处理复杂雷达数据，以生成信道多普勒数据712。特征级分析模块708分析信道多普勒数据712以生成特征数据714，该特征数据714表征用于检测参考系变化的一个或多个特征。这些特征可以包括由雷达系统102检测到的一个或多个对象的相对运动。循环缓冲区224存储特征数据714。
随着时间的流逝，循环缓冲区224存储与不同的活动特征帧316相关联的特征数据714。与两个或更多个活动特征帧316相关联的特征数据714被称为已编译的特征数据716。将已编译的特征数据716提供给主级分析模块710或由主级分析模块710访问已编译的特征数据716。主级分析模块710将已编译的特征数据716分析为参考系数据248。作为示例，雷达应用数据504包括关于是否参考系正在移动的预测。因为与较大数量的活动特征帧316相关联的特征数据714被循环缓冲区224存储，所以预测的准确性改善。在一些情况下，当空间递归网络702处理与主帧314相关联的后续特征帧316时，主级分析模块710连续地生成或更新雷达应用数据504。可替选地，主级分析模块710延迟参考系数据248的生成，直到与主帧314相关联的所有特征帧316已经由空间递归网络702处理为止。关于图7-2至图7-4进一步描述啁啾级分析模块706、特征级分析模块708和主级分析模块710的实施方式。
图7-2图示空间时间神经网络500的示例啁啾级分析模块706。在所描绘的配置中，啁啾级分析模块706包括信道多普勒处理模块718-1至718-A。每个信道多普勒处理模块718-1至718-A包括具有一个或多个层720 1至720-Q的神经网络，其中Q为正整数。Q的值可以取决于实现方式而变化。作为示例，Q可以等于2、4或10。层720-1至720-Q可以完全连接或部分连接。例如，层720-1至720-Q内的节点执行非线性整流器激活函数。信道多普勒处理模块718-1至718-A还可以执行加法和乘法。
信道多普勒处理模块718-1至718-A根据范围块616-1至616-A接受与硬件无关的复杂雷达数据502-1至502-M的相应部分。特别地，信道多普勒处理模块718-1跨越所有接收信道410-1至410-M以及跨越所有多普勒块618-1至618-B接收与第一范围块616-1相关联的复杂雷达数据。提供每个复数作为对层720-1的各个节点的输入。层720-1至720-Q使用非线性整流器激活函数来分析数据，以生成信道多普勒数据712-1。信道多普勒处理模块718-2至718-A也执行类似的操作。组合的信道多普勒数据712-1至712-A表示矢量。例如，假设存在三个接收信道410-1至410-M(例如，M等于3)，32个多普勒块618-1至618-B(例如，B等于32)和16个范围块616-1至616-A(例如，A等于16)，信道多普勒数据712-1至712-A形成值的1x16矢量，其表示跨越多普勒域中的接收信道的关系以使得特征级分析模块708能够识别与参考系变化相关联的一个或多个特征。
图7-3图示空间时间神经网络500的示例性特征级分析模块708。在所描绘的配置中，使用一个或多个递归层722-1至722-V来实现特征级分析模块708，其中V表示正整数。在递归层722-1至722-V内，节点之间的连接形成周期，其为后续的活动特征帧316保留来自先前的活动特征帧316的信息。例如，使用递归层722-1至722-V，特征级分析模块708可以实现长短期记忆(LSTM)网络。
如上所述，特征级分析模块708跨范围块616-1至616-A处理信道多普勒数据712-1至712-A以生成特征数据714。尽管未示出，但是一些空间递归网络702的实施方式可以包括连接到递归层722-V的输出的附加的全连接层720。类似于啁啾级分析模块706的层720，这些层720也可以执行非线性变换。
随着时间的推移，与活动特征帧316-1至316-J相关联的特征数据714-1至714-J被循环缓冲区224顺序地存储在不同的存储器元件中。特征数据714-1至714-J表示由主级分析模块710处理的已编译特征数据716，如关于图7-4进一步描述的。
图7-4示出了空间时间神经网络500的示例主级分析模块710。在所示的配置中，主级分析模块710使用一个或多个递归层724-1至724-T来实现，其中T表示可以等于或可以不等于V的正整数。例如，使用递归层724-1至724-T，主级分析模块710可以实现长短期记忆(LSTM)网络。
如上所述，主级分析模块710处理存储在循环缓冲区224内的两个或更多个特征数据714-1至714-J。例如，主级分析模块710基于特征数据714-1至714-J中的两个或更多个来形成关于参考系是否正在移动的预测。在一些情况下，主级分析模块710可以等待以形成预测，直到指定数量的特征数据714-1至714-J是可用的，诸如15。如果活动主帧314包括多于15个活动特征帧316(例如，J大于15)，主级分析模块710可以继续以基于最后15个活动特征帧316来更新其预测。通常，预测的精度会随着时间的流逝或当更多数量的特征数据714-1至714-J被分析时而增加。
示例方法
图8描绘用于执行能够检测参考系变化的基于智能设备的雷达系统的操作的示例方法800。方法800被示为执行的操作(或动作)的集合，但不必限于此处示出操作的顺序或组合。此外，操作中的任何一个或者多个可以被重复、组合、重组或链接，以提供各种各样的附加和/或替代方法。在以下讨论的部分中，可以参考图1的环境100-1至100-8，图2、4或5中详述的实体，对其的参考仅作为示例。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在802处，使用雷达系统的天线阵列来发射第一雷达发射信号。例如，如图4中所示，雷达系统102使用至少一个发射天线元件420来发射雷达发射信号306。在一些实施方式中，雷达发射信号306包括频率被调制的多个啁啾310-1至310-N，如图3-1中所示。
在804处，使用天线阵列接收第一雷达接收信号。第一雷达接收信号包括由至少一个用户反射的第一雷达发射信号的版本。例如，雷达系统102使用至少一个接收天线元件422来接收由用户302反射的雷达接收信号308的版本，如图4中所示。
在806处，基于第一雷达接收信号来生成复杂雷达数据。例如，雷达系统102的接收信道410基于雷达接收信号308来生成数字差拍信号428。数字差拍信号表示复杂雷达数据246，并且包括幅度和相位信息。
在808处，使用机器学习分析复杂雷达数据，以检测雷达系统的参考系的变化。例如，参考系机器学习模块222分析数字差拍信号428-1至428-M或与硬件无关的复杂雷达数据502-1至502-M以生成参考系数据248，其提供关于雷达系统102的参考系的信息。此信息可以指示是否参考系是静止的、是否参考系正在移动和/或关于参考系的变化的特性(例如，距离、方向、速度)。尽管针对运动感测进行描述，但是也可以针对其他应用执行类似的操作，包括存在检测、姿势辨识、避免碰撞、生命体征检测等。
示例计算系统
图9图示示例计算系统900的各种组件，所述示例计算系统900能够作为如参考先前的图2所描述的任何类型的客户端、服务器和/或电子设备以检测参考系变化。
计算系统900包括通信设备902，该通信设备902能够实现设备数据904(例如，接收到的数据、正在接收的数据、为广播而调度的数据或者数据的数据分组)的有线和/或无线通信。尽管未示出，但是通信设备902或计算系统900可以包括一个或多个雷达系统102。设备数据904或其它设备内容能够包括设备的配置设定、存储在设备上的媒体内容和/或与设备的用户302相关联的信息。存储在计算系统900上的媒体内容能够包括任何类型的音频、视频和图像数据。计算系统900包括能够经由其接收任何类型的数据、媒体内容和/或输入的一个或多个数据输入906，诸如人类发言、基于雷达的应用206、用户可选输入(显式的或隐式的)、消息、音乐、电视媒体内容、录制视频内容以及从任何内容和/或数据源接收的任何其它类型的音频、视频和/或图像数据。
计算系统900还包括通信接口908，其能够作为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器并作为任何其它类型的通信接口中的任何一个或多个被实现。通信接口908提供计算系统900与通信网络之间的连接和/或通信链路，其它电子、计算和通信设备通过所述通信网络来与计算系统900传达数据。
计算系统900包括一个或多个处理器910(例如，微处理器、控制器等中的任何一个)，所述处理器910处理各种计算机可执行指令以控制计算系统900的操作并启用用于或者其中可以体现在存在饱和的情况下的手势辨识的技术。可替选地或另外，计算系统900能够用连同通常在912处识别的处理和控制电路一起实现的硬件、固件或固定逻辑电路中的任何一个或组合来实现。尽管未示出，但是计算系统900能够包括耦合设备内的各种组件的系统总线或数据转移系统。系统总线能够包括不同总线结构中的任何一种或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线，和/或利用各种总线架构中的任一种的处理器或本地总线。
计算系统900还包括计算机可读介质914，诸如能够实现持久和/或非暂时性数据存储(即，与仅信号传输相反)的一个或多个存储器设备，其示例包括随机存取存储器(RAM)、非易失性存储器(例如，只读存储器(ROM)、闪速存储器、EPROM、EEPROM等中的任何一种或多种)和磁盘存储设备。可以将磁盘存储设备实现为任何类型的磁或光学存储设备，诸如硬盘驱动器、可记录和/或可重写紧致盘(CD)、任何类型的数字通用盘(DVD)等。计算系统900还能够包括大容量存储介质设备(存储介质)916。
计算机可读介质914提供用于存储设备数据904以及各种设备应用918和与计算系统900的操作方面有关的任何其它类型的信息和/或数据的数据存储机制。例如，操作系统920能够作为计算机应用利用计算机可读介质914维护并在处理器910上执行。设备应用918可以包括设备管理器，诸如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备本机的代码、用于特定设备的硬件抽象模块层等等。
设备应用918还包括用于检测参考系变化的任何系统组件、引擎或管理器。在此示例中，设备应用918包括图2的基于雷达的应用206和参考系机器学习模块222。
结论
尽管已经以特征和/或方法特定的语言描述了使用检测基于参考系变化的基于智能设备的雷达系统的技术以及包括基于智能设备的雷达系统的装置，但是要理解的是，所附权利要求的主题不一定限于所描述的特定特征或方法。相反，公开特定的特征和方法作为检测参考系变化的基于智能设备的雷达系统的示例实施方式。
下面描述一些示例。
示例1：一种由雷达系统执行的方法，所述方法包括：
使用所述雷达系统的天线阵列发射第一雷达发射信号；
使用所述天线阵列接收第一雷达接收信号，所述第一雷达接收信号包括由至少一个对象反射的所述第一雷达发射信号的版本；
基于所述第一雷达接收信号来生成复杂雷达数据；以及
使用机器学习来分析所述复杂雷达数据以检测雷达系统的参考系中的变化。
示例2：根据示例1所述的方法，其中，所述至少一个对象包括至少一个用户，
所述方法进一步包括：
基于所检测的雷达系统的参考系中的变化来确定所述雷达系统正在移动；和
响应于确定所述雷达系统正在移动，确定所述至少一个用户未执行手势。
示例3：根据示例1或示例2所述的方法，进一步包括：
使用所述雷达系统的所述天线阵列发射第二雷达发射信号；
使用所述天线阵列接收第二雷达接收信号，所述第二雷达接收信号包括由至少一个其他对象反射的所述第二雷达发射信号的版本；
基于所述第二雷达接收信号来生成其他复杂雷达数据；以及
使用所述机器学习来分析所述其他复杂雷达数据，以确定所述雷达系统是静止的。
示例4：根据示例3所述的方法，其中，所述至少一个其他对象包括至少一个其他用户，
所述方法进一步包括：
响应于确定所述雷达系统是静止的，基于所述其他复杂雷达数据，辨识由所述至少一个其他用户执行的手势。
示例5：根据任一项前述示例所述的方法，其中：
所述至少一个对象包括第一对象和第二对象；并且
分析所述复杂雷达数据包括：
基于所述复杂雷达数据来确定所述第一对象的相对运动；
基于所述复杂雷达数据来确定所述第二对象的相对运动；以及
通过使用所述机器学习将所述第一对象的相对运动与所述第二对象的相对运动进行比较，来检测所述雷达系统的参考系中的变化。
示例6：根据示例5所述的方法，其中：
所述第一对象是静止的，并且所述第二对象是静止的；
所述第一对象是静止的，并且所述第二对象正在移动；或者
所述第一对象正在移动，并且所述第二对象正在移动。
示例7：根据示例5的方法，其中，确定所述第一对象的相对运动、确定所述第二对象的相对运动以及检测所述雷达系统的参考系中的变化包括：
使用空间递归网络在空间域上分析所述复杂雷达数据以生成特征数据；和
使用时间递归网络在时域上分析所述特征数据以辨识所述手势。
示例8：根据示例7所述的方法，进一步包括：
将所述特征数据存储在循环缓冲区中；和
通过所述时间递归网络访问所述循环缓冲区中存储的所述特征数据。
示例9：根据示例7或8所述的方法，其中，在空间域上分析所述复杂雷达数据包括：
使用非线性激活函数分别处理所述复杂雷达数据中与不同范围块相关联的部分，以生成每个范围块的信道多普勒数据；和
跨越所述不同范围块分析所述信道多普勒数据以生成所述特征数据。
示例10：根据示例7至9中的任一项所述的方法，其中，在时域上分析所述特征数据包括：形成关于所述雷达系统的参考系移动和所述雷达系统的参考系是静止的可能性的预测。
示例11：根据任一项前述示例所述的方法，其中，分析所述复杂雷达数据包括：使用所述机器学习来分析所述复杂雷达数据的幅度和/或相位信息。
示例12：根据任一项前述示例所述的方法，其中，所述复杂雷达数据包括同相分量和正交分量。
示例13：根据任一项前述示例所述的方法，其中，所述复杂雷达数据包括下述中的至少一个：
复杂范围多普勒图；
复杂干涉测量数据；
与所述雷达接收信号相关联的多个数字差拍信号；或者
所述多个数字差拍信号的频域表示。
示例14：根据任一项前述示例所述的方法，其中，所述第一雷达发射信号包括至少一个啁啾。
示例15：根据任一项前述示例所述的方法，其中，所述机器学习使用至少一个人工神经网络，特别是具有深度神经网络，特别是具有递归深度神经网络的至少一个人工神经网络。
示例16：根据任一项前述示例所述的方法，其中，所述机器学习包括监督学习，特别是将真实数据用于机器学习训练目的。
示例17：根据任一项前述示例所述的方法，其中，所述机器学习包括离线训练和/或实时训练。
示例18：根据示例1所述的方法，其中：
所述雷达系统是智能设备的部分；以及
所述智能设备不包含惯性传感器或不使用所述惯性传感器来检测所述雷达系统的参考系中的变化。
示例19：一种装置，包括：
雷达系统，包括：
天线阵列；
收发器；以及
被配置成执行根据示例1至17中的任一项所述的方法的处理器和计算机可读存储介质。
示例20：根据示例19所述的装置，其中，所述装置包括智能设备，所述智能设备包括下述中的一个：
智能电话；
智能手表；
智能扬声器；
智能恒温器；
安全相机；
车辆；或者
家用电器。
示例21：根据示例19所述的装置，其中：
所述装置包括智能设备；并且
所述智能设备不包含惯性传感器或不使用所述惯性传感器来检测所述雷达系统的参考系中的变化。
示例22：一种包括计算机可执行指令的计算机可读存储介质，所述计算机可执行指令响应于由处理器执行而实现：
参考系机器学习模块，所述参考系机器学习模块被配置成：
接受与由至少一个对象反射的雷达接收信号相关联的复杂雷达数据；
使用机器学习分析所述复杂雷达数据以生成参考系数据；以及
基于所述参考系数据，确定接收所述雷达接收信号的天线阵列是静止的还是正在移动的。
示例23：根据示例22所述的计算机可读存储介质，其中，所述参考系机器学习模块进一步被配置成分析所述复杂雷达数据的幅度和相位信息两者，以生成所述参考系数据。
示例24：根据示例22或示例23所述的计算机可读存储介质，其中，所述参考系机器学习模块进一步被配置成：
使用所述机器学习在空间域上分析所述复杂雷达数据，以生成特征数据；以及
使用所述机器学习在时域上分析所述特征数据，以生成雷达应用数据。
示例25：根据示例22至24中任一项所述的计算机可读存储介质，其中，所述计算机可执行指令响应于由所述处理器执行而实现硬件抽象模块，所述硬件抽象模块被配置成：
基于所述复杂雷达数据来生成与硬件无关的复杂雷达数据；以及
向所述参考系机器学习模块提供所述与硬件无关的复杂雷达数据作为所述复杂雷达数据。
示例26：根据示例22所述的计算机可读存储介质，其中：
所述计算机可读存储介质和所述处理器是智能设备的部分；以及
所述智能设备不包含惯性传感器或不使用所述惯性传感器来检测所述雷达系统的参考系中的变化。

Claims (20)

1.一种由雷达系统执行的方法，所述方法包括：
发射第一雷达发射信号；
接收第一雷达接收信号，所述第一雷达接收信号包括由至少一个对象反射的所述第一雷达发射信号的版本；
基于所述第一雷达接收信号来生成复杂雷达数据；以及
使用机器学习来分析所述复杂雷达数据以检测雷达系统的参考系中的变化。
2.根据权利要求1所述的方法，其中，所述至少一个对象包括至少一个用户，所述方法进一步包括：
基于所检测的雷达系统的参考系中的变化来确定所述雷达系统正在移动；和
响应于确定所述雷达系统正在移动，确定所述至少一个用户未执行手势。
3.根据权利要求1所述的方法，进一步包括：
发射第二雷达发射信号；
接收第二雷达接收信号，所述第二雷达接收信号包括由至少一个其他对象反射的所述第二雷达发射信号的版本；
基于所述第二雷达接收信号来生成第二复杂雷达数据；以及
使用所述机器学习来分析所述第二复杂雷达数据，以确定所述雷达系统是静止的。
4.根据权利要求3所述的方法，其中，所述至少一个其他对象包括至少一个其他用户，所述方法进一步包括：
响应于确定所述雷达系统是静止的，基于所述第二复杂雷达数据，辨识由所述至少一个其他用户执行的手势。
5.根据权利要求1所述的方法，其中：
所述至少一个对象包括第一对象和第二对象；并且
分析所述复杂雷达数据包括：
基于所述复杂雷达数据来确定所述第一对象的相对运动；
基于所述复杂雷达数据来确定所述第二对象的相对运动；以及
通过使用所述机器学习将所述第一对象的相对运动与所述第二对象的相对运动进行比较，来检测所述雷达系统的参考系中的变化。
6.根据权利要求5所述的方法，其中：
所述第一对象是静止的，并且所述第二对象是静止的；
所述第一对象是静止的，并且所述第二对象正在移动；或者
所述第一对象正在移动，并且所述第二对象正在移动。
7.根据权利要求5的方法，其中，确定所述第一对象的相对运动、确定所述第二对象的相对运动以及检测所述雷达系统的参考系中的变化包括：
使用空间递归网络在空间域上分析所述复杂雷达数据以生成特征数据；和
使用时间递归网络在时域上分析所述特征数据以辨识由所述至少一个用户执行的手势。
8.根据权利要求7所述的方法，进一步包括：
将所述特征数据存储在循环缓冲区中；和
由所述时间递归网络访问所述循环缓冲区中存储的所述特征数据。
9.根据权利要求7所述的方法，其中，在空间域上分析所述复杂雷达数据包括：
使用非线性激活函数分别处理所述复杂雷达数据中与不同范围块相关联的部分，以生成每个范围块的信道多普勒数据；和
跨越所述不同范围块分析所述信道多普勒数据以生成所述特征数据。
10.根据权利要求7所述的方法，其中，在时域上分析所述特征数据包括：形成关于所述雷达系统的参考系在移动和所述雷达系统的参考系是静止的可能性的预测。
11.根据权利要求1所述的方法，其中，所述复杂雷达数据包括下述中的至少一个：
复杂范围多普勒图；
复杂干涉测量数据；
与所述第一雷达接收信号相关联的多个数字差拍信号；或者
所述多个数字差拍信号的频域表示。
12.根据权利要求1所述的方法，其中：
所述机器学习使用至少一个人工神经网络；
所述机器学习包括监督学习；以及
所述机器学习包括离线训练或实时训练。
13.根据权利要求1所述的方法，其中：
所述雷达系统是智能设备的部分；以及
所述智能设备不包含惯性传感器或不使用所述惯性传感器来检测所述雷达系统的参考系中的变化。
14.一种装置，包括：
雷达系统，包括：
天线阵列；
收发器；以及
被配置成执行根据权利要求1至13中的任一项所述的方法的处理器和计算机可读存储介质。
15.根据权利要求14所述的装置，其中，所述装置包括智能设备，所述智能设备包括下述中的一个：
智能电话；
智能手表；
智能扬声器；
智能恒温器；
安全相机；
车辆；或者
家用电器。
16.根据权利要求14所述的装置，其中：
所述装置包括智能设备；并且
所述智能设备不包含惯性传感器或不使用所述惯性传感器来检测所述雷达系统的参考系中的变化。
17.一种包括计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在被处理器执行时实现：
参考系机器学习模块，所述参考系机器学习模块被配置成：
接受与由至少一个对象反射的雷达接收信号相关联的复杂雷达数据；
使用机器学习分析所述复杂雷达数据以生成参考系数据；以及
基于所述参考系数据，确定接收所述雷达接收信号的天线阵列是静止的还是正在移动。
18.根据权利要求17所述的计算机可读存储介质，其中，所述参考系机器学习模块进一步被配置成分析所述复杂雷达数据的幅度和相位信息两者，以生成所述参考系数据。
19.根据权利要求17所述的计算机可读存储介质，其中，所述参考系机器学习模块进一步被配置成：
使用所述机器学习在空间域上分析所述复杂雷达数据，以生成特征数据；以及
使用所述机器学习在时域上分析所述特征数据，以生成雷达应用数据。
20.根据权利要求17所述的计算机可读存储介质，其中：
所述计算机可读存储介质和所述处理器是智能设备的部分；以及
所述智能设备不包含惯性传感器或不使用所述惯性传感器来检测雷达系统的参考系中的变化。
CN202010663766.3A 2019-11-27 2020-07-10 检测基于智能设备的雷达系统中的参考系变化 Active CN111812633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410233722.5A CN118191817A (zh) 2019-11-27 2020-07-10 检测基于智能设备的雷达系统中的参考系变化

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
USPCT/US2019/063776 2019-11-27
PCT/US2019/063776 WO2021107958A1 (en) 2019-11-27 2019-11-27 Detecting a frame-of-reference change in a smart-device-based radar system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410233722.5A Division CN118191817A (zh) 2019-11-27 2020-07-10 检测基于智能设备的雷达系统中的参考系变化

Publications (2)

Publication Number Publication Date
CN111812633A true CN111812633A (zh) 2020-10-23
CN111812633B CN111812633B (zh) 2024-03-12

Family

ID=69005906

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010663766.3A Active CN111812633B (zh) 2019-11-27 2020-07-10 检测基于智能设备的雷达系统中的参考系变化
CN202410233722.5A Pending CN118191817A (zh) 2019-11-27 2020-07-10 检测基于智能设备的雷达系统中的参考系变化

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410233722.5A Pending CN118191817A (zh) 2019-11-27 2020-07-10 检测基于智能设备的雷达系统中的参考系变化

Country Status (4)

Country Link
US (2) US11460538B2 (zh)
EP (2) EP4286996A3 (zh)
CN (2) CN111812633B (zh)
WO (1) WO2021107958A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126050A (zh) * 2021-03-05 2021-07-16 沃尔夫曼消防装备有限公司 一种基于神经网络的生命探测方法
CN113253249A (zh) * 2021-04-19 2021-08-13 中国电子科技集团公司第二十九研究所 一种基于深度强化学习的mimo雷达功率分配设计方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107958A1 (en) * 2019-11-27 2021-06-03 Google Llc Detecting a frame-of-reference change in a smart-device-based radar system
WO2021118570A1 (en) 2019-12-12 2021-06-17 Google Llc Radar-based monitoring of a fall by a person
US11639985B2 (en) * 2020-07-02 2023-05-02 International Business Machines Corporation Three-dimensional feature extraction from frequency modulated continuous wave radar signals
US11808839B2 (en) 2020-08-11 2023-11-07 Google Llc Initializing sleep tracking on a contactless health tracking device
US11406281B2 (en) 2020-08-11 2022-08-09 Google Llc Contactless cough detection and attribution
US11832961B2 (en) 2020-08-11 2023-12-05 Google Llc Contactless sleep detection and disturbance attribution
US11754676B2 (en) 2020-08-11 2023-09-12 Google Llc Precision sleep tracking using a contactless sleep tracking device
US11256988B1 (en) * 2021-07-19 2022-02-22 Information Systems Laboratories, Inc. Process and method for real-time sensor neuromorphic processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110115592A (zh) * 2018-02-07 2019-08-13 英飞凌科技股份有限公司 使用毫米波雷达传感器确定人的参与水平的系统和方法
DE102018202903A1 (de) * 2018-02-27 2019-08-29 Zf Friedrichshafen Ag Verfahren zur Auswertung von Messdaten eines Radar Messsystems mithilfe eines neuronalen Netzwerks
WO2019195327A1 (en) * 2018-04-05 2019-10-10 Google Llc Smart-device-based radar system performing angular estimation using machine learning
WO2020113160A2 (en) * 2018-11-30 2020-06-04 Qualcomm Incorporated Radar deep learning

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218680A (en) * 1990-03-15 1993-06-08 International Business Machines Corporation Data link controller with autonomous in tandem pipeline circuit elements relative to network channels for transferring multitasking data in cyclically recurrent time slots
EP2496958A4 (en) * 2009-11-06 2013-04-03 Saab Ab RADAR SYSTEM AND METHOD FOR DETECTING AND FOLLOWING A TARGET
US9827487B2 (en) * 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
US20140282274A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US10042041B2 (en) 2015-04-28 2018-08-07 Veoneer Us, Inc. Apparatus and method for detecting and correcting for blockage of an automotive radar sensor
GB2541658B (en) 2015-08-24 2020-01-01 Thales Holdings Uk Plc Video-assisted inverse synthetic aperture radar (VAISAR)
US20180049671A1 (en) * 2016-08-18 2018-02-22 Timothy W. Markison Wireless in-shoe physical activity monitoring dongle
US9720086B1 (en) * 2016-11-22 2017-08-01 4Sense, Inc. Thermal- and modulated-light-based passive tracking system
US10498951B2 (en) * 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
CN115460463A (zh) * 2018-01-04 2022-12-09 三星电子株式会社 视频播放装置及其控制方法
CN111758237B (zh) * 2018-02-27 2023-12-15 Iee国际电子工程股份公司 用于联合雷达通信的方法
GB2585479B (en) * 2019-05-10 2024-01-31 Victor Kennedy Roderick Reduction of the effects of latency for extended reality experiences
WO2021107958A1 (en) * 2019-11-27 2021-06-03 Google Llc Detecting a frame-of-reference change in a smart-device-based radar system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110115592A (zh) * 2018-02-07 2019-08-13 英飞凌科技股份有限公司 使用毫米波雷达传感器确定人的参与水平的系统和方法
DE102018202903A1 (de) * 2018-02-27 2019-08-29 Zf Friedrichshafen Ag Verfahren zur Auswertung von Messdaten eines Radar Messsystems mithilfe eines neuronalen Netzwerks
WO2019195327A1 (en) * 2018-04-05 2019-10-10 Google Llc Smart-device-based radar system performing angular estimation using machine learning
WO2020113160A2 (en) * 2018-11-30 2020-06-04 Qualcomm Incorporated Radar deep learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SARAH H. 等: "Precise Ego-Motion Estimation with Millimeter-Wave Radar Under Diverse and Challenging Conditions", 《2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》, pages 6045 - 6052 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113126050A (zh) * 2021-03-05 2021-07-16 沃尔夫曼消防装备有限公司 一种基于神经网络的生命探测方法
CN113253249A (zh) * 2021-04-19 2021-08-13 中国电子科技集团公司第二十九研究所 一种基于深度强化学习的mimo雷达功率分配设计方法

Also Published As

Publication number Publication date
US20210156957A1 (en) 2021-05-27
US11460538B2 (en) 2022-10-04
EP4286996A3 (en) 2024-02-21
EP4066008A1 (en) 2022-10-05
CN111812633B (zh) 2024-03-12
CN118191817A (zh) 2024-06-14
EP4286996A2 (en) 2023-12-06
EP4066008B1 (en) 2024-01-03
WO2021107958A1 (en) 2021-06-03
US20230008681A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
CN111812633B (zh) 检测基于智能设备的雷达系统中的参考系变化
CN111433627B (zh) 使用机器学习执行角估计的基于智能设备的雷达系统
US10698603B2 (en) Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
JP7481434B2 (ja) 空間時間ニューラルネットワークを使用してジェスチャ認識を実行するスマートデバイスベースのレーダシステム
US20210103348A1 (en) Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
EP4131064A1 (en) Gesture recognition method and related apparatus
US20230161027A1 (en) Smart-Device-Based Radar System Performing Near-Range Detection
US20240027600A1 (en) Smart-Device-Based Radar System Performing Angular Position Estimation
CN111830503B (zh) 执行对称多普勒干扰减轻的基于智能设备的雷达系统
CN113454481B (zh) 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统
KR20230165914A (ko) 레이더 애플리케이션 프로그래밍 인터페이스
US20240231505A1 (en) Facilitating Ambient Computing Using a Radar System
CN111830503A (zh) 执行对称多普勒干扰减轻的基于智能设备的雷达系统
CN113454481A (zh) 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant