CN111433627B - 使用机器学习执行角估计的基于智能设备的雷达系统 - Google Patents

使用机器学习执行角估计的基于智能设备的雷达系统 Download PDF

Info

Publication number
CN111433627B
CN111433627B CN201980006063.9A CN201980006063A CN111433627B CN 111433627 B CN111433627 B CN 111433627B CN 201980006063 A CN201980006063 A CN 201980006063A CN 111433627 B CN111433627 B CN 111433627B
Authority
CN
China
Prior art keywords
angular
data
machine learning
module
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980006063.9A
Other languages
English (en)
Other versions
CN111433627A (zh
Inventor
尼古拉斯·吉利恩
米卡尔·马图兹克
奥克塔维奥·蓬斯马德里加
连寄楣
帕特里克·M·阿米胡德
伊万·波派列夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111433627A publication Critical patent/CN111433627A/zh
Application granted granted Critical
Publication of CN111433627B publication Critical patent/CN111433627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/354Extracting wanted echo-signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • G01S13/44Monopulse radar, i.e. simultaneous lobing
    • G01S13/4418Monopulse radar, i.e. simultaneous lobing with means for eliminating radar-dependent errors in angle measurements, e.g. multipath effects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/345Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using triangular modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/14Systems for determining direction or deviation from predetermined direction
    • G01S3/143Systems for determining direction or deviation from predetermined direction by vectorial combination of signals derived from differently oriented antennae
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/74Multi-channel systems specially adapted for direction-finding, i.e. having a single antenna system capable of giving simultaneous indications of the directions of different signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026Antenna boresight
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026Antenna boresight
    • G01S7/403Antenna boresight in azimuth, i.e. in the horizontal plane
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • G01S7/4004Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026Antenna boresight
    • G01S7/4034Antenna boresight in elevation, i.e. in the vertical plane
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/356Receivers involving particularities of FFT processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/358Receivers using I/Q processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

描述了实现能够使用机器学习来执行角估计的基于智能设备的雷达系统的技术和装置。特别地,雷达系统(102)包括角度估计模块(504),该角度估计模块(504)采用机器学习来估计一个或多个对象(例如,用户)的角位置。通过分析跨宽视场的雷达系统(102)的空间响应的不规则形状,角度估计模块(504)可以基于与对象的角度或基于雷达系统(102)的设计来解算可能存在的角模糊度以正确地识别对象的角位置。使用机器学习技术,雷达系统(102)可以针对各种不同的天线元件间距和频率实现高检测概率和低误报率。

Description

使用机器学习执行角估计的基于智能设备的雷达系统
相关申请的交叉引用
本申请要求2018年4月5日提交的美国临时申请No.62/653,307的权益,该临时申请的公开内容通过引用整体结合于此。
背景技术
雷达是可检测和跟踪对象的有用设备。虽然雷达是用在军事和空中交通管制操作中的常见工具,但是技术进步正在使将雷达集成到消费设备中成为可能。在许多情况下,雷达可以替换笨重且昂贵的传感器(诸如相机),并且在存在不同的环境条件(诸如低照明和雾)的情况下或者在移动或重叠对象情况下提供改进的性能。虽然使用雷达可能是有利的,但是存在与在消费设备中集成雷达相关联的许多挑战。
一个这样的问题涉及较小的消费设备对雷达天线的设计施加的限制。为了满足尺寸或布局约束,例如,可能使用更少的天线元件以及更大或更小的天线元件间距。这可能会导致角模糊度,这对雷达估计对象的角位置带来了挑战。如果雷达不能确定对象的位置,会显著地降低雷达的有效操作和能力。这会令用户感到沮丧,或者限制了雷达可以支持的应用或环境的类型。
发明内容
描述了实现能够使用机器学习来执行角估计的基于智能设备的雷达系统的技术和装置。特别地,雷达系统包括角度估计模块,该角度估计模块采用机器学习来估计一个或多个对象(例如,用户)的角位置。角度估计模块基于对象的唯一角度特征来生成角概率数据。角概率数据包括一个或多个对象的角位置跨两个或更多角区间的概率分布。通过分析跨宽视场的雷达系统的空间响应的不规则形状,角度估计模块可以基于与对象的角度或基于雷达系统的设计来解算可能存在的角模糊度以正确地识别对象的角位置。
角度估计模块由机器学习模块实现,该机器学习模块可以包括神经网络、卷积神经网络、长短期记忆网络或其组合。在一些情况下,机器学习模块还实现了数字波束形成器、跟踪器模块或量化模块,以提高雷达系统的角估计性能。可以将机器学习模块定制为适合各种智能设备,这些智能设备可能具有不同的可用功率、计算能力、内存、雷达天线构造、基于雷达的应用等。借助机器学习技术,雷达系统可以针对各种不同的天线元件间距和频率实现高检测概率和低误报率。
下文描述的方面包括具有雷达系统的智能设备。该雷达系统包括天线阵列、收发器、数字波束形成器和角度估计模块。收发器被耦合到天线阵列,并且被配置成经由天线阵列发射和接收雷达信号。雷达信号被至少一个对象反射。数字波束形成器被耦合到收发器,并且被配置成基于所接收到的雷达信号生成波束形成数据。角度估计模块被耦合到数字波束形成器,并且被配置成使用机器学习,基于波束形成数据生成角概率数据。角概率数据包括至少一个对象的角位置的概率分布。
下文描述的方面还包括一种用于执行基于智能设备的雷达系统的操作的方法,该系统能够使用机器学习来执行角估计。该方法包括经由天线阵列发射和接收雷达信号。该雷达信号被至少一个对象反射。该方法还包括基于所接收到的雷达信号生成波束形成数据。使用机器学习,该方法包括分析波束形成数据以确定至少一个对象的角位置跨两个或更多角区间的概率分布。该方法进一步包括基于概率分布确定两个或更多角区间中的角区间与至少一个对象的角位置相关联。
下文描述的方面包括计算机可读存储介质,该计算机可读存储介质包括计算机可执行指令,该计算机可执行指令响应于处理器的执行而实现角度估计模块和跟踪器模块。角度估计模块被配置成接受与至少一个对象反射的所接收到的雷达信号相关联的波束形成数据。角度估计模块还被配置成使用机器学习,生成基于波束形成数据的角概率数据。角概率数据包括至少一个对象的角位置的概率分布。跟踪器模块被配置成基于概率分布来确定至少一个对象的角位置。
下文描述的方面还包括一种具有机器学习装置的系统,该机器学习装置用于基于所接收到的雷达信号执行角估计。
附图说明
参考下述附图描述用于实现能够使用机器学习来执行角估计的基于智能设备的雷达系统的装置和技术。相同的数字在整个附图中用于引用相似的特征和组件:
图1图示其中可以实现能够使用机器学习来执行角估计的基于智能设备的雷达系统的示例性环境。
图2图示可以使用机器学习来解算的示例性角模糊度。
图3图示用于对象的两个角位置的空间响应的示例性振幅和相位曲线图。
图4图示作为智能设备的一部分的雷达系统的示例性实施方式。
图5图示由雷达系统实现的用于使用机器学习来执行角估计的示例性方案。
图6-1图示由数字波束形成器实现的用于使用机器学习来执行角估计的示例性方案。
图6-2图示由数字波束形成器实现的用于使用机器学习来执行角估计的另一示例性方案。
图7图示用于使用机器学习来执行角估计的示例性神经网络。
图8图示用于使用机器学习来执行角估计的示例性卷积神经网络。
图9图示可以对各种智能设备执行角估计的机器学习模块的示例性套件。
图10图示示例性计算保守的机器学习模块。
图11图示示例性节能机器学习模块。
图12图示示例性计算密集型和功率密集型机器学习模块。
图13图示用于执行能够使用机器学习来执行角估计的基于智能设备的雷达系统的操作的示例性方法。
图14图示示例性计算系统,该示例性计算系统体现为能够使用机器学习来执行角估计的雷达系统或者在其中可以实现使能使用该雷达系统的技术。
具体实施方式
概要
本文档描述了实现能够使用机器学习来执行角估计的基于智能设备的雷达系统的技术和设备。常规的角估计技术基于对应于最高检测到的峰值振幅的方向来识别对象的角位置。这是可能的,因为常规的雷达系统使用最小化角模糊度的天线阵列和波长(例如,约为波长的一半的天线元件间距)。然而,小于或大于波长一半的天线元件间距会显著地增加角模糊度。因此,确定对象的角位置变得具有挑战性。
为了进一步避免角模糊度,其它常规的技术约束视场,所述视场表示被认为对于对象的角位置来说可能的角度的范围。通过限制视场,常规的技术可以避免具有角模糊度的模糊区域,从而减少误检。然而,限制视场会减小雷达系统可以监视以检测对象的角度的范围。作为示例,如果视场限于约-45度至45度之间的角度,则对于5毫米(mm)的波长和3.5毫米的元件间距(例如,元件间距为波长的70%)可避免角模糊度。因此,雷达系统可能无法检测到超过45度极限的对象,这会显著地限制雷达系统的能力。
将雷达传感器并入智能设备中会约束雷达传感器的设计。结果,基于天线元件间距和视场可能存在角模糊度。此外,对于能够使用宽波长范围发射和接收雷达信号的宽带雷达,对于每个不同的波长,元件间距可能都不是最佳的,从而使得一些雷达信号比其他雷达信号更容易受到角模糊度的影响。
代替使用常规的信号处理技术,所描述的技术实现了能够使用机器学习来执行角估计的基于智能设备的雷达系统。特别地,雷达系统包括角度估计模块,该角度估计模块采用机器学习来估计一个或多个对象(例如,用户)的角位置。角度估计模块基于对象的唯一角签名生成角概率数据。角概率数据包括一个或多个对象的角位置跨两个或更多角区间的概率分布。为了生成角概率数据,角度估计模块分析了跨宽视场的雷达系统的波束形成数据的不规则形状,并且基于与对象的角度或基于雷达系统的设计来解算可能存在的角模糊度以将高概率分配给与对象的角位置相对应的角区间。
角估计模块由机器学习模块实现,该机器学习模块可以包括神经网络、卷积神经网络、长短期记忆网络或其组合。在一些情况下,机器学习模块还实现了数字波束形成器、跟踪器模块或量化模块,以提高雷达系统的角估计性能。可以将机器学习模块定制为适合各种智能设备,这些智能设备可能具有不同的可用功率、计算能力、内存、雷达天线构造、基于雷达的应用等。借助机器学习技术,雷达系统可以针对各种不同的天线元件间距和频率实现高检测概率和低误报率。
示例性环境
图1是示例性环境100-1至100-6的图示,其中,可以体现使用能够使用机器学习来执行角估计的基于智能设备的雷达系统的技术以及包括该雷达系统的装置。在所描绘的环境100-1至100-6中,智能设备104包括雷达系统102,该雷达系统102能够使用机器学习来估计与一个或多个对象(例如,用户)的角度。智能设备104被示为环境100-1至100-5中的智能电话以及环境100-6中的方向盘。
在环境100-1至100-4中,用户执行由雷达系统102检测到的不同类型的手势。例如,环境100-1中的用户通过在智能设备104上沿水平维度(例如,从智能设备104的左侧到智能设备104的右侧)移动手来做出滚动手势。在环境100-2中,用户做出伸手手势,这减小了智能设备104与用户的手之间的距离。环境100-3中的用户做出手部手势以在智能设备104上玩游戏。在一个实例中,用户通过沿垂直维度(例如,从智能设备104的底部到智能设备104的顶部)在智能设备104上方移动手来做出推动手势。在环境100-4中,智能设备104被存放在钱包内,并且雷达系统102通过检测被钱包遮挡的手势来提供遮挡手势识别。
雷达系统102还可以识别图1中未示出的其他类型的手势或动作。手势的示例性类型包括旋钮转动手势,其中,用户卷曲其手指以握住假想的门把手并且以顺时针或逆时针方式旋转其手指和手以模仿转动假想的门把手的动作。手势的另一示例性类型包括主轴扭曲手势,其中,用户通过将拇指和至少另一个手指一起摩擦来执行。手势可以是二维的(诸如可与触敏显示器一起使用的手势(例如,两指捏、两指展开或轻击))。手势也可以是三维的(诸如许多手语手势,例如,美国手语(ASL)和全球其他手语的手势)。一旦检测到这些手势中的每一个,智能设备104就可以执行诸如显示新内容、移动光标、激活一个或多个传感器、打开应用等的动作。以这种方式,雷达系统102提供对智能设备104的无接触控制。
在环境100-5中,雷达系统102生成用于情境感知的周围环境的三维地图。雷达系统102还检测并跟踪多个用户以使两个用户都能够与智能设备104交互。雷达系统102还可以执行生命体征检测。在环境100-6中,雷达系统102监视驾驶车辆的用户的生命体征。示例性生命体征包括心率和呼吸率。例如,如果雷达系统102确定驾驶员正在入睡,则雷达系统102可以使智能设备104警告用户。替选地,如果雷达系统102检测到危及生命的紧急事件,诸如心脏病发作,则雷达系统102可以使智能设备104向医疗专业人员或紧急服务发出警告。
雷达系统102的一些实施方式在智能设备104的上下文中应用时特别有利,但存在一些问题。这可能包括需要对雷达系统102的间距和布局以及低功率的限制。智能设备104的示例性总横向维度可以是例如约八厘米乘约十五厘米。雷达系统102的示例性覆盖区可以受到甚至更多的限制,诸如包括天线的约四毫米乘六毫米。雷达系统102的示例性功耗可以为约几毫瓦至几十毫瓦(例如,在约两毫瓦和二十毫瓦之间)。雷达系统102的这种有限的覆盖区和功耗的要求使得智能设备104能够在空间受限的包装中包括其他期望的功能部件(例如,相机传感器、指纹传感器、显示器等)。
为了将雷达系统102集成在智能设备104内,雷达系统102内的天线元件的布置可以基于智能设备104的物理尺寸或布局。在一些情况下,天线元件的布置可能导致出现角模糊度,这将参考图2进一步描述。
图2图示可以使用机器学习来解算的示例性角模糊度。在所描绘的环境200-1中,雷达系统102通过经由数字波束形成技术,使天线方向图的主瓣204转向来搜索对象202。数字波束形成使得来自每个接收天线元件的响应能够被数字地组合以形成多个同时波束。一般地说,多个同时光束表示主瓣204的不同的转向角度206。转向角度206-1例如可以包括具有方位角分量和仰角分量的主瓣204的二维角方向。
尽管在200-1的环境中未示出,但是天线方向图包括可以针对不同的转向角206指向对象202的其他不希望的波瓣(例如,旁瓣或光栅瓣)。一般来说,旁瓣具有低于主瓣204的振幅响应,并且作为旁瓣类型的光栅瓣具有相对类似于旁瓣204的振幅响应。在环境200-2中示出了示例性旁瓣214-1和214-2。虽然常规技术可以设计雷达系统102的天线阵列以增大主瓣204和旁瓣214之间的振幅差或减小视场内的光栅瓣的数量,但是基于所施加的用于将雷达系统102集成在智能设备104内的设计约束,这些技术可能是不可能的。因此,如果如环境200-2中所示,经由转向角206-2,在远离对象202的另一方向中转向主瓣204,则旁瓣214-1会无意地指向对象202。
经由数字波束形成形成的多个波束产生空间响应210,其包括针对不同转向角206的振幅和相位信息。在图2中,经由不同的阴影在空间响应210中示出振幅信息。较暗的阴影指示较高的振幅,而较浅的阴影指示较低的振幅。空间响应210包括在视场212内的多个峰值振幅;一个在转向角206-1处,另一个在转向角206-2处。假设这两个转向角206处的振幅相对相似(例如,在约十分贝之内),则常规技术无法区分对象202是位于转向角206 1还是转向角206-2处(例如,两个转向角206-1和206-2之间的振幅差不足以确定对象202的角位置)。这可以进一步导致常规的雷达系统错误地确定环境中存在其他对象(例如,导致误检测)或将对象202的位置错误地识别为与转向角206-2相对应。
因为多个转向角206对于单个对象202可以具有较大的振幅,所以确定哪个振幅对应于对象202是使用机器学习的雷达角估计要解决的挑战。机器学习不是仅考虑最高振幅,而是分析跨视场212的空间响应210的形状。在这种情况下,视场212包括模糊区域,以使得可以考虑跨其他角度的振幅或相位的差异。假设中心波长为5毫米(mm)且元件间距为3.5mm,则视场212可以包括超过-45度和45度的角度(例如,常规技术所使用的视场)。视场212例如可以包括在约-90度至90度之间,或者高达约-180度至180度的角度。这些角范围也可以跨一个或多个角维度(例如,方位角和/或仰角)应用。参考图3,进一步解释分析空间响应210的形状以估计对象202的角位置。
图3图示针对对象202的两个角位置的空间响应210的示例性振幅和相位曲线图。振幅曲线图302(例如,振幅响应)和相位曲线图304(例如,相位响应)分别描绘针对对象的不同的角位置和针对不同的转向角206可能发生的振幅和相位差。对位于第一角位置310-1处的对象202示出第一振幅响应306-1和第一相位响应308-1。同样地,对位于第二角位置310-2的对象202示出第二振幅响应306-1和第二相位响应308-2。在该示例中,跨介于-180度与180度之间的角度考虑这些差。
如振幅曲线图302中所示,对于两个角位置310-1和310-2存在模糊区域。在该示例中,第一振幅响应306-1(经由实线示出)在第一角位置310-1处具有最高峰值而在第二角位置310-2处具有较小的峰值。虽然最高峰值对应于对象202的实际位置,但是较小的峰值使对象202的角位置310模糊。相比之下,第二振幅响应306-2(经由虚线示出)在第二角位置310-2处具有较小的峰值而在第一角位置310-1处具有较高的峰值。在这种情况下,较小的峰值对应于对象202的位置并且较高的峰值使得对象202的角位置模糊。
这两个振幅响应306-1和306-2图示可通过使用机器学习分析振幅响应306的形状的细微差异来解决的不同的角模糊度。形状的特性可以包括例如滚降、峰值或空值(null)宽度、峰值或空值的角位置和/或峰值和空值的高度或深度。通常,在振幅响应的导数为零的位置发生峰值和空值。形状的特征还可以与旁瓣相关联,表示具有低于视场内的最高峰值的另一峰值。还可以考虑附加形状特性,诸如对称性或缺少对称性。可在相位曲线图304中分析类似的形状特性。相位响应308-1和308-2的形状可以提供用于区分对象202的实际位置的附加信息。基于这些分析的形状,可以确定对象202的角位置。在图3的振幅曲线图302和相位曲线图304中识别了峰值和空值中的一些。由于设计可以分析这些不规则形状的闭合形式信号处理算法具有挑战性,因此所描述的技术使用机器学习来将这些唯一角响应或图案映射到对象的不同角位置。
更详细地,考虑图4,图4将雷达系统102图示为智能设备104的一部分。智能设备104用包括以下的各种非限制性示例设备来图示:台式计算机104-1、平板104-2、膝上型电脑104-3、电视104-4、计算手表104-5、计算眼镜104-6、游戏系统104-7、微波炉104-8和车辆104-9。也可以使用其它设备,诸如家用设备、智能扬声器、智能恒温器、监控摄像机、婴儿监控器、Wi-FiTM路由器、无人机、触控板、曲线图板、上网本、电子阅读器、家庭自动化和控制系统、壁挂式显示器以及其它家用器具。注意,智能设备104可以是可穿戴的、非可穿戴的但可移动的或相对不移动的(例如,台式机和器具)。雷达系统102可以被用作独立雷达系统或者与许多不同的智能设备104或外围设备一起使用,或者嵌入在许多不同的智能设备104或外围设备中,诸如在控制家用器具和系统的控制面板中、在汽车中以控制内部功能(例如,音量、巡航控制或甚至汽车的驾驶),或者作为控制膝上型电脑上的计算应用的膝上型计算机的附件。
智能设备104包括一个或多个计算机处理器402和计算机可读介质404,所述计算机可读介质404包括存储器介质和存储介质。体现为计算机可读介质404上的计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器402执行以提供本文描述的功能性中的一些。计算机可读介质404还包括基于雷达的应用406,所述基于雷达的应用406使用由雷达系统102生成的雷达数据来执行功能,诸如存在检测、基于手势的无接触控制、自动驾驶的防撞、人类生命体征通知等。
智能设备104还可以包括用于通过有线、无线或光网络传送数据的网络接口408。例如,网络接口408可以通过局域网(LAN)、无线局域网(WLAN)、个域网(PAN)、有线局域网(WAN)、内部网、因特网、对等网络、点对点网络、网状网络等传送数据。智能设备104还可以包括显示器(未示出)。
雷达系统102包括用于将雷达数据发射到远程设备的通信接口410,尽管这在雷达系统102被集成在智能设备104内时不必使用。通常,通过通信接口410提供的雷达数据采用可由基于雷达的应用406使用的格式。
雷达系统102还包括至少一个天线阵列412和至少一个收发器414,以发射和接收雷达信号208。天线阵列412包括至少一个发射天线元件和至少两个接收天线元件。在一些情况下,天线阵列412包括多个发射天线元件,以实现能够在给定时间发射多个不同波形(例如,每个发射天线元件不同的波形)的多输入多输出(MIMO)雷达。天线元件可以是圆极化的、水平极化的、垂直极化的或其组合。
对包括三个或以上接收天线元件的实施方式,天线阵列412的接收天线元件可以以一维形状(例如,线)或二维形状(例如,矩形布局、三角形布局或“L”形布局)放置。一维形状使雷达系统102能够测量一个角维度(例如,方位角或仰角),而二维形状使雷达系统102能够测量两个角维度(例如,以确定对象202的方位角和仰角)。与接收天线元件相关联的元件间距可以小于、大于或等于雷达信号208的中心波长的一半。
使用天线阵列412,雷达系统102可以形成被转向或未被转向、宽或窄或成形(例如,半球、立方体、扇形、圆锥、圆柱体)的波束。转向和成形可以通过数字波束形成来实现。一个或多个发射天线元件可以具有未转向的全向辐射方向图,或者可以产生宽的可转向波束以照射大量空间。为了实现目标角精度和角分辨率,接收天线元件可以被用来通过数字波束形成生成数百或数千个窄转向波束。以此方式,雷达系统102可以有效地监视外部环境并且检测一个或多个用户。
收发器414包括用于经由天线阵列412发射和接收雷达信号208的电路和逻辑。收发器414的组件可以包括用于调节雷达信号208的放大器、混频器、开关、模数转换器、滤波器等。收发器414还包括用于执行同相/正交(I/Q)运算(诸如调制或解调)的逻辑。可以使用各种调制,包括线性频率调制、三角频率调制、步进频率调制或相位调制。替选地,收发器414可以产生具有相对恒定的频率或单音调的雷达信号208。收发器414可以被配置成支持连续波或脉冲雷达操作。
收发器414可以用来生成雷达信号208的频谱(例如,频率范围)可以包括1和400GHz之间、4和100GHz之间、1和24GHz之间、2和4GHz之间、57和63GHz之间,或约为2.4GHz的频率。在一些情况下,频谱可以被划分成具有相似或不同带宽的多个子频谱。带宽可以为约500兆赫兹(MHz)、1千兆赫兹(GHz)、2千兆赫兹等。不同的频率子频谱可以包括例如大约57和59GHz之间、59和61GHz之间或61和63GHz之间的频率。尽管上述示例性频率子频谱是连续的,但是其他频率子频谱可能不是连续的。为了实现相干性,收发器414可以使用具有相同带宽的多个频率子频谱(连续的或不连续的)来生成多个雷达信号208,其同时或时间上分开被发送。在一些情况下,可以使用多个连续的频率子频谱来发射单个雷达信号208,从而使雷达信号208具有宽带宽。
雷达系统102还包括一个或多个系统处理器416和系统介质418(例如,一个或多个计算机可读存储介质)。系统介质418包括频率选择模块420,该频率选择模块420选择用于发射雷达信号208的一个或多个频率子频谱。在一些情况下,基于接收天线元件间距来选择频率子频谱以与另一子频谱相比,增加至少两个不同的转向角206之间的振幅和相位差。通常,所选择的频率子频谱会增强并强调该差,从而使得经由机器学习来解算角模糊度更加容易。两种示例性频率选择技术包括下文进一步所述的单个频率子频谱选择和多频子频谱。
对于单个频率子频谱选择,频率选择模块420选择减少旁瓣214的数量或振幅的频率子频谱中的一个。该振幅可以例如减小一半分贝、一分贝或更多。在一些情况下,基于可以被存储在雷达系统102的系统介质418或智能设备104的计算机可读介质404中的已知的天线元件间距来选择频率子频谱。参考图6-1来进一步描述单个频率子频谱选择。
对于多频子频谱选择,频率选择模块420选择用于发射雷达信号208的至少两个频率子频谱。在这种情况下,所选择的频率子频谱具有相同的带宽以用于相干性。可以使用单个雷达信号208或多个雷达信号208同时或时间上分开发射多个频率子频谱。所选择的频率子频谱可以是连续的或不连续的。连续的频率子频谱使雷达信号208具有更宽的带宽,而不连续的频率子频谱可以进一步强调不同转向角206之间的振幅和相位差。
多频子频谱选择使得能够对不同的子频谱实现角模糊度的不同分布。尽管角模糊度的形状和特性可以基于频率子频谱而改变,但是与对象202相关联的主峰值跨不同的频率子频谱而保持相似的形状。一般而言,频率子频谱之间的距离越远,机器学习解算角模糊度就越容易。可以基于雷达系统102的目标角精度或计算限制来确定频率子频谱的数量。频率选择模块420使收发器414使用所选择的一个或多个频率子频谱来发射雷达信号208。参考图6-2进一步描述多频子频谱选择。
系统介质418还包括机器学习模块422,其使系统处理器416能够处理来自天线阵列412中的天线元件的响应,以检测对象202并且确定对象202的角位置。在其他实施方式中,计算机可读介质404可以包括机器学习模块422。这使得雷达系统102能够经由通信接口410向智能设备104提供原始数据,使得计算机处理器402可以执行机器学习模块422。通常,机器学习模块422使用经训练的回归模型来分析空间响应的形状,如图2所示,并且将唯一角符号差或图案映射到角概率数据。机器学习模块422可以包括一组网络,其可以根据智能设备104的类型或用于基于雷达的应用406的目标角分辨率来单独地选择。
在一些实施方式中,机器学习模块422依赖于监督学习,并且可以将测量的(例如,真实的)数据用于机器学习训练目的。训练使得机器学习模块422能够学习用于将波束形成数据转换成角概率数据的非线性映射函数。在其他实施方式中,机器学习模块422依赖于无监督学习来确定非线性映射函数。
示例性离线训练过程使用运动捕获系统来生成用于训练机器学习模块422的真实数据。运动捕获系统可以包括多个光学传感器,诸如红外传感器或相机,并且测量放在人的身体的不同部位(诸如手臂、手、躯干或头)上的多个标记的位置。当人移动到相对于雷达系统102的不同的角位置时,记录来自雷达系统102的雷达数据和来自运动捕获系统的位置数据。雷达数据表示训练数据,并且可以包括原始雷达数据或处理后的雷达数据(例如,波束形成数据)。从运动捕获系统记录的位置数据被转换为相对于雷达系统102的角测量值,并且表示真实数据。真实数据和训练数据在时间上同步,并且被提供给机器学习模块422。机器学习模块基于训练数据估计人的角位置,并且确定估计的角位置和真实数据之间的误差量。机器学习模块调整机器学习参数(例如权重和偏差),以最小化这些误差。基于该离线训练过程,将所确定的权重和偏差预编程到机器学习模块422中,以使得能够使用机器学习来进行后续角估计。在一些情况下,离线训练过程可以提供相对无噪声的环境和高分辨率的真实数据,以用于训练机器学习模块422。
附加地或替选地,实时训练过程可以使用智能设备104内的可用传感器来生成用于训练机器学习模块422的真实数据。在这种情况下,训练过程可以由智能设备104的用户发起。当用户在智能设备104周围移动时,来自智能设备104和雷达系统102的光学传感器(例如相机或红外传感器)的数据将被收集并且提供给机器学习模块422。机器学习模块422确定或调整机器学习参数以最小化所估计的角数据和真实数据之间的误差。使用实时训练过程,机器学习模块422可以针对用户定制、考虑当前环境条件并且考虑智能设备104的当前位置或定向。
机器学习模块422可以包括一个或多个人工神经网络(在本文中被称为神经网络)。神经网络包括一组连接的节点(例如,神经元或感知器),它们被组织成一个或多个层。作为示例,机器学习模块422包括深度神经网络,该深度神经网络包括输入层、输出层以及位于输入层和输出层之间的一个或多个隐藏层。深度神经网络的节点可以在层之间部分连接或完全连接。
在一些情况下,深度神经网络是节点之间的连接形成循环以为输入数据序列的后续部分保留来自输入数据序列的在前部分的信息的递归深度神经网络(例如,长短期记忆(LSTM)递归深度神经网络)。在其他情况下,深度神经网络是其中节点之间的连接不形成循环的前馈深度神经网络。附加地或替选地,机器学习模块422可以包括另一种类型的神经网络,诸如卷积神经网络。参考图7进一步描述了示例性深度神经网络。机器学习模块422还可以包括一种或多种回归模型,诸如单线性回归模型、多线性回归模型、逻辑回归模型、逐步回归模型、多元自适应回归样条、本地散点平滑估计模型等等。
通常,可以基于可用功率、可用存储器或计算能力来定制机器学习模块422的机器学习架构。还可以基于雷达系统102被设计为识别的角位置的数量或雷达系统102被设计为解算的角模糊度的质量来定制机器学习架构。机器学习模块422可以使用机器学习来至少部分地实现角估计,这将参考图5进一步描述。
图5图示由雷达系统102实现的用于使用机器学习来执行角估计的示例性方案。在所描绘的配置中,雷达系统102包括数字波束形成器502、角度估计模块504、跟踪器模块506和量化器模块508。至少角度估计模块504由机器学习模块422实现。在一些实施方式中,机器学习模块422还实现数字波束形成器502、跟踪器模块506、量化器模块508或其组合。替选地,使用常规信号处理算法来实现数字波束形成器502、跟踪器模块506或量化器模块508。在一些情况下,跟踪器模块506或量化器模块508的操作被集成在角度估计模块504内。
数字波束形成器502从天线阵列412中的天线元件获得多个响应,并且生成波束形成数据510。波束形成数据510可以包括空间响应,诸如图2中所示的空间响应210或相位相干图,这将在图6-2中进一步描述。波束形成数据510可以包括针对多个范围位置处的一定数量的波束的一维或多维矩阵。为了减少角度估计模块504内的下游计算量,可以将多个波束的两个正交向量提供为波束形成数据510。波束形成数据510还可以包括振幅信息(例如,实数)或振幅和相位信息两者(例如,复数)。在一些情况下,数字波束形成器502执行傅立叶波束形成算法、最小方差无失真响应(MVDR)(例如Capon)波束形成算法、多信号分类(MUSIC)波束形成算法、旋转不变信号参数估计技术(ESPRIT)、基于压缩感测的波束形成算法、参数算法、非参数算法、线性波束形成算法、非线性波束形成算法等。
如果在机器学习模块422内实现数字波束形成器502,则数字波束形成器502采用机器学习技术来生成波束形成数据510。在这种情况下,可以使用神经网络的一层或多层来实现数字波束形成器502。尽管这些层内的激活功能对数字波束形成算法进行了编码,但是可以基于雷达系统102的性能,对数字波束形成器502进行训练,以微调和调整波束形成权重(例如,机器学习参数)。以这种方式,数字波束形成器502可以考虑由制造方差、随时间或温度的硬件性能差异、智能设备104的当前位置或方向、当前环境障碍和噪声等所引起的性能差异。机器学习可以考虑例如跨不同雷达系统102、不同温度或随时间变化的多个天线元件的增益的变化。训练过程还可以使数字波束形成器502根据不同用例,诸如用户的不同活动或不同类型的基于雷达的应用406,动态地调整波束形成权重。
角度估计模块504获得波束形成数据510,并且采用机器学习技术来生成角概率数据512。角概率数据512可以包括跨360度的连续概率分布或跨两个或多个角区间的概率分布。在一些实施方式中,概率分布包括高斯分布。角区间可以包含一些航向角间距或许多精密角间距。在一些情况下,用户可以存在于多个角区间中。可以基于基于雷达的应用406或雷达系统102或智能设备104的计算能力来调整角度分辨率和角区间的数量。
角度估计模块504可以包括神经网络、卷积神经网络(CNN)、长短期记忆网络或其组合。神经网络可以具有各种深度或数量的隐藏层(例如,三个隐藏层、五个隐藏层或十个隐藏层)。神经网络还可以包括各种不同数量的连接。例如,可以利用完全连接的神经网络层或部分连接的神经网络层来实现神经网络。这些连接使角度估计模块504能够使用局部和全局知识来分析波束形成数据510。在一些情况下,可以使用卷积神经网络来增加角度估计模块504的计算速度。在参考对象202的时间信息或先前测量的角位置是有利的其他情况下,可以使用长短期记忆网络。通过包括长短期记忆层,角度估计模块504还可以学习跟踪对象202。通常,角度估计模块504采用非线性函数来将波束形成数据510映射到角概率数据512。
跟踪器模块506基于角概率数据512产生角位置数据514。角位置数据514可以包括跟踪器模块506确定对象202在其中的角区间。通常,跟踪器模块506选择具有对应于对象202的最高概率的角区间。该选择可以基于在角概率数据512中哪个角区间具有最高概率。跟踪器模块506还可以基于至少一个先前测量的角位置来做出决定。这可以使雷达系统102能够跟踪一个或多个运动对象202并且增加角度测量和对象检测的置信度。在一些情况下,跟踪器模块506可以预测对象202的角位置并且选择与预测紧密对应的角区间。其他数据也可以被用来确定角位置,包括范围、多普勒、速度或加速度。在一些情况下,跟踪器模块506可以实现α-β跟踪器、卡尔曼滤波器、多重假设跟踪器(MHT)等等。
如果在机器学习模块422内实现跟踪器模块506,则跟踪器模块506采用机器学习技术来生成角位置数据514。在这种情况下,可以使用一个或多个长短期记忆网络层来实现跟踪器模块506。跟踪器模块506还可以被训练成将第一用户的角模糊度与第二用户的角签名区分开。以这种方式,雷达系统102可以在存在角模糊度的情况下检测多个对象。跟踪器模块506还可以在雷达系统102未检测到用户的一段时间之后识别用户。
量化模块508获得角位置数据514,并且量化该数据以产生量化的角位置数据516。可以基于用于基于雷达的应用406的目标角分辨率来执行量化。在一些情况下,可以使用较小的量化级,使得量化的角位置数据516指示对象202是在智能设备104的右侧还是左侧,或者识别对象202位于其内的90度象限。对于一些基于雷达的应用406,诸如用户接近度检测,这可能就足够了。在其他情况下,可以使用更多量化级,使得量化的角位置数据516在几分之一度、一度、五度等的精度内指示对象202的角位置。该分辨率可被用于诸如手势识别的基于高分辨率的雷达的应用406。
如果在机器学习模块422内实现量化模块508,则量化模块508采用机器学习技术来生成量化的角位置数据516。在这种情况下,可以使用一个或多个神经网络层来实现量化模块508。
图6-1图示由数字波束形成器502实现的、用于使用机器学习来执行角估计的示例性方案600-1。在该方案600-1中,单个频率子频谱610经由频率选择模块420选择并且存在于图2的雷达信号208中。数字波束形成器502从收发器414获得原始数据602,其表示来自被用来接收雷达信号208的天线阵列412的每个天线元件的数字响应。通常,来自每个天线元件的响应由图6-1中的N个信道表示的收发器414中的单独的接收信道处理,其中,N表示正整数。原始数据602包含跨一段时间并且用于与雷达信号208相关联的不同波数的数字信息(例如,同相和正交数据),如由原始数据602-1所示,其与N个信道中的一个相关联。数字波束形成器502对原始数据602进行快速傅立叶变换(FFT),以生成预处理数据604。预处理数据604包括跨该时间段并且用于不同范围(例如,范围区间)的数字信息,如由预处理数据604-1所示,其与N个信道中的一个相关联。在一些实施方式中,数字波束形成器502对预处理数据604执行另一FFT运算以生成距离多普勒数据612。距离多普勒数据612包括用于不同多普勒频率和用于不同范围的数字信息,如由距离多普勒数据612-1所示,其与N个信道中的一个相关联。
使用预处理数据604或距离多普勒数据612,数字波束形成器502通过跨组合N个信道的信息来生成空间响应210。空间响应210包括振幅和相位信息,在图2和3中图示其示例。在图6-1中,空间响应210包括空间响应子集606-0至606-K,其包括用于不同时间间隔(诸如时间t0和时间tk)的一组空间响应210。变量K表示正整数。空间响应子集606内的每个空间响应210包含用于一组方位角、仰角和范围的数字信息。该组方位角和仰角表示视场212,数字波束形成器502对该视场212形成不同的转向角或波束。作为示例,数字波束形成器502可以生成约100个波束、2000个波束、4000个波束、6000个波束等等。
在方案600-1中,提供给图5的角度估计模块504的波束形成数据510包括空间响应210。在一些情况下,可以提供空间响应210的一部分以减少角度估计模块504中的计算数量。该部分可以例如基于范围切片,该范围切片具有与对象的范围相关联的较高概率(例如,与其他范围相比,包括最大振幅响应)。参考图6-2,进一步描述另一种类型的波束形成数据510。
图6-2图示由数字波束形成器502实现的、用于使用机器学习来执行角估计的另一示例性方案600-2。在方案600-2中,三个频率子频谱610-1、610-2和610-3经由频率选择模块420选择并且存在于图2的雷达信号208中。类似于图6-1中的方案600-1,分别针对每个频率子频谱610-1、610-2和610-3生成空间响应210-1、210-2和210-3。在这些空间响应210-1、210-2和210-3上执行复相干,以生成相位相干图608-1、608-2和608-3。相位相干图608包含在成对的波束形成重建之间的复相干(例如,干涉图)的相位信息。如由图6-2中的箭头所示,分别使用与频率子频谱610-1和610-2、频率子频谱610-1和610-3以及频率子频谱610-2和610-3相关联的空间响应210来计算相位相干图608-1、608-2和608-3。根据等式1计算相位相干图608中的相位信息:
其中,Sn表示天线元件n接收到的信号,E{}表示期望值估计,并且“*”表示复共轭。
在方案600-2中,提供给图5的角度估计模块504的波束形成数据510包括相位相干图608-1、608-2和608-3。通常,与对象202相关联的空间响应210的部分在每个不同的频率子频谱610中保持相似的形状,而角模糊度的形状可以不同。这样,可以通过分析相位相干图608来确定对象202的位置。换句话说,对象在视场212内的不同角位置具有唯一的相位相干图608,其可以通过角估计模块504来识别。
图7图示用于使用机器学习来执行角估计的示例性神经网络700。在所描绘的配置中,神经网络700实现了角度估计模块504。神经网络700包括输入层702、多个隐藏层704和输出层706。输入层702包括多个输入708-1,708-2…708-P,其中P表示正整数。多个隐藏层704包括层704-1,704-2…704-M,其中,M表示正整数。每个隐藏层704包括多个神经元,诸如神经元710-1,710-2…710-Q,其中,Q是正整数。每个神经元710被连接到下一隐藏层704中的至少一个其他神经元710。对于不同的隐藏层704,神经元710的数量可以相似或不同。在一些情况下,隐藏层704可以是前一层的副本(例如,层704-2可以是层704-1的副本)。输出层706包括角区间712-1,712-2…712-R,其中,R表示正整数。各种不同的神经网络700可以与各种数量的输入708、隐藏层704、神经元710和角区间712一起使用。
如图7所示,将波束形成数据510提供给输入层702。假设波束形成数据510是振幅的64×64矩阵,并且输入708的数量是512,则可以组合矩阵的八个连续元素并且将其提供给每个输入708。通常,隐藏层704中的每个神经元710经由激活函数来分析波束形成数据510的不同片段或部分。当在波束形成数据510中的空间位置处检测到特定类型的特征时,神经元710激活(或反向激活)。示例性激活函数可以包括例如非线性函数,诸如双曲正切函数。朝图7的顶部,示出神经元710以获得输入X1W1,X2W2…XQWQ和偏差W0,其中,X1,X2…XQ对应于前一输入或隐藏层(例如,图7中的层704-1)的输出,以及W1,W2…WQ对应于应用于X1,X2…XQ的相应权重。基于激活函数f(z)来确定由神经元710生成的输出Y。在下文的等式2中示出了示例性双曲正切激活函数:
其中,z由下文的等式3表示:
其中,P是表示神经元710的输入的数量的正整数。在所描绘的示例中,对于完全连接的网络,P等于Q。输出Y可以按另一权重换算,并且被提供为另一层704或输出层706(例如,图7中的层704-M)的输入。
在输出层706处,隐藏层704提供了对象202位于每个角区间712-1至712-R中的概率。作为示例,角区间712-1至712-R的数量为64。示例性曲线图714图示角区间712-1至712-R中的每一个的示例性概率。通过训练,神经网络700可以学习任何数量的唯一角签名,包括数百或数千种不同的模式。其他类型的机器学习架构也可以被用来实现角度估计模块504,诸如参考图8描述的卷积神经网络。
图8图示用于使用机器学习来执行角估计的示例性卷积神经网络800。在所描述的配置中,卷积神经网络800实现了角度估计模块504。卷积神经网络800的总体操作类似于(图7的)神经网络700之处在于,将波束形成数据510提供给隐藏层704内的神经元,并且在输出层706生成不同角区间的概率。然而,在卷积神经网络800中不同地构造隐藏层704。特别地,隐藏层704包括卷积层802、池化层804和全连接层806。
卷积层802使用学习的滤波器(例如,内核)对输入数据执行卷积运算以提取波束形成数据510的特征。由于卷积运算,卷积层802可以使用相对于神经网络700的隐藏层704更少的机器学习参数提取这些特征。利用更少的机器学习参数,卷积神经网络800的训练过程可能比神经网络700的训练过程更有效。
池化层804聚合(例如,合并)上一层的多个神经元710的输出,并且将结果传递给下一层的单个神经元。池化层804可以例如执行平均运算或最大数运算。通过将神经元的簇组合在一起,池化层804的输出有效地表示所提取的特征并且减少后续层中的计算量。卷积层802和池化层804一起使卷积神经网络800相比于图7的神经网络700能够执行更少的计算。
图9图示可以对各种智能设备104执行雷达角估计的机器学习模块422的示例性套件。图4中的示例性智能设备104可以在可用功率、计算能力、可用存储器、基于雷达的应用406的类型(例如,手势感测、避免碰撞、生命体征检测或接近度检测)以及物理尺寸方面有所不同,这会影响天线阵列412的设计。在图9中,曲线图902图示用于计算手表104-5、示为智能电话的图1的智能设备104、膝上型计算机104-3和游戏系统104-7的可用功率和计算能力之间的差异。在该示例中,与游戏系统104-7相比,计算手表104-5被示为具有更小的计算能力和可用功率。
机器学习模块422的套件可以包括机器学习模块422-1、422-2、422-3和422-4,它们被设计为在相应的智能设备104-5、104、104-3和104-7的约束或能力内运行。例如,可以在计算手表104-5内实现低功率、非计算密集的机器学习模块422-1。为了减少功耗和计算量,机器学习模块422-1可以评估跨较少数量的信道或较少数量的频率子频谱610的响应。数字波束形成器502还可以生成较少的波束或可以向角度估计模块504提供较少的波束形成数据510。机器学习模块422-1内的角度估计模块504可以具有较少的隐藏层704和较少的角区间712。换句话说,可以实现角度估计模块504的压缩版本以提供粗略角估计。在一些情况下,可以使用不同类型的机器学习架构来节省内存并且提高计算速度(例如,诸如卷积神经网络800)。智能手表104-5的基于雷达的应用406可以将由机器学习模块422-1提供的角信息用于大规模的基于雷达的应用406,诸如确定用户的接近度。
相反,可以在游戏系统104-7内实现高功率、计算密集的机器学习模块422-4,这使用户能够执行视频游戏的复杂控制手势。在这种情况下,机器学习模块422-4可以处理更大量的信道、频率子频谱610或波束。还可以在机器学习模块422-4内实现更大量的隐藏层704(例如,诸如五个)或角区间712。这样,机器学习模块422-4可以为基于雷达的应用406(诸如手势识别)提供更精细的角分辨率。机器学习模块422-4还可以跟踪可能同时存在的多个对象202的角位置。分别参考图10、11和12,进一步描述机器学习模块422-1、422-2和422-4的示例性实施方式。
图10图示示例性的计算保守的机器学习模块422-1,其可以在计算能力较小的智能设备104(诸如,图4或9的计算手表104-5)内实现。在所描述的配置中,机器学习模块422-1实现角度估计模块504。雷达系统102还包括数字波束形成器502,其可以使用信号处理算法来实现。
机器学习模块422-1包括一系列卷积层1002-1,1002-2…1002-T和池化层1004-1,1004-2…1004-T,其中,T为正整数。作为示例,机器学习模块422-1包括三对卷积层1002和池化层1004(例如,T等于3)。卷积层1002可以对波束形成数据510执行多维卷积运算。池化层1004可以执行最大数运算,其将来自前一卷积层1002内的一簇神经元710的最大输出传递给下一卷积层1002的神经元。每对卷积池化层1002和池化层1004分析波束形成数据510,并且减少用于下一对卷积层1002和池化层1004的计算量。因此,机器学习模块422-1可以通过更少计算生成角概率数据512。softmax函数1006可以生成用于一些角区间712的角概率数据512。角区间712例如可以包括两个角区间712-1和712-2,分别指示对象202是在智能设备104的右侧还是左侧。
图11图示示例性的省电机器学习模块422-2,其可以在诸如图1或9的智能手机的具有计算能力且功率受限的智能设备104内实现。在所描述的配置中,机器学习模块422-2实现角度估计模块504。雷达系统102还包括数字波束形成器502、跟踪器模块506和量化器模块508,它们可以使用信号处理算法实现。通常,省电的机器学习模块422-2使得可以以在可用的功率约束内实现增加的角度分辨率和精度性能。例如,相对于图10的机器学习模块422-1,计算量会更大,并且使得智能设备104能够使用电池电力在目标时间段内操作。
在图11中,机器学习模块422-2包括多个全连接层1102-1,1102-2…1102-U,其中U表示正整数。例如,全连接层的数量可以是5(例如,U等于5)。全连接层1102使得角度估计模块504能够提供用于若干角区间712(例如,4个角区间712)的角概率数据512。角区间712例如可以包括4个角区间712-1至712-4,分别指示对象202是在智能设备104的前面、左侧、后面还是右侧。
图12图示示例性的计算密集和功率密集的机器学习模块422-4,其可以在诸如图4或9的游戏系统104-7的具有计算能力和最小功率约束的智能设备104内实现。在所描述的配置中,机器学习模块422-4实现数字波束形成器502、角度估计模块504和跟踪器模块506。通常,与图10的机器学习模块422-1和图11的422-2相比,机器学习模块422-4提供增加的角分辨率和消耗更多的功率。
机器学习模块422-4包括实现数字波束形成器502的全连接层1202-1至1202-S。变量S表示正整数,在示例性实施方式中,其可以等于2。机器学习模块422-4还包括卷积层1204-1至1204-T、长短期记忆层1206-1至1206-V以及全连接层1208-1至1208-U,它们共同实现角度估计模块504和跟踪器模块506。变量V表示正整数。作为示例,机器学习模块422-4可以包括7个卷积层1204(例如,T等于7)、3个长短期记忆层1206(例如,V等于3)以及3个全连接层1208(例如,U等于3)。多个长短期记忆层1206-1至1206-V使得机器学习模块422-4能够在延长的时间段内跟踪多个对象。全连接层1208-1至1208-U使得角度估计模块504能够对跨360度的连续角度测量或对许多角区间712(例如,约数十、数百、数千个角区间)提供角概率数据512。如图9-12所示,可以采用各种机器学习技术来定制机器学习模块422,以用于各种不同的智能设备104和基于雷达的应用406。
示例性方法
图13图示用于执行能够使用机器学习来执行角估计的基于智能设备的雷达系统的操作的示例性方法1300。方法1300被示为所执行的操作(或动作)的集合,但不必限于本文所示操作的顺序或组合。此外,可以重复、组合、重组或链接一个或多个操作的任何一个,以提供各种各样的附加和/或替选方法。在下述讨论的部分中,可以参考图1的环境100-1至100-6以及图4或图5中详述的实体,仅作为示例进行参考。该技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在1302,经由天线阵列发射和接收雷达信号。雷达信号被至少一个对象反射。例如,雷达系统102经由天线阵列412发射和接收雷达信号208。如图2所示,雷达信号208被至少一个对象202反射。对象202可以包括用户、该用户的一部分(例如,躯干、头部或附属物)或多个用户,诸如在图1的100-3和100-5的环境中的多个用户。对象202还可以包括无生命的对象,诸如手写笔或车辆。
在1304,基于所接收到的雷达信号生成波束形成数据。例如,数字波束形成器502(图5)基于所接收到的雷达信号208来生成波束形成数据510。数字波束形成器502可以使用信号处理技术或机器学习技术来实现。波束形成数据510可以包括空间响应210,如图6-1所示,或相位相干图608,如图6-2所示。
在1306,使用机器学习来分析波束形成数据以确定对象的角位置跨两个或更多角区间的概率分布。例如,角度估计模块504使用机器学习来分析波束形成数据510,以确定至少一个对象202的角位置跨两个或更多角区间712的概率分布。角度估计模块504生成包括概率分布的角概率数据512。使用机器学习,角度估计模块504可以解算角模糊度并且识别与多个对象202相关联的角度。如图5所示,雷达系统102的机器学习模块422实现角估计模块504。在一些情况下,机器学习模块422还实现数字波束形成器502、跟踪器模块506、量化模块508或它们的组合。
在1308,基于概率分布,确定两个或更多角区间中的角区间与至少一个对象的角位置相关联。例如,跟踪器模块506基于角概率数据512内的概率分布,确定两个或更多角区间712-1至712-R中的角区间712与至少一个对象202相关联。跟踪器模块506可以基于角区间712的概率做出决定。在一些实施方式中,跟踪器模块506还可以基于至少一个对象202的预先确定的角区间或基于至少一个对象202的预测的角区间来做出决定。
示例性计算系统
图14图示示例性计算系统1400的各种组件,所述示例性计算系统1400可以被实现为参考先前的图2所描述的任何类型的客户端、服务器和/或计算设备来使用机器学习实现角估计。
计算系统1400包括通信设备1402,所述通信设备1402使得能实现设备数据1404(例如,所接收到的数据、正在接收的数据、计划广播的数据、数据的数据分组)的有线和/或无线通信。设备数据1404或其它设备内容可以包括设备的配置设定、存储在设备上的媒体内容和/或与设备的用户相关联的信息。存储在计算系统1400上的媒体内容可以包括任何类型的音频、视频和/或图像数据。计算系统1400包括可以经由其接收任何类型的数据、媒体内容和/或输入的一个或多个数据输入1406,诸如人类发言、基于雷达的应用406、用户可选择的输入(显式的或隐式的)、消息、音乐、电视媒体内容、录制视频内容以及从任何内容和/或数据源接收的任何其它类型的音频、视频和/或图像数据。
计算系统1400还包括通信接口1408,所述通信接口1408可以被实现为串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器中的任何一个或多个并且被实现为任何其它类型的通信接口。通信接口1408提供计算系统1400与通信网络之间的连接和/或通信链路,其它电子、计算和通信设备通过该连接和/或通信链路与计算系统1400传送数据。
计算系统1400包括一个或多个处理器1410(例如,微处理器、控制器等中的任何一个),其处理各种计算机可执行指令以控制计算系统1400的操作并且使得能实现用于饱和状态下的手势识别的技术或其中体现该技术。替选或附加地,可以通过连同通常在1412处识别的处理和控制电路一起实现的硬件、固件或固定逻辑电路中的任何一个或组合来实现计算系统1400。尽管未示出,但是计算系统1400可以包括耦合设备内的各种组件的系统总线或数据转移系统。系统总线可以包括不同的总线结构中的任何一种或组合,所述不同的总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线和/或利用多种总线架构中的任何一种的处理器或本地总线。
计算系统1400还包括计算机可读介质1414,诸如使得能实现持久和/或非暂时性数据存储(即,与仅信号传输形成对比)的一个或多个存储设备,其示例包括随机存取存储器(RAM)、非易失性存储器(例如,只读存储器(ROM)、闪速存储器、EPROM、EEPROM等中的任何一个或多个)和磁盘存储设备。磁盘存储设备可以被实现为任何类型的磁或光学存储设备(诸如硬盘驱动器、可记录和/或可重写紧致盘(CD)、任何类型的数字通用盘(DVD)等)。计算系统1400还可以包括大容量存储介质设备(存储介质)1416。
计算机可读介质1414提供存储设备数据1404以及各种设备应用1418和与计算系统1400的操作方面有关的任何其它类型的信息和/或数据的数据存储机制。操作系统1420可通过计算机可读介质1414被维护为计算机应用并且在处理器1410上执行。设备应用1418可以包括设备管理器,诸如任何形式的控制应用、软件应用、信号处理和控制模块、为特定设备本机的代码、用于特定设备的硬件抽象层等。
设备应用1418还包括使用机器学习实现角估计的任何系统组件、引擎或管理器。在该示例中,设备应用1418包括机器学习模块422和频率选择模块420。
结论
尽管已经用特定于特征和/或方法的语言描述了使用基于智能设备的雷达系统的技术和包括该雷达系统的装置,该基于智能设备的雷达系统使用机器学习来执行角估计,但是应当理解到,所附权利要求的主题不一定限于所描述的具体特征或方法。相反,具体特征和方法被公开为使用机器学习执行角估计的基于智能设备的雷达系统的示例性实施方式。
在下文中,描述了一些示例。
示例1.一种智能设备,包括:
雷达系统,所述雷达系统包括:
天线阵列;
收发器,所述收发器被耦合到所述天线阵列并且被配置成经由所述天线阵列发射和接收雷达信号,所述雷达信号被至少一个对象反射;
数字波束形成器,所述数字波束形成器被耦合到所述收发器并且被配置成基于所接收到的雷达信号来生成波束形成数据;以
角度估计模块,所述角度估计模块被耦合到所述数字波束形成器并且被配置成使用机器学习,生成基于所述波束形成数据的角概率数据,所述角概率数据包括所述至少一个对象的角位置的概率分布。
示例2.如示例1所述的智能设备,其中:
所述波束形成数据包括至少两个振幅峰值,所述至少两个振幅峰值表示所述至少一个对象的角位置和所述至少一个对象的角模糊度;以及
所述角度估计模块被配置成生成角概率数据,使得与所述至少一个对象的角位置相关联的第一概率大于与所述至少一个对象的角模糊度相关联的第二概率。
示例3.如示例1或2所述的智能设备,其中:
所述至少一个对象包括第一对象和第二对象;
所述波束形成数据包括至少三个振幅峰值,所述至少三个振幅峰值表示所述第一对象的第一角位置、所述第二对象的第二角位置以及所述第一对象的角模糊度;以及
所述角度估计模块被配置成生成角概率数据,使得与所述第一对象的第一角位置相关联的第一概率和与所述第二对象的第二角位置相关联的第二概率均大于与所述第一对象的角模糊度相关联的第三概率。
示例4.如前述示例中的至少一项所述的智能设备,其中,所述角度估计模块被配置成:
在给定时间段期间从一个或多个传感器接受与所述智能设备和用户之间的不同角度相关联的角测量数据,所述角测量数据表示真实数据;
接受与在所述给定时间段期间所接收到的至少一个其他雷达信号相关联的其他波束形成数据,所述其他波束形成数据表示训练数据;
执行训练过程,以基于所述训练数据和所述真实数据来确定机器学习参数;以及
使用所述机器学习参数来生成所述角概率数据。
示例5.如前述示例中的至少一项所述的智能设备,其中,所述一个或多个传感器包括下述中的至少一个:
外部运动捕捉系统;
所述智能设备的相机;或者
所述智能设备的红外传感器。
示例6.如前述示例中的至少一项所述的智能设备,其中,所述雷达系统包括跟踪器模块,所述跟踪器模块被耦合到所述角度估计模块并且被配置成基于所述角概率数据来确定所述至少一个对象的角位置。
示例7.如示例6所述的智能设备,其中,所述跟踪器模块被配置成:
基于先前测量的角位置来跟踪所述至少一个对象;以及
基于先前测量的角位置来确定所述至少一个对象的角位置。
示例8.如示例6或7所述的智能设备,进一步包括:
基于雷达的应用,所述基于雷达的应用被耦合到所述跟踪器模块并且被配置成基于所述至少一个对象的角位置来控制所述智能设备的操作。
示例9.如示例6至8中的至少一项所述的智能设备,其中:
所述雷达系统包括机器学习模块,所述机器学习模块包括所述角度估计模块、所述数字波束形成器和所述跟踪器模块;
所述数字波束形成器被配置成:
使用所述机器学习来动态调整波束形成权重;以及
使用所调整的波束形成权重来生成所述波束形成数据;以及
所述跟踪器模块被配置成使用所述机器学习来确定所述至少一个对象的角位置。
示例10.如前述示例中的至少一项所述的智能设备,其中,所述机器学习模块包括下述中的至少一个:
部分连接层;
全连接层;
卷积层;
长短期记忆层;或者
池化层。
示例11.如前述示例中的至少一项所述的智能设备,进一步包括:
频率选择模块,所述频率选择模块被耦合到所述收发器并且被配置成:
选择频率子频谱;以及
使所述收发器使用所述频率子频谱来发射所述雷达信号,
其中,所述角度估计模块被配置成基于所述频率子频谱来解算所述波束形成数据中的角模糊度以生成所述角概率数据。
示例12.如示例11所述的智能设备,其中:
所述频率选择模块被进一步配置成:
选择单个频率子频谱;或者
选择至少两个频率子频谱;以及
所述数字波束形成器被配置成:
基于所述单个频率子频谱来生成空间响应;或者基于所述至少两个频率子频谱来生成相位相干图。
示例13.一种系统,所述系统具有根据前述示例1至12中的至少一项所述的智能设备并且具有反射所述雷达信号的至少一个对象。
示例14.一种方法,包括:
经由天线阵列发射和接收雷达信号,所述雷达信号由至少一个对象反射;
基于所接收到的雷达信号来生成波束形成数据;
使用机器学习来分析所述波束形成数据,以确定所述至少一个对象的角位置跨两个或更多角区间的概率分布;以及
基于所述概率分布,确定所述两个或更多角区间中的角区间与所述至少一个对象的角位置相关联。
示例15.如示例14所述的方法,其中:
所述两个或更多角区间包括第一角区间和第二角区间;
所述波束形成数据包括至少两个振幅峰值,所述至少两个振幅峰值表示所述至少一个对象的角位置和所述至少一个对象的角模糊度;以及
分析所述波束形成数据包括生成概率分布,使得与所述至少一个对象的角位置相关联的第一角区间具有比与所述至少一个对象的角模糊度相关联的第二角区间更高的概率。
示例16.如示例14或15所述的方法,其中:
所述至少一个对象包括第一对象和第二对象;
所述两个或更多角区间包括第一角区间、第二角区间和第三角区间;
所述波束形成数据包括至少三个振幅峰值,所述至少三个振幅峰值表示所述第一对象的第一角位置、所述第二对象的第二角位置以及与所述第一对象相关联的角模糊度;
分析所述波束形成数据包括生成概率分布,使得与所述第一对象的第一角位置相关联的第一角区间和与所述第二对象的第二角位置相关联的第二角区间均具有比与所述第一对象的角模糊度相关联的第三角区间更高的概率;以及
确定所述角区间包括确定所述第一角区间与所述第一对象相关联以及所述第二角区间与所述第二对象相关联。
示例17.如示例14至16中的至少一项所述的方法,进一步包括:
在给定时间段期间从一个或多个传感器接受与用户的不同角度相关联的角测量数据,所述角测量数据表示真实数据;
接受从在所述给定时间段期间接收到的一个或多个先前雷达信号收集的其他波束形成数据,所述其他波束形成数据表示训练数据;
执行训练过程,以基于所述训练数据和所述真实数据来确定机器学习参数;以及
使用所述学习参数来生成概率分布。
示例18.一种计算机可读存储介质,所述计算机可读存储介质包括计算机可执行指令,所述计算机可执行指令响应于处理器的执行来实现:
角度估计模块,所述角度估计模块被配置成:
接受与由至少一个对象反射的所接收到的雷达信号相关联的波束形成数据;以及
使用机器学习,生成基于所述波束形成数据的角概率数据,所述角概率数据包括所述至少一个对象的角位置的概率分布;以及
跟踪器模块,所述跟踪器模块被配置成基于所述概率分布来确定所述至少一个对象的角位置。
示例19.如示例18所述的计算机可读存储介质,其中,所述计算机可执行指令响应于所述处理器的执行来实现包括所述角度估计模块和所述跟踪器模块的机器学习模块。
示例20.如示例18或19所述的计算机可读存储介质,其中,所述机器学习模块包括数字波束形成器,所述数字波束形成器被配置成使用所述机器学习来生成所述波束形成数据。
示例21.如示例18至20中的至少一项所述的计算机可读存储介质,其中,所述角度估计模块被配置成:
在给定时间段内从一个或多个传感器接受与用户的不同角度相关联的角测量数据,所述角测量数据表示真实数据;
接受与在所述给定时间段内所接收到的至少一个其他雷达信号相关联的其他波束形成数据,所述其他波束形成数据表示训练数据;
执行训练过程,以基于所述训练数据和所述真实数据来确定机器学习参数;以及
使用所述机器学习参数来生成角概率数据。

Claims (20)

1.一种智能设备,包括:
雷达系统,所述雷达系统包括:
天线阵列;
收发器,所述收发器被耦合到所述天线阵列并且被配置成经由所述天线阵列发射和接收雷达信号,所述雷达信号被至少一个对象反射;
数字波束形成器,所述数字波束形成器被耦合到所述收发器并且被配置成基于所接收到的雷达信号来生成波束形成数据;以及
角度估计模块,所述角度估计模块被耦合到所述数字波束形成器并且被配置成:使用与机器学习相关联的回归模型,基于所述波束形成数据来生成角概率数据,所述角概率数据包括所述至少一个对象的角位置的概率分布,所述概率分布包括跨角度的集合的在0%到100%之间的值。
2.如权利要求1所述的智能设备,其中:
所述波束形成数据包括至少两个振幅峰值,所述至少两个振幅峰值表示所述至少一个对象的角位置和所述至少一个对象的角模糊度;以及
所述角度估计模块被配置成生成所述角概率数据,使得与所述至少一个对象的角位置相关联的第一概率大于与所述至少一个对象的角模糊度相关联的第二概率。
3.如权利要求1所述的智能设备,其中:
所述至少一个对象包括第一对象和第二对象;
所述波束形成数据包括至少三个振幅峰值,所述至少三个振幅峰值表示所述第一对象的第一角位置、所述第二对象的第二角位置以及所述第一对象的角模糊度;并且
所述角度估计模块被配置成生成所述角概率数据,使得与所述第一对象的所述第一角位置相关联的第一概率和与所述第二对象的所述第二角位置相关联的第二概率均大于与所述第一对象的所述角模糊度相关联的第三概率。
4.如权利要求1所述的智能设备,其中,所述角度估计模块被配置成:
在给定时间段期间,从一个或多个传感器接受与所述智能设备和用户之间的不同角度相关联的角测量数据,所述角测量数据表示真实数据;
接受与在所述给定时间段期间所接收到的至少一个其他雷达信号相关联的其他波束形成数据,所述其他波束形成数据表示训练数据;
执行训练过程以基于所述训练数据和所述真实数据来确定机器学习参数;以及
使用所述机器学习参数来生成所述角概率数据。
5.如权利要求4所述的智能设备,其中,所述一个或多个传感器包括下述中的至少一个:
外部运动捕捉系统;
所述智能设备的相机;以及
所述智能设备的红外传感器。
6.如权利要求1所述的智能设备,其中,所述雷达系统包括跟踪器模块,所述跟踪器模块被耦合到所述角度估计模块并且被配置成基于所述角概率数据来确定所述至少一个对象的角位置。
7.如权利要求6所述的智能设备,进一步包括:
基于雷达的应用,所述基于雷达的应用被耦合到所述跟踪器模块并且被配置成基于所述至少一个对象的角位置来控制所述智能设备的操作。
8.如权利要求6所述的智能设备,其中:
所述雷达系统包括机器学习模块,所述机器学习模块包括所述角度估计模块、所述数字波束形成器和所述跟踪器模块;
所述数字波束形成器被配置成:
使用所述机器学习来动态地调整波束形成权重;以及
使用所调整的波束形成权重来生成所述波束形成数据;以及所述跟踪器模块被配置成使用所述机器学习来确定所述至少一个对象的角位置。
9.如权利要求1所述的智能设备,其中,所述角度估计模块包括下述中的至少一个:
部分连接层;
全连接层;
卷积层;
长短期记忆层;以及
池化层。
10.如权利要求1所述的智能设备,进一步包括:
频率选择模块,所述频率选择模块被耦合到所述收发器并且被配置成:
选择频率子频谱;以及
使所述收发器使用所述频率子频谱来发射所述雷达信号,其中,所述角度估计模块被配置成:基于所述频率子频谱来解算所述波束形成数据中的角模糊度以生成所述角概率数据。
11.如权利要求10所述的智能设备,其中:
所述频率选择模块被进一步配置成:
选择单个频率子频谱;或者
选择至少两个频率子频谱;以及
所述数字波束形成器被配置成:
基于所述单个频率子频谱来生成空间响应;或者
基于所述至少两个频率子频谱来生成相位相干图。
12.如权利要求1所述的智能设备,其中,所述波束形成数据包括以下中的至少一项:
空间响应,所述空间响应包括一组角和范围的振幅和相位信息;或者
相位相干图,所述相位相干图包括与频率子频谱相关联的一对空间响应之间的复相干的相位信息。
13.一种用于执行基于智能设备的雷达系统的操作的方法,包括:
经由天线阵列发射和接收雷达信号,所述雷达信号被至少一个对象反射;
基于所接收到的雷达信号来生成波束形成数据;
使用与机器学习相关联的回归模型来分析所述波束形成数据,以确定所述至少一个对象的角位置跨两个或更多角区间的概率分布,所述概率分布包括跨所述两个或更多角区间的在0%到100%之间的值;以及
基于所述概率分布,确定所述两个或更多角区间中的角区间与所述至少一个对象的角位置相关联。
14.如权利要求13所述的方法,其中:
所述两个或更多角区间包括第一角区间和第二角区间;
所述波束形成数据包括至少两个振幅峰值,所述至少两个振幅峰值表示所述至少一个对象的角位置和所述至少一个对象的角模糊度;并且
分析所述波束形成数据包括:生成概率分布,使得与所述至少一个对象的角位置相关联的第一角区间具有比与所述至少一个对象的角模糊度相关联的第二角区间更高的概率。
15.如权利要求13所述的方法,其中:
所述至少一个对象包括第一对象和第二对象;
所述两个或更多角区间包括第一角区间、第二角区间和第三角区间;
所述波束形成数据包括至少三个振幅峰值,所述至少三个振幅峰值表示所述第一对象的第一角位置、所述第二对象的第二角位置以及与所述第一对象相关联的角模糊度;
分析所述波束形成数据包括:生成概率分布,使得与所述第一对象的第一角位置相关联的第一角区间和与所述第二对象的第二角位置相关联的第二角区间均具有比与所述第一对象的角模糊度相关联的第三角区间更高的概率;以及
确定所述角区间包括:确定所述第一角区间与所述第一对象相关联以及所述第二角区间与所述第二对象相关联。
16.如权利要求13所述的方法,进一步包括:
在给定时间段期间,从一个或多个传感器接受与用户的不同角度相关联的角测量数据,所述角测量数据表示真实数据;
接受从在所述给定时间段期间所接收到的一个或多个其他雷达信号收集的其他波束形成数据,所述其他波束形成数据表示训练数据;
执行训练过程,以基于所述训练数据和所述真实数据来确定机器学习参数;以及
使用所述学习参数来生成概率分布。
17.一种计算机可读存储介质,所述计算机可读存储介质包括计算机可执行指令,所述计算机可执行指令响应于处理器的执行来实现角度估计模块和跟踪器模块,其中:
所述角度估计模块被配置成:
接受与由至少一个对象反射的所接收到的雷达信号相关联的波束形成数据;以及
使用与机器学习相关联的回归模型,基于所述波束形成数据来生成角概率数据,所述角概率数据包括所述至少一个对象的角位置的概率分布,所述概率分布包括跨角度的集合的在0%到100%之间的值;并且
所述跟踪器模块被配置成基于所述概率分布来确定所述至少一个对象的角位置。
18.如权利要求17所述的计算机可读存储介质,其中,所述计算机可执行指令响应于所述处理器的执行来实现包括所述角度估计模块和所述跟踪器模块的机器学习模块。
19.如权利要求18所述的计算机可读存储介质,其中,所述机器学习模块包括数字波束形成器,所述数字波束形成器被配置成使用所述机器学习来生成所述波束形成数据。
20.如权利要求17所述的计算机可读存储介质,其中,所述角度估计模块被配置成:
在给定时间段期间,从一个或多个传感器接受与用户的不同角度相关联的角测量数据,所述角测量数据表示真实数据;
接受与在所述给定时间段期间所接收到的至少一个其他雷达信号相关联的其他波束形成数据,所述波束形成数据表示训练数据;
执行训练过程,以基于所述训练数据和所述真实数据来确定机器学习参数;以及
使用所述机器学习参数来生成角概率数据。
CN201980006063.9A 2018-04-05 2019-04-02 使用机器学习执行角估计的基于智能设备的雷达系统 Active CN111433627B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862653307P 2018-04-05 2018-04-05
US62/653,307 2018-04-05
PCT/US2019/025436 WO2019195327A1 (en) 2018-04-05 2019-04-02 Smart-device-based radar system performing angular estimation using machine learning

Publications (2)

Publication Number Publication Date
CN111433627A CN111433627A (zh) 2020-07-17
CN111433627B true CN111433627B (zh) 2023-09-22

Family

ID=66175550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980006063.9A Active CN111433627B (zh) 2018-04-05 2019-04-02 使用机器学习执行角估计的基于智能设备的雷达系统

Country Status (3)

Country Link
US (1) US11573311B2 (zh)
CN (1) CN111433627B (zh)
WO (1) WO2019195327A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10935651B2 (en) 2017-12-15 2021-03-02 Google Llc Radar angular ambiguity resolution
KR102116604B1 (ko) * 2018-01-26 2020-05-28 한양대학교 산학협력단 레이더를 이용한 제스처 인식 장치 및 방법
WO2019195327A1 (en) 2018-04-05 2019-10-10 Google Llc Smart-device-based radar system performing angular estimation using machine learning
KR20200091141A (ko) * 2019-01-22 2020-07-30 현대모비스 주식회사 타겟 개수 추정 장치 및 방법
WO2020247393A1 (en) * 2019-06-03 2020-12-10 Metawave Corporation Guard band antenna in a beam steering radar for resolution refinement
KR20200144862A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 레이더의 해상도 향상 방법 및 장치
JP7481434B2 (ja) * 2019-10-30 2024-05-10 グーグル エルエルシー 空間時間ニューラルネットワークを使用してジェスチャ認識を実行するスマートデバイスベースのレーダシステム
WO2021107958A1 (en) * 2019-11-27 2021-06-03 Google Llc Detecting a frame-of-reference change in a smart-device-based radar system
US11747442B2 (en) 2019-12-11 2023-09-05 Samsung Electronics Co., Ltd. Method and apparatus with radar data recognition
FR3104733B1 (fr) * 2019-12-11 2022-03-18 Thales Sa Ensemble comportant un systeme de localisation d'emetteurs et une plateforme mobile ; systeme de localisation d'emetteurs, plateforme mobile et procede de mesure de direction d'arrivee associes
US20210208269A1 (en) * 2020-01-06 2021-07-08 Metawave Corporation Angular resolution refinement in a vehicle radar for object identification
CN113495267A (zh) * 2020-04-07 2021-10-12 北京小米移动软件有限公司 雷达天线阵列、移动终端、手势识别方法及装置
CN111693978B (zh) * 2020-05-13 2023-04-07 复旦大学 基于mimo毫米波雷达的散点检测方法
US11774553B2 (en) 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing
EP3943968A1 (en) * 2020-07-24 2022-01-26 Aptiv Technologies Limited Methods and system for detection of objects in a vicinity of a vehicle
US20240027600A1 (en) * 2020-08-07 2024-01-25 Google Llc Smart-Device-Based Radar System Performing Angular Position Estimation
RU2745836C1 (ru) * 2020-08-10 2021-04-01 федеральное государственное бюджетное образовательное учреждение высшего образования «Томский государственный университет систем управления и радиоэлектроники» Поляризационно-модуляционная радиомаячная система измерения угла крена летательного аппарата
CN111931121B (zh) * 2020-09-21 2020-12-22 南昌大学 一种基于大规模天线阵的分布式定位和测速方法
US11719787B2 (en) 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation
EP3992665A1 (en) * 2020-11-02 2022-05-04 Aptiv Technologies Limited Methods and systems for determining a direction of arrival of a radar detection
CN112564752A (zh) * 2020-11-13 2021-03-26 西安电子科技大学 一种优化稀疏天线激活可重构智能表面辅助通信方法
CN113030841B (zh) * 2021-01-07 2024-04-02 屠勇刚 一种无线电测向方法、装置以及可读存储介质
CN112769469B (zh) * 2021-01-23 2023-02-24 成都振芯科技股份有限公司 一种基于波束形成控制运算阵元数的方法及装置
RU2761106C1 (ru) * 2021-02-15 2021-12-06 Сергей Евгеньевич Мищенко Способ определения направления на цель цифровой антенной решеткой моноимпульсной радиолокационной станции
EP4050460A1 (en) * 2021-02-24 2022-08-31 Infineon Technologies AG Radar-based object tracking using a neural network
CN113253249B (zh) * 2021-04-19 2023-04-28 中国电子科技集团公司第二十九研究所 一种基于深度强化学习的mimo雷达功率分配设计方法
US20220365200A1 (en) * 2021-05-12 2022-11-17 California State University Fresno Foundation System and method for human and animal detection in low visibility
EP4194885A1 (en) 2021-12-09 2023-06-14 Aptiv Technologies Limited Method for determining the mobility status of a target object
EP4202475B1 (en) * 2021-12-23 2024-05-01 GM Cruise Holdings LLC Radar beamforming by way of latent space encoding
WO2023184411A1 (en) * 2022-03-31 2023-10-05 Shenzhen Tcl New Technology Co., Ltd. Data collection method for beam management based on machine learning and wireless communication device
CN117409275B (zh) * 2023-12-06 2024-04-05 华能澜沧江水电股份有限公司 一种多角度雷达图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4240789A1 (de) * 1992-12-04 1994-06-09 Bodenseewerk Geraetetech Einrichtung zum Bewerten von Situationen oder Szenarien, die mit einer Mehrzahl von Sensoren beobachtet werden
US5768477A (en) * 1996-09-10 1998-06-16 Southwest Research Institute Radio direction finding system for narrowband multiple signals
US7015855B1 (en) * 2004-08-12 2006-03-21 Lockheed Martin Corporation Creating and identifying synthetic aperture radar images having tilt angle diversity
WO2011104673A1 (en) * 2010-02-24 2011-09-01 Nokia Corporation Gesture control
WO2016200466A1 (en) * 2015-06-09 2016-12-15 Raytheon Company Systems and methods for antenna analysis and validation

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE237811T1 (de) * 1996-05-14 2003-05-15 Honeywell Int Inc Autonomes landeführungssystem
US7714782B2 (en) 2004-01-13 2010-05-11 Dennis Willard Davis Phase arrays exploiting geometry phase and methods of creating such arrays
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US8064408B2 (en) 2008-02-20 2011-11-22 Hobbit Wave Beamforming devices and methods
WO2009149758A1 (en) 2008-06-12 2009-12-17 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for communication site planning
CA2851839C (en) 2011-10-17 2020-09-15 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
US10270642B2 (en) * 2012-12-05 2019-04-23 Origin Wireless, Inc. Method, apparatus, and system for object tracking and navigation
WO2014066360A1 (en) * 2012-10-22 2014-05-01 Saab-Sensis Corporation Sensor system and method for determining target location using sparsity-based processing
TWI457585B (zh) * 2012-12-11 2014-10-21 Univ Nat Chiao Tung 角度偵測方法及其裝置
EP2803951B1 (de) 2013-05-17 2020-02-26 VEGA Grieshaber KG Topologiebestimmung für Schüttgüter
US9279880B2 (en) 2014-07-15 2016-03-08 Applied Signals Intelligence, Inc. Electrically small, range and angle-of-arrival RF sensor and estimation system
US9470782B2 (en) 2014-11-26 2016-10-18 Valeo Radar Systems, Inc. Method and apparatus for increasing angular resolution in an automotive radar system
JP6567832B2 (ja) * 2015-01-29 2019-08-28 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US9823343B2 (en) 2015-02-27 2017-11-21 Ford Global Technologies, Llc Digital beamforming based resolution of out-of-path targets showing up as in-path due to grating lobes in array antenna radars
US9817109B2 (en) * 2015-02-27 2017-11-14 Texas Instruments Incorporated Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
KR102449214B1 (ko) * 2015-05-13 2022-09-30 주식회사 에이치엘클레무브 도래각 추정 장치 및 이를 이용한 도래각 추정 방법
US10430688B2 (en) * 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
US10317518B2 (en) 2015-07-20 2019-06-11 Brigham Young University (Byu) Phased array radar systems for small unmanned aerial vehicles
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10539645B2 (en) 2016-01-22 2020-01-21 GM Global Technology Operations LLC Angle of arrival estimation
GB2566748B (en) 2017-09-26 2022-08-17 Focal Point Positioning Ltd A method and system for calibrating a system parameter
US11158939B2 (en) 2016-11-10 2021-10-26 University Of South Florida Mm-wave wireless channel control using spatially adaptive antenna arrays
US10935651B2 (en) 2017-12-15 2021-03-02 Google Llc Radar angular ambiguity resolution
WO2019195327A1 (en) 2018-04-05 2019-10-10 Google Llc Smart-device-based radar system performing angular estimation using machine learning
WO2019246255A1 (en) 2018-06-20 2019-12-26 Ultraflex International, Inc. Melting and controlling the flow of molten metal by electromagnetic force utilizing multiple induction coils
US11205435B2 (en) 2018-08-17 2021-12-21 Dts, Inc. Spatial audio signal encoder
JP7065410B2 (ja) * 2018-09-28 2022-05-12 パナソニックIpマネジメント株式会社 空き駐車スペース検知装置および空き駐車スペース検知方法
CA3202517A1 (en) 2020-11-13 2022-05-19 Decision Sciences Medical Company, LLC Systems and methods for synthetic aperture ultrasound imaging of an object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4240789A1 (de) * 1992-12-04 1994-06-09 Bodenseewerk Geraetetech Einrichtung zum Bewerten von Situationen oder Szenarien, die mit einer Mehrzahl von Sensoren beobachtet werden
US5768477A (en) * 1996-09-10 1998-06-16 Southwest Research Institute Radio direction finding system for narrowband multiple signals
US7015855B1 (en) * 2004-08-12 2006-03-21 Lockheed Martin Corporation Creating and identifying synthetic aperture radar images having tilt angle diversity
WO2011104673A1 (en) * 2010-02-24 2011-09-01 Nokia Corporation Gesture control
WO2016200466A1 (en) * 2015-06-09 2016-12-15 Raytheon Company Systems and methods for antenna analysis and validation

Also Published As

Publication number Publication date
CN111433627A (zh) 2020-07-17
WO2019195327A1 (en) 2019-10-10
US20200355817A1 (en) 2020-11-12
US11573311B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
CN111433627B (zh) 使用机器学习执行角估计的基于智能设备的雷达系统
CN111812633B (zh) 检测基于智能设备的雷达系统中的参考系变化
US10936185B2 (en) Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
EP4131064A1 (en) Gesture recognition method and related apparatus
CN112567256B (zh) 使用相干多视雷达处理检测用户手势的基于智能电话的雷达系统
US11592547B2 (en) Smart-device-based radar system detecting user gestures in the presence of saturation
US20200397310A1 (en) Smart-Device-Based Radar System Detecting Human Vital Signs in the Presence of Body Motion
JP7481434B2 (ja) 空間時間ニューラルネットワークを使用してジェスチャ認識を実行するスマートデバイスベースのレーダシステム
CN111142102B (zh) 一种呼吸数据计算方法以及相关设备
US20240027600A1 (en) Smart-Device-Based Radar System Performing Angular Position Estimation
Salami et al. Tesla-Rapture: A Lightweight Gesture Recognition System from mmWave Radar Point Clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant