CN107430189B - 使用调频连续波雷达的手势辨识 - Google Patents

使用调频连续波雷达的手势辨识 Download PDF

Info

Publication number
CN107430189B
CN107430189B CN201680011562.3A CN201680011562A CN107430189B CN 107430189 B CN107430189 B CN 107430189B CN 201680011562 A CN201680011562 A CN 201680011562A CN 107430189 B CN107430189 B CN 107430189B
Authority
CN
China
Prior art keywords
weighted
radar system
gesture
peak
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680011562.3A
Other languages
English (en)
Other versions
CN107430189A (zh
Inventor
K·V·萨布
S·拉奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Texas Instruments Inc
Original Assignee
Texas Instruments Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Texas Instruments Inc filed Critical Texas Instruments Inc
Publication of CN107430189A publication Critical patent/CN107430189A/zh
Application granted granted Critical
Publication of CN107430189B publication Critical patent/CN107430189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种用于操作调频连续波FMCW雷达系统的方法，其包含：从由所述FMCW雷达系统中的小型接收天线阵列接收的射频信号产生(300)数字中频IF信号；以及处理(302到312)所述数字IF信号以确定(314)是否执行手势。

Description

使用调频连续波雷达的手势辨识
技术领域
本发明大体上涉及雷达系统，且更特定来说，涉及使用具有低角度分辨率的调频连续波(FMCW)的手势辨识。
背景技术
手势辨识技术具有许多潜在用途。举例来说，手势辨识对于控制音频及视频装置、消费型电子装置(例如智能电话、平板计算机及游戏机、医疗装置及机器人)是有用的。此外，手势辨识技术正在快速地并入车辆中的用户接口中(例如)以控制导航及信息娱乐系统。四种主要技术目前用于手势辨识，即：计算机视觉、超声波感测，电场感测及惯性感测。已对使用具有高角度分辨率能力的脉冲雷达进行手势辨识也进行了一些研究。
发明内容
在用于使用具有低角度分辨率的调频连续波(FMCW)雷达的手势辨识的方法及设备的所描述的实例中，一种用于操作调频连续波(FMCW)雷达系统的方法包含：从由所述FMCW雷达系统中的小型接收天线阵列接收的射频信号产生数字中频(IF)信号；以及处理所述数字IF信号以确定是否执行手势。
在一个方面，调频连续波(FMCW)雷达系统包含：小型接收天线阵列；接收信道，其用于所述接收天线阵列中的每一接收天线，每一接收信道耦合到相应接收天线，以从由所述接收天线接收的射频信号产生数字中频(IF)信号；及处理器，其耦合到每一接收信道以处理所述数字IF信号以确定是否执行手势。
附图说明
图1是实例调频连续波(FMCW)雷达系统的简化框图。
图2是二维(2D)快速傅里叶变换(FFT)网格的实例。
图3是用于FMCW雷达系统中手势辨识的方法的流程图。
图4A到4D是具有相异速度特征标志的手势的实例。
图5是具有估计手势位置的2D FFT网格的实例。
图6A到6C是手势的速度特征标志的实例。
图7A及7B说明加权速度序列的过滤。
图8A到8C说明加权速度序列中所识别峰值的各种峰参数的计算。
图9是说明各种手势的手势辨识准则的图。
图10是用于在FMCW雷达系统中在正常模式与手势辨识模式之间切换的方法的流程图。
图11是包含FMCW雷达芯片上系统(SOC)的实例FMCW雷达系统的框图。
具体实施方式
在图式中，为了一致性，相似元件由相似参考数字表示。实例实施例使用具有小型天线阵列(其为具有最少一个天线及最多八个天线的天线阵列)的调频连续波(FMCW)雷达系统来提供手势辨识，这导致低角度分辨率。使用雷达进行手势辨识的常规技术是在具有大型天线阵列及对应高角度分辨率能力的雷达的上下文中。与使用具有较低角度分辨率能力的小型天线阵列相比，使用具有用于处理来自每一天线的信号的对应数目的信号链的大型天线阵列导致具有更大面积的更高成本的雷达装置。
图1是具有单个发射天线108及两个接收天线110、111的实例FMCW雷达系统的简化框图。雷达系统中的本地振荡器100产生频率斜坡(也称为啁啾)，其经由发射天线108发射。啁啾也被提供给耦合到本地振荡器100的混频器106、107。举例来说，FMCW雷达可发射从77GHz斜升到81GHz的4千兆赫兹(GHz)带宽啁啾。在被称为“帧”的单元中循序地发射多个啁啾。
从雷达前方的场景反射的复合射频(RF)信号由接收天线110、111接收。RF信号被接收在耦合到接收天线110、111的相应混频器106、107中并与来自本地振荡器100的对应啁啾混频以产生中频(IF)信号(或者称为去啁啾信号、差拍信号或原始雷达信号)。IF信号经由耦合到混频器106、107的相应模/数转换器(ADC)102、103而被数字化。经数字化信号被发射到数字信号处理器(DSP)104用于进一步处理。举例来说，DSP 104可对数字信号执行信号处理，以提取雷达视野中的目标的距离及速度。在此背景下，距离是指目标与雷达的距离，速度是指目标相对于雷达的相对速度。
为了提取所述距离，对啁啾帧的每一数字IF信号执行距离快速傅立叶变换(FFT)，以将数据转换为频域。如果一个啁啾具有M个时间样本，那么对于啁啾计算M个距离结果。因此，如果帧具有N个啁啾，那么由距离FFT产生N×M个距离值的阵列。在此阵列(其可称为距离-时间阵列)中，M个列是在跨越N个啁啾的相同相对时间的样本的距离值。
为了提取速度，对帧中的啁啾的对应距离值中的每一者执行多普勒FFT。因此，对N×M距离-时间阵列的M个列中的每一者执行多普勒FFT。所得N×M距离-多普勒平面中的峰值(也称为距离-多普勒阵列或距离-多普勒切片)对应于目标的距离及相对速度(速度)。
距离FFT及多普勒FFT的组合在本文可被称为二维(2D)FFT或2D FFT处理。
如图2中所说明，对啁啾帧的2D FFT处理的结果将场景分解为具有在两个轴上的距离及速度的2D网格。此网格中的单元通常也被称为分格。场景中的目标由此2D网格中的峰值指示。这些峰值的x及y坐标用于提供目标的距离及速度的估计。更具体来说，通过检测两个天线的2D FFT网格中的峰值来操作目标检测算法(其在DSP 104或另一处理器上执行)。目标检测之后可为跟踪算法，其跟踪跨越连续帧的被检测目标(峰值)。
如果多个目标具有相对于雷达的相同距离及相同相对速度，那么这些目标的信号将在2D网格中的相同分格内重叠。分辨此类重叠目标需要一个以上接收天线。当使用两个(或更多个)接收天线时，反射信号将各自具有不同的延迟，这取决于反射信号的目标的角度。跨越每一天线的2D FFT网格(距离-多普勒阵列)执行第三FFT(其为角度FFT)。跨越多个天线处理来自2D FFT网格的数据有助于分辨可能具有相对于雷达的类似距离及类似相对速度但不同角度的目标。如本文所使用，角度可指方位角及/或仰角(取决于接收天线阵列的定向及形状)。
因此，FMCW雷达系统能够测量在雷达的视野中的目标(使用两个或多个接收天线)的距离(距离雷达的距离)、速度(相对于雷达的相对速度)及角度。雷达系统的距离分辨率取决于由雷达产生的信号的带宽。因此，增加距离分辨率可能需要支持较大带宽的本地振荡器，这可能导致硬件复杂度的增加。如前所述，增加雷达系统的角度分辨率需要提供多个接收天线，这导致雷达系统的成本、面积及复杂度增加。然而，雷达系统的速度分辨率仅取决于啁啾帧长度。因此，可通过增加啁啾帧长度来实现速度分辨率的增加(其可通过增加在帧中发射的啁啾的数目来完成)。可通过改变雷达硬件的编程方式(经由固件)来实现速度分辨率的增加，且因此不一定会对硬件/成本/面积施加任何额外限制。
实例实施例使用具有小型接收天线阵列(其具有1到8个天线)的FMCW雷达系统来提供手势辨识。手势辨识是基于FMCW雷达的速度分辨率能力。图3是可在FMCW雷达系统中实施的用于手势辨识的方法的流程图。所述方法从一组预定手势辨识手势，其中每一手势具有相异速度特征标志。下文更详细地解释手势的速度特征标志。一些实例手势包含“来”、“去”、从右向左挥手及从左向右挥手、上下挥手、握紧及松开拳头及鼓掌。预定手势集合中的特定手势可根据实施方案而变化，并且附加到手势的意义也可根据实施方案而变化。
为了便于解释，假定手势集合是“来”手势、“去”手势及挥手手势来描述所述方法。图4A到4D展示这些手势的一些实例。特定来说，图4A说明“来”手势，图4B说明“去”手势，图4C说明从左向右挥手，图4D说明从右向左挥手。
再次参考图3，接收300啁啾帧的初始数字IF信号(针对接收天线阵列中的每一接收天线接收一个初始数字IF信号)，并且为每一信号计算302 2D FFT。此外，将多个2D FFT网格的对应分格的幅值平均化以产生待用于加权速度及加权角度计算的单个矩阵F(经平均化的2D网格)。举例来说，如果接收天线阵列包含三个接收天线，那么接收三个数字IF信号，针对三个信号中的每一者计算2D FFT，并且平均化三个网格的对应分格的幅值。
帧中的啁啾的数目可为提供辨识手势所需的速度分辨率并且可凭经验确定的任何合适数目。举例来说，速度分辨率由下式给出
Figure GDA0001618569750000041
其中Nf是帧中的啁啾数目，Tc是每一啁啾的持续时间，且λ是雷达的波长。假定77GHz雷达，其中λ＝4mm(毫米)且Tc＝125us(微秒)，使用Nf＝256产生0.06ms(毫秒)的速度分辨率，其足以辨识实例手势集合中的手势。在一些实施例中，用于手势辨识的帧中的啁啾数目大于正常模式下的帧中的啁啾数目。
还基于输入信号及噪声级确定304后续计算所需的各种阈值的值。阈值可包含用于过滤计算出的加权速度的加权速度阈值及用于计算加权速度及加权角度的相应幅值阈值。举例来说，可确定加权速度幅值阈值，使得2D FFT网格中的90％的值低于阈值。在另一实例中，可确定加权角度幅值阈值，使得2D FFT网格的95％的值低于阈值。
还估计306手势在2D FFT网格中的位置，使得识别对其中期望发生手势的距离及速度分格的限制。速度分格的指数的上限及下限的值(-vmax及vmax)是预先确定的，并且基于典型手势的最大预期速度及速度分辨率。举例来说，如果手势的速度在1.5m/s(米/秒)内，且速度分辨率为0.06ms，那么vmax＝1.5/0.06＝25。
估计距离分格的极限(rmin及rmax)。如果手势的跨度或距离由L给出，那么该距离对应于rL连续距离指数。通过将距离L除以雷达的距离分辨率来确定rL的值。举例来说，如果手势的跨度通常在0.4m(米)内且雷达的距离为0.04m，那么rL＝0.4m/0.04m＝10个分格。
计算位于距离指数k与k+rL(其中k＝0、1、2…Nrange-rL-1)之间的2D FFT网格的分格中的总能量及(-vmax，vmax)的速度指数，得到产生最大总能量的值k。Nrange是距离分格的总数目。通过将矩阵F(ir，iv)中所考虑的分格的幅值的平方相加来计算总能量，其中ir是距离指数，iv是速度指数。令kmax为产生最大总能量的k的值。接着将手势所在距离分格的上限及下限估计为rmin＝kmax且rmax＝kmax+rL。图5是2D网格的实例，其中“阴影”区域描绘由速度分格指数(-vmax，vmax)及距离分格指数(rmin，rmax)界定的宽阔区域。因此，手势的估计位置在由(-vmax，vmax)及(rmin，rmax)限定的分格的区域中。
在2D FFT网格中估计手势的位置之后，在估计位置内计算307针对帧的加权速度及加权角度。加权速度是量化相对于雷达执行手势的手的速度的单个数字。更具体来说，加权速度量化对应于手势的估计位置的分格的区域中的速度内容。任何合适技术可用于计算加权速度。
在一些实施例中，如下计算加权速度。首先，在-vmax与vmax之间的每一速度指数iv的rmin及rmax的距离指数之间的所有分格的最大幅值经计算为
Figure GDA0001618569750000051
其中F(ir，iv)是具有距离指数ir及速度指数iv的对应2D FFT分格中的信号的平均幅值。然后，最大幅值w(iv)的所得列表接着被修剪为仅包含那些指数iv，使得w(iv)大于加权速度幅值阈值。此指数子集表示为i’。
在一些实施例中，然后将帧的加权速度(WV)计算为
Figure GDA0001618569750000052
其中求和是对指数i’的子集进行的，且v(i)是对应于指数的速度。每一距离指数映射到相应距离，且每一速度指数映射到唯一速度。在一些实施例中，使用以10为底的w(i)的对数将WV计算为
Figure GDA0001618569750000053
计算每一个帧的加权速度，借此创建捕获加权速度的时间演化的加权速度序列。
加权角度是表示在2D FFT网格中手势的估计位置上的平均角度的单个数字。更具体来说，加权角度量化对应于手势的估计位置的分格区域中的角度内容。可使用任何合适技术来计算加权角度。在一些实施例中，如下计算加权角度。首先，在-vmax与vmax之间的每一速度指数iv的rmin及rmax的距离指数之间的所有分格的最大幅值经计算为
Figure GDA0001618569750000061
其中F(ir，iv)是具有距离指数ir及速度指数iv的对应2D FFT分格中的信号的平均幅值。对于每一最大幅值，还计算跨越网格中对应分格的角度θ(iv)。任何合适技术可用于估计跨越多个天线的此类角度。一种此技术跨越连续天线中的对应网格值使用FFT，其为接收器波束成形或第三维FFT。另一种此技术是MUSIC(多信号分类)。
最大幅值w(iv)的列表经修剪以仅包含那些指数iv，使得w(iv)大于加权角度幅值阈值。此指数子集表示为i’。在一些实施例中，接着将帧的加权角度(WA)计算为
Figure GDA0001618569750000062
其中求和是对指数i’的子集进行的。在一些实施例中，使用以10为底的w(i)的对数来计算WA为
Figure GDA0001618569750000063
使用上述技术计算每一个帧的加权角度，借此创建捕获加权角度的时间演化的加权角度序列。
所计算的加权速度值及加权角度值被存储在本文称为WVbuffer1及WAbuffer1的先进先出缓冲器中，并且针对下一啁啾帧重复步骤300到307。当已经计算308足够的加权速度用于执行峰值检测时，对加权速度序列执行峰值检测。被认为足以用于峰值检测的加权速度的数目可取决于实施方案，并且可凭经验确定。用于存储用于峰值检测的加权速度的第二缓冲器(在本文中被称为WVbuffer2)经定大小以存储峰值检测所需的加权速度的数目。此外，用于存储对应于WVbuffer2中的加权速度的加权角度的第二缓冲器(在本文中被称为WAbuffer2)经类似定大小。现在描述WVbuffer1及WVbuffer2的管理。WAbuffer1及WAbuffer2经类似地管理以在WAbuffer2中维持对应加权角度值。
举例来说，假设峰值检测需要来自N个连续帧的N个加权速度。WVbuffer2经定大小以存储N个加权速度，并以先进、先出的方式操作。此外，除了WVbuffer2的初始填充之外，并且在成功的手势分类之后，M个加权速度的重叠存在于以下两者之间：用于先前检测的N个加权速度；及用于峰值检测的下一个N个加权速度。因此，在未检测到峰值或手势未被分类的情况下，丢弃WVbuffer2中最旧的N到M个加权速度，并且从WVbuffer1将N到M个加权速度添加到WVbuffer2。如果基于当前缓存的加权速度中检测到的峰值对手势进行分类，那么从WVbuffer2中丢弃对应于所述峰值及任何较旧的加权速度的加权速度，并用来自WVbuffer1的足够的新加权速度来重新填充缓冲器来替换所丢弃的加权速度。举例来说，可使用任何合适N及M值(其可通过离线实验来确定)。在一些实施例中，N＝78，M＝20。
以上步骤计算随时间的加权速度序列。待辨识的每一手势具有相异加权速度序列(例如，特征标志)，其对于识别手势是有用的。图6A、6B及6C分别是“去”手势、“来”手势及挥手手势的速度特征标志的实例。“去”手势具有正峰值，“来”手势具有负峰值，挥手手势(无论从左向右还是从右向左)具有负峰值，随后是正峰值。
再次参考图3，当在WVbuffer2中有足够的用于峰值检测的加权速度值可用时，过滤310累积的加权速度310，并且对缓冲器中经过滤的加权速度执行310峰值检测。过滤的目标是使随后的处理阶段更容易地从存储在缓冲器中的加权速度序列提取相关特征。可执行任何合适的过滤。举例来说，过滤可将缓冲器中的任何新的加权速度与先前提及的加权值阈值进行比较，并将低于阈值的任何速度设置为零。图7A及7B分别展示在此过滤之前及之后的实例加权速度序列。在另一实例中，过滤可为平均化滤波器，其中具有指数x的每一过滤样本是x-L/2与x+L/2之间的一些数目的连续加权速度的平均值，其中L是滤波器长度。
在对加权速度值进行过滤之后，执行峰值检测以提取WVbuffer2中加权速度值序列中的任何峰值。可使用用于峰值检测的任何合适技术。在过滤将任何低于阈值的加权速度设置为零的一些实施例中，可如下执行峰值检测。归因于基于阈值的过滤，经过滤的加权速度序列由穿插有非零值序列的零序列形成。峰值检测技术识别每一非零区段，并在所述区段中以最大值定位加权速度。此加权速度被识别为峰值。
如果未检测到峰值，那么过程继续。如果识别一或多个峰值，那么针对待用于手势分类的每一标识峰值提取相关参数。这些参数可包含峰值宽度、相邻峰值之间的距离、误差度量、周围噪声级及相邻峰值比。
图8A说明确定峰值宽度的一种技术。标识峰值的任一侧上的具有0.2×Peak_val的值的两点A及B，其中Peak_val是峰值的加权速度值。这两点之间的距离是峰值宽度。点A及B可能需要内插在相邻的加权速度值之间。
图8B说明用于确定峰值误差度量的一种技术。此度量量化峰值的形状，这是因为形状不好的峰值可能指示不是源于预期手势的伪峰值。在图8B中，C是指峰值加权速度(Peak_val)，且A及B是指界定峰值宽度的两个点。使用二阶多项式内插法在点A、B及C之间构造“理想曲线”。计算来自此理想曲线的A与B之间的样本(其为样品D及E)的均方根(rms)偏差，并按Peak_val缩放以获得误差度量。
图8C说明用于确定峰值的周围噪声级的一种技术。令x为对应于峰值的WVbuffer2中的指数。识别两个窗口，即：峰值左侧的具有指数[x-4、x-5、x-6、x-7、x-8]的加权速度窗口，以及峰值右侧的具有指数[x+4、x+5、x+6、x+7、x+8]的加权速度窗口。来自这两个窗口的加权速度的最大绝对值分别表示左右噪声级。
相邻峰之间的距离是两个相邻峰的指数之间的差。用于管理WVbuffer2内容的重叠M确保当前缓冲器内容包含来自前一个缓冲器内容的相邻峰值。相邻峰值比率是两个相邻峰值的量值之间的比率的绝对值。在不存在相邻峰值的情况下，这两个参数的值可能为0。
再次参考图3，如果检测到312一或多个峰值，那么基于峰值参数执行314手势分类。图9说明三个预定手势的实例分类准则。如果不存在相邻峰值，那么在分类期间只考虑来及去手势。如果存在相邻峰值，那么针对某些准则检查峰值参数以确定两个峰值是否对应于挥手手势。对于待分类为挥手的两个相邻峰值，应满足以下条件：两个峰值的正负号应不同，两个相邻峰值之间的距离应小于六个样本，相邻峰值比率应在0.33与3.0之间，左峰值左侧的周围噪声级应小于峰值的0.3倍，且右峰值右侧的周围噪声级应小于峰值的0.3倍。
此外，识别在最左侧峰值的左侧的一个样本与最右侧峰值的右侧的一个样本之间的距离中的WAbuffer2中的最大及最小加权角度值。对于待识别为挥手的两个峰值，要满足的额外条件是：最大加权角度值大于零，最小加权角度值小于0，且最大加权角度值与最小加权角度值之间的差的绝对值大于四十度。
加权角度值也可用于将挥手分类为从左向右挥手或从右向左挥手。如果对应于两个峰值的加权角度值之间的差为负，那么挥手被分类为从左向右挥手；否则，挥手被分类为从右向左挥手。
为了将峰值分类为“来”或“去”手势，应满足以下条件：峰值与最近相邻峰值(如果存在)之间的距离应大于六个样本，峰值宽度应在1.8与5.5之间，峰值误差度量应小于2.5，峰值左及右的周围噪声级应小于峰值的0.3倍。如果满足这些条件，那么基于峰值的正负号将峰值分类为“来”或“去”手势，其中正号表示“去”手势，且负号表示“来”手势。
手势辨识的一个应用是到具有除手势辨识之外的主要应用的FMCW雷达的无触摸/远程用户接口。举例来说，在工业环境中，雷达的主要应用可为测量经界定区域中的目标。在另一实例中，雷达的主要应用可为检测车辆的占用。如下文更详细解释，在此类应用中，雷达可经编程以基于由雷达检测到的位置提示来切换到操作的手势辨识模式。在手势辨识模式中辨识的特定手势及附加到手势的含义取决于应用。
在此类FMCW雷达应用中，用于正常操作(其为主要应用)的啁啾配置可能不适合于手势辨识。举例来说，正常操作模式可能具有短帧时间(例如5到10ms)及高工作循环，而手势辨识模式可能需要较长的帧时间(例如30ms)及较短的工作循环。举例来说，工作循环是指可经执行以节省电力并减少热量的雷达的开关循环。正常模式的短帧时间可能不能提供足以测量手运动的小速度的速度分辨率，且高工作循环导致检测到手势的低概率。因此，期望一种在正常模式与手势辨识模式之间切换的方式。
图10是用于在FMCW雷达系统中在正常模式与手势辨识模式之间切换的方法的流程图。此方法基于在正常模式期间检测到指示雷达系统应切换到手势辨识模式的位置提示。位置提示的实例包含将手靠近雷达或站在雷达视野内的特定位置。如果雷达具有一些仰角分辨率能力，那么也可使用提示(例如，抬起手)。位置提示通常不会发生在其它目标可能被定位或预期的位置。举例来说，在上文提及的工业环境应用中，位置提示可为站立于不同于目标所预期的界定区域的位置中的人。在另一实例中，在上文提及的占用检测应用中，位置提示可为放置在雷达前方的手，因为通常将不会预期紧邻雷达的目标。
如图10中所展示，在FMCW雷达系统中，在雷达系统的正常工作模式下，接收及处理1000来自发射的啁啾帧的信号。正常工作模式是支持雷达系统主要应用的模式。接收及处理1000继续直到检测到1002位置提示。举例来说，可通过检测目标在预定义区域中的出现来检测位置提示。被检测目标的距离分布(对应于目标的检测点的距离)及目标的高度分布(如果可用)(对应于目标的检测点的仰角)也可被认为是检测位置提示。
当在正常模式期间检测到1002位置提示时，雷达系统被转变1004成手势辨识(GU)模式。转变可包含将雷达系统的帧时间及工作循环改变为适合于手势辨识的帧时间及工作循环。可通过增加帧中的啁啾数目来增加帧时间。
雷达系统然后开始在手势辨识模式下从发射的啁啾帧接收并处理1006信号。举例来说，可根据图3的方法的实施例来执行手势辨识。手势辨识模式下的雷达系统的操作持续1008直到指示模式终止。可使用任何合适的指示符来终止手势辨识模式。举例来说，可使用特定辨识的手势来指示终止，或者可在辨识单个手势之后终止模式，或可在特定时间段之后终止模式。
当手势辨识模式被终止1008时，将雷达系统转变1010到正常模式，并且在正常模式下操作继续1000。转变可包含在切换到手势辨识模式之前将雷达系统的帧时间及工作循环改变到适当的帧时间及工作循环。
图11展示经配置以支持手势辨识并且在一些实施例中支持在针对特定应用的正常操作模式与手势辨识模式之间切换的实例FMCW雷达系统的框图。雷达系统包含处理单元1150及FMCW雷达芯片上系统(SOC)1100。雷达SOC 1100可包含用于发射FMCW信号的多个发射信道1104及用于接收反射的发射信号的多个接收信道1102。此外，接收信道的数目可大于发射信道的数目。举例来说，雷达SOC 1100的实施例可具有两个发射信道及四个接收信道。发射信道包含合适的发射器及天线。接收信道包含合适的接收器及天线。此外，接收信道1102中的每一者是相同的，并且包含将发射信号与接收信号混频以产生差拍信号(或者称为去啁啾信号、中频(IF)信号或原始雷达信号)的混频器1106、1108，用于过滤差拍信号的基带带通滤波器1110、1112，用于放大经过滤的差拍信号的可变增益放大器(VGA)1114、1116，以及用于将模拟差拍信号转换成数字差拍信号的模/数转换器(ADC)1118、1120。
接收通道1102耦合到数字前端(DFE)1122，数字前端(DFE)1122对数字差拍信号执行抽取过滤，以降低采样率并使信号回到基带。DFE 1122还可对数字差拍信号执行其它操作，例如DC偏移去除。DFE 1122耦合到高速接口组件1124以将DFE 1122的输出转移到处理单元1150。
处理单元1150对在接收数字差拍信号执行图3的手势辨识方法的实施例。处理单元1150可包含任何合适的处理器或处理器组合。举例来说，处理单元1150可为数字信号处理器、MCU、FFT引擎、DSP+MCU处理器、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。在一些实施例中，外部处理单元1150还执行图10的模式切换方法的实施例。
存储器组件1152提供例如计算机可读媒体的存储装置，其可用于存储由处理单元1150执行的软件指令，例如用于实施手势辨识的任何软件指令，以及(在一些实施例中)用于实施模式切换的任何软件指令。存储器组件1152可包含只读存储器及/或随机存取存储器(RAM)(例如静态RAM)的任何合适的组合。
控制组件1126包含用于控制雷达SOC 1100的操作的功能。举例来说，控制组件1126可包含执行软件以控制雷达SOC 1100的操作的MCU。
串行外围接口(SPI)1128提供用于与处理单元1150通信的接口。举例来说，处理单元1150可使用SPI 1128以将控制信息(例如啁啾的定时及频率、输出电力电平以及监测功能的触发)发送到雷达SOC 1100。
可编程定时引擎1142包含从控制组件1126接收雷达帧中的啁啾序列的啁啾参数值并基于参数值产生控制帧中的啁啾的发射及接收的啁啾控制信号的功能。
射频合成器(RFSYNTH)1130包含基于来自定时引擎1142的啁啾控制信号产生用于发射的FMCW信号的功能。在一些实施例中，RFSYNTH 1130包含具有压控振荡器(VCO)的锁相环(PLL)。
时钟倍频器1140将来自RFSYNTH 1130的发射信号的频率增加到混频器1106、1108的频率。清理PLL(锁相环)1134操作以将外部低频率参考时钟(未展示)的信号的频率增加到RFSYNTH 1130的频率，并将参考时钟相位噪声从时钟信号过滤掉。
在所描述的实例中，手势分类本质上是启发式的。在一些实施例中，可使用例如支持向量机的机器学习技术来执行分类，以基于峰值参数及训练序列导出最优分类方案。
在另外的实例中，针对每一啁啾帧确定用于加权速度计算的距离分格的限制。在一些实施例中，这些限制可为预定的，例如在存在待执行手势的预期位置时。
在更多实例中，针对每一啁啾帧计算用于修剪及过滤的阈值。在一些实施例中，可例如通过实验预先确定阈值中的一或多者。
在另一实例中，FMCW雷达系统具有带有一个以上接收天线的小型接收天线阵列。在一些实施例中，雷达系统具有单个接收天线。在此类实施例中，不使用加权角度计算，且F是从单个天线的数字IF信号计算出的2D FFT网格。
在另一个实例中，不执行加权速度的过滤。在另一实例中，处理单元在FMCW雷达SOC外部。在一些实施例中，处理单元包含在SOC中。
虽然本文可以循序的方式展示及描述方法步骤，但可同时执行、可组合及/或可以不同于本文所展示及/或描述的顺序执行本文展示及描述的步骤中的一或多者。因此，实施例不应被认为限于本文所展示及/或描述的步骤的具体排序。
在不脱离所描述的功能的情况下，雷达系统中的组件可由不同的名称指代及/或可以本文未展示的方式组合。术语“耦合”及其派生词希望意味着间接、直接、光学及/或无线电连接。举例来说，如果第一装置耦合到第二装置，那么其可通过直接电连接、经由其它装置及连接的间接电连接、光电连接及/或无线电连接来连接。
在所描述的实施例中修改是可能的，并且在权利要求书的范围内，其它实施例是可能的。

Claims (28)

1.一种用于操作调频连续波FMCW雷达系统的方法，所述方法包括：
从由所述FMCW雷达系统中的小型接收天线阵列接收的射频信号产生数字中频IF信号；
基于所述数字IF信号来计算加权速度序列；
检测所述加权速度序列中的至少一个峰值；以及
基于所述至少一个峰值的参数来执行手势分类，以确定所述至少一个峰值是否指示手势。
2.根据权利要求1所述的方法，其中所述小型接收天线阵列由一个接收天线组成。
3.根据权利要求1所述的方法，其包括：在所述检测至少一个峰值之前过滤所述加权速度序列。
4.根据权利要求1所述的方法，其包括基于所述数字IF信号来计算加权角度序列，且其中执行所述手势分类包含基于所述参数及对应于所述至少一个峰值的加权角度来执行手势分类。
5.根据权利要求1所述的方法，其中所述至少一个峰值包含两个峰值，并且执行手势分类包含将所述两个峰值辨识为手势，并且基于对应于所述两个峰值中的第一峰值的加权角度的正负号及对应于所述两个峰值中的第二峰值的加权角度的正负号来确定所述手势的方向。
6.根据权利要求1所述的方法，其中计算加权速度序列包含：接收多个数字IF信号，其中从所述天线阵列中的每一天线接收一个数字IF信号；计算所述多个数字IF信号中的每一数字IF信号的二维2D FFT，以产生每一IF信号的2D网格；平均化所述2D网格的对应分格的幅值以产生经平均化的2D网格；以及基于所述经平均化的2D网格中的手势的预期位置来计算加权速度。
7.根据权利要求6所述的方法，其中计算加权速度序列包含估计所述预期位置。
8.根据权利要求1所述的方法，其包括：
当所述FMCW雷达系统以具有第一帧时间及第一工作循环的正常模式操作时，检测位置提示；
响应于所述位置提示将所述FMCW雷达系统转变成手势辨识模式，所述手势辨识模式具有第二帧时间及第二工作循环；以及
以执行产生所述数字IF信号及基于所述数字IF信号来计算所述加权速度序列的所述手势辨识模式来操作所述FMCW雷达系统。
9.根据权利要求8所述的方法，其包括：接收终止所述手势辨识模式的指示；并将所述FMCW雷达转变成正常模式。
10.一种调频连续波FMCW雷达系统，其包括：
小型接收天线阵列；
所述接收天线阵列中的每一接收天线的接收信道，每一接收信道耦合到相应接收天线，以从由所述接收天线阵列接收的射频信号产生数字中频IF信号；
数字前端，其经耦合以接收所述数字IF信号且产生数字基带信号；及
处理器，其耦合到每一接收信道以处理所述数字基带信号，由所述数字基带信号计算加权速度序列，且检测所述加权速度序列中的至少一个峰值，以确定是否执行手势。
11.根据权利要求10所述的FMCW雷达系统，其中所述小型接收天线阵列由一个接收天线组成。
12.根据权利要求10所述的FMCW雷达系统，其中所述接收信道经配置以过滤中频并产生所述数字IF信号。
13.根据权利要求10所述的FMCW雷达系统，其中所述处理器经配置以基于所述基带信号来计算加权角度序列，且基于所述至少一个峰值的参数及对应于所述至少一个峰值的加权角度来执行手势分类。
14.根据权利要求13所述的FMCW雷达系统，其中所述至少一个峰值包含两个峰值，并且执行手势分类包含将所述两个峰值辨识为手势，并且基于对应于所述两个峰值中的第一峰值的加权角度的正负号及对应于所述两个峰值中的第二峰值的加权角度的正负号来确定所述手势的方向。
15.根据权利要求10所述的FMCW雷达系统，其中计算加权速度序列包含：
计算每一接收信道的二维2D FFT，以产生接收信道的2D网格；
平均化所述2D网格的对应分格的幅值以产生经平均化的2D网格；以及
基于所述经平均化的2D网格中的手势的预期位置来计算加权速度。
16.根据权利要求15所述的FMCW雷达系统，其中计算加权速度序列包含估计所述预期位置。
17.根据权利要求10所述的FMCW雷达系统，其中所述FMCW雷达系统经配置而以正常模式及手势辨识模式操作，所述正常模式具有第一帧时间及第一工作循环，且所述手势辨识模式具有第二帧时间及第二工作循环，其中所述处理器致使所述FMCW雷达系统响应于在所述FMCW雷达系统以正常模式操作时从所述接收信道接收的数字IF信号中检测到的位置提示而从正常模式转变成手势辨识模式。
18.根据权利要求17所述的FMCW雷达系统，其中所述处理器致使所述FMCW雷达系统响应于接收终止手势辨识模式的指示而从手势辨识模式转变成正常模式。
19.一种用于操作调频连续波FMCW雷达系统的方法，所述方法包括：
从由所述FMCW雷达系统中的天线阵列接收的射频信号产生数字基带信号；
由所述数字基带信号来计算加权速度序列；
检测所述加权速度序列中的至少一个峰值；以及
基于所述至少一个峰值的参数来执行手势分类，以确定所述至少一个峰值是否指示手势。
20.根据权利要求19所述的方法，其包括由所述数字基带信号来计算加权角度序列，其中所述手势分类基于所述参数以及所述至少一个峰值的加权角度。
21.一种调频连续波FMCW雷达系统，其包括：
用于从由所述FMCW雷达系统中的小型接收天线阵列接收的射频信号产生数字中频IF信号的构件；
用于基于所述数字IF信号来计算加权速度序列的构件；
用于检测所述加权速度序列中的至少一个峰值的构件；以及
用于基于所述至少一个峰值的参数来执行手势分类以确定所述至少一个峰值是否指示手势的构件。
22.根据权利要求21所述的FMCW雷达系统，其包括用于在所述检测至少一个峰值之前过滤所述加权速度序列的构件。
23.根据权利要求21所述的FMCW雷达系统，其包括用于基于所述数字IF信号来计算加权角度序列的构件，且所述用于执行手势分类的构件包含用于基于所述参数及对应于所述至少一个峰值的加权角度来执行手势分类的构件。
24.根据权利要求21所述的FMCW雷达系统，其中所述至少一个峰值包含两个峰值，并且所述用于执行手势分类的构件包含用于将所述两个峰值辨识为手势的构件及用于基于对应于所述两个峰值中的第一峰值的加权角度的正负号及对应于所述两个峰值中的第二峰值的加权角度的正负号来确定所述手势的方向的构件。
25.根据权利要求21所述的FMCW雷达系统，其中所述用于计算加权速度序列的构件包含：
用于接收多个数字IF信号的构件，其中从所述天线阵列中的每一天线接收一个数字IF信号；
用于计算所述多个数字IF信号中的每一数字IF信号的二维2D FFT以产生每一IF信号的2D网格的构件；
用于平均化所述2D网格的对应分格的幅值以产生经平均化的2D网格的构件；以及
用于基于所述经平均化的2D网格中的手势的预期位置来计算加权速度的构件。
26.根据权利要求25所述的FMCW雷达系统，其中所述用于计算加权速度序列的构件包含用于估计所述预期位置的构件。
27.根据权利要求21所述的FMCW雷达系统，其包括：
用于当所述FMCW雷达系统以具有第一帧时间及第一工作循环的正常模式操作时检测位置提示的构件；
用于响应于所述位置提示将所述FMCW雷达系统转变成手势辨识模式的构件，所述手势辨识模式具有第二帧时间及第二工作循环；以及
用于以执行所述用于产生数字IF信号的构件及所述用于基于所述数字IF信号来计算加权速度序列的构件的所述手势辨识模式来操作所述FMCW雷达系统的构件。
28.根据权利要求27所述的FMCW雷达系统，其包括：
用于接收终止所述手势辨识模式的指示的构件；以及
用于将所述FMCW雷达转变成正常模式的构件。
CN201680011562.3A 2015-02-27 2016-02-25 使用调频连续波雷达的手势辨识 Active CN107430189B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/633,684 2015-02-27
US14/633,684 US9817109B2 (en) 2015-02-27 2015-02-27 Gesture recognition using frequency modulated continuous wave (FMCW) radar with low angle resolution
PCT/US2016/019519 WO2016138238A1 (en) 2015-02-27 2016-02-25 Gesture recognition using frequency modulated continuous wave radar

Publications (2)

Publication Number Publication Date
CN107430189A CN107430189A (zh) 2017-12-01
CN107430189B true CN107430189B (zh) 2021-05-04

Family

ID=56789103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680011562.3A Active CN107430189B (zh) 2015-02-27 2016-02-25 使用调频连续波雷达的手势辨识

Country Status (4)

Country Link
US (1) US9817109B2 (zh)
EP (1) EP3286578A4 (zh)
CN (1) CN107430189B (zh)
WO (1) WO2016138238A1 (zh)

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10725150B2 (en) * 2014-12-23 2020-07-28 Infineon Technologies Ag System and method for radar
US10317512B2 (en) 2014-12-23 2019-06-11 Infineon Technologies Ag RF system with an RFIC and antenna system
US10481696B2 (en) * 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
CN107466389B (zh) * 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
CN111522434A (zh) 2015-04-30 2020-08-11 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
EP3289434A1 (en) 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10817065B1 (en) * 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN106610716B (zh) * 2015-10-21 2019-08-27 华为技术有限公司 一种手势识别方法和装置
CN105938399B (zh) * 2015-12-04 2019-04-12 深圳大学 基于声学的智能设备的文本输入识别方法
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US10181653B2 (en) 2016-07-21 2019-01-15 Infineon Technologies Ag Radio frequency system for wearable device
US10218407B2 (en) * 2016-08-08 2019-02-26 Infineon Technologies Ag Radio frequency system and method for wearable device
US11067667B2 (en) 2016-09-08 2021-07-20 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
US10934764B2 (en) * 2016-09-08 2021-03-02 Magna Closures Inc. Radar detection system for non-contact human activation of powered closure member
CN106405520B (zh) * 2016-09-30 2018-11-13 浙江大学 基于多通道连续波多普勒雷达的物体运动模式识别方法
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10505255B2 (en) 2017-01-30 2019-12-10 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof
US11243293B2 (en) 2017-02-07 2022-02-08 Samsung Electronics Company, Ltd. Radar-based system for sensing touch and in-the-air interactions
CN107124381B (zh) 2017-03-27 2020-05-22 华南理工大学 一种数字通信信号调制方式自动识别方法
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
US10914834B2 (en) * 2017-05-10 2021-02-09 Google Llc Low-power radar
US10795009B2 (en) 2017-05-31 2020-10-06 Google Llc Digital beamforming for radar sensing using wireless communication chipset
US10782390B2 (en) 2017-05-31 2020-09-22 Google Llc Full-duplex operation for radar sensing using wireless communication chipset
US10754005B2 (en) 2017-05-31 2020-08-25 Google Llc Radar modulation for radar sensing using a wireless communication chipset
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
EP3425419B1 (en) * 2017-07-05 2024-01-03 Stichting IMEC Nederland A method and a system for localization and monitoring of living beings
US10630249B2 (en) 2017-08-04 2020-04-21 Texas Instruments Incorporated Low power mode of operation for mm-wave radar
US20190049558A1 (en) * 2017-08-08 2019-02-14 KC Sense Limited Hand Gesture Recognition System and Method
US10097287B1 (en) * 2017-09-07 2018-10-09 Nxp B.V. RF radar device BIST using secondary modulation
US11204647B2 (en) 2017-09-19 2021-12-21 Texas Instruments Incorporated System and method for radar gesture recognition
CN107942307B (zh) * 2017-10-13 2021-04-20 西安电子科技大学 调频连续波着陆雷达波束的地面入射角估计方法
US10914110B2 (en) 2017-11-02 2021-02-09 Magna Closures Inc. Multifunction radar based detection system for a vehicle liftgate
CA3082411A1 (en) * 2017-11-14 2019-05-23 Biointeractive Technologies, Inc. Apparatus and methods for detecting, quantifying, and providing feedback on user gestures
US10935651B2 (en) 2017-12-15 2021-03-02 Google Llc Radar angular ambiguity resolution
US10746625B2 (en) 2017-12-22 2020-08-18 Infineon Technologies Ag System and method of monitoring a structural object using a millimeter-wave radar sensor
US11167771B2 (en) * 2018-01-05 2021-11-09 Magna Mirrors Of America, Inc. Vehicular gesture monitoring system
US11346936B2 (en) 2018-01-16 2022-05-31 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US11278241B2 (en) 2018-01-16 2022-03-22 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
DE102018200814B3 (de) * 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
US10795012B2 (en) 2018-01-22 2020-10-06 Infineon Technologies Ag System and method for human behavior modelling and power control using a millimeter-wave radar sensor
US10576328B2 (en) 2018-02-06 2020-03-03 Infineon Technologies Ag System and method for contactless sensing on a treadmill
US10705198B2 (en) 2018-03-27 2020-07-07 Infineon Technologies Ag System and method of monitoring an air flow using a millimeter-wave radar sensor
WO2019195327A1 (en) * 2018-04-05 2019-10-10 Google Llc Smart-device-based radar system performing angular estimation using machine learning
US10775482B2 (en) 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
US10761187B2 (en) 2018-04-11 2020-09-01 Infineon Technologies Ag Liquid detection using millimeter-wave radar sensor
DE102018109001A1 (de) * 2018-04-16 2019-10-17 Infineon Technologies Ag Verfahren zum Erzeugen einer kompakten Darstellung von Radardaten, eine Radarvorrichtung und eine Radardatenverarbeitungsschaltung
US10794841B2 (en) 2018-05-07 2020-10-06 Infineon Technologies Ag Composite material structure monitoring system
US10399393B1 (en) 2018-05-29 2019-09-03 Infineon Technologies Ag Radar sensor system for tire monitoring
US10903567B2 (en) 2018-06-04 2021-01-26 Infineon Technologies Ag Calibrating a phased array system
JP7319827B2 (ja) * 2018-06-22 2023-08-02 旭化成エレクトロニクス株式会社 センサ装置およびシステムならびに生体センシング方法およびシステム
US11416077B2 (en) 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10890653B2 (en) * 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10928501B2 (en) 2018-08-28 2021-02-23 Infineon Technologies Ag Target detection in rainfall and snowfall conditions using mmWave radar
US20200073480A1 (en) * 2018-08-31 2020-03-05 Qualcomm Incorporated GESTURE CLASSIFICATION AND CONTROL USING mm WAVE RADAR
US11183772B2 (en) 2018-09-13 2021-11-23 Infineon Technologies Ag Embedded downlight and radar system
US10732726B2 (en) * 2018-09-21 2020-08-04 International Business Machines Corporation Gesture recognition using 3D MM-wave radar
US11125869B2 (en) 2018-10-16 2021-09-21 Infineon Technologies Ag Estimating angle of human target using mmWave radar
US10788880B2 (en) * 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US11360185B2 (en) 2018-10-24 2022-06-14 Infineon Technologies Ag Phase coded FMCW radar
US11397239B2 (en) 2018-10-24 2022-07-26 Infineon Technologies Ag Radar sensor FSM low power mode
US10996313B2 (en) * 2018-10-29 2021-05-04 Texas Instruments Incorporated FMCW radar reduced power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
EP3654053A1 (en) 2018-11-14 2020-05-20 Infineon Technologies AG Package with acoustic sensing device(s) and millimeter wave sensing elements
KR102262197B1 (ko) * 2018-12-11 2021-06-07 주식회사 한화 Fmcw 레이다의 신호를 활용하여 표적의 형상을 추정하는 장치 및 그 방법
US20200191944A1 (en) 2018-12-18 2020-06-18 Movano Inc. Methods for operating stepped frequency radar systems with feedback based step size zoom
US20200187814A1 (en) 2018-12-18 2020-06-18 Movano Inc. Methods for radio waved based health monitoring that utilize amplitude and phase data
US10856766B2 (en) 2018-12-18 2020-12-08 Movano Inc. Removable smartphone case for radio wave based health monitoring that generates alignment signals
US11464418B2 (en) 2018-12-18 2022-10-11 Movano Inc. Systems for health monitoring using radio waves that include collocated RF components
US11087115B2 (en) 2019-01-22 2021-08-10 Infineon Technologies Ag User authentication using mm-Wave sensor for automotive radar systems
CN109829509B (zh) * 2019-02-26 2022-11-22 重庆邮电大学 基于融合神经网络的雷达手势识别方法
US11355838B2 (en) 2019-03-18 2022-06-07 Infineon Technologies Ag Integration of EBG structures (single layer/multi-layer) for isolation enhancement in multilayer embedded packaging technology at mmWave
US11126885B2 (en) 2019-03-21 2021-09-21 Infineon Technologies Ag Character recognition in air-writing based on network of radars
US11454696B2 (en) 2019-04-05 2022-09-27 Infineon Technologies Ag FMCW radar integration with communication system
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
JP7407200B2 (ja) 2019-05-20 2023-12-28 グーグル エルエルシー マルチモードインターフェイスを提供するためのモバイルデバイスベースのレーダーシステム、およびそのための方法
CN112050829B (zh) * 2019-06-06 2023-04-07 华为技术有限公司 一种运动状态确定方法及装置
EP3928181A1 (en) 2019-06-17 2021-12-29 Google LLC Mobile device-based radar system for applying different power modes to a multi-mode interface
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11868537B2 (en) * 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
KR20220005081A (ko) 2019-07-26 2022-01-12 구글 엘엘씨 Imu 및 레이더를 기반으로 한 상태 감소
EP4004686A1 (en) 2019-07-26 2022-06-01 Google LLC Authentication management through imu and radar
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
CN112753005B (zh) 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
CN113892072A (zh) 2019-08-30 2022-01-04 谷歌有限责任公司 用于暂停的雷达姿势的视觉指示器
US11327167B2 (en) 2019-09-13 2022-05-10 Infineon Technologies Ag Human target tracking system and method
US11774592B2 (en) 2019-09-18 2023-10-03 Infineon Technologies Ag Multimode communication and radar system resource allocation
US11435443B2 (en) 2019-10-22 2022-09-06 Infineon Technologies Ag Integration of tracking with classifier in mmwave radar
US11372083B2 (en) * 2019-12-16 2022-06-28 Ay Dee Kay Llc Calibrating array antennas based on signal energy distribution as a function of velocity
US20210181303A1 (en) * 2019-12-16 2021-06-17 Semiconductor Components Industries, Llc Calibrating array antennas based on signal energy distribution as a function of angle
US11507092B2 (en) * 2019-12-27 2022-11-22 Woven Planet North America, Inc. Sequential clustering
WO2021142442A1 (en) 2020-01-10 2021-07-15 Optimus Ride, Inc. Communication system and method
CN113140120B (zh) * 2020-01-16 2022-10-18 华为技术有限公司 确定交通指示信息的方法及装置
US11808883B2 (en) 2020-01-31 2023-11-07 Infineon Technologies Ag Synchronization of multiple mmWave devices
US11614516B2 (en) 2020-02-19 2023-03-28 Infineon Technologies Ag Radar vital signal tracking using a Kalman filter
CN113466851A (zh) * 2020-03-30 2021-10-01 富士通株式会社 人体姿态检测方法、装置和数据处理设备
WO2021203364A1 (zh) * 2020-04-09 2021-10-14 浙江大学 一种用于身份识别的雷达信号处理方法
CN111427031B (zh) * 2020-04-09 2021-12-07 浙江大学 一种基于雷达信号的身份及手势识别方法
US11585891B2 (en) 2020-04-20 2023-02-21 Infineon Technologies Ag Radar-based vital sign estimation
US11567185B2 (en) 2020-05-05 2023-01-31 Infineon Technologies Ag Radar-based target tracking using motion detection
US11774553B2 (en) 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing
US11704917B2 (en) 2020-07-09 2023-07-18 Infineon Technologies Ag Multi-sensor analysis of food
CN111650582B (zh) * 2020-07-27 2021-12-17 四川长虹电器股份有限公司 一种基于mimo毫米波雷达的手势识别方法
US11614511B2 (en) 2020-09-17 2023-03-28 Infineon Technologies Ag Radar interference mitigation
US11719787B2 (en) 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation
US11719805B2 (en) 2020-11-18 2023-08-08 Infineon Technologies Ag Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT)
DE102020215252A1 (de) * 2020-12-03 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur radarbasierten Gestenklassifikation und Radarsensor
US11883134B2 (en) 2020-12-18 2024-01-30 Movano Inc. System for monitoring a physiological parameter in a person that involves coherently combining data generated from an RF-based sensor system
US11832919B2 (en) 2020-12-18 2023-12-05 Movano Inc. Method for generating training data for use in monitoring the blood pressure of a person that utilizes a pulse wave signal generated from radio frequency scanning
US11864861B2 (en) 2020-12-18 2024-01-09 Movano Inc. Method for monitoring a physiological parameter in a person that involves spectral agility
US11786133B2 (en) 2020-12-18 2023-10-17 Movano Inc. System for monitoring a health parameter of a person utilizing a pulse wave signal
CN112764002B (zh) * 2021-01-07 2022-09-30 北京理工大学重庆创新中心 一种基于可变形卷积的fmcw雷达手势识别方法
US20220221573A1 (en) * 2021-01-08 2022-07-14 Google Llc Systems and methods for managing sensors of an electronic device, and associated electronic devices
TWI770834B (zh) * 2021-02-23 2022-07-11 國立陽明交通大學 一種角度估算方法及其適用之電子偵測裝置
CN112949447A (zh) * 2021-02-25 2021-06-11 北京京东方技术开发有限公司 手势识别方法、系统、装置、设备和介质
US11662430B2 (en) 2021-03-17 2023-05-30 Infineon Technologies Ag MmWave radar testing
CN113208566B (zh) * 2021-05-17 2023-06-23 深圳大学 一种数据处理方法、装置、电子设备及存储介质
CN113238244B (zh) * 2021-05-24 2022-05-27 哈尔滨理工大学 一种fmcw激光测距差拍信号频率估计方法及系统
US11950895B2 (en) 2021-05-28 2024-04-09 Infineon Technologies Ag Radar sensor system for blood pressure sensing, and associated method
CN113406610B (zh) * 2021-06-16 2023-06-23 深圳大学 一种目标检测方法、装置、设备和存储介质
US11914093B2 (en) * 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763172A (zh) * 2008-12-25 2010-06-30 索尼株式会社 输入装置、手持式装置和控制方法
CN104094194A (zh) * 2011-12-09 2014-10-08 诺基亚公司 用于基于多个传感器信号的融合识别手势的方法和设备
WO2015022358A1 (en) * 2013-08-14 2015-02-19 Iee International Electronics & Engineering S.A. Radar sensing of vehicle occupancy

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916066B1 (en) * 2006-04-27 2011-03-29 Josef Osterweil Method and apparatus for a body position monitor and fall detector using radar
US20120280900A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
US9314648B2 (en) 2011-12-23 2016-04-19 Texas Tech University System System, method and apparatus for tracking targets during treatment using a radar motion sensor
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
US9285461B2 (en) * 2013-03-12 2016-03-15 Nokia Technologies Oy Steerable transmit, steerable receive frequency modulated continuous wave radar transceiver
WO2016022358A1 (en) 2014-08-08 2016-02-11 The Regents Of The University Of California Compositions and methods for reactivating latent viral infections

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763172A (zh) * 2008-12-25 2010-06-30 索尼株式会社 输入装置、手持式装置和控制方法
CN104094194A (zh) * 2011-12-09 2014-10-08 诺基亚公司 用于基于多个传感器信号的融合识别手势的方法和设备
WO2015022358A1 (en) * 2013-08-14 2015-02-19 Iee International Electronics & Engineering S.A. Radar sensing of vehicle occupancy

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Human walking estimation with radar;P. van Dorp and F.C.A. Groen;《IEE Proc.-Radar Sonar Navig.》;20031031;第356-365页 *
一种基于方向直方图的嵌入式手势识别系统;王守磊 等;《电视技术》;20121231;第133-137页 *

Also Published As

Publication number Publication date
WO2016138238A1 (en) 2016-09-01
EP3286578A1 (en) 2018-02-28
EP3286578A4 (en) 2018-06-20
US9817109B2 (en) 2017-11-14
CN107430189A (zh) 2017-12-01
US20160252607A1 (en) 2016-09-01

Similar Documents

Publication Publication Date Title
CN107430189B (zh) 使用调频连续波雷达的手势辨识
US11204647B2 (en) System and method for radar gesture recognition
JP5623338B2 (ja) 自動車レーダーシステム、及び自動車レーダーによって出力レーダー波形として送信される掃引パターンを求める方法
CN110945376B (zh) Mm-波雷达的低功率操作模式
US20230067322A1 (en) Gesture recognition method and related apparatus
US20210255279A1 (en) Fmcw radar reduced power mode
US10775483B1 (en) Apparatus for detecting and recognizing signals and method thereof
US11460538B2 (en) Detecting a frame-of-reference change in a smart-device-based radar system
EP2690458A1 (en) Radar device
WO2016165281A1 (zh) 一种雷达通信方法与系统
CN109154652B (zh) 速度检测装置
JP6415288B2 (ja) レーダ装置
Wu et al. Dynamic hand gesture recognition using FMCW radar sensor for driving assistance
US20210181328A1 (en) Sensing method and sensing device
US20220326367A1 (en) Smart-Device-Based Radar System Performing Gesture Recognition Using a Space Time Neural Network
JP6771178B2 (ja) 電波センサ、および電波センサを備える設備機器
CN113064483A (zh) 一种手势识别方法以及相关装置
JP6782438B2 (ja) 電波センサ、および電波センサを備える設備機器
CN110554439B (zh) 物品检测方法和装置
CN111316126A (zh) 目标探测方法、雷达、车辆以及计算机可读存储介质
KR102169874B1 (ko) 방위각 고분해능 신호처리 알고리즘을 이용하는 차량용 레이더 및 그 운영 방법
CN114305354A (zh) 一种生命特征检测方法及装置
EP4365623A1 (en) Radar-based target tracker

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant