CN116593978A - 一种基于点云的手势检测方法、系统、存储介质 - Google Patents

一种基于点云的手势检测方法、系统、存储介质 Download PDF

Info

Publication number
CN116593978A
CN116593978A CN202310337187.3A CN202310337187A CN116593978A CN 116593978 A CN116593978 A CN 116593978A CN 202310337187 A CN202310337187 A CN 202310337187A CN 116593978 A CN116593978 A CN 116593978A
Authority
CN
China
Prior art keywords
target
distance
axis
radar
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310337187.3A
Other languages
English (en)
Inventor
吴慧颖
请求不公布姓名
张远燚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Jingyi Yuanda Intelligent Technology Co ltd
Original Assignee
Xiamen Jingyi Yuanda Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Jingyi Yuanda Intelligent Technology Co ltd filed Critical Xiamen Jingyi Yuanda Intelligent Technology Co ltd
Priority to CN202310337187.3A priority Critical patent/CN116593978A/zh
Publication of CN116593978A publication Critical patent/CN116593978A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Discrete Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种基于点云的手势检测方法、系统、存储介质，包括以下步骤：S1，通过雷达发射中频采样信号并接收目标反射回的中频信号，得到目标的距离频谱，得到目标的速度频谱，范围为[－N/2，N/2]，获得一帧数据的FFT频谱；S2，重复若干次步骤S1，得到多帧数据的FFT频谱，根据多帧数据的FFT频谱判断目标中是否存在微动目标，若是则输出最靠近雷达的目标的距离r；S3，提取与最靠近雷达的目标第一距离范围内的目标的速度频谱，获取速度频谱中谱线大于第一阈值的第一目标集，记录所述第一目标集的每个目标的距离索引；S4，每个目标投影至直角坐标系中，在直角坐标系中得到多帧的距离变化曲线，根据曲线变换判断手势方向。

Description

一种基于点云的手势检测方法、系统、存储介质
技术领域
本发明涉及雷达手势检测领域，具体指有一种基于点云的手势检测方法、系统。
背景技术
毫米波雷达，是工作在毫米波波段(millimeter wave)探测的雷达。通常毫米波是指30～300GHz频域(波长为1～10mm)的。毫米波的波长介于微波和厘米波之间，因此毫米波雷达兼有微波雷达和光电雷达的一些优点。
随着智能家居的广泛应用，对其需求越来越多。基于红外的只能家具只能检测手势的有无，而现有智能夹具利用雷达毫米波判断人体手势的过程中，一般是识别人体手势后，再从手势变化的逻辑上进行判断人体做出的具体手势，需要大量的算力，甚至需要通过AI等运算才能得到人体做出的手势。现有技术中还未从雷达毫米波在目标的反射回数据上进行识别人体手势。
针对上述的现有技术存在的问题设计一种基于点云的手势检测方法、系统是本发明研究的目的。
发明内容
针对上述现有技术存在的问题，本发明在于提供一种基于点云的手势检测方法、系统，能够有效解决上述现有技术存在的至少一个问题。
本发明的技术方案是：
一种基于点云的手势检测方法，包括以下步骤：
S1，通过雷达发射中频采样信号并接收目标反射回的中频信号，对反射回的中频信号根据每个chirp信号加窗进行FFT运算，得到目标的距离频谱，对每个距离维的不同chirp信号进行N点FFT运算，得到目标的速度频谱，范围为[－N/2，N/2]，获得一帧数据的FFT频谱；
S2，重复若干次步骤S1，得到多帧数据的FFT频谱，根据多帧数据的FFT频谱判断目标中是否存在微动目标，若是则输出最靠近雷达的目标的距离r；
S3，提取与最靠近雷达的目标第一距离范围内的目标的速度频谱，获取速度频谱中谱线大于第一阈值的第一目标集，记录所述第一目标集的每个目标的距离索引；
S4，通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中，在直角坐标系中得到多帧的距离变化曲线，
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由负到正，且Z轴的最大变化量大于第一阈值，则判定向上挥手；
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由正到负，且Z轴的最大变化量大于第一阈值，则判定向下挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由负到正，且X轴的最大变化量大于第一阈值，则判定向右挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由正到负，且X轴的最大变化量大于第一阈值，则判定向左挥手。
进一步地，所述根据多帧数据的FFT频谱判断目标中是否存在微动目标包括：
对每帧数据的FFT频谱提取相同行的chirp信号得到抽样后FFT频谱；
多所述抽样后FFT频谱进行N点FFT运算得到低速抽样频谱；
若所述低速抽样频谱中含有大于第二阈值的谱线，则判定存在微动目标。
进一步地，若是则输出最靠近雷达的目标的距离r之后，提取在与雷达距离[r－50，r]cm内区域检测的目标的速度频谱之前，执行：
若最靠近雷达的目标的距离r小于第三阈值，则将雷达的工作带宽设置为第一带宽用于寻找近距离范围内的目标；
若最靠近雷达的目标的距离r大于第三阈值，则将雷达的工作带宽设置为第二带宽用于寻找远距离范围内的目标，所述第一带宽大于所述第二带宽。
进一步地，通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中包括：
通过天线的相位差计算所述第一目标集的每个目标的俯仰角度γ与水平角度θ；
将极坐标(R，γ，θ)投影到直角坐标系(x，y，z)中，其中R为雷达径向距离。
进一步地，通过计算俯仰角度γ与水平角度θ，其中λ为波长，Δψ为天线的相位差，d为两天线的距离；。
进一步地，在直角坐标系中得到多帧的距离变化曲线之后，执行：对多帧的距离变化进行平滑处理。
进一步地，对多帧的距离变化进行平滑处理包括：对多帧的距离通过下列公式进行加权处理得到最终加权的距离索引：
其中，Ri为第i个目标的距离索引，Ai为第i个目标的幅值。
进一步地，在直角坐标系中得到多帧的距离变化曲线之后，执行：
当检测到连续5帧有目标则为窗函数的起始点，连续检测到8帧没有信号则为滑动窗的终点，对多帧的距离变化曲线进行加窗处理，提取单次手势变化。
进一步提供一种基于点云的手势检测系统，用于实现所述的一种基于点云的手势检测方法，包括以下模块：
雷达数据获取模块，用于通过雷达发射中频采样信号并接收目标反射回的中频信号，对反射回的中频信号根据每个chirp信号加窗进行FFT运算，得到目标的距离频谱，对每个距离维的不同chirp信号进行N点FFT运算，得到目标的速度频谱，范围为[－N/2，N/2]，获得一帧数据的FFT频谱；
距离输出模块，用于驱动雷达数据获取模块重复若干次，得到多帧数据的FFT频谱，根据多帧数据的FFT频谱判断目标中是否存在微动目标，若是则输出最靠近雷达的目标的距离r；
第一目标集获取模块，用于提取与最靠近雷达的目标第一距离范围内的目标的速度频谱，获取速度频谱中谱线大于第一阈值的第一目标集，记录所述第一目标集的每个目标的距离索引；
判断模块，用于通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中，在直角坐标系中得到多帧的距离变化曲线，
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由负到正，且Z轴的最大变化量大于第一阈值，则判定向上挥手；
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由正到负，且Z轴的最大变化量大于第一阈值，则判定向下挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由负到正，且X轴的最大变化量大于第一阈值，则判定向右挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由正到负，且X轴的最大变化量大于第一阈值，则判定向左挥手。
进一步提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述的一种基于点云的手势检测方法。
因此，本发明提供以下的效果和/或优点：
本申请通过相位计算出目标的水平角度与俯仰角度。利用角度信息将雷达极坐标转化为直角坐标，得到点云分布。点云的差异可以判断出四种小手势(上、下、左、右)，该手势既适用于近距离小手势识别，也适用于远距离。
本发明采用一发三收宽波束调频连续波雷达，俯仰角、水平角的FOV均覆盖范围[－60°，60]，主要用于识别多种的手势，该手势不限特定检测范围，它具有以下优势：
1)可以进行四种手势识别；
2)手势识别既适用于远距离的大手势，也适用于近距离的小手势；
3)手势的判断准确率高；
该发明适用于任何环境，也适用于任何体型的人。
本申请从雷达毫米波在目标的反射回数据上进行识别人体手势，所有运算均基于雷达毫米波数据，减少了其它手势逻辑上的判断过程，运算量小，不需要通过AI训练模型来实现。
应当明白，本发明的上文的概述和下面的详细说明是示例性和解释性的，并且意在提供对如要求保护的本发明的进一步的解释。
附图说明
图1为本发明的其中一个实施例提供的流程示意图。
图2为本发明的其中一个实施例提供的对每帧数据的FFT频谱提取相同行的chirp信号的流程示意图。
图3－4为人体上下挥手的过程中，Z轴变化的数据图。
图5－6为人体左右挥手的过程中，X轴变化的数据图。
图7为本发明的其中一个实施例提供的距离分类前的多帧的距离变化曲线。
图8为本发明的其中一个实施例提供的距离分类后的多帧的距离变化曲线。
具体实施方式
为了便于本领域技术人员理解，现将实施例结合附图对本发明作进一步详细描述：应了解到，在本实施例中所提及的步骤，除特别说明其顺序的，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。
参考图1，一种基于点云的手势检测方法，包括以下步骤：
S1，通过雷达发射中频采样信号并接收目标反射回的中频信号，对反射回的中频信号根据每个chirp信号加窗进行FFT运算，得到目标的距离频谱，对每个距离维的不同chirp信号进行N点FFT运算，得到目标的速度频谱，范围为[－N/2，N/2]，获得一帧数据的FFT频谱；
本步骤为现有技术，其中N为128。具体地，安装雷达：安装位置距离地面0－150cm安装即可，本实施例可应用于面板、镜子、灯条后方，用于识别用户做出的手势。在使用过程中要求用户的挥手要过雷达中心面，因此安装的俯仰角度没有具体的限制。雷达波束最强的方向为法线方向，水平角与俯仰角度FOV覆盖范围[－60°，60]；然后中频信号采样，得到原始数据；接着对每个ADC信号(也叫chirp信号)加窗做128点FFT，得到64个目标的距离频谱。对每个距离维的不同chirp加窗做16点FFT，得到速度频谱。
S2，重复若干次步骤S1，得到多帧数据的FFT频谱，根据多帧数据的FFT频谱判断目标中是否存在微动目标，若是则输出最靠近雷达的目标的距离r；
雷达检测目标的过程中，可能目标是移动的，例如人体向前走动，也可能目标是微动的，例如人体站在雷达检测范围内没有走动，但是此时人体正在进行弯曲手指等。本实施例通过判断是否存在微动目标，用于识别人体站在雷达前正在准备做出相应的手势，若存在该微动目标则雷达开始进入下一步工作状态，并进行相应的数据判断。
进一步地，所述根据多帧数据的FFT频谱判断目标中是否存在微动目标包括：
S2.1，对每帧数据的FFT频谱提取相同行的chirp信号得到抽样后FFT频谱；
S2.2，多所述抽样后FFT频谱进行N点FFT运算得到低速抽样频谱；
S2.3，若所述低速抽样频谱中含有大于第二阈值的谱线，则判定存在微动目标。
本实施例中，第二阈值为800，在其它实施例中，也可以根据雷达的实际工作情况或者根据判断经验设置第二阈值的值。在此不做限定。
对每帧数据的FFT频谱提取相同行的chirp信号，是指，如图2所示，每帧数据的FFT频谱中均包含了chirp1、chirp2…chirpN，则本步骤中可以提取所有的帧数据的FFT频谱中的第n个chirp频谱，n为1－N的正整数，用于组成低速抽样频谱。本步骤的目的是，将雷达数据的帧周期拉长，从而降低速度分辨率，提高速度精度，进而适用于检测微小动作。
具体地，每次取一帧FFT频谱中第一个chirp的FFT值，累积64帧的数据在不同的距离维上做FFT。由于微动的时候相当于静止，考虑在直流两旁的速度谱检(速度维索引为2和64的谱线)测目标：当第二阈值大于800，记录最靠近雷达的目标的距离值r，该距离值r为最靠近雷达的目标距离。筛选最近雷达的目标的距离r是为了避免当雷达的范围内有多个目标正在雷达检测范围内且做出不同的动作时，只筛选最靠近雷达的距离r对应的目标作为后续需要跟踪的目标。如果还有其它目标在最靠近雷达的目标的身后运动时，则忽略。
S3，提取与最靠近雷达的目标第一距离范围内的目标的速度频谱，获取速度频谱中谱线大于第一阈值的第一目标集，记录所述第一目标集的每个目标的距离索引；
本实施例中，第一阈值设置为1200，在其它实施例中，也可以根据雷达的实际工作情况或者根据判断经验设置第一阈值的值。在此不做限定。
本实施例中，第一距离范围设置为[r－50，r]，在其它实施例中，也可以根据雷达的实际工作情况或者根据判断经验设置第一阈值的值。在此不做限定。这是因为，根据人体手臂在挥手的过程中，手指的距离、速度变化最容易被检测到，齐次是人体小臂，人体小臂的长度约为50cm。本实施例将采样距离几种到该范围内，用于提取最相关的数据，并忽略人体的其它部位的微动，提高判断精度。
具体地，例如目标检测在70cm处检测到人感后，手势的检测在[20，70]cm区域进行：当谱线中有大于阈值1200，则记下每个目标距离索引。
S4，通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中，在直角坐标系中得到多帧的距离变化曲线，
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由负到正，且Z轴的最大变化量大于第一阈值，则判定向上挥手；
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由正到负，且Z轴的最大变化量大于第一阈值，则判定向下挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由负到正，且X轴的最大变化量大于第一阈值，则判定向右挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由正到负，且X轴的最大变化量大于第一阈值，则判定向左挥手。
每个目标投影至直角坐标系中，多帧的距离变化曲线可以参考图3－6，本步骤可以通过判断幅值差实现，若零点位置的前一帧为负值，则选出最小值；若零点位置的前一帧为正值，则选出最大值。零点后一帧也做如下处理，选出最值。对两个最值做差值计算得到距离差值。从而获得在X轴或者Z轴的最大变化量。通过该变化量对应的是X轴还是Z轴从而判断人体挥手的方向，通过变化量的前后符号判断人体单次挥手的方向，以及变化量是否超过一定量判断该次挥手是否是挥手还是只是人体无意间的手臂微动。
更具体的如下所述：
上下挥手：此时Z轴变化如图3、4所示，在向上挥手的过程中，在直角坐标系来看，距离是由负到正；在向下挥手的过程中，角度是由正到负。幅值差设为30，当幅值差大于第一阈值30cm的时候认为是挥手动作。
左右挥手：此时X轴变化如图5、6所示，在向右挥手的过程中，水平距离是由负到正；在向左挥手的过程中，水平角度是由正到负。幅值差设为30，当幅值差大于30cm的时候认为是挥手动作。
进一步地，若是则输出最靠近雷达的目标的距离r之后，提取在与雷达距离[r－50，r]cm内区域检测的目标的速度频谱之前，执行：
若最靠近雷达的目标的距离r小于第三阈值70cm，则将雷达的工作带宽设置为第一带宽用于寻找近距离范围内的目标；
若最靠近雷达的目标的距离r大于第三阈值70cm，则将雷达的工作带宽设置为第二带宽用于寻找远距离范围内的目标，所述第一带宽大于所述第二带宽。
第一带宽设置为6G、第二带宽设置为3G。雷达工作的过程中，距离＝索引＊分辨率，而分辨率与带宽成反比，当设置为大的带宽时，可以用于适用于雷达与目标的距离小于第三阈值70cm的情况，提高在该距离内的分辨率。当设置为小的带宽时，可以用于适用于雷达与目标的距离大于第三阈值70cm的情况，提高在该距离内的分辨率。
本步骤进行距离分辨率的切换，根据距离判断是否提高距离分辨率。在一定的近距离提高分辨率，这样的调整在近距离的手势可以采用小手势。该发明中配置切换的距离临界为70cm，微动距离等于或小于70cm时进行配置切换。
进一步地，通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中包括：
通过天线的相位差计算所述第一目标集的每个目标的俯仰角度γ与水平角度θ；
将极坐标(R，γ，θ)投影到直角坐标系(x，y，z)中，其中R为雷达径向距离。
本步骤中，投影到直角坐标系具体为：
进一步地，通过计算俯仰角度γ与水平角度θ，其中λ为波长，Δψ为天线的相位差，d为两天线的距离；。
进一步地，在直角坐标系中得到多帧的距离变化曲线之后，执行：对多帧的距离变化进行平滑处理。
具体地，对多帧的距离变化进行平滑处理包括：对多帧的距离通过下列公式进行加权处理得到最终加权的距离索引：
其中，Ri为第i个目标的距离索引，Ai为第i个目标的幅值。
本步骤中，对每一帧的距离做分类，目前主要是手势检测的范围做两类区分，主要是为了区分手指与手臂。对于任一个手势的挥手，下图是做了分类与不做分类的情况，做了距离分类后，近距离的角度信息是集中、准确的(图7)；而未做分类的情况下角度信息存在散乱的情况(图6)。
进一步地，在直角坐标系中得到多帧的距离变化曲线之后，执行：
当检测到连续5帧有目标则为窗函数的起始点，连续检测到8帧没有信号则为滑动窗的终点，对多帧的距离变化曲线进行加窗处理，提取单次手势变化。
本步骤用于区分单次手势在雷达数据上的起点和终点，通过可调节滑动窗区域的划分，当检测到连续5帧有目标则为窗函数的起始点，连续检测到8帧没有信号则为滑动窗的终点；
同事，计算零点前后的数值符号，滑动窗内零点左右两侧的数值符号，若为异号，则进行接下去进行判断；若为同号则结束该点判断，进行下一次零点位置的寻找。
进一步提供一种基于点云的手势检测系统，用于实现任意一条所述的一种基于点云的手势检测方法，包括以下模块：
雷达数据获取模块，用于通过雷达发射中频采样信号并接收目标反射回的中频信号，对反射回的中频信号根据每个chirp信号加窗进行FFT运算，得到目标的距离频谱，对每个距离维的不同chirp信号进行N点FFT运算，得到目标的速度频谱，范围为[－N/2，N/2]，获得一帧数据的FFT频谱；
距离输出模块，用于驱动雷达数据获取模块重复若干次，得到多帧数据的FFT频谱，根据多帧数据的FFT频谱判断目标中是否存在微动目标，若是则输出最靠近雷达的目标的距离r；
第一目标集获取模块，用于提取与最靠近雷达的目标第一距离范围内的目标的速度频谱，获取速度频谱中谱线大于第一阈值的第一目标集，记录所述第一目标集的每个目标的距离索引；
判断模块，用于通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中，在直角坐标系中得到多帧的距离变化曲线，
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由负到正，且Z轴的最大变化量大于第一阈值，则判定向上挥手；
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由正到负，且Z轴的最大变化量大于第一阈值，则判定向下挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由负到正，且X轴的最大变化量大于第一阈值，则判定向右挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由正到负，且X轴的最大变化量大于第一阈值，则判定向左挥手。
一种基于点云的手势检测系统的工作原理与一种基于点云的手势检测方法相同。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于点云的手势检测方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

Claims (10)

1.一种基于点云的手势检测方法，其特征在于：包括以下步骤：
S1，通过雷达发射中频采样信号并接收目标反射回的中频信号，对反射回的中频信号根据每个chirp信号加窗进行FFT运算，得到目标的距离频谱，对每个距离维的不同chirp信号进行N点FFT运算，得到目标的速度频谱，范围为[－N/2，N/2]，获得一帧数据的FFT频谱；
S2，重复若干次步骤S1，得到多帧数据的FFT频谱，根据多帧数据的FFT频谱判断目标中是否存在微动目标，若是则输出最靠近雷达的目标的距离r；
S3，提取与最靠近雷达的目标第一距离范围内的目标的速度频谱，获取速度频谱中谱线大于第一阈值的第一目标集，记录所述第一目标集的每个目标的距离索引；
S4，通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中，在直角坐标系中得到多帧的距离变化曲线，
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由负到正，且Z轴的最大变化量大于第一阈值，则判定向上挥手；
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由正到负，且Z轴的最大变化量大于第一阈值，则判定向下挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由负到正，且X轴的最大变化量大于第一阈值，则判定向右挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由正到负，且X轴的最大变化量大于第一阈值，则判定向左挥手。
2.根据权利要求1所述的一种基于点云的手势检测方法，其特征在于：所述根据多帧数据的FFT频谱判断目标中是否存在微动目标包括：
对每帧数据的FFT频谱提取相同行的chirp信号得到抽样后FFT频谱；
多所述抽样后FFT频谱进行N点FFT运算得到低速抽样频谱；
若所述低速抽样频谱中含有大于第二阈值的谱线，则判定存在微动目标。
3.根据权利要求1所述的一种基于点云的手势检测方法，其特征在于：若是则输出最靠近雷达的目标的距离r之后，提取在与雷达距离[r－50，r]cm内区域检测的目标的速度频谱之前，执行：
若最靠近雷达的目标的距离r小于第三阈值，则将雷达的工作带宽设置为第一带宽用于寻找近距离范围内的目标；
若最靠近雷达的目标的距离r大于第三阈值，则将雷达的工作带宽设置为第二带宽用于寻找远距离范围内的目标，所述第一带宽大于所述第二带宽。
4.根据权利要求1所述的一种基于点云的手势检测方法，其特征在于：通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中包括：
通过天线的相位差计算所述第一目标集的每个目标的俯仰角度γ与水平角度θ；
将极坐标(R，γ，θ)投影到直角坐标系(x，y，z)中，其中R为雷达径向距离。
5.根据权利要求4所述的一种基于点云的手势检测方法，其特征在于：
通过计算俯仰角度γ与水平角度θ，其中λ为波长，Δψ为天线的相位差，d为两天线的距离；。
6.根据权利要求1所述的一种基于点云的手势检测方法，其特征在于：在直角坐标系中得到多帧的距离变化曲线之后，执行：对多帧的距离变化进行平滑处理。
7.根据权利要求1所述的一种基于点云的手势检测方法，其特征在于：对多帧的距离变化进行平滑处理包括：对多帧的距离通过下列公式进行加权处理得到最终加权的距离索引：
其中，Ri为第i个目标的距离索引，Ai为第i个目标的幅值。
8.根据权利要求1所述的一种基于点云的手势检测方法，其特征在于：在直角坐标系中得到多帧的距离变化曲线之后，执行：
当检测到连续5帧有目标则为窗函数的起始点，连续检测到8帧没有信号则为滑动窗的终点，对多帧的距离变化曲线进行加窗处理，提取单次手势变化。
9.一种基于点云的手势检测系统，用于实现权利要求1－8任意一条所述的一种基于点云的手势检测方法，其特征在于：包括以下模块：
雷达数据获取模块，用于通过雷达发射中频采样信号并接收目标反射回的中频信号，对反射回的中频信号根据每个chirp信号加窗进行FFT运算，得到目标的距离频谱，对每个距离维的不同chirp信号进行N点FFT运算，得到目标的速度频谱，范围为[－N/2，N/2]，获得一帧数据的FFT频谱；
距离输出模块，用于驱动雷达数据获取模块重复若干次，得到多帧数据的FFT频谱，根据多帧数据的FFT频谱判断目标中是否存在微动目标，若是则输出最靠近雷达的目标的距离r；
第一目标集获取模块，用于提取与最靠近雷达的目标第一距离范围内的目标的速度频谱，获取速度频谱中谱线大于第一阈值的第一目标集，记录所述第一目标集的每个目标的距离索引；
判断模块，用于通过雷达天线的相位差计算所述第一目标集的每个目标投影至直角坐标系中，在直角坐标系中得到多帧的距离变化曲线，
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由负到正，且Z轴的最大变化量大于第一阈值，则判定向上挥手；
若目标在直角坐标系中的Z轴变化量大于X轴变化量，且目标在直角坐标系中Z轴的距离由正到负，且Z轴的最大变化量大于第一阈值，则判定向下挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由负到正，且X轴的最大变化量大于第一阈值，则判定向右挥手；
若目标在直角坐标系中的X轴变化量大于Z轴变化量，且目标在直角坐标系中X轴的距离由正到负，且X轴的最大变化量大于第一阈值，则判定向左挥手。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的一种基于点云的手势检测方法。
CN202310337187.3A 2023-03-31 2023-03-31 一种基于点云的手势检测方法、系统、存储介质 Pending CN116593978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310337187.3A CN116593978A (zh) 2023-03-31 2023-03-31 一种基于点云的手势检测方法、系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310337187.3A CN116593978A (zh) 2023-03-31 2023-03-31 一种基于点云的手势检测方法、系统、存储介质

Publications (1)

Publication Number Publication Date
CN116593978A true CN116593978A (zh) 2023-08-15

Family

ID=87603371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310337187.3A Pending CN116593978A (zh) 2023-03-31 2023-03-31 一种基于点云的手势检测方法、系统、存储介质

Country Status (1)

Country Link
CN (1) CN116593978A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117908018A (zh) * 2024-03-19 2024-04-19 清澜技术(深圳)有限公司 一种挥手告警方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117908018A (zh) * 2024-03-19 2024-04-19 清澜技术(深圳)有限公司 一种挥手告警方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
Brodeski et al. Deep radar detector
WO2021134449A1 (zh) 一种强杂波下fmcw阵列雷达运动多目标弱信号检测方法、装置、计算机设备及存储介质
CN107561508B (zh) 一种用于匀加速运动目标的相参积累检测方法
JP2020091281A (ja) レーダーデータを処理する装置及び方法
KR101628154B1 (ko) 수신 신호 세기를 이용한 다중 표적 추적 방법
JP7173735B2 (ja) レーダ装置及び信号処理方法
CN106896358A (zh) 一种基于位置旋转变换的高速目标相参积累检测方法
JP7111843B2 (ja) ターゲットの挙動を識別する方法及び装置、並びにレーダーシステム
CN113963441B (zh) 一种基于跨域增强的毫米波雷达手势识别方法及系统
CN112130142B (zh) 一种复杂运动目标微多普勒特征提取方法及系统
Sun et al. Automatic radar-based gesture detection and classification via a region-based deep convolutional neural network
KR102254331B1 (ko) 공중 제스쳐 인식 장치 및 방법
US11797098B2 (en) Methods for recognizing human hand and hand gesture from human, and display apparatus
CN116593978A (zh) 一种基于点云的手势检测方法、系统、存储介质
CN112285698B (zh) 一种基于雷达传感器的多目标跟踪装置及方法
WO2019119223A1 (zh) 基于雷达的测距处理方法、装置及无人飞行器
KR101312420B1 (ko) 레이더를 이용한 타겟 판단 장치 및 그 방법
CN116299299B (zh) 速度解模糊方法、装置、雷达设备及存储介质
CN110488272B (zh) 一种基于调频连续波雷达的测速测距方法及装置
Fink et al. Feature-based gesture classification by means of high resolution radar measurements
CN114594467A (zh) 一种航向角确定方法、装置、电子设备和存储介质
Fan et al. A meta-learning-based approach for hand gesture recognition using FMCW radar
CN102890274A (zh) 一种船用导航雷达arpa目标跟踪方法
CN105242272A (zh) 基于自回归时间序列模型的车载毫米波防撞雷达恒虚警检测方法
CN112418275A (zh) 基于距离像特征提取的毫米波引信箔条干扰识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination