CN114740970B - 一种基于联邦学习的毫米波手势识别方法及系统 - Google Patents

一种基于联邦学习的毫米波手势识别方法及系统 Download PDF

Info

Publication number
CN114740970B
CN114740970B CN202210171022.9A CN202210171022A CN114740970B CN 114740970 B CN114740970 B CN 114740970B CN 202210171022 A CN202210171022 A CN 202210171022A CN 114740970 B CN114740970 B CN 114740970B
Authority
CN
China
Prior art keywords
gesture
local
classification model
gesture recognition
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210171022.9A
Other languages
English (en)
Other versions
CN114740970A (zh
Inventor
刘震宇
马崇润
甘炼强
何徽鸿
刘昊明
梁进杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210171022.9A priority Critical patent/CN114740970B/zh
Publication of CN114740970A publication Critical patent/CN114740970A/zh
Application granted granted Critical
Publication of CN114740970B publication Critical patent/CN114740970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联邦学习的毫米波手势识别方法，包括以下步骤：S1：云服务器向手势识别客户端分发初始全局手势分类模型和当前训练轮次；S2：手势识别客户端采集手势信息，得到手势特征图，建立本地手势数据集，得到手势分类结果；S3：训练得到本地手势分类模型；S4：本地手势分类模型进行聚合浅层网络或交换深层网络，得到手势识别结果并输出。本发明还公开了一种基于联邦学习的毫米波手势识别系统，在保证各手势识别客户端本地数据不被泄露的同时增大用于训练手势分类模型的样本数量，提高手势分类模型的泛化能力和手势分类的准确率，拓展描述手势动作的信息维度提高对于特定手势的识别准确率，降低手势识别客户端与云服务器间的通信流量。

Description

一种基于联邦学习的毫米波手势识别方法及系统
技术领域
本发明涉及人机交互技术领域，尤其涉及一种基于联邦学习的毫米波手势识别方法及系统。
背景技术
随着智慧时代的来临，人机交互技术得到快速的发展，人们不断追求更加自然、高效且接近用户现实行为的人机交互方式。手势识别作为一种非接触式的自然人机交互方式，通过使计算机得到并理解人的手势信息，进而做出响应，这可以打破接触式人机交互的诸多限制，拓宽交互场景，手势识别技术在车联网、物联网和智能家居等场景下具有广泛应用。
现有的手势识别技术大多通过视觉传感器或可穿戴设备得到手势信息，在特定的环境下，这两类方法能达到较高的准确率，但它们都存在一定的局限性。彩色摄像头和深度摄像头等视觉传感器对周围环境中的光线变化比较敏感，且要求手部和传感器之间不能有任何遮挡，在暗光或烟雾遮挡等恶劣环境下，手势识别准确率会大幅下降，此外该方法还存在用户隐私泄露的问题。基于可穿戴设备的手势识别方法要求用户在执行手势的过程中一直佩戴传感器设备，用户体验较差。
近年来，由于毫米波雷达技术的不断发展，基于毫米波雷达的手势识别技术逐渐得到关注。与视觉传感器、可穿戴设备等手势识别方案对比，基于毫米波雷达的手势识别方案有诸多优势。首先，毫米波雷达不受环境变化的影响，在暗光和充满烟雾的恶劣环境中依然可以正常工作，和微波相比，毫米波元器件的尺寸要小得多，因此毫米波系统更容易小型化。此外，用户不需要佩戴额外的辅助设备，这大大提升了用户体验。
基于毫米波雷达的手势识别方案主要是采集手势雷达回波信息，通过信号处理手段得到各种手势特征，结合深度学习的方法训练性能良好的手势分类模型，对输入手势进行分类，从而实现手势的识别。
现有技术公开了一种基于毫米波雷达的手势识别方法，通过构建卷积神经网络模型，获取多种手势的轨迹图作为训练集F，基于训练集F对卷积神经网络模型训练，得到优化识别模型；手势轨迹图为最大峰值对应的动目标在距离-多普勒坐标系下的移动轨迹；将识别手势的轨迹图输入优化识别模型，以识别出识别手势的手势类型。该发明主要以手势距离和多普勒维度的特征构建本地手势数据集，并未考虑手势动作的空间信息和时间信息，导致无法区分特定的手势。因此，本地手势数据集的特征维度有待进一步提高。
现有的基于毫米波雷达的手势识别方案，需要收集大量的手势数据用于训练手势分类模型，但每个手势识别客户端拥有的数据量存在一定的局限性，各手势识别客户端无法靠本地数据集独自训练出准确性高的手势分类模型。此外，由于隐私安全和行业竞争等问题，各手势识别客户端的手势数据难以整合和共享，各手势识别客户端之间存在严重的数据壁垒。因此，解决训练手势分类模型过程中存在的数据孤岛问题成为了研究重点。
发明内容
本发明为解决现有手势识别技术存在的训练手势分类模型过程中存在的数据孤岛问题，提出了一种基于联邦学习的毫米波手势识别方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于联邦学习的毫米波手势识别方法，包括以下步骤：
S1：云服务器向手势识别客户端Ck分发初始全局手势分类模型WT和当前训练轮次T；其中，WT＝{wT,1，wT,2，…，wT,L}，k＝1,2，…，K，k代表第k个客户端，K代表客户端总数；
S2：Ck通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集Ωk，得到手势分类结果；其中，毫米波手势识别模块位于Ck内部，毫米波手势识别模块分布有发射天线和接收天线；
S3：Ck使用Ωk训练得到本地手势分类模型并将训练好的/>上传至云服务器；其中，/> 包括浅层网络和深层网络，浅层网络为深层网络为/>1<ls<L，w代表模型的各层网络，l代表第l层网络，ls代表浅层网络的最后一层的层数，L代表整个模型最后一层网络的层数，即网络总层数；
S4：云服务器对Ck上传的的浅层网络/>进行聚合得到更新后的全局手势分类模型WT+1，对Ck上传的/>的深层网络/>进行交换深层网络操作得到交换深层网络后的本地手势分类模型/>将WT+1或/>更新后的T值分发给Ck，其中，ks＝1，2，…，K，得到手势识别结果并输出。
优选地，步骤S2包括以下步骤：
S201：毫米波手势识别模块进入低功耗定时模式；
S202：毫米波手势识别模块进行手势目标粗检测，判断是否探测到手势目标存在，若探测到手势目标存在，则执行S203，若没有探测到手势目标存在，返回执行S201；
S203：毫米波手势识别模块进入正常工作模式；
S204：Ck处理中频信号ADC采样数据s(n)，得到手势距离-速度-角度-时间四维点云数据；其中，角度包括方位角和俯仰角；
S205：Ck将四维点云数据分别降维投影至距离-时间域、速度-时间域、角度-时间域，得到四类手势特征图，建立本地手势数据集Ωk；
其中，四类手势特征图分别为：距离-时间图RTM、速度-时间图VTM、方位角-时间图ATM、俯仰角-时间图ETM，四类手势特征图构成上一轮训练后的本地手势分类模型Wk T-1的输入其中/> 用来代表Wk T-1输入特征图的符号；
多个构成本地手势数据集Ωk，i是手势个数的索引，每一个手势输入对应一个将/>输入上一轮训练后的本地手势分类模型Wk T-1得到输出结果，由/>构成的本地手势数据集Ωk也用于训练当前训练轮次的本地手势分类模型/>
S206：Ck对探测到的目标的手势进行分类，得到手势分类结果
优选地，步骤S204包括以下步骤：
S2041：取M帧的中频信号ADC的采样数据s(n)，以进行时频变换；其中，毫米波雷达发射天线发射连续波，碰到手连续波就会原路返回到毫米波雷达的接收天线，接收天线收到的信号为回波信号，毫米波手势识别模块对回波信号和之前发出去连续波信号混频就得到中频信号，对中频信号进行模数转换后得到中频信号ADC采样数据；
S2042：在单帧周期内，沿快时间维度对采样数据s(n)进行第一次时频变换F1(s(n))，得到手势距离信息；判断单帧周期是否结束，若结束，则执行S2043，若没有结束，继续执行S2042；
S2043：单帧周期结束后，沿慢时间维度对采样数据s(n)进行第二次时频变换F2(s(n))，得到手势速度信息；
S2044：分别沿毫米波手势识别模块接收天线的水平维度和垂直维度对采样数据s(n)进行第三次时频变换F3(s(n))，得到手势角度信息，手势角度信息为手势水平角信息和手势俯仰角信息；手势距离信息、手势速度信息、手势角度信息构成手势三维点云；
S2045：循环执行步骤S2042-S2044，判断是否遍历完M帧的中频信号ADC采样数据s(n)，若遍历完，则执行S2046，若没有遍历完，返回执行S2041；
S2046：累积M帧的手势距离-速度-角度三维点云数据，得到手势距离-速度-角度-时间四维点云。
本发明基于手势距离和时间、速度和时间、方位角和时间、俯仰角和时间信息构造多维手势特征图，拓展描述手势动作的信息维度，更高维的手势特征图提高了特定手势的识别准确率。
优选地，步骤S3包括以下步骤：
S301：Ck接收云服务器发送的手势分类模型WT或当前训练轮次T；其中，云服务器交换各客户端上传/>的深层网络后得到交换深层网络后的本地手势分类模型/>将/>分发给各客户端进行下一次训练，云服务器分发两种手势分类模型，一种是WT，另一种是
S302：Ck使用本地手势数据集Ωk训练WT或更新WT或/>网络参数后得到训练好的本地手势分类模型/>
S303：判断当前训练轮次T是否小于规定浅层聚合轮次N1；
若当前训练轮次T小于规定浅层聚合轮次N1，则执行S304；
若当前训练轮次T不小于规定浅层聚合轮次N1，判断T是否超过当前规定训练轮次N2，若T未超过当前规定训练轮次N2，则执行S304，若T超过当前规定训练轮次N2，执行S301，Ck等待云服务器分发下一次的WT或当前训练轮次T；
S304：Ck向云服务器上传训练好的本地手势分类模型的浅层网络
S305：Ck向云服务器上传训练好的本地手势分类模型
优选地，步骤S4中包括以下步骤：
S401：云服务器向Ck分发全局手势分类模型WT和当前训练轮次T；
S402：云服务器等待所有Ck上传本地手势分类模型判断是否T＝N1或T＝N2，若T＝N1或T＝N2，则执行S405，若T≠N1且T≠N2，执行S403；
S403：云服务器聚合浅层网络，所述浅层网络为经各客户端训练后的本地手势分类模型的浅层网络判断T是否小于N1，若T小于N1，则执行T＝T+1和S401，否则，执行S404；
S404：云服务器交换深层网络，所述深层网络为经各客户端训练后的本地手势分类模型的深层网络得到新的交换深层网络后的本地手势分类模型/>分发/>和当前训练轮次T，将/>分别分发至Ck，然后执行T＝T+1和S402；
S405：云服务器全局聚合各Ck上传的本地手势分类模型得到更新后的全局手势分类模型WT+1，得到手势分类结果并输出；判断T＝N1或T＝N2，若T＝N1，则执行T＝T+1和S401；若T＝N2，云服务器进入等待状态，等待再次被唤醒，将当前训练轮次T值设为1；
当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手势目标存在，则等待手势目标，当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型WT+1和交换深层网络操作得到新的交换深层网络后的本地手势分类模型处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
优选地，步骤S403所述云服务器聚合浅层网络公式为：
优选地，步骤S404所述云服务器交换深层网络公式为：
优选地，步骤S405所述云服务器全局聚合各Ck上传的本地手势分类模型公式为：
本发明还提供了一种基于联邦学习的毫米波手势识别系统，用于实现一种基于联邦学习的毫米波手势识别方法，包括云服务器、手势识别客户端、毫米波手势识别模块、本地手势分类模型训练模块和数据处理更新模块；其中：
所述云服务器向手势识别客户端分发初始全局手势分类模型WT和当前训练轮次T；
手势识别客户端通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集，得到手势分类结果；
手势识别客户端通过本地手势分类模型训练模块，根据本地手势数据集训练得到本地手势分类模型并将训练好的/>上传至云服务器；
云服务器通过数据处理更新模块对手势识别客户端上传的的浅层网络进行聚合得到更新后的全局手势分类模型WT+1，对手势识别客户端上传的/>的深层网络进行交换深层网络操作得到新的交换深层网络后的本地手势分类模型/>将WT+1或/>更新后的T值分发给手势识别客户端。当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手势目标存在，则等待手势目标。当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型WT+1和交换深层网络操作得到新的交换深层网络后的本地手势分类模型/>处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
与现有技术相比，本发明的技术方案具有如下有益效果：
1、本发明联合多个手势识别客户端共同训练手势分类模型，总体增大用于训练手势分类模型的样本数量，在解决传统手势识别方案存在的数据孤岛问题的同时，保证各个手势识别客户端本地数据不被泄露；
2、本发明降低手势分类模型深层网络的聚合频率，以此减少手势识别客户端传输的手势分类模型参数，在保证手势分类模型性能的同时又降低手势识别客户端与云服务器间的通信流量；
3、本发明提出交换深层网络分层训练的方法，通过云服务器使各手势识别客户端交换训练深层网络，使得手势识别客户端本地手势分类模型能够适应其他手势识别客户端的手势数据分布，提高手势分类模型的泛化能力和手势分类的准确率。
附图说明
图1为本实施例所述总体流程图；
图2为本实施例所述得到手势特征图的流程图；
图3为本实施例所述得到距离-速度-角度-时间四维点云的流程图；
图4为本实施例所述手势识别客户端训练本地手势分类模型的流程图；
图5为本实施例所述手势分类模型聚合浅层网络和交换深层网络的流程图；
图6为本实施例所述手势分类模型全局聚合的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于联邦学习的毫米波手势识别方法，包括如下步骤：
S1：云服务器向手势识别客户端Ck分发初始全局手势分类模型WT和当前训练轮次T；其中，WT＝{wT,1，wT,2，…，wT,L}，k＝1,2，…，K，k代表第k个客户端，K代表客户端总数；
S2：Ck通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集Ωk，得到手势分类结果；其中，毫米波手势识别模块位于Ck内部，毫米波手势识别模块分布有发射天线和接收天线；
S3：Ck使用Ωk训练得到本地手势分类模型并将训练好的/>上传至云服务器；其中，Wk T＝{wk T,1，wk T,2，…，wk T,L}，Wk T包括浅层网络和深层网络，浅层网络为深层网络为/>1<ls<L，w代表模型的各层网络，l代表第l层网络，ls代表浅层网络的最后一层的层数，L代表整个模型最后一层网络的层数，即网络总层数；
例如，选取由5个卷积层和3个全连接层组成的AlexNet作为本地手势分类模型，则5个卷积层为本地手势分类模型的浅层网络，用于从手势特征图中提取具有代表性的特征，而3个全连接层/>位于深层网络，根据卷积层提取的特征进行分类判断；
S4：云服务器对Ck上传的的浅层网络/>进行聚合得到更新后的全局手势分类模型WT+1，对Ck上传的/>的深层网络/>进行交换深层网络操作得到交换深层网络后的本地手势分类模型/>将WT+1或/>更新后的T值分发给Ck，其中，ks＝1,2，…，K，得到手势识别结果并输出。
本实施例联合多个手势识别客户端共同训练手势分类模型，总体增大用于训练手势分类模型的样本数量，在解决传统手势识别方案存在的数据孤岛问题的同时，保证各个手势识别客户端本地数据不被泄露。
实施例2
本实施例提供的一种基于联邦学习的毫米波手势识别方法与实施例1一致，仅对各个步骤进行进一步的限定。
S1：云服务器向手势识别客户端Ck分发初始全局手势分类模型WT和当前训练轮次T；其中，WT＝{wT,1，wT,2，…，wT,L}，k＝1,2，…，K，k代表第k个客户端，K代表客户端总数；
S2：Ck通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集Ωk，得到手势分类结果；其中，毫米波手势识别模块位于Ck内部，毫米波手势识别模块分布有发射天线和接收天线；
S3：Ck使用Ωk训练得到本地手势分类模型并将训练好的/>或浅层网络 上传至云服务器；其中，/> 包括浅层网络和深层网络，浅层网络为/>深层网络为/>1<ls<L，l代表第l层网络，ls是浅层网络的最后一层的层数，L代表整个模型最后一层网络的层数，即网络总层数；
S4：云服务器对Ck上传的的浅层网络/>进行聚合得到更新后的全局手势分类模型WT+1，对Ck上传的/>的深层网络/>进行交换深层网络操作得到交换深层网络后的本地手势分类模型/>将WT+1或/>更新后的T值分发给Ck，其中，ks＝1,2，…，K；得到手势识别结果并输出。
具体地，步骤S2中，如图2所示，包括以下具体步骤：
步骤S201：毫米波手势识别模块进入低功耗定时模式。例如，降低毫米波手势识别模块脉冲波形的发射频率；
步骤S202：毫米波手势识别模块进行手势目标粗检测，判断是否探测到手势目标存在，若探测到手势目标存在，则执行S203，若没有探测到手势目标存在，返回执行S201。例如，对单帧中频信号采样数据进行二维傅里叶变换得到距离-多普勒图像，对距离-多普勒图像每点的能量值进行加权平均得到平均能量值EA，将EA与预先设定的阈值E进行比较，若EA>E，则表明有手部运动，则执行S203，否则，返回执行S201；
步骤S203：毫米波手势识别模块进入正常工作模式；
步骤S204：Ck处理中频信号ADC采样数据s(n)，得到手势距离-速度-角度-时间四维点云数据；其中，角度包括方位角和俯仰角；
其中，毫米波雷达发射天线发射连续波，碰到手时连续波原路返回到毫米波雷达的接收天线，接收天线收到的信号为回波信号，毫米波手势识别模块对回波信号和之前发出的连续波信号混频就得到中频信号，对中频信号进行模数转换后得到中频信号ADC采样数据；
步骤S205：Ck将四维点云数据分别降维投影至距离-时间域、速度-时间域、角度-时间域，得到如下四类手势特征图：距离-时间图RTM、速度-时间图VTM、方位角-时间图ATM、俯仰角-时间图ETM，四类手势特征图构成上一轮训练后的本地手势分类模型Wk T-1的输入其中/> 用来代表Wk T-1输入特征图的符号；
多个构成本地手势数据集Ωk，i是手势个数的索引，每一个手势输入对应一个将/>输入上一轮训练后的本地手势分类模型Wk T-1得到输出结果，由/>构成的本地手势数据集Ωk也用于训练当前训练轮次的本地手势分类模型/>
步骤S206：Ck对探测到的手势目标的手势进行分类，得到手势分类结果例如，/>代表C3的第二个输入手势的分类结果。
具体地，如图3所示，在所述步骤S204中，包括以下具体步骤：
步骤S2041：取M帧的中频信号ADC的采样数据s(n)，以进行时频变换；其中，毫米波雷达发射天线发射连续波，碰到手连续波就会原路返回到毫米波雷达的接收天线，接收天线收到的信号为回波信号，毫米波手势识别模块对回波信号和之前发出去连续波信号混频就得到中频信号，对中频信号进行模数转换后得到中频信号ADC采样数据。例如，M＝32时表示共取32帧中频信号采样数据，以进行时频变换；
步骤S2042：在单帧周期内，沿快时间维度对采样数据s(n)进行第一次时频变换F1(s(n))，得到手势距离信息；判断单帧周期是否结束，若结束，则执行S2043，若没有结束，继续执行S2042。例如，单帧周期内共有64个脉冲信号，对每个脉冲信号进行256点距离维傅里叶变换，每个频率点对应于一个距离门，由此获得手势于当前脉冲时间内的距离信息；
步骤S2043：单帧周期结束后，沿慢时间维度对采样数据s(n)进行第二次时频变换F2(s(n))，得到手势速度信息。例如，对单帧周期内所有脉冲信号进行第一次时频变换F1(s(n))后，在单个距离门内进行64点多普勒维傅里叶变换，每个多普勒频率点对应于一个速度值，由此获得手势于当前帧内的速度信息；
步骤S2044：分别沿毫米波手势识别模块接收天线的水平维度和垂直维度对采样数据s(n)进行第三次时频变换F3(s(n))，得到手势角度信息，手势角度信息为手势水平角信息和手势俯仰角信息；手势距离信息、手势速度信息、手势角度信息构成手势三维点云；判断是否遍历完M帧的中频信号ADC采样数据s(n)，若遍历完，则执行S2045，若没有遍历完，返回执行S2041。例如，发射天线数量为2，水平和垂直放置的接收天线数量分别为2和3，则天线的水平维度长度和垂直维度长度分别为4和6；
步骤S2045：循环执行步骤S2042-S2044，判断是否遍历完M帧的中频信号ADC采样数据s(n)，若遍历完，则执行S2046，若没有遍历完，返回执行S2041；
S2046：累积M帧的手势距离-速度-角度三维点云数据，得到手势距离-速度-角度-时间四维点云。
具体地，在所述步骤S3中，如图4所示，包括以下具体步骤：
步骤S301：Ck接收云服务器发送的手势分类模型WT或当前训练轮次T；其中，云服务器交换各客户端上传/>的深层网络后得到交换深层网络后的本地手势分类模型/>将/>分发给各客户端进行下一次训练，云服务器分发两种手势分类模型，一种是WT，另一种是/>
步骤S302：Ck使用本地手势数据集Ωk训练WT或更新WT或/>网络参数后得到训练好的本地手势分类模型/>
例如，表示在第二次训练中，C3使用Ω3训练W2，更新WT或/>网络参数后得到训练好的本地手势分类模型/>
步骤S303：判断当前训练轮次T是否小于规定浅层聚合轮次N1；
若当前训练轮次T小于规定浅层聚合轮次N1，则执行S304；
若当前训练轮次T不小于规定浅层聚合轮次N1，判断T是否超过当前规定训练轮次N2，若T未超过当前规定训练轮次N2，则执行S304，若T超过当前规定训练轮次N2，执行S301，Ck等待云服务器分发下一次的WT或当前训练轮次T；
步骤S304：Ck向云服务器上传训练好的本地手势分类模型的浅层网络例如，当N1＝4时，在第二次训练中，Ck向云服务器上传浅层网络在第五次训练中，判断T＝5是否超过N2；
步骤S305：Ck向云服务器上传训练好的本地手势分类模型例如，当N1＝4，N2＝8时，在第五次训练中，Ck向云服务器上传
具体地，所述步骤S4中，如图5、图6所示，包括以下具体步骤：
步骤S401：云服务器向Ck分发全局手势分类模型WT和当前训练轮次T；
步骤S402：云服务器等待所有Ck上传本地手势分类模型Wk T；判断是否T＝N1或T＝N2，若T＝N1或T＝N2，则执行S405，若T≠N1且T≠N2，执行S403；
步骤S403：云服务器聚合浅层网络，所述浅层网络为经各客户端训练后的本地手势分类模型的浅层网络判断T是否小于N1，若T小于N1，则执行T＝T+1和S401，否则，执行S404；
其中，所述聚合浅层网络公式为：
例如，当K＝3，ls＝5，L＝10，N1＝4，N2＝8时，在第二次训练中，云服务器直接聚合 和/>
步骤S404：云服务器交换深层网络，所述深层网络为经各客户端训练后的本地手势分类模型的深层网络得到新的交换深层网络后的本地手势分类模型/>分发/>和当前训练轮次T，将/>分别分发至Ck，然后执行T＝T+1和S402；
其中，云服务器交换深层网络公式为：
例如，当K＝3，ls＝5，L＝10，N1＝4，N2＝8时，在第五次训练中，云服务器交换 得到
步骤S405：云服务器全局聚合各Ck上传的本地手势分类模型得到更新后的全局手势分类模型WT+1，得到手势识别结果并输出；判断T＝N1或T＝N2，若T＝N1，则执行T＝T+1和S401；若T＝N2，云服务器进入等待状态，等待再次被唤醒，将当前训练轮次T值设为1；当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手势目标存在，则等待手势目标，当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型WT+1和交换深层网络操作得到新的交换深层网络后的本地手势分类模型/>处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
其中，全局聚合各Ck上传的本地手势分类模型公式为：
例如，当K＝3，ls＝5，L＝10，N1＝4，N2＝8时，在第四次和第八次训练中，云服务器分别聚合和/>且第八次训练结束后，云服务器进入等待状态，等待再次被唤醒并将当前训练轮次T值设为1：
本发明通过降低手势分类模型深层网络的聚合频率，减少手势识别客户端传输的手势分类模型参数，在保证手势分类模型性能的同时又降低手势识别客户端与云服务器间的通信流量，从而降低云服务器聚合的计算成本。基于手势距离和时间、速度和时间、方位角和时间、俯仰角和时间信息构造多维手势特征图，以此来拓展描述手势动作的信息维度，更高维的手势特征图提高了手势识别客户端对特定手势的识别准确率。
实施例3
本发明提供了一种基于联邦学习的毫米波手势识别系统，包括云服务器、手势识别客户端、毫米波手势识别模块、本地手势分类模型训练模块和数据处理更新模块；其中：
所述云服务器向手势识别客户端分发初始全局手势分类模型WT和当前训练轮次T；
手势识别客户端通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集，得到手势分类结果；
手势识别客户端通过本地手势分类模型训练模块，根据本地手势数据集训练得到本地手势分类模型并将训练好的/>上传至云服务器；
云服务器通过数据处理更新模块对手势识别客户端上传的的浅层网络进行聚合得到更新后的全局手势分类模型WT+1，对手势识别客户端上传的/>的深层网络进行交换深层网络操作得到新的交换深层网络后的本地手势分类模型/>将WT+1或/>更新后的T值分发给手势识别客户端。当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手势目标存在，则等待手势目标。当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型WT+1和交换深层网络操作得到新的交换深层网络后的本地手势分类模型/>处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于联邦学习的毫米波手势识别方法，其特征在于，包括以下步骤：
S1：云服务器向手势识别客户端Ck分发初始全局手势分类模型WT和当前训练轮次T；其中，WT＝{wT,1，wT,2，…，wT,L}，k＝1，2，…，K；k代表第k个客户端，K代表客户端总数；
S2：Ck通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集Ωk，得到手势分类结果；其中，毫米波手势识别模块位于Ck内部，毫米波手势识别模块分布有发射天线和接收天线；
S3：Ck使用Ωk训练得到本地手势分类模型并将训练好的/>上传至云服务器；其中，/> 包括浅层网络和深层网络，浅层网络为深层网络为/>w代表模型的各层网络，l代表第l层网络，ls代表浅层网络的最后一层的层数，L代表整个模型最后一层网络的层数；
S4：云服务器对Ck上传的的浅层网络/>进行聚合得到更新后的全局手势分类模型WT+1，对Ck上传的/>的深层网络/>进行交换深层网络操作得到交换深层网络后的本地手势分类模型/>将WT+1或/>更新后的T值分发给Ck，其中，ks＝1,2，…，K，得到手势识别结果并输出；
其中，S4包括以下步骤：
S401：云服务器向Ck分发全局手势分类模型WT和当前训练轮次T；
S402：云服务器等待所有Ck上传本地手势分类模型判断是否T＝N1或T＝N2，若T＝N1或T＝N2，则执行S405，若T≠N1且T≠N2，执行S403；其中，N1表示规定浅层聚合轮次，N2表示当前规定训练轮次；
S403：云服务器聚合浅层网络，所述浅层网络为经各客户端训练后的本地手势分类模型的浅层网络判断T是否小于N1，若T小于N1，则执行T＝T+1和S401，否则，执行S404；所述云服务器聚合浅层网络的计算公式为：
S404：云服务器交换深层网络，所述深层网络为经各客户端训练后的本地手势分类模型的深层网络得到新的交换深层网络后的本地手势分类模型分发/>和当前训练轮次T，将/>分别分发至Ck，然后执行T＝T+1和S402；
所述云服务器交换深层网络的计算公式为：
S405：云服务器全局聚合各Ck上传的本地手势分类模型得到WT+1，得到手势分类结果并输出；判断T＝N1或T＝N2，若T＝N1，则执行T＝T+1和S401；若T＝N2，云服务器进入等待状态，等待再次被唤醒，将当前训练轮次T值设为1；
所述云服务器全局聚合各Ck上传的本地手势分类模型得到WT+1，计算公式为：
当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手势目标存在，则等待手势目标，当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型WT+1和交换深层网络操作得到新的交换深层网络后的本地手势分类模型处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
2.根据权利要求1所述一种基于联邦学习的毫米波手势识别方法，其特征在于，步骤S2包括以下步骤：
S201：毫米波手势识别模块进入低功耗定时模式；
S202：毫米波手势识别模块进行手势目标粗检测，判断是否探测到手势目标存在，若探测到手势目标存在，则执行S203，若没有探测到手势目标存在，返回执行S201；
S203：毫米波手势识别模块进入正常工作模式；
S204：Ck处理中频信号ADC采样数据s(n)，得到手势距离-速度-角度-时间四维点云数据；其中，角度包括方位角和俯仰角；
其中，毫米波雷达发射天线发射连续波，碰到手时连续波原路返回到毫米波雷达的接收天线，接收天线收到的信号为回波信号，毫米波手势识别模块对回波信号和之前发出的连续波信号混频得到中频信号，对中频信号进行模数转换后得到中频信号ADC采样数据；
S205：Ck将四维点云数据分别降维投影至距离-时间域、速度-时间域、角度-时间域，得到四类手势特征图，建立本地手势数据集Ωk；
其中，四类手势特征图分别为：距离-时间图RTM、速度-时间图VTM、方位角-时间图ATM、俯仰角-时间图ETM，四类手势特征图构成上一轮训练后的本地手势分类模型Wk T-1的输入其中/> 用来代表Wk T-1输入特征图的符号；
S206：Ck对探测到的目标的手势进行分类，得到手势分类结果
3.根据权利要求2所述一种基于联邦学习的毫米波手势识别方法，其特征在于，本地手势数据集Ωk由多个构成。
4.根据权利要求2所述一种基于联邦学习的毫米波手势识别方法，其特征在于，S204包括以下步骤：
S2041：取M帧的中频信号ADC采样数据s(n)；
S2042：在单帧周期内，沿快时间维度对采样数据s(n)进行第一次时频变换F1(s(n))，得到手势距离信息；判断单帧周期是否结束，若结束，则执行S2043，若没有结束，继续执行S2042；
S2043：单帧周期结束后，沿慢时间维度对采样数据s(n)进行第二次时频变换F2(s(n))，得到手势速度信息；
S2044：分别沿毫米波手势识别模块接收天线的水平维度和垂直维度对采样数据s(n)进行第三次时频变换F3(s(n))，得到手势角度信息，手势角度信息为手势水平角信息和手势俯仰角信息；手势距离信息、手势速度信息、手势角度信息构成手势三维点云；
S2045：循环执行步骤S2042-S2044，判断是否遍历完M帧的中频信号ADC采样数据s(n)，若遍历完，则执行S2046，若没有遍历完，返回执行S2041；
S2046：累积M帧的手势距离-速度-角度三维点云数据，得到手势距离-速度-角度-时间四维点云。
5.根据权利要求1所述一种基于联邦学习的毫米波手势识别方法，其特征在于，S3包括以下步骤：
S301：Ck接收云服务器发送的手势分类模型WT或当前训练轮次T；其中，云服务器交换各客户端上传/>的深层网络后得到交换深层网络后的本地手势分类模型/>将/>分发给各客户端进行下一次训练，云服务器分发两种手势分类模型，一种是WT，另一种是/>
S302：Ck使用本地手势数据集Ωk训练WT或更新WT或/>网络参数后得到训练好的本地手势分类模型/>
S303：判断当前训练轮次T是否小于规定浅层聚合轮次N1；
若当前训练轮次T小于规定浅层聚合轮次N1，则执行S304；
若当前训练轮次T不小于规定浅层聚合轮次N1，判断T是否超过当前规定训练轮次N2，若T未超过当前规定训练轮次N2，则执行S304，若T超过当前规定训练轮次N2，执行S301，Ck等待云服务器分发下一次的WT或当前训练轮次T；
S304：Ck向云服务器上传训练好的本地手势分类模型的浅层网络
S305：Ck向云服务器上传训练好的本地手势分类模型
6.一种基于联邦学习的毫米波手势识别系统，应用于权利要求1-5任一所述的一种基于联邦学习的毫米波手势识别方法，其特征在于，包括云服务器、手势识别客户端、毫米波手势识别模块、本地手势分类模型训练模块和数据处理更新模块；其中：
所述云服务器向手势识别客户端分发初始全局手势分类模型WT和当前训练轮次T；
手势识别客户端通过毫米波手势识别模块采集手势信息，得到手势特征图，建立本地手势数据集，得到手势分类结果；
手势识别客户端通过本地手势分类模型训练模块，根据本地手势数据集训练得到本地手势分类模型并将训练好的/>上传至云服务器；
云服务器通过数据处理更新模块对手势识别客户端上传的的浅层网络进行聚合得到更新后的全局手势分类模型WT+1，对手势识别客户端上传的/>的深层网络进行交换深层网络操作得到新的交换深层网络后的本地手势分类模型/>将WT+1或/>更新后的T值分发给手势识别客户端，当有目标进行手势识别时，手势识别客户端的毫米波手势识别模块对手势目标进行检测，判断是否有手势目标存在，若探测到手势目标存在，则毫米波手势识别模块进入正常工作模式，若没有探测到手势目标存在，则等待手势目标，当检测到手势目标时，毫米波手势识别模块进入正常工作模式，手势识别客户端处理得到手势特征图，本地手势数据集；手势识别客户端利用浅层网络进行聚合得到更新后的全局手势分类模型WT +1和交换深层网络操作得到新的交换深层网络后的本地手势分类模型/>处理由手势特征图构成的本地手势数据集，得到手势识别结果并输出。
CN202210171022.9A 2022-02-23 2022-02-23 一种基于联邦学习的毫米波手势识别方法及系统 Active CN114740970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210171022.9A CN114740970B (zh) 2022-02-23 2022-02-23 一种基于联邦学习的毫米波手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210171022.9A CN114740970B (zh) 2022-02-23 2022-02-23 一种基于联邦学习的毫米波手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN114740970A CN114740970A (zh) 2022-07-12
CN114740970B true CN114740970B (zh) 2024-05-24

Family

ID=82275701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210171022.9A Active CN114740970B (zh) 2022-02-23 2022-02-23 一种基于联邦学习的毫米波手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN114740970B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108344995A (zh) * 2018-01-25 2018-07-31 宁波隔空智能科技有限公司 一种基于微波雷达技术的手势识别装置及手势识别方法
WO2019080203A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 一种机器人的手势识别方法、系统及机器人
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN112052959A (zh) * 2020-09-04 2020-12-08 深圳前海微众银行股份有限公司 基于联邦学习的自动驾驶训练方法、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061389B2 (en) * 2014-06-03 2018-08-28 Beijing TransBorder Information Technology Co., Ltd. Gesture recognition system and gesture recognition method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080203A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 一种机器人的手势识别方法、系统及机器人
CN108344995A (zh) * 2018-01-25 2018-07-31 宁波隔空智能科技有限公司 一种基于微波雷达技术的手势识别装置及手势识别方法
WO2020216316A1 (zh) * 2019-04-26 2020-10-29 纵目科技（上海）股份有限公司 基于毫米波雷达的辅助驾驶系统、方法、终端和介质
CN112052959A (zh) * 2020-09-04 2020-12-08 深圳前海微众银行股份有限公司 基于联邦学习的自动驾驶训练方法、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的手势识别方法;杨文斌;杨会成;;安徽工程大学学报;20180215(01);全文 *

Also Published As

Publication number Publication date
CN114740970A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
Liu et al. Deep instance segmentation with automotive radar detection points
Wan et al. UAV swarm based radar signal sorting via multi-source data fusion: A deep transfer learning framework
CN110348288A (zh) 一种基于77GHz毫米波雷达信号的手势识别方法
CN111461037B (zh) 一种基于fmcw雷达的端到端手势识别方法
CN114423034B (zh) 一种室内人员动作识别方法、系统、介质、设备及终端
CN101877134B (zh) 一种机场监视视频目标鲁棒跟踪方法
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
CN114741185A (zh) 面向多目标视频监控的边缘计算系统及其工作方法
Jin et al. Interference-robust millimeter-wave radar-based dynamic hand gesture recognition using 2D CNN-transformer networks
Zhong et al. A climate adaptation device-free sensing approach for target recognition in foliage environments
Tong et al. A fine-grained channel state information-based deep learning system for dynamic gesture recognition
CN114740970B (zh) 一种基于联邦学习的毫米波手势识别方法及系统
CN114676727B (zh) 一种基于csi的与位置无关的人体活动识别方法
Yang et al. A lightweight multi-scale neural network for indoor human activity recognition based on macro and micro-doppler features
Zhang et al. WiNum: A WiFi finger gesture recognition system based on CSI
Yang et al. Recognition for human gestures based on convolutional neural network using the off-the-shelf Wi-Fi routers
CN115757828A (zh) 一种基于辐射源知识图谱的空中目标意图识别方法
CN114724245A (zh) 基于csi的增量学习人体动作识别方法
Bulugu Gesture recognition system based on cross-domain CSI extracted from Wi-Fi devices combined with the 3D CNN
Lin et al. Deep-learning based decentralized frame-to-frame trajectory prediction over binary range-angle maps for automotive radars
CN103268586A (zh) 一种基于热扩散理论的窗融合方法
Li et al. A lightweight mobile temporal convolution network for multi-location human activity recognition based on wi-fi
Wang et al. Matched averaging federated learning gesture recognition with WiFi signals
Li et al. Dynamic Gesture Recognition Method Based on Millimeter-Wave Radar
Zhou et al. Multi-modal fusion for millimeter-wave communication systems: A spatio-temporal enabled approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant