CN115294648A - 一种人机手势交互方法、装置、移动终端及存储介质 - Google Patents

Abstract

本发明公开了一种人机手势交互方法、装置、移动终端及存储介质。所述方法包括：采集用户执行空中手势产生无线电信号变化的信道状态信息数据；将所述信道状态信息数据进行预处理后得到预测样本；将预先获取的多个标准手势对应的数据样本作为支持样本；将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果；执行所述手势分类结果对应的操作，以实现人机手势交互。该方法基于信道状态信息的无线感知技术实现人机之间的无接触式交互，小样本学习网络模型可以实现在少量样本时可实现手势的精准分类，该方法可以适用于不同的测试场景，具有良好的迁移性。

Description

一种人机手势交互方法、装置、移动终端及存储介质

技术领域

本发明实施例涉及智能设备的人机交互技术领域，尤其涉及一种人机手势交互方法、装置、移动终端及存储介质。

背景技术

随着物联网技术的兴起，各种各样的智能设备的出现改变了人们的生活。人机交互技术已经成为物联网技术中重要的一环。手势交互方式因其简单直观，表达信息丰富，易于学习等优点，成为人机交互技术中一种重要且普遍的交互方式。手势识别技术在智能设备控制、虚拟游戏，自动驾驶辅助系统和手语识别等领域有诸多应用。

传统的手势识别方法可划分为基于接触式传感器和非接触式传感器。基于接触式传感器的手势识别技术依赖于专用传感器实现细粒度的行为感知，但由于传感器携带不便，设备昂贵等因素导致基于此类方法的手势识别系统难以广泛应用。基于非接触式传感器的手势识别通常使用计算机视觉技术，但是此类方法需消耗较大的计算量，识别效果易受光照条件的影响，同时由于摄像头存在监测盲区，只能实现视距下特定范围内的行为感知。

发明内容

本发明提供了一种人机手势交互方法、装置、移动终端及存储介质，以解决现有技术无法对用户手势进行准确有效的识别。

根据本发明的一方面，提供了一种人机手势交互方法，包括：

采集用户执行空中手势产生无线电信号变化的信道状态信息数据；

将所述信道状态信息数据进行预处理后得到预测样本；

将预先获取的多个标准手势对应的数据样本作为支持样本；

将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果；

执行所述手势分类结果对应的操作，以实现人机手势交互。

根据本发明的另一方面，提供了一种人机手势交互装置，包括：

采集模块，用于采集用户执行空中手势产生无线电信号变化的信道状态信息数据；

预处理模块，用于将所述信道状态信息数据进行预处理后得到预测样本；

预先获取模块，用于将预先获取的多个标准手势对应的数据样本作为支持样本；

输入模块，用于将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果；

执行模块，用于执行所述手势分类结果对应的操作，以实现人机手势交互。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的人机手势交互方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的人机手势交互方法。

本发明实施例的技术方案，通过信道状态信息数据和小样本学习网络模型，解决了现有手势交互技术中使用传感器带来携带不便，设备昂贵的问题以及使用计算机视觉技术易受光照影像的问题。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一所提供的一种人机手势交互方法的流程示意图；

图2为本发明实施例一所提供的小样本学习网络模型中的深度特征提取子网络的示意图；

图3为本发明实施例一所提供的小样本学习网络模型中的深度相似性度量子网络的示意图；

图4为本发明示例实施例提供的一种人机手势交互方法的流程示意图；

图5为本发明实施例三所提供的一种人机手势交互装置的结构示意图；

图6为本发明实施例的人机手势交互方法的移动终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

实施例一

图1为本发明实施例一所提供的一种人机手势交互方法的流程示意图，该方法可适用于用户和移动终端无接触的情况下，通过空中手势与移动终端之间进行信息交互，该方法可以由人机手势交互装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在移动终端上，在本实施例中移动终端包括但不限于：智能手机设备、电脑和平板等。

如图1所示，本发明实施例一提供的一种人机手势交互方法，包括如下步骤：

S110、采集用户执行空中手势产生无线电信号变化的信道状态信息数据。

在本实施例中，可以通过基于信道状态信息的无线感知技术采集信道状态信息数据。用户面对移动终端做空中手势，移动终端可以基于信道状态信息的无线感知技术采集空中手势产生的无线电信号变化的信道状态信息数据。

需要说明的是，信道状态信息(Channel State Information，CSI)作为WiFi信号的信号描述符，用来描述无线通信链路的信道属性，例如信号散射，多径衰落和距离功率衰减等信息。通简而言之，信道状态信息可以用来描述无线信号如何以特定的载波频率从发射机传播到接收机。一个信道状态信息数据包中包含多个子载波的频率响应，而非经过多径传播后各路子载波信号的叠加响应，因此信道状态信息信号可以对频率选择性信道进行更精细的描述，适用于各种动作识别场景。

需要说明的是，信号发射机产生的无线电波在传播过程中会发生直射、反射、散射等物理现象，从而形成多条传播路径。在信号接收机处形成的多径叠加信号携带了反映信号传播空间的信息。无线感知技术通过分析无线信号在传播过程中的变化，获得信号传播空间的特性，以实现场景的感知。

在本实施例中，在采集信道状态信息数据之前，还需要在移动终端上搭建无线感知环境，以采用无线感知技术分析无线信息在传播空间中的变化，获得信号传播空间的特性，实现人体行为的感知。此处不限制以何种方式搭建无线感知环境，示例性的，可以使用Atheros CSI工具从装有修改过的无线网卡的移动终端中采集信道状态信息数据，并采用两个型号为Atheros AR9580的无线网卡分别作为信号发送端和信号接收端，搭建无线感知环境。

S120、将所述信道状态信息数据进行预处理后得到预测样本。

在本实施例中，可以将信道状态信息数据进行预处理后得到的图像数据作为预测样本。对数据进行预处理后可以提高数据的鲁棒性。

本实施例中，在采集信道状态信息数据的过程中，由于采集环境以及采集设备本身的噪声，以及无线信号在实际传播过程中的多径效应以及信号衰减等因素的影响，会对无线信号变化造成极大干扰。为了提高手势分类的准确度，需要通过对信道状态信息数据进行预处理操作，以消除上述因素对无线信号变化造成的干扰。

本实施例中对预处理的过程不作具体限制，可以通过任意处理方式消除信道状态信息中的干扰因素，并将消除干扰后的信道状态数据转换为图像数据。

优选的，预处理过程可以包括将信道状态信息数据的随机相位偏移和干扰噪声消除，并将消除后的信道状态数据转换为图像数据。

具体的，将所述信道状态信息数据进行预处理后得到预测样本，包括：消除所述信道状态信息数据的随机相位偏移得到第一信道状态信息数据；通过滤波器将所述第一信道状态信息数据中的噪声消除得到第二信道状态信息数据；将所述第二信道状态信息数据使用矩阵拼接算法转化为信道状态信息图像数据得到预测样本。

其中，第一信道状态数据可以理解为信道状态信息数据消除随机相位偏移后的数据；可以通过随机相位偏移消除法消除信道状态信息数据的随机相位偏移，以恢复原始信号中丢失的信息。

其中，第二信道状态数据可以理解为将第一信道状态信息数据中的干扰消除后得到的数据；可以通过FIR滤波器滤除第一信道状态信息数据中的干扰噪声。

S130、将预先获取的多个标准手势对应的数据样本作为支持样本。

本实施例中，预先获取多个标准手势对应的数据样本的方式可以为：采集用户执行多个标准空中手势产生无线电信号变化的信道状态数据信息，将该信道状态信息数据进行预处理得到多个标准手势对应的数据样本。其中，预处理过程与S120所述的预处理过程相同，此处不作赘述。

其中，标准空中手势可以包括多个类别的手势动作，多个类别的手势动作可以包括左滑、右滑、上滑、下滑、推和拉等。此处对标准手势所包括的手势类别不作具体限制，根据实际需求采集即可。

需要说明的是，支持样本中的多个标准手势对应的数据样本携带有对应的手势类别标签，每个手势类别标签表征标准手势的手势类别。

S140、将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果。

在本实施例中，通过小样本学习网络模型实现手势分类。

其中，小样本学习网络模型在学习了一定类别的大量数据后，能够利用先验致使，快速泛化至仅包括少量样本的分类问题中。

其中，小样本学习网络模型为基于预先获取的用户执行不同空中手势产生无限电信号变化的信道状态信息数据进行模型训练和模型测试后得到的。

在本实施例中，将预测样本和支持样本输入到小样本学习网络模型中，可以输出预测样本对应的手势分类结果。

具体的，所述小样本学习网络模型由深度特征提取子网络和深度相似性度量子网络构成，相应的，所述将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果，包括：将所述预测样本和所述支持样本输入所述深度特征提取子网络，输出所述预测样本和所述支持样本的组合特征，所述组合特征包括所述预测样本与所述支持样本中的每个标准手势对应的数据样本的组合特征；将所述组合特征输入到所述深度相似性度量子网络，输出所述预测样本和所述支持样本的相似度得分，所述相似度得分包括所述预测样本和所述支持样本中的每个标准手势对应的数据样本的相似度得分；根据所述相似度得分确定所述预测样本对应的手势分类结果。

其中，小样本学习网络模型由深度特征提取子网络和深度相似性度量子网络组成，本实施例中采用卷积神经网络的基础结构，即卷积层、池化层、激活层和全连接层来分别搭建深度特征提取子网络和深度相似性度量子网络。

进一步的，所述深度特征提取子网络将所述预测样本和所述支持样本映射到特征空间，分别得到预测样本特征图和支持样本特征图；将所述预测样本特征图和所述支持样本特征图在深度上进行拼接得到所述预测样本和所述支持样本的组合特征。

进一步的，所述根据所述相似度得分确定所述预测样本对应的手势分类结果，包括：将所述相似度得分中最高得分的标准手势对应的数据样本所属的手势类别作为所述预测样本对应的手势分类结果。

其中，相似度得分代表支持样本和预测样本之间的相似度，相似度越高则代表预测样本和支持样本的同属于一个手势类别，根据该支持样本即相似度得分中最高得分的标准手势对应的数据样本的手势标签即可得到测试样本对应的手势类别。

需要说明的是，所述深度特征提取子网络中包括轻量化的移动模块，所述移动模块包括点卷积层、规范化层、激活层、深度卷积层以及通道注意力机制。

在本实施例中，通过在深度特征提取子网络中引用多个的轻量化的移动模块，可以大大减少网络模型的参数量，减少计算资源的消耗和内存的占用，提高其在移动终端上的可移植性。

图2为本发明实施例一所提供的小样本学习网络模型中的深度特征提取子网络的示意图，如图2所示，深度特征提取子网络由1个卷积模块和5个移动模块构成。其中，卷积模块包括卷积层、规范化层以及激活层；移动模块包括三个部分，第一部分包括点卷积层、规范化层和激活层，第二部分包括深度卷积层、规范化层、通道注意力机制以及激活层，第三部分包括点卷积层和规范化层。

图3为本发明实施例一所提供的小样本学习网络模型中的深度相似性度量子网络的示意图，如图3所示，深度相似性度量子网络由卷积模块、池化层、卷积层、平坦层以及全连接层构成。组合特征输入深度相似性度量子网络后，依次通过卷积模块、池化层、卷积层、平坦层以及全连接层输出相似性得分。

进一步的，所述小样本学习网络模型基于模型训练和模型测试后得到，所述模型训练基于训练集进行训练，所述模型测试基于测试集进行测试，所述训练集和所述测试集基于预先获取的信道状态信息数据构建。其中，预先获取的信道状态信息数据可以包括预先由多个用户在不同环境下执行多个类别的空中手势得到的信道状态信息数据。

基于预先获取的信道状态信息数据构建训练集和测试集包括：将预先获取的信道状态信息数据进行预处理得到数据样本，将数据样本按照预设比例划分为训练集和测试集。

进一步的，所述训练集包括训练支持集和训练预测集，相应的，基于训练集进行模型训练包括：将从所述训练支持集中选取的多个训练支持样本以及从所述训练预测集中选取的一个训练预测样本输入所述小样本学习网络模型中进行模型训练。

其中，训练支持集中的训练支持样本具有正确手势类别的标签。此处对模型训练的具体过程不做赘述。

在本实施例中，由于训练集和测试集中的样本是基于用户在不同环境下执行多个类别的空中手势得到的信道状态信息数据构建的，因此模型训练是基于场景的训练策略，可以解决现有技术中普遍存在的域偏移问题，该网络模型在多个不同的测试场景中也具有良好的识别效果，可扩展性和普适性强，大大提高了手势交互技术的实用性。

进一步的，所述测试集包括测试支持集和测试预测集，在模型训练过程中，将所述训练支持集和所述训练预测集进行仿真后得到的样本对应加入所述测试支持集和所述测试预测集中。

其中，测试支持集中的测试支持样本具有正确手势类别的标签。

在本实施例中，在每次的模型训练迭代过程中，都可以将训练支持集和训练预测集进行仿真后得到的样本对应加入所述测试支持集和所述测试预测集中。一直重复迭代过程，直到模型收敛，此时意味着模型可以从模型训练中学习到可迁移的相似度度量知识，以及从训练支持集中学习特征知识，并将学习到的知识应用到新的测试域，以此解决跨域识别的问题。

S150、执行所述手势分类结果对应的操作，以实现人机手势交互。

在本实施例中，移动终端执行手势分类结果对应的操作，即实现了用户对移动终端的操作。

示例性的，若手势分类结果为上滑，则移动终端可以执行上滑操作，以实现人机手势交互。

本发明实施例一提供的一种人机手势交互方法，首先采集用户执行空中手势产生无线电信号变化的信道状态信息数据；其次将所述信道状态信息数据进行预处理后得到预测样本；然后将预先获取的多个标准手势对应的数据样本作为支持样本；之后将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果；最终执行所述手势分类结果对应的操作，以实现人机手势交互。该方法不受光照条件的限制，无需佩戴或安装其他传感器，同时其非接触式的交互方法具有较好的便捷性、鲁棒性和泛化性；该方法采用的小样本学习网络模型中引用了多个轻量化模块，大大减少了模型的参数量，减少计算资源的消耗和内存的占用。此外，该方法采用基于场景的训练策略，解决了现有方案中普遍存在的域偏移问题，在多个不同的测试场景中也具有良好的识别效果，提高了模型的实用性。

图4为本发明示例实施例提供的一种人机手势交互方法的流程示意图，如图4所示，该方法包括如下流程：CSI数据采集；对CSI数据进行预处理后得到支持样本和测试样本；将测试样本和支持样本输入轻量级小样本学习网络模型，通过深度特征提取子网输出组合特征，将组合特征输入深度相似性鉴别子网即深度相似性度量子网络，输出预测结果即手势分类结果。

实施例二

本发明实施例在上述各实施例的技术方案的基础上，提供了一种具体的实施方式。

作为一种具体的实施方式，包括如下步骤：

步骤1、采集信道状态信息数据：使用CSI数据采集工具Atheros CSI Tool、TPLINKN750 routers，在采样率为40packages/s，发送与接收装置相距0.75米的设置下，由5个体型不同的用户在两种场景下执行6类空中手势，6类空中手势包括上滑、下滑、左滑、右滑、推和拉，每个空中手势重复执行20次，采集120个信道状态信息数据。

步骤2、数据预处理：在CSI数据采集过程中，为了提高手势识别的准确度，在信号处理模块用随机相位偏移消除法、FIR滤波器对CSI数据进行预处理，减少CSI数据中无关的背景噪声对手势识别准确度的影响，并将预处理后的CSI数据用矩阵拼接算法转化为图像数据。

步骤3、构建训练集和测试集：将预处理后的信道状态信息数据根据采集场景不同分为场景a和场景b两大类数据集，再将两大类数据集中的样本根据用户体型的不同分类5小类数据集；将预处理后的信道状态信息数据按照7:3的比例划分为训练集和测试集，训练集和测试集又分别按照3:7的比例划分为训练支持集和训练预测集，以及测试支持集和测试预测集。

步骤4、对小样本学习网络模型进行训练。

步骤4.1、从步骤3得到的训练集中随机选取3个不同类别，每个类别选取3个训练支持样本和1个训练预测样本输入深度特征特征提取子网；深度特征提取子网将样本映射到特征空间并分别得到支持样本和预测样本的特征图；将两个特征图在深度上进行拼接，得到的组合特征输入深度相似性度量子网。

步骤4.2、深度相似性度量子网从组合特征提取表征信息，将学习到的分布式特征映射到样本标记空间，并以Sigmoid作为激活函数，输出0-1范围内的手势相似度得分，将相似度得分最高的支持样本对应的手势类别作为预测样本的手势类别。

步骤5、模型校准：在新场景下采集3个用户分别执行6种类别的标准手势的信道状态信息数据，经过数据预处理后输入到小样本学习网络模型中用于模型校准。

步骤6、将步骤5中采集的标准手势经过预处理后作为支持样本，将用户执行的空中手势的信道状态信息数据进行预处理后作为支持样本输入小样本学习网络模型，输出户执行的空中手势对应的手势分类结果；将手势分类结果与移动终端内的应用程序控制动作相匹配，进而执行对应操作。

本发明实施例二提供的一种人机手势交互方法，解决了传统的基于摄像头或传感器的手势交互方式由于受光照条件，安装和携带不便，以及设备昂贵等因素的限制难以广泛应用的问题。该方法将无线感知技术与小样本学习算法相结合，采用基于场景的训练策略，充分发挥无线感知技术非视距、低成本、非接触式的优点，以及神经网络在图像特征提取方面的优势，实现在采集少量样本的前提下，即可达到常用交互手势的精准识别效果。

实施例三

图5为本发明实施例三所提供的一种人机手势交互装置的结构示意图，该装置可适用于用户和移动终端无接触的情况下，通过空中手势与移动终端之间进行信息交互，其中该装置可由软件和/或硬件实现，并一般集成在移动终端设备上。

如图5所示，该装置包括：采集模块110、预处理模块120、预先获取模块130、输入模块140以及执行模块150。

采集模块110，用于采集用户执行空中手势产生无线电信号变化的信道状态信息数据；

预处理模块120，用于将所述信道状态信息数据进行预处理后得到预测样本；

预先获取模块130，用于将预先获取的多个标准手势对应的数据样本作为支持样本；

输入模块140，用于将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果；

执行模块150，用于执行所述手势分类结果对应的操作，以实现人机手势交互。

在本实施例中，该装置首先通过采集模块110采集用户执行空中手势产生无线电信号变化的信道状态信息数据；其次通过预处理模块120将所述信道状态信息数据进行预处理后得到预测样本；然后通过预先获取模块130将预先获取的多个标准手势对应的数据样本作为支持样本；之后通过输入模块140将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果；最后通过执行模块150执行所述手势分类结果对应的操作，以实现人机手势交互。

本实施例提供了一种人机手势交互装置，能够实现手势的精准分类，可以适用于不同的测试场景，具有良好的迁移性。

进一步的，预处理模块120具体用于：消除所述信道状态信息数据的随机相位偏移得到第一信道状态信息数据；通过滤波器将所述第一信道状态信息数据中的噪声消除得到第二信道状态信息数据；将所述第二信道状态信息数据使用矩阵拼接算法转化为信道状态信息图像数据得到预测样本。

进一步的，所述小样本学习网络模型由深度特征提取子网络和深度相似性度量子网络构成，相应的，输入模块140具体用于：将所述预测样本和所述支持样本输入所述深度特征提取子网络，输出所述预测样本和所述支持样本的组合特征，所述组合特征包括所述预测样本与所述支持样本中的每个标准手势对应的数据样本的组合特征；将所述组合特征输入到所述深度相似性度量子网络，输出所述预测样本和所述支持样本的相似度得分，所述相似度得分包括所述预测样本和所述支持样本中的每个标准手势对应的数据样本的相似度得分；根据所述相似度得分确定所述预测样本对应的手势分类结果。

基于上述技术方案，所述深度特征提取子网络用于将所述预测样本和所述支持样本映射到特征空间，分别得到预测样本特征图和支持样本特征图，将所述预测样本特征图和所述支持样本特征图在深度上进行拼接得到所述预测样本和所述支持样本的组合特征。

进一步的，所述根据所述相似度得分确定所述预测样本对应的手势分类结果，包括：将所述相似度得分中最高得分的标准手势对应的数据样本所属的手势类别作为所述预测样本对应的手势分类结果。

进一步的，所述深度特征提取子网络中包括轻量化的移动模块，所述移动模块包括点卷积层、规范化层、激活层、深度卷积层以及通道注意力机制。

进一步的，所述小样本学习网络模型基模型训练和模型测试后得到，所述模型训练基于训练集进行训练，所述模型测试基于测试集进行测试，所述训练集和所述测试集基于预先获取的信道状态信息数据构建；

所述训练集包括训练支持集和训练预测集，相应的，基于训练集进行模型训练包括：将从所述训练支持集中选取的多个训练支持样本以及从所述训练预测集中选取的一个训练预测样本输入所述小样本学习网络模型中进行模型训练。

进一步的，所述测试集包括测试支持集和测试预测集，在模型训练过程中，将所述训练支持集和所述训练预测集进行仿真后得到的样本对应加入所述测试支持集和所述测试预测集中。

上述人机手势交互装置可执行本发明任意实施例所提供的人机手势交互方法，具备执行方法相应的功能模块和有益效果。

实施例四

图6示出了可以用来实施本发明的实施例的移动终端10的结构示意图。移动终端旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。移动终端还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，移动终端10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储移动终端10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

移动终端10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许移动终端10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如人机手势交互方法。

在一些实施例中，人机手势交互方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的人机手势交互方法中的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人机手势交互方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在移动终端上实施此处描述的系统和技术，该移动终端具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给移动终端。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种人机手势交互方法，其特征在于，所述方法包括：

采集用户执行空中手势产生无线电信号变化的信道状态信息数据；

将所述信道状态信息数据进行预处理后得到预测样本；

将预先获取的多个标准手势对应的数据样本作为支持样本；

将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果；

执行所述手势分类结果对应的操作，以实现人机手势交互。

2.根据权利要求1所述的方法，其特征在于，将所述信道状态信息数据进行预处理后得到预测样本，包括：

消除所述信道状态信息数据的随机相位偏移得到第一信道状态信息数据；

通过滤波器将所述第一信道状态信息数据中的噪声消除得到第二信道状态信息数据；

将所述第二信道状态信息数据使用矩阵拼接算法转化为信道状态信息图像数据得到预测样本。

3.根据权利要求1所述的方法，其特征在于，所述小样本学习网络模型由深度特征提取子网络和深度相似性度量子网络构成，相应的，所述将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果，包括：

将所述预测样本和所述支持样本输入所述深度特征提取子网络，输出所述预测样本和所述支持样本的组合特征，所述组合特征包括所述预测样本与所述支持样本中的每个标准手势对应的数据样本的组合特征；

将所述组合特征输入到所述深度相似性度量子网络，输出所述预测样本和所述支持样本的相似度得分，所述相似度得分包括所述预测样本和所述支持样本中的每个标准手势对应的数据样本的相似度得分；

根据所述相似度得分确定所述预测样本对应的手势分类结果。

4.根据权利要求3所述的方法，其特征在于，所述深度特征提取子网络用于将所述预测样本和所述支持样本映射到特征空间，分别得到预测样本特征图和支持样本特征图，将所述预测样本特征图和所述支持样本特征图在深度上进行拼接得到所述预测样本和所述支持样本的组合特征。

5.根据权利要求3所述的方法，其特征在于，所述根据所述相似度得分确定所述预测样本对应的手势分类结果，包括：

将所述相似度得分中最高得分的标准手势对应的数据样本所属的手势类别作为所述预测样本对应的手势分类结果。

6.根据权利要求3所述的方法，其特征在于，所述深度特征提取子网络中包括轻量化的移动模块，所述移动模块包括点卷积层、规范化层、激活层、深度卷积层以及通道注意力机制。

7.根据权利要求1所述的方法，其特征在于，所述小样本学习网络模型基模型训练和模型测试后得到，所述模型训练基于训练集进行训练，所述模型测试基于测试集进行测试，所述训练集和所述测试集基于预先获取的信道状态信息数据构建；

所述训练集包括训练支持集和训练预测集，相应的，基于训练集进行模型训练包括：将从所述训练支持集中选取的多个训练支持样本以及从所述训练预测集中选取的一个训练预测样本输入所述小样本学习网络模型中进行模型训练。

8.根据权利要求7所述的方法，其特征在于，所述测试集包括测试支持集和测试预测集，在模型训练过程中，将所述训练支持集和所述训练预测集进行仿真后得到的样本对应加入所述测试支持集和所述测试预测集中。

9.一种人机手势交互装置，其特征在于，所述装置包括：

采集模块，用于采集用户执行空中手势产生无线电信号变化的信道状态信息数据；

预处理模块，用于将所述信道状态信息数据进行预处理后得到预测样本；

预先获取模块，用于将预先获取的多个标准手势对应的数据样本作为支持样本；

输入模块，用于将所述预测样本和所述支持样本输入到小样本学习网络模型中，得到手势分类结果；

执行模块，用于执行所述手势分类结果对应的操作，以实现人机手势交互。

10.一种移动终端，其特征在于，所述移动终端包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的人机手势交互方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的人机手势交互方法。

Images