CN113963211A - 一种用于手势识别的无监督域适应训练方法及系统 - Google Patents

Abstract

本发明公开了一种用于手势识别的无监督域适应训练方法，包括：获取经检测得到的针对人体手势的信道状态信息；处理信道状态信息，获得人体坐标系下速度谱的特征，其中，人体坐标系下速度谱的特征包括多个域数据；将多个域数据分类为源域数据和目标域数据；将目标域数据进行增强，获得增强后的目标域数据；将源域数据、目标域数据和增强后的目标域数据输入到手势分类模型中，获得手势识别结果；根据损失函数，利用手势识别结果，获得训练完成的手势分类模型。本发明同时还公开了一种用于手势识别的无监督域适应方法、电子设备、计算机可读存储介质以及计算机程序产品。

Description

一种用于手势识别的无监督域适应训练方法及系统

技术领域

本发明属于信号处理领域，具体涉及一种用于手势识别的无监督域适应训练方法以及一种用于手势识别的无监督域适应方法、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人机交互广泛应用于智能家居、医疗健康、虚拟现实等很多领域。而手势识别是人机交互的关键技术。现有的基于视觉、可穿戴设备的手势识别技术存在隐私泄露、受光照条件影响、物理接触等缺陷。因此，无线手势识别技术越来越受到重视。

基于WiFi的无线手势识别技术已经取得诸多的进展。然而在实际部署时，模型的鲁棒性并不是很好。这是由于接收端接受到的信号中不仅包含与手势相关的信息，同时也包含与环境、对象、位置和方向相关的信息。通常把这些与手势无关的信息统称为“域”信息。一般情况下，在特定的域上训练好的模型在新域上的性能会出现明显的下降。同时，有的模型结构复杂，训练难度大；有的模型部署很困难等等。

发明内容

有鉴于此，本发明的主要目的是提供用于手势识别的无监督域适应训练方法以及一种用于手势识别的无监督域适应方法、电子设备、计算机可读存储介质和计算机程序产品，以期至少部分地解决上述提及的技术问题中的至少之一。

根据本发明的第一方面提供了一种用于手势识别的无监督域适应训练方法，包括：

获取经检测得到的针对人体手势的信道状态信息；

处理信道状态信息，获得人体坐标系下速度谱的特征，其中，人体坐标系下速度谱的特征包括多个域数据；

将多个域数据分类为源域数据和目标域数据，其中，源域数据带有标签值，目标域数据不具有标签值；

将目标域数据进行增强，获得增强后的目标域数据；

将源域数据、目标域数据和增强后的目标域数据输入到手势分类模型中，获得手势识别结果，其中，手势识别结果包括源域数据类型预测值、目标域数据类型预测值和增强后的目标域数据类型预测值；

根据损失函数，利用手势识别结果，获得训练完成的手势分类模型。

根据本发明的实施例，上述根据损失函数，利用手势识别结果，获得训练完成的手势分类模型包括：

根据有监督损失函数，计算源域数据的标签值和源域数据类别值的损失，获得有监督损失值；

根据预设值，筛选目标域数据的类型预测值，获得筛选后的目标域数据的类型预测值；

根据无监督损失函数，计算增强后的目标域数据类型预测值和筛选后的目标域数据类别预测值的损失，获得无监督损失值；

根据自信度损失函数，计算筛选后的目标域数据类别预测值的损失，获得自信度损失值；

将有监督损失值、无监督损失值和自信度损失值进行运算，获得手势分类模型的总损失函数值；

根据总损失函数值，训练手势分类模型，获得训练完成的手势分类模型。

根据本发明的实施例，上述有监督损失函数由式(1)表示：

其中，|X^l|表示源域数据的数量，

表示源域数据的标签值，

表示源域数据类型预测值，C代表手势类别。

根据本发明的实施例，上述无监督损失函数由式(2)表示：

其中，|y^u|表示筛选后的目标域数据类别预测值的数量，

表示筛选后的目标域数据类别预测值，

表示增强后的目标域数据类型预测值，C代表手势类别。

根据本发明的实施例，上述自信度损失函数由式(3)表示：

其中，|y^u|表示筛选后的目标域数据类别预测值的数量，

表示筛选后的目标域数据类型预测值，C代表手势类别。

根据本发明的实施例，上述信道状态信息包括静止的环境信息和运动部位的运动信息。

根据本发明的第二方面，提供了一种用于手势识别的无监督域适应方法，包括：

获取目标人体手势的信道状态信息；

处理信道状态信息，获得人体坐标系下速度谱的特征；

将人体坐标系下速度谱的特征输入到手势分类模型中，获得手势识别结果，其中，手势分类模型由上述用于手势识别的无监督域适应训练方法训练得到。

根据本发明的第三方面，提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述用于手势识别的无监督域适应训练方法或上述用于手势识别的无监督域适应方法。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述用于手势识别的无监督域适应训练方法或上述用于手势识别的无监督域适应方法。

根据本发明的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述用于手势识别的无监督域适应训练方法或上述用于手势识别的无监督域适应方法。

本发明实施例提供的上述训练方法，通过利用CSI信号中未标记的目标域数据的信息，能够获得具有良好跨域识别能力的手势识别模型。同时，本发明实施例提供的上述用于手势识别的无监督域适应方法，有利于提升手势识别模型的跨域能力。

附图说明

图1是根据本发明实施例用于手势识别的无监督域适应训练方法；

图2是根据本发明实施例的获取CSI的示意图；

图3是根据本发明实施例的获得训练完成手势分类模型的过程图；

图4是根据本发明实施例的手势分类模型结构图；

图5是根据本发明实施例的无监督域适应框架图；

图6是根据本发明的实施例的用于手势识别的无监督域适应系统结构图；

图7示意性示出了根据本发明实施例的适于实现用于手势识别的无监督域适应训练方法或用于手势识别的无监督域适应方法的电子设备框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

WiFi由于其无处不在的特性和非接触性被用于无线感知领域。信号从发射端到接收端，由于要经过信道的传播，其信息特征会发生改变。WiFi设备中的信道状态信息(Channel State Information,CSI)描述了信号在传播过程中经历的改变。CSI中包含着静止的环境信息和运动部位运动信息，可以利用CSI对环境中的个体的行为进行感知。已有的研究通过对CSI信号预处理和搭建深度学习分类模型已经很好地实现了对室内行为和室内手势进行识别。针对如何增强手势识别模型跨域能力的研究已经取得了一定的进展，一些研究通过对CSI(Channel State Information,CSI)信号进行预处理或者数学建模，期望得到域不变的特征。还有的方法在分类模型之外构建域判别器，通过对抗训练使特征提取器能自动提取域不变的特征。

本发明发现充分利用目标域的信息对提升模型的的跨域能力具有很大的帮助。这是因为已有的工作虽然期望获取域无关的特征，但这并不能得到完全跟域无关的特征。因为模型不能完全消除域的影响。目标域的数据中包含目标域的域信息，如果不能完全消除域信息的影响，那么利用目标域的域信息会提升模型在目标域上的性能。然而，目标域的数据往往没有标签，如何利用好这些未标记的目标域数据是利用好目标域的域信息的关键，从而会对提升模型的跨域能力有很大的帮助。

图1是根据本发明实施例用于手势识别的无监督域适应训练方法；如图1所示，包括操作S110～操作S160。

在操作S110，获取经检测得到的针对人体手势的信道状态信息；

其中信道状态信息(CSI：Channel State Information)包括在不同房间，不同位置，不同方向和不同对象做手势时的CSI。

图2是根据本发明实施例的获取CSI的示意图；如图2所示，本发明实施例所得到的CSI是从不同位置(例如A、B、C、D、E)、不同方向(例如方向(1、2、3、4、5)等得到，丰富了CSI数据的维度，为后续手势分类模型提供了扎实的数据基础。图2中所示的感知区域，不同的发射端和不同的接收端都具有一定的距离(例如接收端与接收端相距0.9m等)，保证了CSI数据采集的可靠性，防止CSI数据相似度过高，导致模型训练不充分。

在操作S120，处理信道状态信息，获得人体坐标系下速度谱的特征，其中，人体坐标系下速度谱的特征包括多个域数据；

其中人体坐标系下速度谱(BVP：body-coordinate velocity profile)的特征通过利用Widar 3.0中数学建模方法将CSI信号预处理获得。

在操作S130，将多个域数据分类为源域数据和目标域数据，其中，源域数据带有标签值，目标域数据不具有标签值；

其中，上述标签值用于表示手势类别，例如，可以用0代表手势是握紧的状态。

在操作S140，将目标域数据进行增强，获得增强后的目标域数据；

上述增强后的目标域数据可由式(4)表示：

其中，

表示增强后的目标域数据，X^u表示目标域数据，

表示对目标域数据进行增强运算。

在输入到手势分类模型中前，可以将上述几种类别的数据合并起来，如式(5)所示：

其中，X_in表示输入到手势分类模型中的上述三种类型数据的合集，X^l表示源域数据、

表示增强后的目标域数据，X^u表示目标域数据。

在操作S150，将源域数据、目标域数据和增强后的目标域数据输入到手势分类模型中，获得手势识别结果，其中，手势识别结果包括源域数据类型预测值、目标域数据类型预测值和增强后的目标域数据类型预测值；

其中，上述手势分类模型的输出为

代表已标记数据经过模型的输出，

代表未标记数据经过模型的输出，

表示增强数据经过模型的输出。

在操作S160，根据损失函数，利用手势识别结果，获得训练完成的手势分类模型。

上述用于手势识别的无监督域适应训练方法，充分利用CSI Channel StateInformation,CSI)中的目标域信息，提升了手势分类模型跨域能力，在目标域环境信息发生变化时，依然能够较好地完成手势分类与识别任务。

图3是根据本发明实施例的获得训练完成手势分类模型的过程图；如图3所示，包括操作S310～操作S360。

在操作S310，根据有监督损失函数，计算源域数据的标签值和源域数据类别值的损失，获得有监督损失值；

在操作S320，根据预设值，筛选目标域数据的类型预测值，获得筛选后的目标域数据的类型预测值；

上述筛选过程，获取目标域数据的伪标签，将

中大于阈值的预测类别作为该数据的伪标签，其中筛选过程由式(6)表示：

其中，τ为预设值或阈值，伪标签即上述手势分类模型输出的目标域数据的手势识别类型。

在操作S330，根据无监督损失函数，计算增强后的目标域数据类型预测值和筛选后的目标域数据类别预测值的损失，获得无监督损失值；

在操作S340，根据自信度损失函数，计算筛选后的目标域数据类别预测值的损失，获得自信度损失值；

在操作S350，将有监督损失值、无监督损失值和自信度损失值进行运算，获得手势分类模型的总损失函数值；

在操作S360，根据总损失函数值，训练手势分类模型，获得训练完成的手势分类模型。

本发明实施例提供的上述损失函数，能够有效训练手势识别模型，对更新优化模型参数、提升模型识别效率有着较大的帮助。

根据本发明的实施例，上述有监督损失函数由式(1)表示：

其中，|X^l|表示源域数据的数量，

表示源域数据的标签值，

表示源域数据类型预测值，C代表手势类别。

根据本发明的实施例，上述无监督损失函数由式(2)表示：

其中，|y^u|表示筛选后的目标域数据类别预测值的数量，

表示筛选后的目标域数据类别预测值，

表示增强后的目标域数据类型预测值，C代表手势类别。

根据本发明的实施例，上述自信度损失函数由式(3)表示：

其中，|y^u|表示筛选后的目标域数据类别预测值的数量，

表示筛选后的目标域数据类型预测值，C代表手势类别。

通过上述训练过程的损失函数，能够能够充分利用未标记的目标域数据的信息，提升模型的跨域能力。

根据本发明的实施例，上述信道状态信息包括静止的环境信息和运动部位的运动信息。

根据本发明的第二方面，提供了一种用于手势识别的无监督域适应方法，包括：

获取目标人体手势的信道状态信息；

处理信道状态信息，获得人体坐标系下速度谱的特征；

将人体坐标系下速度谱的特征输入到手势分类模型中，获得手势识别结果，其中，手势分类模型由上述用于手势识别的无监督域适应训练方法训练得到。

图4是根据本发明实施例的手势分类模型结构图。

图5是根据本发明实施例的无监督域适应框架图。

下面结合图4～图5对上述用于手势识别的无监督域适应方法作进一步的说明。

如图4所示，首先将BVP输入到手势分类模型中，上述手势分类模型会对BVP进行处理，提取特征：首先对数据进行“压平”，将多维度数据的输入一维化；再次将上述“压平”的数据输入到全连接层进行数据处理；根据损失函数，将处理后的数据再通过全连接层进行处理，经过门控循环单元(GRU)的处理，再次利用相关损失函数和全连接层进行处理，通过归一化函数获得手势识别与分类结果；其中图5显示了CSI目标域数据以及增强的目标域数据通过识别模型获得预测分类的示意图；如图5所示，将获得的没有标签值的数据和对没有标签值的数据进行增强后获得的数据分别输入到识别模型中；经过模型识别后，对没有标签值的数据和增强后没有标签值的数据进行预测，根据预设值可以获得数据的伪标签值，方便后续手势分类模型的数据处理。

图6是根据本发明的实施例的用于手势识别的无监督域适应系统结构图；如图6所示，包括信息获取模块610、数据处理模块620和手势识别模块630。

信息获取模块610，用于获取目标人体手势的信道状态信息；

数据处理模块620，用于处理信道状态信息，获得人体坐标系下速度谱的特征

手势识别模块630，用于将人体坐标系下速度谱的特征输入到手势分类模型中，获得手势识别结果，其中，手势分类模型由上述用于手势识别的无监督域适应训练方法训练得到。

表1是上述系统在跨方向上的识别结果。

表2是上述系统在跨位置上的识别结果。

下面结合表1和表2对上述系统的运行过程作进一步的说明。

本发明实施例验证了本专利提出的算法对提高手势识别模型跨域的性能。在实验中，采用Widar 3.0公开数据集中的数据作为输入，本数据集中＝包含11250个样本(15个对象×5个位置×5个方向×6种手势×5次重复)，数据采集的位置和方向如图1所示。在实验设置中，先将5个方向中的4个方向的数据作为源域，剩余1个方向的数据作为目标域，然后将5个位置中的4个位置的数据作为源域，剩余1个位置的数据作为目标域。用源域的数据和未标记的目标域数据训练模型，用带标签的目标域数据测试模型。在训练过程中，每次随机选取32个带标签的源域数据作为X^l,选取96个未标记的数据作为X^u，分类模型的优化采用SGD算法，获取伪标签的阈值采用动态阈值的方法训练结束后，通过测试，得到实验结果表1和表2所示，可以看出，无监督预适应框架对太高模型的跨域能力有明显的帮助。

图7示意性示出了根据本发明实施例的适于实现用于手势识别的无监督域适应训练方法或用于手势识别的无监督域适应方法的电子设备框图。如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述用于手势识别的无监督域适应训练方法或上述用于手势识别的无监督域适应方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

根据本发明的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述用于手势识别的无监督域适应训练方法或上述用于手势识别的无监督域适应方法。

在该计算机程序被处理器701执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于手势识别的无监督域适应训练方法，包括：

获取经检测得到的针对人体手势的信道状态信息；

处理信道状态信息，获得人体坐标系下速度谱的特征，其中，所述人体坐标系下速度谱的特征包括多个域数据；

将多个所述域数据分类为源域数据和目标域数据，其中，所述源域数据带有标签值，所述目标域数据不具有标签值；

将所述目标域数据进行增强，获得增强后的目标域数据；

将所述源域数据、所述目标域数据和所述增强后的目标域数据输入到手势分类模型中，获得手势识别结果，其中，所述手势识别结果包括所述源域数据类型预测值、所述目标域数据类型预测值和所述增强后的目标域数据类型预测值；

根据损失函数，利用所述手势识别结果，获得训练完成的手势分类模型。

2.根据权利要求1所述的训练方法，其中，所述根据损失函数，利用所述手势识别结果，获得训练完成的手势分类模型包括：

根据有监督损失函数，计算所述源域数据的标签值和所述源域数据类别值的损失，获得有监督损失值；

根据预设值，筛选所述目标域数据的类型预测值，获得筛选后的目标域数据的类型预测值；

根据无监督损失函数，计算所述增强后的目标域数据类型预测值和所述筛选后的目标域数据类别预测值的损失，获得无监督损失值；

根据自信度损失函数，计算所述筛选后的目标域数据类别预测值的损失，获得自信度损失值；

将所述有监督损失值、所述无监督损失值和所述自信度损失值进行运算，获得所述手势分类模型的总损失函数值；

根据所述总损失函数值，训练所述手势分类模型，获得训练完成的所述手势分类模型。

3.根据权利要求2所述的方法，其中，所述有监督损失函数由式(1)表示：

其中，|X^l|表示所述源域数据的数量，

表示所述源域数据的标签值，

表示所述源域数据类型预测值，C代表手势类别。

4.根据权利要求2所述的方法，其中，所述无监督损失函数由式(2)表示：

其中，|y^u|表示所述筛选后的目标域数据类别预测值的数量，

表示所述筛选后的目标域数据类别预测值，

表示所述增强后的目标域数据类型预测值，C代表手势类别。

5.根据权利要求2所述的方法，其中，所述自信度损失函数由式(3)表示：

其中，|y^u|表示所述筛选后的目标域数据类别预测值的数量，

表示所述筛选后的目标域数据类型预测值，C代表手势类别。

6.根据权利要求1所述的方法，其中，所述信道状态信息包括静止的环境信息和运动部位的运动信息。

7.一种用于手势识别的无监督域适应方法，包括：

获取目标人体手势的信道状态信息；

处理所述信道状态信息，获得人体坐标系下速度谱的特征；

将所述人体坐标系下速度谱的特征输入到手势分类模型中，获得手势识别结果，其中，所述手势分类模型由权利要求1-5任一所述的方法训练得到。

8.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～6中任一项所述的方法或权利要求7所述的方法。

9.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～6中任一项所述的方法或权利要求7所述的方法。

10.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～6中任一项所述的方法或权利要求7所述的方法。

Images