CN110781764B

CN110781764B - 智能微波手语识别方法

Info

Publication number: CN110781764B
Application number: CN201910941889.6A
Authority: CN
Inventors: 李昊洋; 双雅; 魏梦麟; 赵晗汀; 阮恒心; 李廉林
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-08-03
Anticipated expiration: 2039-09-30
Also published as: CN110781764A

Abstract

本发明公布了一种智能微波手语识别方法，包括：利用信号源对手势进行照射，再通过接收机将带有手语特征的微波数据传入神经网络，通过神经网络对不同手语的微波特征进行学习和记忆，并以成像或直接分类的方式实现手语识别。本发明利用的微波频段具有穿透性，不受障碍物的约束；克服了现有光学手语成像和识别对环境，天气，光线等条件的依赖，可全天候不间断工作；利用机器学习处理数据，通过神经网络提高了计算能力，增强了手语识别精度；采用的深度学习网络抗噪声能力较强；且对设备要求低，可依据不同复杂场景、不同精度项目来灵活设置各种参数，灵活应用。

Description

智能微波手语识别方法

技术领域

本发明涉及人工智能和电磁成像与目标识别等交叉技术领域，具体涉及一种微波手语的智能识别方法。

背景技术

随着社会的发展和科技水平的提高，传统的生活方式已经不能满足人们的需求。人机交互、虚拟现实、语音障碍群体交流等已逐渐成为人们关注的焦点。在未来的生活中，人们希望将建筑、家用电器、电子设备和人类活动有机结合起来，甚至希望通过肢体语言来“远程识别”试图表达的情感意图，从而构建一个更高效、更舒适的生活环境。在这样的“智能”的社会中，手势语言将发挥不可或缺的作用。

为此各个领域的专家对手语做了大量的研究，虽然在捕捉和识别人体信号方面已经获得了大幅进展，然而均存在着诸多问题。在数据获取方面，以无线电进行手语识别为例，此方案要求目标主动佩戴可穿戴设备，这在很大程度上限制了人们的活动自由，同时体验不佳，并不能够在现实生活中广泛应用。此外还有一些方法工作在光学领域，这意味着它们受到天气、时段等方面的限制，并且主要依靠计算机视觉和光学图像处理来辅助识别，这就不得不使用摄像机或摄像机来监控人类活动，从而造成隐私侵犯，让人倍感不适。同时，由于光学特性的局限性，这些方法受到物理空间的限制，它们并不能在有障碍物条件下工作。也正是这个问题使得当前诸多方案同样未能进入现实生活场景，从而削弱了“智能性”；在数据处理方面，手语的识别很大程度上依赖于对数据流的高效处理：如何从大量的数据中高效、准确地提取不同手语的有效信息和特征，以何种手段快速地完成复杂度高的非线性计算等问题尖锐地摆在面前，这些问题能否得以解决将直接关系到手语识别是否可以真正走进现实生活。

发明内容

为了解决上述诸多问题，我们对微波信号的诸多特性进行了大量的研究和探索，并提出了“智能微波手语识别”的方法，即通过神经网络对不同手语微波特征进行学习和记忆，从而达到识别目的。该发明可在全时段的恶劣天气条件下工作，并由于其穿透特性，摆脱了物理空间的束缚，不再受障碍物的影响，真正实现了“远程识别”的功能。同时，利用本发明进行手语识别无需佩戴任何设备，大大增加了该发明的普适性；为了实现对数据流的高效处理，我们利用机器学习搭建相应的神经网络进行数据处理，通过对原本适用于计算机视觉的算法和网络框架进行改进，使得网络与微波信号相适应，真正实现了手语识别的高效性与高识别精度，本发明称上述方法为“智能微波手语识别”。此外，在实际应用中，网络一旦训练完成即可进行实时的手语识别，这一特点同样增强了本发明的实际可操作性。

本发明对设备无特殊要求，不同环境场景基于本发明可以生成多种方案。其核心思想是信号源对局部手势进行照射，再通过接收机将带有手语特征的微波数据传入到神经网络进行特征学习，并以成像或者直接分类的方式实现手语的识别功能。具体实施包括两种情形：(一)以有源阵列天线作为信号发射源对目标手势进行照射，形成的含有手势信息的散射波被接收机接收。之后通过神经网络对接收信号进行处理和训练并提取手势特征，最终将其识别。(二)先通过现场可编程超材料对任意信号源的微波信号进行聚焦再对目标手势照射，再由接收机将包含有手势特征的信号传递给神经网络以进行进一步学习和识别。同时为了保证识别的高准确度，可搭建了两种类型的神经网络进行手语识别：(一)采用卷积神经网络—CNN(Convolutional Neural Networks)等网络架构，选择“梯度下降法”、“牛顿法”、“分治法”等算法对网络进行优化，从而实现对含有手势信息的微波信号进行分类，以达到识别手语的目的；(二)也可以构建U-NET^[1]，基于像素的生成对抗网络—Pixel-GAN^[2](pixel to pixel Generator adversarial networks)等网络架构，并采用诸如“Adam^[3]”(适应性矩估计，adaptive moment estimation)、“动量法Momentum”等算法优化网络，将含有手势信息的微波信号映射成光学图像，再根据图像和语义的一一对应关系进行进一步识别。以上两种网络均可采取“L1正则化L1-norm”、“L2正则化L2-norm”、“随机失活dropout^[4]”、“批量归一化Batch-Normalization^[5]”等方法来防止过拟合现象的发生；同时可以对基本网络框架进行优化，例如加入“残差网络”构架或者采用“relu”、“sigmoid”、“softplus”等多种不同形式的激活函数来预防反向传播中的梯度消失和梯度爆炸。因此，本发明不仅对设备没有过多要求，也并不需要一个既定好的网络模型和是识别算法，可根据不同场景，不同要求搭建不同的系统和神经网络。这种灵活性也是目前现有的诸多方案不具备的优势之一，本发明可广泛应用于现实生活的多种场景。

上述参考文献[1]～[5]为：

[1]Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networks forBiomedical Image Segmentation[C]//International Conference on Medical ImageComputing&Computer-assisted Intervention.2015.

[2]Isola P,Zhu J Y,Zhou T,et al.Image-to-Image Translation withConditional Adversarial Networks[J].2016.

[3]Kingma D P,Ba J.Adam:AMethod for Stochastic Optimization[J].Computer Science,2014.

[4]Srivastava N,Hinton G,Krizhevsky A,et al.Dropout:A Simple Way toPrevent Neural Networks from Overfitting[J].Journal of Machine LearningResearch,2014,15(1):1929-1958.

[5]Ioffe S,Szegedy C.Batch Normalization:Accelerating Deep NetworkTraining by Reducing Internal Covariate Shift[J].2015.

本发明提供的技术方案是：

一种智能微波手语识别方法，通过神经网络对不同手语微波特征进行学习和记忆，从而识别手语：利用信号源对局部手势进行照射，再通过接收机将带有手语特征的微波数据传入到神经网络进行特征学习，并以成像或者直接分类的方式实现手语识别；

本发明利用机器学习构建神经网络进行数据处理，对适用于计算机视觉的网络框架和识别算法进行改进，使得网络与微波信号相适应，再利用微波样本集对网络进行训练，训练完成后得到训练好的网络，利用训练好的网络对待识别手语进行测试识别，实现高效和高识别精度的手语识别；包括如下步骤：

1)对目标手势进行照射，得到微波信号，形成含有手势的信息并接收；

包括：信号源发射微波信号、局部手势对信号进行散射、接收机接收散射数据并传递给神经网络的过程，可根据不同的环境场地复杂程度进行优化；

具体实施时，可通过搭建智能微波手语系统，获得原始手势数据。包括：可以将有源阵列天线作为信号发射源对目标手势进行照射，形成的含有手势信息的散射波被接收机接收。之后通过神经网络对接收信号进行处理和训练并提取手势特征，最终将其识别。也可以先通过现场可编程超材料对任意信号源的微波信号进行聚焦再对目标手势照射，再由接收机将包含有手势特征的信号传递给神经网络以进行进一步学习和识别。

2)构建神经网络，对网络进行训练并优化，得到训练好的网络；

在开始训练的时候要对权值进行随机初始化，再根据网络任务选择合适的损失函数，同时设置合适大小的学习率用来调节梯度下降算法中的步长，具体做法是：损失函数对每个在参数自变量求偏导，然后每个偏导数乘以预先设定的步长，以此为本轮学习的参数调整量。原参数减去参数调整量使得参数得以修正，修正之后本轮学习结束，此时损失函数值相应减小，同时进入下一轮学习，往复循环。当损失函数值趋于稳定时，网络参数也近似认为不再变化，此时训练结束。

3)利用训练好的神经网络，可实现对微波信号直接进行分类识别，也可将微波信号映射成光学图像，再根据图像和语义的一一对应关系进行进一步识别，均可达到智能微波识别手语的目的。

具体实施时，在步骤1)中，本发明对超材料进行编码控制，实现微波信号的聚焦。可根据不同场景，不同需求，灵活的切换不同的编码，码数的不同导致得到的有效信息数据量也将不同。

在步骤2)中，本发明构建神经网络时引入“残差网络”架构的同时对传统CNN进行了改进，得到了复数卷积神经网络—complex-valued CNN架构——具体实施时，为了与微波信号的复数特性相匹配，网络的输入端采用双通道输入，两通道分别对应微波数据的实部和虚部，从而增大了微波数据利用率；采用“adam”算法进行网络优化；选择“relu”激活函数作为非线性单元；为了防止过拟合现象，在每层激活函数前加入了“批量归一化”层。

在步骤3)中，为了实现对微波数据的直接识别，建立微波信号与对应类别的映射关系，构建微波信号分类网络，损失函数表示为式(1)：

其中，Loss为分类网络的损失函数，通过不断减小此函数值，完成网络中权重与偏置的更新与优化；N为每次训练的样本数；S_j代表神经网络的输出端经分类函数(如softmax-function)作用后得到的的第j个值，该值对神经网络的生成图像G(X)进行规范化。Y是一个形状为1*T的向量，T为手语的类别数目，在向量Y中只有Y_j为1，其余的元素均为0；

在步骤3)中，构建神经网络时还可基于“U-NET”框架的同时引入“残差网络”概念，从而保证网络训练的高效性；采用“adam”算法进行网络优化；选择“relu”激活函数作为非线性单元；为了防止过拟合现象，在每层激活函数前加入了“批量归一化”层。

在步骤3)中，为得到微波信号与光学图像的映射关系，构建微波信号成像网络，损失函数表示为式(2)：

其中，L_MSE代表成像网络中生成图像与真实图像之间的误差值；X为输入的微波数据，G(X)为神经网络的生成图像，其像素值与真实光学图像Y相同为：W*H。W、H分别为图像的横向、纵向像素值。通过不断缩小L_MSE值，最终得到目标图像。具体在训练过程中通过优化算法不断缩小L_MSE值，每一次数值减小都会使得网络的权重和偏置发生更新迭代，最终L_MSE值趋于稳定，即数值只有小幅度变化，此时可认为训练完成，同时得到目标图像。

与现有技术相比，本发明的有益效果是：

本发明提供一种智能微波手语识别方法，利用机器学习构建神经网络进行数据处理，对适用于计算机视觉的网络框架和识别算法进行改进，使得网络与微波信号相适应，实现高效和高识别精度的手语识别。本发明利用神经网络对不同手语的微波信号直接进行特征学习和识别，相比于现有其他形式(如微波图像)的特征识别，本发明无需将微波信号转换为其他形式的特征，识别效率更高。具体地，本发明具有以下方面的技术优势：

(一)本发明所利用的微波频段具有穿透性，突破了物理空间的束缚，不再受障碍物的约束，极大地延伸了人类视觉，为实际应用提供了条件；

(二)本发明克服了传统光学手语成像和识别对环境，天气，光线等条件的依赖，可全天候不间断工作；

(三)本发明利用机器学习处理数据，通过神经网络提高了计算能力，增强了手语识别精度；

(四)本发明采用的深度学习网络一经训练完毕，既可用于实时手语微波手语识别；

(五)本发明采用的深度学习网络抗噪声能力较强；

(六)本发明对设备要求低，系统结构多变；同时用于数据处理的神经网络没有固定框架和算法，可依据不同复杂场景、不同精度项目来灵活设置各种参数。

附图说明

图1是本发明的智能微波手语识别系统示意图；

其中，(a)为利用构建的神经网络实现对微波信号直接进行分类识别；(b)为将微波信号映射成光学图像，再根据图像和语义的一一对应关系进一步识别。

图2是本发明实现对微波信号直接进行分类识别的神经网络结构图；

图3是本发明将微波信号映射成光学图像，再根据图像和语义的一一对应关系进一步识别的神经网络结构图，其中(a)为生成网络结构图，(b)为鉴别网络结构图；

图2与图3中，X_R和X_I分别代表微波信号的实部和虚部；K_R和K_I分别代表第一层神经网络卷积核的实部和虚部；“k”“s”和“n”分别代表每一层网络的“卷积核大小”“步幅大小”和“输出通道数”；“BN”“ReLu”“Conv”和“Conv-t”分别代表“批量归一化模块”“非线性激活模块”“卷积模块”和“反卷积模块”；“Full-Connection”代表“全连接层”。

图4是本发明对微波信号直接进行分类识别构建的分类网络训练过程中，“损失函数-迭代次数”曲线图以及“分类精准度-迭代次数”曲线图。

图5是本发明对微波信号直接进行分类识别构建的分类网络测试过程中“规范化混淆矩阵”示意图。

图6是本发明对微波信号成像的构建的成像网络测试过程中图片质量分析图，其中(a)为“峰值信噪比”PSNR(Peak Signal to Noise Ratio)分布图；(b)“结构相似性”SSIM((structural similarity index)分布图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种智能微波手语识别方法，利用机器学习构建神经网络进行数据处理，对适用于计算机视觉的网络框架和识别算法进行改进，使得网络与微波信号相适应，实现高效和高识别精度的手语识别。

以下实施例将微波信号映射成光学图像，再根据图像和语义的一一对应关系进行进一步识别，达到智能微波识别手语的目的。具体实施方式如下：

(1)搭建智能微波手语系统，；

具体实施时，通过对超材料进行编码来实现对信号源的聚焦。为了验证方案的普适性，选用的实验场地较为复杂，此时超材料需切换更多的码数为神经网络提供更多的数据，以提高方案的分辨能力和成像素质，进而提高识别精准度。并通过接收机将带有手势特征的散射信号传递给神经网络的输入端，以备进一步的特征学习和训练。

(2)获取用于分类网络的微波数据；

方案共收集了10个手势数据，每个手势匹配510个不同角度摆动的样本对，其中408对用于训练，其余102对用于测试。本方案对每一手势都进行63组的超材料编码切换，来获得63组不同数据。

(3)搭建微波信号分类网络；

为了与微波数据的复数特性相匹配，将本网络设计为二通道输入的CNN网络；并通过三个“残差网络”模块的串联形式防止了由于梯度消失或爆炸而导致的不收敛问题；每个串联模块的最小结构单元为：“批量归一化层-relu激活函数-Conv层”。并通过损失函数(“softmax_cross_entropy”损失函数)来优化训练网络，随着函数值的不断减小，识别精准度也逐渐提高，最终函数值与精准度均趋于稳定。

(4)获取用于成像网络的微波数据；

共收集了10个手势数据，每个手势匹配600个不同角度摆动的样本对，其中400对用于训练，其余200对用于测试。实施时对每一手势都进行63组的超材料编码切换，来获得63组不同数据。

(5)搭建微波信号成像网络；

本网络采用基于“U-NET”的双通道“Pixel-GAN”架构即网络分为“生成网络”负责生成光学图片与“监督网络”负责鉴别出真实图片和生成图片。其中“生成网络”目的是使其生成的光学图片成功欺骗“监督网络”，后者任务是成功鉴别出真实图片和生成图片。两部分网络通过轮流迭代更新内部权重和偏置交替增强自身能力，从而使得整体网络不断优化，最终得到具有强泛化能力的生成网络以及高质量的生成图片。提高了网络的泛化能力。其生成网络由一个复数卷积层和八个“残差网络”模块串联而成。其中，通过复数卷积层，使得微波数据的实部虚部充分作用，增强了数据之间的相关性，其数学原理如公式(3)所示：

Y＝K*X＝(K_R+iK_I)*(X_R+iX_I)＝(K_R*X_R-K_I*X_I)+i(K_R*X_I-K_I*X_R) (3)

八个“残差”模块中，前四个模块的最小结构单元为“批量归一化层-relu激活函数-Conv层”，后四个模块的最小单元结构我“批量归一化层-relu激活函数-Convt层”。并通过“MSE”损失函数来优化训练网络，随着函数值的不断减小，图片的生成能力逐渐增强。

(6)网络测试及分析；

根据分类网络的“损失函数-迭代次数”曲线图以及“分类精准度-迭代次数”曲线图可以看出，训练过程趋于稳定时的识别精度均在99％以上。同时保存网络第30次的迭代模型，对其进行手语测试，由“规范化混淆矩阵(Normalized Confusion Matrix)”—可以直观、细致的反映出分类精度。规范化混淆矩阵表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。规范化混淆矩阵的每一列代表了预测类别，每一行代表了数据的真实归属类别，每一列中的数值代表了真实数据被预测为该类的数目占真实数据总数目的百分比。可看出测试过程也有着相当高的精准度，由此可验证分类系统的可行性；由成像网络测试过程的“PSNR”及“SSIM”柱状图可看出，大部分生成图片的“PSNR”数值集中在25-30，“SSIM”数值集中在0.9-1.0。结果表明了大部分生成图片素质较高，也验证了成像系统的可行性。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种智能微波手语识别方法，其特征是，利用信号源对手势进行照射，再通过接收机将带有手语特征的微波数据传入神经网络，通过神经网络对不同手语的微波特征进行学习和记忆，并以成像或直接分类的方式实现手语识别；包括如下步骤：

1)对目标手势进行照射，得到微波信号，形成含有手势的信息并接收；包括：

11)信号源发射微波信号，目标手势对微波信号进行散射；

12)接收机接收散射数据；

2)基于残差网络架构对CNN进行改进，构建复数卷积神经网络complex-valued CNN，并对complex-valued CNN网络进行训练和优化；包括：

21)所述complex-valued CNN的输入端采用双通道输入，分别对应微波信号数据的实部和虚部，与微波信号的复数特性匹配；

22)采用优化算法进行网络优化；选择激活函数作为非线性单元；

23)在每层激活函数前加入批量归一化层，以防止过拟合；

3)利用训练好的神经网络complex-valued CNN，实现对微波信号直接进行分类识别；或将微波信号映射成光学图像，再根据图像和语义的一一对应关系进行识别；达到智能微波识别手语的目的；包括：

A.建立微波信号与对应类别的映射关系，构建微波信号分类网络，实现所述对微波信号直接进行分类识别；所述微波信号分类网络的损失函数表示为式(1)：

其中，Loss为分类网络的损失函数，通过不断减小此函数值，完成网络中权重与偏置的更新与优化；N为每次训练的样本数；S_j代表神经网络的输出端经分类函数进行分类后得到的第j个值，该值对神经网络的生成图像进行规范化；Y是一个形状为1*T的向量，T为手语的类别数目，在向量Y中只有元素Y_j为1，1≤j≤T；其余元素均为0；

B.建立微波信号与光学图像的映射关系，构建微波信号成像网络，将微波信号映射成光学图像，再根据图像和语义的对应关系进行手语识别；所述微波信号成像网络的损失函数表示为式(2)：

其中，L_MSE代表成像网络中生成图像与真实图像之间的误差值；X为输入的微波数据，G(X)为神经网络的生成图像；W、H分别为图像的横向、纵向像素值；G(X)的像素值与真实光学图像Y相同；通过不断缩小L_MSE值，得到目标图像。

2.如权利要求1所述的智能微波手语识别方法，其特征是，步骤1)具体通过搭建智能微波手语系统获得原始手势数据；包括：

将有源阵列天线作为信号发射源对目标手势进行照射，形成的含有手势信息的散射波被接收机接收；或者；

通过超材料对任意信号源的微波信号进行聚焦再对目标手势照射，再由接收机接收包含有手势特征的信号。

3.如权利要求2所述的智能微波手语识别方法，其特征是，在步骤1)中，对现场可编程超材料进行编码控制，实现微波信号的聚焦。

4.如权利要求1所述的智能微波手语识别方法，其特征是，步骤22)具体采用adam算法进行网络优化；具体选用relu激活函数作为非线性单元。

5.如权利要求1所述的智能微波手语识别方法，其特征是，步骤3)的A中，具体采用softmax_cross_entropy损失函数对微波信号分类网络进行优化训练。

6.如权利要求1所述的智能微波手语识别方法，其特征是，步骤3)的B中，微波信号成像网络采用基于U-NET的双通道Pixel-GAN架构；生成网络由一个复数卷积层和八个残差网络模块串联而成。

7.如权利要求6所述的智能微波手语识别方法，其特征是，八个“残差”模块中，前四个模块的最小结构单元为“批量归一化层-relu激活函数-Conv层”，后四个模块的最小单元结构为“批量归一化层-relu激活函数-Convt层”。

8.如权利要求7所述的智能微波手语识别方法，其特征是，具体通过MSE损失函数优化训练微波信号成像网络。