CN113537381B - 基于对抗样本的人体康复运动数据增强方法 - Google Patents

Abstract

本发明提供了一种基于对抗样本的人体康复运动数据增强方法，涉及人体康复运动技术领域，该方法包括：获取人体康复运动的原始样本，并对所述原始样本进行处理；将处理后的样本输入到生成器中，生成器通过神经网络进行特征提取，再通过反卷积产生具有对抗能力的噪声；将生成的噪声与所述原始样本输入至干扰器，在干扰器中进行结合生成对抗样本；将生成的对抗样本与原始样本传入到鉴别器中进行分类识别，生成器、干扰器、鉴别器重复上述博弈过程，最终达到平衡，使得生成器在噪声极小的情况下，干扰器产生的对抗样本与原始样本的相似度极高。本发明提供的方法，具有生成类似于人体康复运动识别领域的时序数据的能力，可以增加该领域中样本的多样性。

Description

基于对抗样本的人体康复运动数据增强方法

技术领域

本发明涉及人体康复运动技术领域，特别是涉及基于对抗样本的人体康复运动数据增强方法。

背景技术

人体康复训练包括了一系列的动作，与行为识别领域具有很大的相似性。基于机器视觉的行为识别具有广泛的应用前景，例如视频的监控，危险行为的检测，人机的交互，视频的检索等。Kinect设备是微软推出的体感周边外设，可以获取RGB图像和深度信息。与RGB图像相比，深度图像基本不受自然光线影响，还提供具有三维信息的数据，也可以通过微软的SDK提取骨骼数据，准确描述有关关节的具体位置。

现有技术中，提出通过在训练数据中提供一种额外的模式，即三维人体骨架序列，可以大大提高视频中大规模动作识别的能力，以补充训练视频中表现不佳或缺失的人体动作特征。对于识别，使用长-短期记忆(LSTM)通过深卷积神经网络(CNN)连接到视频上。基于三维人体骨骼训练数据，利用eLSTM的输出对LSTM的训练进行正则化。对于LSTM的这种正则化训练，其修改了标准时间反向传播(BPTT)以解决约束优化中的梯度下降问题。

上述的方法是基于CNN和LSTM的深度学习模型进行人体康复运动分类识别。但是深度模型易受对抗噪声(对抗样本)的干扰，对于对抗样本具有极高的脆弱性。对于分类任务，一点微小的干扰就可能影响分类的结果。很多情况下，在训练集的不同子集上训练得到的具有不同结构的模型都会对相同的对抗样本实现误分，这意味着对抗样本成为了训练算法的一个盲点。由于人体视频动作识别中Kinect传感器捕获的三维数据精度偏低、人体表面光滑程度不同等环境因素影响，会导致获取的数据噪声较大，如果在实际中不能很好地识别引入噪声后的数据，将会对人体三维重建效果与重建精度带来极大影响。并且人体康复运动数据集少，这也限制了深度模型的识别精度和泛化程度。

发明内容

有鉴于此，本发明提出了基于对抗样本的人体康复运动数据增强方法，以生成大量接近真实的人体康复运动数据的对抗样本(对抗样本的概念，即在数据集中通过故意添加细微的干扰所形成的输入样本，受干扰之后的输入导致模型以高置信度给出一个错误的输出。)，给该领域提供大量的对抗样本，增强该领域的样本集，丰富了人体康复运动领域的数据集多样性，以此通过对抗样本以及原始样本的结合，让其他人在做深度网络识别任务的时候，可以提高模型的识别精度。

为此，本发明提供了以下技术方案：

本发明提供了一种基于对抗样本的人体康复运动数据增强方法，所述方法包括：

获取人体康复运动的原始样本，并对所述原始样本进行处理；

将处理后的样本输入到训练好的生成器中，所述训练好的生成器进行特征提取，再通过反卷积产生具有对抗能力的噪声；所述生成器的网络结构包括：3层一维卷积堆叠的结构，每层卷积层使用Relu作为激活函数，最后一层使用tanh函数；在每层之间引入群组归一化；

将生成的噪声与所述原始样本输入至训练好的干扰器，在所述训练好的干扰器中进行结合生成人体康复运动的对抗样本。

进一步地，生成器和干扰器的训练过程如下：

S1、获取人体康复运动训练用的训练原始样本，并对所述训练原始样本进行处理；

S2、将处理后的训练原始样本输入到生成器中，所述生成器进行特征提取，再通过反卷积产生具有对抗能力的噪声；

S3、将生成的噪声与所述训练原始样本输入至干扰器，在所述干扰器中进行结合生成人体康复运动的训练对抗样本；

S4、将生成的训练对抗样本与训练原始样本传入到鉴别器中进行分类识别；

S5、生成器、干扰器、鉴别器重复S1-S4的博弈过程，在这个过程中不断地进行训练和自我优化，最终达到均衡，使得生成器在噪声极小的情况下，干扰器产生的对抗样本与原始样本的相似度极高。

进一步地，还包括：通过样本均方差对生成的对抗样本有效性进行评估。

进一步地，在训练过程中，总损失函数为

其中，L代表总损失函数；为在目标攻击中干扰目标模型f的损失函数，其中x表示原始样本，G(x)为生成器生成的噪声，t是目标类型，/>表示原始样本的期望，l_f是被攻击模型f的交叉损失，/>将鼓励被干扰的信号被目标模型f区分为目标类型t；

λ代表L_tar的权重，L_tar为目标模型以对抗样本作为输入并输出的损失函数，D(x)为鉴别器对原始样本的识别结果，D(x+G(x))为鉴别器对对抗样本的识别结果，L_tar用来鼓励生成的对抗样本与原始样本尽可能相似；

γ代表L_hinge的权重，c用来稳定生成对抗网络的训练。

进一步地，当生成的噪声对应原始样本的信噪比小于η对应原始样本的信噪比时，在保持所述生成的噪声特征不变的情况下减弱噪声的功率来提高信噪比，保证信噪比在预设范围内，η为传感器信号误差的接受范围。

进一步地，获取人体康复运动的原始样本，并对所述原始样本进行处理，包括：

获取公开数据集中的正负样本；

对所述正负样本进行平铺，并使用插值方式将样本修正为固定值；

将平铺后的正负样本进行打乱并归一化处理。

进一步地，所述鉴别器的网络结构包括：带有步长的卷积。

本发明的优点和积极效果：

本发明提出了一种GPRGAN框架，基于该框架可以成功生成人体康复运动领域的对抗样本，并应用在光学运动传感器信号数据上进行攻击，攻击率达到100％。成功生成大量接近真实的人体康复运动数据，给该领域提供大量的对抗样本，增强该领域的样本集。本发明还提出了评估信号数据对抗样本的方法，应用样本均方差来评估原始样本与对抗样本之间的分布，从而验证该模型对于传感器信号数据生成的对抗样本的有效性理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中GPRGAN的结构示意图；

图2为本发明实施例中GPRGAN训练的流程图；

图3为本发明实施例中生成器的网络结构示意图；

图4为本发明实施例中鉴别器的网络结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例中提出了一种人体康复运动GAN(Generate Physical RehabilitationGAN，GPRGAN)GPRGAN框架，在保持Kinect传感器数据原始时域特征的情况下，引入了一种高信噪比的噪声来干扰模型。GAN(Generative Adversarial Network，生成对抗网络)包括生成器和鉴别器，本发明实施例中在GAN的基础上，针对人体康复运动的特点，设计了干扰器，并且重新设计了损失函数，形成了GPRGAN框架。GAN中生成器的目的是为了欺骗鉴别器，而GPRGAN框架是为了欺骗识别效果更高的目标网络，这样可以得到目标网络模型所能够识别的样本空间之外的样本。也就是说深度学习所获取的对抗样本只是实际样本中的一个子集，那么在子集之外的样本，识别的泛化程度是无法得到保证的，一种方法就是尽可能的扩充这个子集，本发明提出的GPRGAN框架就可以得到这个子集之外，并且与原样本高度相似的样本。

GPRGAN框架如图1所示，GPRGAN框架是由干扰器、生成器、鉴别器组成。生成器的作用是生成一种干扰来扰乱神经网络的判断。为了模拟Kinect传感器识别不同噪声的生成方式，本发明实施例中在生成器中设计一种基于CNN的网络结构来处理该问题。干扰器的作用是为了模拟Kinect传感器数据的加噪方式，将生成器生成的干扰与原始样本进行融合形成对抗样本。而鉴别器的作用则是为了判别生成样本与原始样本的真伪。GPRGAN框架中原始数据会交互给生成器G，G通过神经网络进行特征提取，再通过反卷积来产生具有对抗能力的微小噪声，该噪声将会使得被攻击的目标网络识别出预期的结果；其次将生成的噪声与原始数据在干扰器O中进行结合生成对抗样本，将生成的样本与原始样本传入到鉴别器D中进行分类识别。G、O、D在博弈过程中不断地进行训练和自我优化，最终达到均衡，使得G在噪声极小的情况下，O产生的对抗样本与原始样本的相似度极高，并且能够成功诱骗目标网络，使得识别错误。

基于该框架可以成功生成人体康复运动领域的对抗样本，并应用在光学运动传感器信号数据上进行攻击，攻击率达到100％。成功生成大量接近真实的人体康复运动数据，给该领域提供大量的对抗样本，增强该领域的样本集。

参见图2，其示出了本发明实施例GPRGAN训练的流程图，训练过程包括：

S101、从公开数据集中获取原始样本，并对正负原始样本进行平铺，并使用插值方式将原始样本修正为固定值，然后将平铺后的正负原始样本进行打乱并归一化处理；

S102、将处理后的样本输入到生成器中，生成器通过神经网络进行特征提取，再通过反卷积来产生具有对抗能力的微小噪声；

S103、将生成的噪声与原始样本在干扰器中进行结合生成对抗样本；

S104、将生成的对抗样本与原始样本传入到鉴别器中进行分类识别；

S105、生成器、干扰器、鉴别器在上述博弈过程中不断地进行训练和自我优化，最终达到均衡，使得生成器在噪声极小的情况下，干扰器产生的对抗样本与原始样本的相似度极高，并且能够成功诱骗目标网络，使得识别错误。

生成器的功能是为了生成一个多传感器采集的时间序列数据。由于每一个传感器采集到的时间序列数据不同，且存在相关联性，因此本发明实施例中设计了一个3层一维卷积(Conv1D)堆叠的结构来读取原样本的特征。在读取到的原样本特征的基础上加入噪声，得到噪声的特征，然后再通过3层一维反卷积(DeConv1D)堆叠的结构来制造噪声误差。每层卷积层使用Relu作为激活函数，而最后一层使用tanh函数。在每层之间还引入了GroupNormalization(GN，群组归一化)，可以最大化噪声样本的丰富性。生成器的网络结构如下图3所示。

由于Kinect传感器获取深度信息噪声数据较大，因此需要模拟出实际情况的影响，即对样本添加噪声。其中，评价噪声对传感器信号影响强弱的标准是信噪比(SNR)。SNR是通过原信号功率与噪声功率之间的比例求得的；较高的SNR代表噪声对信号的影响较小，较小的SNR代表噪声对信号的影响较大。SNR的计算如公式1所示。

其中p_signal表示信号的功率，p_noise表示噪声的功率。而信号在f(t)处的瞬时功率是f(t)的模(瞬时幅度)的平方，信号的能量是瞬时功率的积分值，所以一组时域信号[x₁,x₂,…x_n]的平均功率可由信号的能量与信号的长度的比值表示如下。

P＝|f(t)|² (2)

一个功率为p的噪声的生成方式可以通过一个随机信号序列N乘以信号功率的开方，即信号的加噪可以被表示为信号与噪声的叠加，如下所示。

Y_noise＝Y+noise (6)

干扰器目的是将生成器生成的噪声G(X)与原始样本X相结合得到一个受到干扰的对抗样本。对于生成器生成的噪声来说，如果噪声太大，则会让结合后的对样抗本失去了原有特性。希望得到的噪声能够足够小，因此用SNR来衡量噪声对原样本的影响。设定传感器信号误差的接受范围为η，则当生成的噪声α对应原样本的SNR小于η对应原样本的SNR时，在保持α特征不变的情况下减弱噪声的功率来提高SNR。

假设生成器获得一个噪声信号并求得对应的功率p_noise，通过设定传感器信号误差的接受范围为η求得对应的功率p_η，并计算得当p_noise≤p_η，保持噪声信号原型；当p_noise＞p_η时，将噪声信号功率按比例缩小到p_η，从而保证信噪比在SNR_η内。然后将该生成的噪声在干扰器中与原样本进行结合，最后生成对抗样本。

如图4所示，对于鉴别器的设计，不采用任何池化层，用带有步长的卷积来代替池化层。该网络中使用批归一化方法先采样一小批数据，然后对该批数据在网络各层的输出进行归一化处理，以此加快鉴别器网络的训练速度，防止过拟合。该网络同样使用LeakyReLU作为激活函数。目的是输入一个样本X，通过网络层不断尝试区分正常样本和对抗样本，输出结果0或1(0表示假，即样本X与真实样本还不够接近，1表示真，即说明生成的对抗样本与真实样本足够接近)。在鉴别器和生成器、干扰器之间的不断对抗训练过程中，干扰器将生成更多与真实样本相似的对抗样本。

在训练的过程中，生成器将原始样本x作为了输入并生成噪声G(x)；干扰器将生成的扰动G(x)与原始样本x进行结合x+G(x)形成对抗样本(x+G(x))，将这一结果输送到鉴别器中，让来区分对抗样本和原始样本，当无法区别出来对抗样本与原始样本时，训练将终止。为了实现这一过程，首先要对网络进行攻击，将目标模型定义为f，则f以x+G(x)作为输入并输出损失函数L_tar，该损失函数将代表着预测值与攻击目标之间的距离，根据GAN的损失函数定义该L_tar：

则在目标攻击中干扰目标模型f的损失函数定义为：

其中t是目标类型，表示原始样本的期望，l_f是被攻击模型f的交叉损失，G(x)为生成器生成的噪声，D(x)为鉴别器对原始样本的识别结果，D(x+G(x))为鉴别器对对抗样本的识别结果，/>将鼓励被干扰的信号被目标模型f区分为目标类型t，即是原始数据中的一部分。为了进一步限制噪声的大小，本发明实施例中在L₂范数上添加了soft hinge loss：

L_hinge＝E_xmax(0,||G(x)||₂-c) (9)

c用来稳定GAN网络的训练从而得到对抗样本。

因此，总损失L表示为：

λ代表L_tar的权重和γ代表L_hinge的权重，L_tar用来鼓励生成的对抗样本与原始样本尽可能相似，而则是用来生成对抗样本，优化攻击效果。

在GPRGAN训练完成之后，可以利用训练好的GPRGAN生成大量人体康复运动的样本数据，具体地：获取人体康复运动的原始样本，并对所述原始样本进行处理；将处理后的样本输入到训练好的生成器中，所述训练好的生成器进行特征提取，再通过反卷积产生具有对抗能力的噪声；将生成的噪声与所述原始样本输入至训练好的干扰器，在所述训练好的干扰器中进行结合生成人体康复运动的对抗样本。

进一步地，还可以通过样本均方差对生成的对抗样本有效性进行评估。

评估和比较生成式对抗网络产生的数据极具挑战性，对于图像来说，可以通过人眼来客观评定图像生成的质量，但是这种方法无法直接应用到数据拟合上。在本发明实施例中，目的是尽可能生成更多的对抗样本又不缺失原始样本该有的特征属性。因此本发明实施例中应用样本均方差指标来评估原始样本与对抗样本之间的分布，从而验证该模型对于传感器信号数据生成的对抗样本的有效性理。样本均方差是样本中各数据与样本平均数的差的平方和的平均数，是衡量一个样本波动大小的量，样本均方差越大，样本数据的波动就越大。本发明实施例中利用样本均方差来获得原始样本与生成的对抗样本之间的波动分布，相似性越大则均方差越小，因此本发明希望均方差足够小，使得对抗样本具有原始属性，该模型的样本均方差计算如下所示，其中x_i是第i个样本，n代表样本的总数。

经过评估验证得出，该方法具有生成类似于人体康复运动识别领域的时序数据的能力，可以增加该领域中样本的多样性。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于对抗样本的人体康复运动数据增强方法，其特征在于，所述方法包括：

获取人体康复运动的原始样本，并对所述原始样本进行处理；

将处理后的样本输入到训练好的生成器中，所述训练好的生成器进行特征提取，再通过反卷积产生具有对抗能力的噪声；所述生成器的网络结构包括：3层一维卷积堆叠的结构，每层卷积层使用Relu作为激活函数，最后一层使用tanh函数；在每层之间引入群组归一化；鉴别器的网络结构包括：带有步长的卷积；

将生成的噪声与所述原始样本输入至训练好的干扰器，在所述训练好的干扰器中进行结合生成人体康复运动的对抗样本；

其中，生成器和干扰器的训练过程如下：

S1、获取人体康复运动训练用的训练原始样本，并对所述训练原始样本进行处理；

S2、将处理后的训练原始样本输入到生成器中，所述生成器进行特征提取，再通过反卷积产生具有对抗能力的噪声；

S3、将生成的噪声与所述训练原始样本输入至干扰器，在所述干扰器中进行结合生成人体康复运动的训练对抗样本；

S4、将生成的训练对抗样本与训练原始样本传入到鉴别器中进行分类识别；

S5、生成器、干扰器、鉴别器重复S1-S4的博弈过程，在这个过程中不断地进行训练和自我优化，最终达到均衡，使得生成器在噪声极小的情况下，干扰器产生的对抗样本与原始样本的相似度极高；

在训练过程中，总损失函数为

其中，L代表总损失函数；为在目标攻击中干扰目标模型f的损失函数，其中x表示原始样本，G(x)为生成器生成的噪声，t是目标类型，E_x表示原始样本的期望，l_f是被攻击模型f的交叉损失，/>将鼓励被干扰的信号被目标模型f区分为目标类型t；

λ代表L_tar的权重，L_tar为目标模型以对抗样本作为输入并输出的损失函数，L_tar＝E_x[logD(x)]+E_x[log(1-D(x+G(x)))]，D(x)为鉴别器对原始样本的识别结果，D(x+G(x))为鉴别器对对抗样本的识别结果，L_tar用来鼓励生成的对抗样本与原始样本尽可能相似；

γ代表L_hinge的权重，L_hinge＝E_xmax(0,||G(x)||₂-c)，c用来稳定生成对抗网络的训练；

当生成的噪声对应原始样本的信噪比小于η对应原始样本的信噪比时，在保持所述生成的噪声特征不变的情况下减弱噪声的功率来提高信噪比，保证信噪比在预设范围内，η为传感器信号误差的接受范围。

2.根据权利要求1所述的一种基于对抗样本的人体康复运动数据增强方法，其特征在于，还包括：通过样本均方差对生成的对抗样本有效性进行评估。

3.根据权利要求1所述的一种基于对抗样本的人体康复运动数据增强方法，其特征在于，获取人体康复运动的原始样本，并对所述原始样本进行处理，包括：

获取公开数据集中的正负样本；

对所述正负样本进行平铺，并使用插值方式将样本修正为固定值；

将平铺后的正负样本进行打乱并归一化处理。