CN113313040A - 基于fmcw雷达信号的人体姿势识别方法 - Google Patents

Abstract

本发明提出一种基于FMCW雷达信号的人体姿势识别方法，其首先将FMCW雷达采集到的数据进行离散傅里叶变换（FFT），获得目标距离、目标速度以及目标角度。其次，采用DBSCAN聚类算法以及Hampel滤波法，解决了范围内动态或静态目标的噪声干扰的同时去除多余的异常值，提高人体姿势的精度，从而构造了距离‑时间图(DTM)和速度‑时间图(VTM)。最后，搭建了一种基于不同融合方式的多维参数深度学习网络框架。该网络框架利用卷积神经网络对DTM、VTM数据集进行特征提取，利用低秩多模态融合（LMF）网络进行不同数据集的特征融合，采用域鉴别器获得与环境无关的特征并使用活动识别器获得姿势识别结果。该方法可以有效去除FMCW人体姿势识别的背景噪声干扰，具有对环境不敏感的优势。

Description

基于FMCW雷达信号的人体姿势识别方法

技术领域

本发明属于无线感知技术领域，尤其涉及一种基于FMCW雷达信号的人体姿势识别方法。

背景技术

近年来，依托于人们生活的环境趋向于室内化，人们对于室内的智能家居、智能办公、智能娱乐等需求也是日益增加，这让人体姿势识别技术具有应用前景，已经有多种人体姿势识别技术被应用到不同场景。

目前，国内外在人体姿势识别的研究上在视觉、可穿戴传感器、可见光、声波、WiFi等方面都有着巨大发展。但是，现有的姿势识别的方法存在一定的局限性。基于视觉、可穿戴带传感器、可见光的人体姿势识别方法易被障碍物所遮挡且易受温度、光照的影响；基于声波、WiFi的人体姿势识别方法虽然不会受光照的影响，但是功耗高且容易受外部环境的干扰。

由于FMCW雷达具有发射功率低，接收灵敏度高、不存在盲区、杰出的距离分辨率、不受光照影响的优点，FMCW雷达信号在无线感知领域中越来越备受关注。但现有的基于FMCW雷达信号的人体姿势识别并没有充分考虑到环境的变化，以至于系统的泛用性不强。因此，实现对环境要求低，能够进行跨域识别的人体姿势识别系统的研究是有必要的。

发明内容

有鉴于此，为了弥补现有技术的空白和不足，本发明的目的在于提供一种基于FMCW雷达信号的人体姿势识别方法，该方法通过对FMCW雷达原始信号的有效分析和处理，并利用低秩多模态融合网络和域适应对抗网络充分融合利用多个特征之间的相互作用关系，并生成与环境无关的特征，有效去除FMCW人体姿势识别的背景噪声干扰，实现对环境要求低并且精度高的人体姿势识别系统。

其首先将FMCW雷达采集到的数据进行离散傅里叶变换(FFT)，获得目标距离、目标速度以及目标角度。其次，采用DBSCAN聚类算法以及Hampel滤波法，解决了范围内动态或静态目标的噪声干扰的同时去除多余的异常值，提高人体姿势的精度，从而构造了距离-时间图(DTM)和速度-时间图(VTM)。最后，搭建了一种基于不同融合方式的多维参数深度学习网络框架。该网络框架利用卷积神经网络对DTM、VTM数据集进行特征提取，利用低秩多模态融合(LMF)网络进行不同数据集的特征融合，采用域鉴别器获得与环境无关的特征并使用活动识别器获得姿势识别结果。该方法可以有效去除FMCW人体姿势识别的背景噪声干扰，具有对环境不敏感的优势。

本发明具体采用以下技术方案：

一种基于FMCW雷达信号的人体姿势识别方法，其特征在于，包括以下步骤：

步骤S1：利用FMCW(调频连续波)雷达采集原始人体姿态(模数转换器(ADC))数据，进行数据分析得到目标距离、目标速度以及目标角度；

步骤S2：通过坐标法计算目标位置，然后采用范围限制、DBSCAN聚类算法和Hampel滤波算法去除范围内动态或静态目标的噪声干扰及多余的异常值，以提高人体姿势的精度，并构造距离-时间图DTM和速度-时间图VTM；

步骤S3：对距离-时间图DTM和速度-时间图VTM分别采用卷积神经网络进行特征提取，然后用低秩多模态融合网络对特征进行融合，以充分利用特征之间的相互作用关系；

步骤S4：使用域鉴别器对融合后的特征进行处理，进一步获取与环境无关的特征并通过活动识别器获得分类结果。

进一步地，在步骤S1中，目标距离、目标速度以及目标角度通过以下具体步骤获得：

步骤S11：由于采集到的FMCW雷达ADC数据形状为三维的矩阵，即采样点数、chirp数以及接收天线数，并分为快时间维度和慢时间维度。因此在FMCW雷达采集的原始人体姿态数据上进行3维快速傅里叶变换(FFT)将数据从时域变换到频域上，然后通过峰值搜索检测出峰值位置(x,y,z)，并得到差拍频率f_e，多普勒频率f_d，空间频率f_k：

其中，f_s是采样频率，N_dFFT、N_vFFT和N_GFFT分别是距离、速度和角度维度的FFT点数；

步骤S12：由于人体目标的运动所产生的多普勒效应会造成一定的多普勒频移，导致计算出来的差拍频率包含着多普勒频率，为了得到真正的中频信号频率f_IF,需要通过差拍频率f_e减去多普勒频率f_d得到。最终根据频率与实际距离、速度及角度的物理关系，通过以下公式计算得到目标的距离、速度及角度信息：

其中，c为光速，k是调频连续波信号随时间的变化率，λ是调频连续波信号初始频率的波长，L是接收天线的距离。

进一步地，步骤S2具体包括以下步骤：

步骤S21：FMCW雷达通过接收天线接收到信号并进行测量距离、测量速度、测量角度后，并通过坐标法计算目标位置(X,Y)：

其中，D是雷达与目标的距离，α是目标相对于雷达的方位角；

步骤S22：在得到目标的位置信息后，使用DBSCAN算法将有效目标信息和周围环境噪声区分开；由于实际应用场景中，雷达的探测范围具有一定的区域限制，因此对人的活动范围进行限制可以先一步排除远距离无关物体对雷达信号的干扰。DBSCAN聚类算法将聚类定义为高密度的连续区域，如果所有聚类足够密集就可以与被低密度区域很好地隔开，因此能够将数据集中的噪声数据聚类成不同形态的簇。

步骤S23：使用Hampel滤波将信号中特定的信号点滤除，从而抑制干扰；聚类算法将不同的数据聚类成不同的数据集，但不同的数据集中还有可能存在少量的异常点。使用Hampel滤波将信号中特定的信号点比如跳跃离群值滤除出去，从而抑制干扰。

步骤S24：FMCW雷达经过FFT变换、聚类算法以及滤波等一系列的步骤消除了动态或静态的噪声。但是，在去除异常的噪声时，可能导致原本数据样本的丢失，从而导致数据缺乏有用性。考虑到测量的过程每一帧的时间比较短且运动速度比较均匀，因此，采用数据重构的方式进行线性插值，即用前一未丢失时刻的值代替丢失时刻的值。

因此采用数据重构的方式进行线性插值，即用前一未丢失时刻的值代替丢失时刻的值；在插值处理后，构造出距离-时间图DTM(Distance-Time Map，DTM)和速度-时间图VTM(Velocity-Time Map，VTM)作为数据集。

进一步地，步骤S3具体包括以下步骤：

步骤S31：在距离-时间图DTM和速度-时间图VTM上两个分支分别使用卷积神经网络进行特征的提取，然后使用批处理范数层对每一层数据的均值和方差进行归一化；最后，添加了一个激活函数和一个最大池化层以减小参数的大小：

Z_DTM＝CNN(X_DTM；λ_DTM)

Z_VTM＝CNN(X_VTM；λ_VTM)；

其中，Z_DTM和Z_VTM为所提取的特征，X_DTM和X_VTM输入数据集，λ_DTM和λ_VTM为卷积神经网络的参数；

步骤S32：使用低秩多模态融合网络(LMF)对提取的特征进行有效融合，充分利用特征间的相互作用关系。低秩权重张量使多模态融合高效而又不影响性能的方法。使用低秩多模态融合网络LMF对提取的特征进行融合，将单模态表示的Z_DTM、Z_VTM通过对模态特定因子进行低秩多模态融合产生多模态输出表示：

其中，z_m为输入的单模态特征向量，M为单模态特征的总个数，

为第m个模态对应的低秩因子，r为秩的大小,F_ADD为融合后的多模态特征表示向量。

进一步地，步骤S4利用活动识别器获得分类结果以及使用域鉴别器来生成与环境无关的特征，具体包括以下步骤：

步骤S41：所述活动识别器由两个完全连接的层组成，使用softmax层获取特征提取器的概率：

H_i＝softplus(F_ADDN+β)；

其中，H_i是表示使用完全连接的层和激活函数softplus来学习F_ADD，N和β是要学习的参数，softplus函数是引入非线性的激活函数；为了预测人类活动的标签，采用映射特征H_i表示到一个新潜在空间K_i∈R^u，其中u是人类活动的数量；此外，softmax层用于获得活动的概率向量；

Y_i＝soft max(H_i)；

其中，Y_i表示标记数据的预测概率；

对于已标记的数据，使用交叉熵函数L_Y计算预测结果与真实值之间的损失：

其中，|x|为已标记数据的数量，B代表类别数量，Y_ib为预测概率；

步骤S42：将特征提取与特征融合网络的输出F_ADD与预测结果Y进行拼接：

由于F_ADD同时包含域无关和特定域的功能，某些功能虽然是特定于域的，但对活动识别任务很有帮助。由于仍然需要保留这些功能，因此将F_ADD和Y串联为域鉴别器的输入，通过具有相应激活函数的全连通层M投影到域分布S中，得到定义域分布和真实域标签之间损耗函数L_d；

P_i＝softplus(W_qM_i+c_q)

S_i＝soft max(W_mP_i+c_m)

其中，|D|为域的数量，W_m、W_q、c_q和c_m是参数，d_ij是真域标签的单位向量，P_i表示潜在空间；

目的是利用域适应提取无关特征，但是域鉴别器的目的是最小化损失函数L_Y，从而最大化域标签预测的性能，这两者存在一种对立的关系。针对以上问题，本发明采用最大化目标函数域鉴别器损耗L_d；

L＝L_Y-γL_d；

其中，γ为加权参数；特征提取器通过最大化L_d来最大程度地欺骗域鉴别器，同时通过最小化损失函数L_Y来增强活动识别器的性能；通过该最大最小化的方法学习所有活动的公共环境的无关特征，并最终获得未标记数据的预测标签。

与现有技术相比，本发明及其优选方案对FMCW雷达原始信号进行算法分析和处理，利用低秩多模态融合网络和域适应对抗网络充分利用多个特征之间的相互作用关系，并生成与环境无关的特征，有效去除FMCW人体姿势识别的背景噪声干扰。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1是本发明实施例步骤3算法原理示意图。

图2是本发明实施例的整体流程示意图。

图3是本发明实施例FMCW雷达数据形式示意图。

图4是本发明实施例步骤12的距离-多普勒图。

图5是本发明实施例距离-时间和速度-时间图。

图6是本发明实施例聚类的结果图。

图7是本发明实施例低秩多模态融合网络示意图。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：

如图2所示，本实施例提供了一种基于FMCW雷达信号的人体姿势识别方法，具体按照如下步骤实现，

步骤1：以挥拳，行走，站立，坐下四个动作为例，利用调频连续波(FMCW)雷达采集原始人体姿态的ADC数据，然后进行数据分析得到目标距离、目标速度以及目标角度；

步骤2：在步骤1得到的目标距离、速度及角度信息后，通过坐标法计算目标位置，然后采用DBSCAN聚类算法和Hampel滤波算法解决范围内动态或静态目标的噪声干扰并去除多余的异常值，提高人体姿势的精度，从而构造距离-时间图(DTM)和速度-时间图(VTM)；

步骤3：对步骤2得到的距离-时间图(DTM)和速度-时间图(VTM)分别用卷积神经网络进行特征提取，然后用低秩多模态融合网络对特征进行融合，充分利用特征之间的相互作用关系；

步骤4：在步骤3获得融合特征后，使用域鉴别器进行处理，进一步获取与环境无关的特征并通过活动识别器获得分类结果。

步骤1中的具体实现过程如下：

步骤11：以挥拳，行走，站立，坐下四个动作为例，然后使用FMCW雷达对姿势动作进行采集。如图3所示，采集到的FMCW雷达ADC数据形状为三维的矩阵，即采样点数、chirp数以及接收天线数，并分为快时间维度和慢时间维度。在快时间维度对ADC数据进行快速离散傅里叶变换变化，得到距离FFT。为了防止频谱泄漏，需要对每一列数据添加海明窗，然后在每一列采样点数上做快速离散傅里叶变换处理，得到距离-FFT图；

步骤12：在距离-FFT图的慢时间维度上每一行采样点数做快速离散傅里叶变换变化，得到距离-多普勒图，如图4所示；

步骤13：将距离-多普勒图中位于不同接收天线但索引相同的值取出并进行补零，然后进行180°的快速傅里叶变换处理，得到角度FFT，从而构建成三维的距离-多普勒-角度图，其中三个维度分别对应距离、速度、角度；

步骤14：在进行3维FFT变换后，通过谱峰搜索检测出谱峰位置(x,y,z)，从而得到差拍频率f_e，多普勒频率f_d，空间频率f_k：

其中，f_s是采样频率，N_dFFT、N_vFFT和N_GFFT分别是距离、速度和角度维度的FFT点数。由于人体目标的运动所产生的多普勒效应会造成一定的多普勒频移，导致计算出来的差拍频率包含着多普勒频率，为了得到真正的中频信号频率f_IF,需要通过差拍频率f_e减去多普勒频率f_d得到。然后根据以下公式计算得到目标的距离、速度及角度信息。

其中，k是调频连续波信号随时间的变化率，λ是调频连续波信号初始频率的波长，L是接收天线的距离。

步骤2中的具体实现过程如下：

步骤21：FMCW雷达通过接收天线接收到信号并进行测量距离、测量速度、测量角度后，就可以通过坐标法计算目标位置(X,Y)：

其中，D是雷达与目标的距离，α是目标相对于雷达的方位角。

步骤22：由于实际应用场景中，雷达的探测范围具有一定的区域限制，因此对人的活动范围进行限制可以先一步排除远距离无关物体对雷达信号的干扰。对于DBSCAN聚类算法，并不需要知道簇的个数，而是需要定义Eps和MinPts这两个主要参数。其中，Eps是一种距离度量，将用于定位点或检查任何点附近的密度，而MinPts定义为密度阈值。Eps值如果选择较小的时候，则大部分数据将不会聚类，如果选择的值太高，所有的数据将聚类成一个聚类群。对于有噪声的数据集，通常情况下，MinPts选择较大的值会更好。因此，Eps和MinPts的值微小变化都会显着改变DBSCAN算法产生的结果，在本实施例中将Eps和MinPts分别设置为0.25和5。

步骤23：聚类算法将不同的数据聚类成不同的数据集，但不同的数据集中还有可能存在少量的异常点。Hampel滤波可以将信号中特定的信号点滤除出去，从而抑制干扰。具体实验过程如下：对于数据集中的每个样本，选取该样本的左右各三个样本组成窗口，同时求出这六个样本的中值。确定窗口中的值与中值的偏差，并且将偏差的中值乘以用户定义的阈值。根据用户定义的查询值检查阈值，以发现样本点是否离群。如果窗口中的某个样本为离散值，则用样本中值替换该样本。聚类结果如图6所示。

步骤24：FMCW雷达经过FFT变换、聚类算法以及滤波等一系列的步骤消除了动态或静态的噪声。但是，在去除异常的噪声时，可能导致原本数据样本的丢失，从而导致数据缺乏有用性。考虑到测量的过程每一帧的时间比较短且运动速度比较均匀，因此，可以采用数据重构的方式进行线性插值，即用前一未丢失时刻的值代替丢失时刻的值。在插值处理后，构造出距离-时间(Distance-Time Map，DTM)、速度-时间(Velocity-Time Map，VTM)数据集，如图5所示。

如图1所示，步骤3中的具体实现过程如下：

步骤31：在距离-时间和速度-时间图上两个分支分别使用卷积神经网络(CNN)进行特征的提取，然后使用批处理范数层对每一层数据的均值和方差进行归一化。最后，添加了一个激活函数和一个最大池化层以减小参数的大小。

Z_DTM＝CNN(X_DTM；λ_DTM)

Z_VTM＝CNN(X_VTM；λ_VTM)

其中，Z_DTM和Z_VTM为所提取的特征，X_DTM和X_VTM输入数据集，λ_DTM和λ_VTM为卷积神经网络的参数。

步骤32：在步骤31得到了Z_DTM和Z_VTM两个特征，为了充分利用特征之间的相互作用关系，选择对特征进行融合。基于张量的特征融合方式可以充分考虑到特征内部还有特征之间的各种相互作用关系，比一般的简单拼接等融合方法效果更好。基于张量的特征融合方式可以用以下公式表示：

h＝g(Z；W,b)＝W·Z+b

其中h为融合后的多模态特征表示，W是一个M阶的权重张量，该权重张量是通过学习得到的，Z是由M个输入特征通过外积而来的一个M阶输入张量，b是偏置。

但张量融合网络需要学习的权重张量是一个高阶张量，这将不仅会引入大量的计算还会使模型面临过拟合的风险。因此在该基础上将完整的权重张量W分解为多个低秩权重张量w_m，即使用低秩多模态融合网络(LMF)进行融合。低秩权重张量使多模态融合高效而又不影响性能的方法。LMF首先通过将X_DTM、X_VTM数据集分别放入两个卷积神经网络(CNN)中得到Z_DTM、Z_VTM的单模态表示，然后通过对模态特定因子进行低秩多模态融合来产生多模态输出表示，如图7所示。

其中，z_m为输入的单模态特征向量，M为单模态特征的总个数，

为第m个模态对应的低秩因子，r为秩的大小,F_ADD为融合后的多模态特征表示向量。

步骤4中的具体实现过程如下：

步骤41：活动识别器由两个完全连接的层组成，使用softmax层获取特征提取器的概率。

H_i＝softplus(F_ADDN+β)

其中，H_i是表示使用完全连接的层和激活函数softplus来学习F_ADD特征，N和β是要学习的参数，而softplus函数是引入非线性的激活函数。为了预测人类活动的标签，我们需要映射特征H_i表示到一个新潜在空间K_i∈R^u，其中u是人类活动的数量。此外，softmax层用于获得活动的概率向量。

Y_i＝soft max(H_i)

其中，Y_i表示标记数据的预测概率。

对于已标记的数据，使用交叉熵函数L_Y来计算预测结果与真实值之间的损失。

其中，|x|为已标记数据的数量，B代表类别数量，Y_ib为预测概率。

步骤42：将特征提取与特征融合网络的输出F_ADD与预测结果Y进行拼接：

由于F_ADD同时包含域无关和特定域的功能，某些功能虽然是特定于域的，但对活动识别任务很有帮助。因此，我们仍然需要保留这些功能。这可以通过将F_ADD和Y串联为域鉴别器的输入来实现。然后，通过具有相应激活函数的全连通层M投影到域分布S中。最后，为了使域能够区分输入活动的域标签，得到了定义域分布和真实域标签之间损耗函数L_d。

P_i＝softplus(W_qM_i+c_q)

S_i＝soft max(W_mP_i+c_m)

其中，|D|为域的数量，W_m、W_q、c_q和c_m是参数，d_ij是真域标签的单位向量，P_i表示的是潜在空间。

目的是利用域自适应提取无关特征，但是域鉴别器的目的是最小化损失函数L_Y，从而最大化域标签预测的性能，这两者存在一种对立的关系。针对以上问题，只需要最大化目标函数域鉴别器损耗L_d。

L＝L_Y-γL_d

其中，γ为加权参数。特征提取器通过最大化L_d来最大程度地欺骗域鉴别器，同时通过最小化L_Y来增强活动识别器的性能。通过这个最大最小化的方法，我们可以学习所有活动的公共环境的无关特征，并最终获得未标记数据的预测标签。

本发明方法通过对FMCW雷达信号的算法分析和处理，结合低秩多模态融合网络来融合FMCW雷达的多维信号特征，并进一步使用域鉴别器获取与环境无关的特征，有效的去除了环境因素对人体姿势识别的影响。为了验证低秩多模态融合和域鉴别器的作用，进行了对多维信号特征进行简单拼接融合实验与只使用活动识别器不使用与鉴别器的实验，结果如表1所示。

表1

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于FMCW雷达信号的人体姿势识别方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (5)

1.一种基于FMCW雷达信号的人体姿势识别方法，其特征在于，包括以下步骤：

步骤S1：利用FMCW雷达采集原始人体姿态数据，进行数据分析得到目标距离、目标速度以及目标角度；

步骤S2：通过坐标法计算目标位置，然后采用范围限制、DBSCAN聚类算法和Hampel滤波算法去除范围内动态或静态目标的噪声干扰及多余的异常值，并构造距离-时间图DTM和速度-时间图VTM；

步骤S3：对距离-时间图DTM和速度-时间图VTM分别采用卷积神经网络进行特征提取，然后用低秩多模态融合网络对特征进行融合；

步骤S4：使用域鉴别器对融合后的特征进行处理，进一步获取与环境无关的特征并通过活动识别器获得分类结果。

2.根据权利要求1所述的基于FMCW雷达信号的人体姿势识别方法，其特征在于：

在步骤S1中，目标距离、目标速度以及目标角度通过以下具体步骤获得：

步骤S11：在FMCW雷达采集的原始人体姿态数据上进行3维快速傅里叶变换，然后通过峰值搜索检测出峰值位置(x,y,z)，并得到差拍频率f_e，多普勒频率f_d，空间频率f_k：

其中，f_s是采样频率，N_dFFT、N_vFFT和N_GFFT分别是距离、速度和角度维度的FFT点数；

步骤S12：考虑人体目标的运动所产生的多普勒频移，为了得到真正的中频信号频率f_IF,需要通过差拍频率f_e减去多普勒频率f_d得到；最终根据频率与实际距离、速度及角度的物理关系，通过以下公式计算得到目标的距离、速度及角度信息：

其中，c为光速，k是调频连续波信号随时间的变化率，λ是调频连续波信号初始频率的波长，L是接收天线的距离。

3.根据权利要求1所述的基于FMCW雷达信号的人体姿势识别方法，其特征在于：步骤S2具体包括以下步骤：

步骤S21：FMCW雷达通过接收天线接收到信号并进行测量距离、测量速度、测量角度后，并通过坐标法计算目标位置(X,Y)：

其中，D是雷达与目标的距离，α是目标相对于雷达的方位角；

步骤S22：在得到目标的位置信息后，使用DBSCAN算法将有效目标信息和周围环境噪声区分开；

步骤S23：使用Hampel滤波将信号中特定的信号点滤除，从而抑制干扰；

步骤S24：采用数据重构的方式进行线性插值，即用前一未丢失时刻的值代替丢失时刻的值；在插值处理后，构造出距离-时间图DTM和速度-时间图VTM作为数据集。

4.根据权利要求1所述的基于FMCW雷达信号的人体姿势识别方法，其特征在于，步骤S3具体包括以下步骤：

步骤S31：在距离-时间图DTM和速度-时间图VTM上两个分支分别使用卷积神经网络进行特征的提取，然后使用批处理范数层对每一层数据的均值和方差进行归一化；最后，添加了一个激活函数和一个最大池化层以减小参数的大小：

Z_DTM＝CNN(X_DTM；λ_DTM)

Z_VTM＝CNN(X_VTM；λ_VTM)；

其中，Z_DTM和Z_VTM为所提取的特征，X_DTM和X_VTM输入数据集，λ_DTM和λ_VTM为卷积神经网络的参数；

步骤S32：使用低秩多模态融合网络LMF对提取的特征进行融合，将单模态表示的Z_DTM、Z_VTM通过对模态特定因子进行低秩多模态融合产生多模态输出表示：

其中，z_m为输入的单模态特征向量，M为单模态特征的总个数，

为第m个模态对应的低秩因子，r为秩的大小,F_ADD为融合后的多模态特征表示向量。

5.根据权利要求1所述的基于FMCW雷达信号的人体姿势识别方法，其特征在于：步骤S4利用活动识别器获得分类结果以及使用域鉴别器来生成与环境无关的特征，具体包括以下步骤：

步骤S41：所述活动识别器由两个完全连接的层组成，使用softmax层获取特征提取器的概率：

H_i＝softplus(F_ADDN+β)；

其中，H_i是表示使用完全连接的层和激活函数softplus来学习F_ADD，N和β是要学习的参数，softplus函数是引入非线性的激活函数；为了预测人类活动的标签，采用映射特征H_i表示到一个新潜在空间K_i∈R^u，其中u是人类活动的数量；此外，softmax层用于获得活动的概率向量；

Y_i＝soft max(H_i)；

其中，Y_i表示标记数据的预测概率；

对于已标记的数据，使用交叉熵函数L_Y计算预测结果与真实值之间的损失：

其中，|x|为已标记数据的数量，B代表类别数量，Y_ib为预测概率；

步骤S42：将特征提取与特征融合网络的输出F_ADD与预测结果Y进行拼接：

将F_ADD和Y串联为域鉴别器的输入，通过具有相应激活函数的全连通层M投影到域分布S中，得到定义域分布和真实域标签之间损耗函数L_d；

P_i＝softplus(W_qM_i+c_q)

S_i＝soft max(W_mP_i+c_m)

其中，|D|为域的数量，W_m、W_q、c_q和c_m是参数，d_ij是真域标签的单位向量，P_i表示潜在空间；

最大化目标函数域鉴别器损耗L_d；

L＝L_Y-γL_d；

其中，γ为加权参数；特征提取器通过最大化L_d来最大程度地欺骗域鉴别器，同时通过最小化损失函数L_Y来增强活动识别器的性能；通过该最大最小化的方法学习所有活动的公共环境的无关特征，并最终获得未标记数据的预测标签。

Images