CN112084891B - 基于多模态特征与对抗学习的跨域人体动作识别方法 - Google Patents

基于多模态特征与对抗学习的跨域人体动作识别方法 Download PDF

Info

Publication number
CN112084891B
CN112084891B CN202010849502.7A CN202010849502A CN112084891B CN 112084891 B CN112084891 B CN 112084891B CN 202010849502 A CN202010849502 A CN 202010849502A CN 112084891 B CN112084891 B CN 112084891B
Authority
CN
China
Prior art keywords
domain
feature
frame
rgb
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010849502.7A
Other languages
English (en)
Other versions
CN112084891A (zh
Inventor
陈万军
刘龙
范风梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010849502.7A priority Critical patent/CN112084891B/zh
Publication of CN112084891A publication Critical patent/CN112084891A/zh
Application granted granted Critical
Publication of CN112084891B publication Critical patent/CN112084891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于多模态特征与对抗学习的跨域人体动作识别方法，具体步骤是：输入RGB和Depth帧序列；帧级特征提取；特征时‑空聚集；RGB域适配对抗学习模块；Depth域适配对抗学习模块；模态判别性选择融合；分类器；训练基于多模态特征与对抗学习的跨域人体动作识别模型；对目标域中的数据进行分类。本发明融合了多模态特征，结合领域适配的对抗学习技术，提升了特征的描述和表征能力，增强了模型的跨域分布偏移适应能力，提高了分类准确率。

Description

基于多模态特征与对抗学习的跨域人体动作识别方法
技术领域
本发明属于视频分析技术领域，具体涉及基于多模态特征与对抗学习的跨域人体动作识别方法，可用于将跨域视频中的人体动作数据进行分类识别。
背景技术
视频中的人体动作识别旨在对包含人体动作的图像序列进行处理分析，学习并理解其中人的动作和行为，进而建立起视频内容和动作类型之间的映射关系，使得计算机能够像人类一样去“理解”视频，并被广泛地应用于智能视频监控、公共安全与行为分析、人-机交互、人-机协作、医疗保健以及智能机器人等众多领域中。跨域人体动作识别是指在源域数据和目标域数据概率分布不一致但又相关的情况下，利用标记的源域数据来为目标域学习一个精确的分类预测模型。
目前的人体动作识别方法通常采用多模态数据来提高识别模型的精度，如用于描述表观信息的RGB视觉模态、用于刻画几何结构信息的Depth深度模态和用于捕捉运动信息的光流模态等。虽然这些方法能得到较好的分类结果，但仍然存在不足之处，即这些方法都基于如下前提假设：训练集(称为源域)和测试集(称为目标域)具有相同的分布。然而，现实情况往往不能够满足此条件，使得在源域上训练好的模型很难适应于目标域，进而导致模型性能在跨域情形下出现大幅下降的问题。
迁移学习中的领域适配技术虽然能够在一定程度上解决跨域动作识别问题，尤其是基于深度神经网络的领域对抗学习技术。但是，这些方法往往是基于单一模态的数据信息来进行人体动作识别，而忽略了其他模态的信息所能提供的强互补性，从而导致特征的刻画能力不够强、判别力较弱，影响分类结果。
需要注意的是，本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
发明内容
本发明目的在于提供了基于多模态特征与对抗学习的跨域人体动作识别方法，解决了现有技术中模型泛化能力弱、适应性不强等模型性能下降的问题。
为实现上述目的本发明采用如下技术方案：
基于多模态特征与对抗学习的跨域人体动作识别方法，包括以下步骤：
S1：输入RGB和Depth帧序列；
S101：从有标签的源域与无标签的目标域数据集中输入RGB视觉模态帧序列数据Xv,i，源域样本数为Ns，目标域样本数为NT，i＝1,2,…,Ns∪T，源域数据对应的标签为yj，j＝1,2,…,Ns；
S102：从源域与目标域中输入RGB模态对应的Depth模态帧序列数据Xd,i；
S2：帧级特征提取：
帧级特征提取模块由通用特征提取子网络和动作识别特定任务特征变换子网络组成，从输入的帧序列中提取RGB帧级特征Gv(Xv,i)，Depth帧级特征Gd(Xd,i)，其中，Gv(·)和Gd(·)分别表示RGB和Depth特征提取模块；
S3：特征时-空聚集：
沿时间维度对提取的空间帧级特征进行均值池化聚集，形成视频级RGB特征
Figure GDA0004129381640000021
和视频级Depth特征
Figure GDA0004129381640000022
Figure GDA0004129381640000023
为第i个视频样本所提取的帧级特征序列的第t个等间隔采样帧，τ＝5为对每个样本的等间隔采样帧数；
S4：RGB域适配对抗学习模块：
域适配对抗学习模块的输出来计算RGB域对抗损失
Figure GDA0004129381640000031
CE(·,·)为交叉熵损失函数，di为领域标签，当fv,i来自源域时di＝0，当fv,i来自目标域时di＝1；
S5：Depth域适配对抗学习模块：
域适配对抗学习模块的输出来计算Depth域对抗损失
Figure GDA0004129381640000032
S6：模态判别性选择融合：
S601：域适配对抗学习模块针对源域中的样本数据，对RGB特征和Depth特征分别学习一个模态判别性加权权值矩阵Wv和Wd；
S602：对两种模态的特征进行加权后串接，形成融合后的特征fi＝[σ(Wv[fv,i；fd,i])⊙fv,i；σ(Wd[fv,i；fd,i])⊙fd,i]，σ(x)为Sigmoid函数，⊙为对应元素相乘；
S7：分类器：
从分类器的分类预测结果中计算有标签的源域样本数据的分类损失
Figure GDA0004129381640000033
S8：训练基于多模态特征与对抗学习的跨域人体动作识别模型：
S801：计算模型的训练损失L＝Lc-αLv-βLd，α,β的值均设置为0.75；
S802：利用随机梯度下降算法训练特征变换子网络、域适配对抗学习模块、模态判别性选择融合模块和分类器；
S9：对目标域中的数据进行分类：
S901：将目标域中的待分类样本XT的RGB模态数据
Figure GDA0004129381640000034
和Depth模态数据
Figure GDA0004129381640000035
分别输入到各自的帧级特征提取器中，得到帧级特征
Figure GDA0004129381640000036
和
Figure GDA0004129381640000037
S902：对帧级特征分别进行时-空聚集，得到视频级特征
Figure GDA0004129381640000038
和
Figure GDA0004129381640000039
随后输入到模态判别性选择融合模块，形成融合后的特征
Figure GDA0004129381640000041
S903：将fT输入到分类器中，得到最终的分类结果。
进一步地，上述步骤S2中帧级特征提取的网络结构及参数如下：
通用特征提取子网络为ResNet-101残差网络，并去掉平均池化层后的分类层，对每帧图像提取2048维特征向量；动作识别特定任务特征变换子网络由一个全连接层构成，输出特征维度为256维；其中，RGB模态分支与Depth模态分支均采用相同的网络结构及参数设置。
进一步地，上述域适配对抗学习模块包括梯度反转层、域判别层和批归一化层。
进一步地，上述域判别层由一个全连接层构成，输入特征维度为256维，输出特征维度为2维。
进一步地，上述步骤S7的分类器由一个全连接层构成，输入特征维度为512维，输出特征维度为C维，其中，C为类别数。
本发明的有益效果：
本发明基于多模态特征与对抗学习技术的跨域人体动作识别方法，充分融合多模态特征来提高特征对人体动作的描述能力和类别判别力，同时将融合后的特征嵌入到领域适配的对抗学习技术中来进一步增强模型的跨域动作识别性能，提升了特征的描述和表征能力，增强了模型的跨域分布偏移适应能力，提高了分类准确率，具有更广的实用性和适应性。
附图说明
图1是本发明的工作流程图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征或特性可以以任何合适的方式结合在一个或更多实施方式中。
如图1所示，对本发明的实现的步骤详细描述如下：
步骤1，输入RGB和Depth帧序列。
从有标签的源域与无标签的目标域数据集中输入RGB视觉模态帧序列数据Xv,i，源域样本数为Ns，目标域样本数为NT，i＝1,2,…,Ns∪T，源域数据对应的标签为yj，j＝1,2,…,Ns。
从源域与目标域中输入RGB模态对应的Depth模态帧序列数据Xd,i。
步骤2，帧级特征提取。
帧级特征提取模块由通用特征提取子网络和动作识别特定任务特征变换子网络组成，从输入的帧序列中提取RGB帧级特征Gv(Xv,i)，Depth帧级特征Gd(Xd,i)，其中Gv(·)和Gd(·)分别表示RGB和Depth特征提取模块。
通用特征提取子网络为ResNet-101残差网络，并去掉平均池化层后的分类层，对每帧图像提取2048维特征向量。
动作识别特定任务特征变换子网络由一个全连接层构成，输出特征维度为256维。
RGB模态分支与Depth模态分支均采用相同的网络结构及参数设置。
步骤3，特征时-空聚集。
沿时间维度对提取的空间帧级特征进行均值池化聚集，形成视频级RGB特征
Figure GDA0004129381640000051
和视频级Depth特征
Figure GDA0004129381640000052
Figure GDA0004129381640000053
为第i个视频样本所提取的帧级特征序列的第t个等间隔采样帧，τ＝5为对每个样本的等间隔采样帧数。
步骤4，RGB域适配对抗学习模块。
该模块由梯度反转层、域判别层和批归一化层组成，从该模块的输出来计算RGB域对抗损失
Figure GDA0004129381640000061
CE(·,·)为交叉熵损失函数，di为领域标签，当fv,i来自源域时di＝0，当fv,i来自目标域时di＝1。
域判别层由一个全连接层构成，输入特征维度为256维，输出特征维度为2维。
步骤5，Depth域适配对抗学习模块。
该模块由梯度反转层、域判别层和批归一化层组成，从该模块的输出来计算Depth域对抗损失
Figure GDA0004129381640000062
域判别层由一个全连接层构成，输入特征维度为256维，输出特征维度为2维。
步骤6，模态判别性选择融合。
该模块仅针对源域中的样本数据，对RGB特征和Depth特征分别学习一个模态判别性加权权值矩阵Wv和Wd。
对两种模态的特征进行加权后串接，形成融合后的特征fi＝[σ(Wv[fv,i；fd,i])⊙fv,i；σ(Wd[fv,i；fd,i])⊙fd,i]，σ(x)为Sigmoid函数，⊙为对应元素相乘。
步骤7，分类器。
从分类器的分类预测结果中计算有标签的源域样本数据的分类损失
Figure GDA0004129381640000063
分类器由一个全连接层构成，输入特征维度为512维，输出特征维度为C维。C为类别数。
步骤8，训练基于多模态特征与对抗学习的跨域人体动作识别模型。
计算模型的训练损失L＝Lc-αLv-βLd，α,β的值均设置为0.75。
利用随机梯度下降算法训练特征变换子网络、域适配对抗学习模块、模态判别性选择融合模块和分类器。
步骤9，对目标域中的数据进行分类。
将目标域中的待分类样本XT的RGB模态数据
Figure GDA0004129381640000071
和Depth模态数据
Figure GDA0004129381640000072
分别输入到各自的帧级特征提取器中，得到帧级特征
Figure GDA0004129381640000073
和
Figure GDA0004129381640000074
对帧级特征分别进行时-空聚集，得到视频级特征
Figure GDA0004129381640000075
和
Figure GDA0004129381640000076
随后输入到模态判别性选择融合模块，形成融合后的特征
Figure GDA0004129381640000077
将fT输入到分类器中，得到最终的分类结果。
本发明的效果可以通过以下仿真实验进一步说明：
1.仿真条件：
本发明的仿真实验是在单张NVIDIA Titan X GPU硬件环境和PyTorch深度学习框架软件环境下进行的。
2.仿真内容：
本发明的仿真实验所采用的数据集是国际公开的人体动作识别基准集MSR-DailyActivity3D("Mining actionlet ensemble for action recognition with depthcameras,"2012 IEEE Conference on Computer Vision and Pattern Recognition,Providence,RI,2012,pp.1290-1297,doi:10.1109/CVPR.2012.6247813)和NTU RGB+D 120("NTU RGB+D 120:A Large-Scale Benchmark for 3D Human Activity Understanding,"in IEEE Transactions on Pattern Analysis and Machine Intelligence,doi:10.1109/TPAMI.2019.2916873)。为了满足跨域动作识别的条件，首先将两个数据集中8个同类别动作的样本抽取出来构成源域与目标域。在本仿真实验中，源域带标签的数据由NTURGB+D 120数据集中的样本构成，无标签的目标域数据由MSR-DailyActivity3D中的样本构成，具体类别如表1。仿真方法得到的分类准确率对比结果如表2。
3.仿真效果分析：
表2是四种方法在仿真中得到的分类准确率对比，从表2可见，本发明将两个模态的信息进行了有效地互补融合，并嵌入到领域对抗学习技术中，相比单模态和无对抗学习领域适配的方法，有效提升了特征对动作的描述能力，增强了模型的跨域数据分布偏移适应能力，提高了分类精度。
表1源域与目标域动作类别一览表
源域(NTU RGB+D 120) 目标域(MSR-DailyActivity3D)
drink water drink
eat meal eat
reading read book
phone call call cellphone
writing write on a paper
cheer up cheer up
stand up stand up
sit down sit down
表2仿真中三种方法得到的分类准确率一览表
仿真方法 分类准确率
本发明分类方法 72.16％
仅RGB模态+对抗学习 64.03％
仅Depth模态+对抗学习 58.22％
多模态但无对抗学习 41.89％
综上所述，本发明融合了多模态特征，结合领域适配的对抗学习技术，增强了特征的描述能力和模型的跨域分布偏移适应能力，提升了分类效果。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

Claims (5)

1.基于多模态特征与对抗学习的跨域人体动作识别方法，其特征在于，包括以下步骤：
S1：输入RGB和Depth帧序列；
S101：从有标签的源域与无标签的目标域数据集中输入RGB视觉模态帧序列数据Xv,i，源域样本数为Ns，目标域样本数为NT，i＝1,2,…,Ns∪T，源域数据对应的标签为yj，j＝1,2,…,Ns；
S102：从源域与目标域中输入RGB模态对应的Depth模态帧序列数据Xd,i；
S2：帧级特征提取：
帧级特征提取模块由通用特征提取子网络和动作识别特定任务特征变换子网络组成，从输入的帧序列中提取RGB帧级特征Gv(Xv,i)，Depth帧级特征Gd(Xd,i)，其中，Gv(·)和Gd(·)分别表示RGB和Depth特征提取模块；
S3：特征时-空聚集：
沿时间维度对提取的空间帧级特征进行均值池化聚集，形成视频级RGB特征
Figure FDA0004129381630000011
和视频级Depth特征
Figure FDA0004129381630000012
Figure FDA0004129381630000013
为第i个视频样本的第t个等间隔采样帧，τ＝5为对每个样本的等间隔采样帧数；
S4：RGB域适配对抗学习模块：
域适配对抗学习模块的输出来计算RGB域对抗损失
Figure FDA0004129381630000014
CE(·,·)为交叉熵损失函数，di为领域标签，当fv,i来自源域时di＝0，当fv,i来自目标域时di＝1；
S5：Depth域适配对抗学习模块：
域适配对抗学习模块的输出来计算Depth域对抗损失
Figure FDA0004129381630000015
S6：模态判别性选择融合：
S601：域适配对抗学习模块针对源域中的样本数据，对RGB特征和Depth特征分别学习一个模态判别性加权权值矩阵Wv和Wd；
S602：对两种模态的特征进行加权后串接，形成融合后的特征fi＝[σ(Wv[fv,i；fd,i])⊙fv,i；σ(Wd[fv,i；fd,i])⊙fd,i]，σ(x)为Sigmoid函数，⊙为对应元素相乘；
S7：分类器：
从分类器的分类预测结果中计算有标签的源域样本数据的分类损失
Figure FDA0004129381630000021
S8：训练基于多模态特征与对抗学习的跨域人体动作识别模型：
S801：计算模型的训练损失L＝Lc-αLv-βLd，α,β的值均设置为0.75；
S802：利用随机梯度下降算法训练特征变换子网络、域适配对抗学习模块、模态判别性选择融合模块和分类器；
S9：对目标域中的数据进行分类：
S901：将目标域中的待分类样本XT的RGB模态数据
Figure FDA0004129381630000022
和Depth模态数据
Figure FDA0004129381630000023
分别输入到各自的帧级特征提取器中，得到帧级特征
Figure FDA0004129381630000024
和
Figure FDA0004129381630000025
S902：对帧级特征分别进行时-空聚集，得到视频级特征
Figure FDA0004129381630000026
和
Figure FDA0004129381630000027
随后输入到模态判别性选择融合模块，形成融合后的特征
Figure FDA0004129381630000028
S903：将fT输入到分类器中，得到最终的分类结果。
2.根据权利要求1所述的基于多模态特征与对抗学习的跨域人体动作识别方法，其特征在于，所述步骤S2中帧级特征提取的网络结构及参数如下：
通用特征提取子网络为ResNet-101残差网络，并去掉平均池化层后的分类层，对每帧图像提取2048维特征向量；动作识别特定任务特征变换子网络由一个全连接层构成，输出特征维度为256维；其中，RGB模态分支与Depth模态分支均采用相同的网络结构及参数设置。
3.根据权利要求2所述的基于多模态特征与对抗学习的跨域人体动作识别方法，其特征在于：所述域适配对抗学习模块包括梯度反转层、域判别层和批归一化层。
4.根据权利要求3所述的基于多模态特征与对抗学习的跨域人体动作识别方法，其特征在于：所述域判别层由一个全连接层构成，输入特征维度为256维，输出特征维度为2维。
5.根据权利要求2所述的基于多模态特征与对抗学习的跨域人体动作识别方法，其特征在于，所述步骤S7的分类器由一个全连接层构成，输入特征维度为512维，输出特征维度为C维，其中，C为类别数。
CN202010849502.7A 2020-08-21 2020-08-21 基于多模态特征与对抗学习的跨域人体动作识别方法 Active CN112084891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010849502.7A CN112084891B (zh) 2020-08-21 2020-08-21 基于多模态特征与对抗学习的跨域人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010849502.7A CN112084891B (zh) 2020-08-21 2020-08-21 基于多模态特征与对抗学习的跨域人体动作识别方法

Publications (2)

Publication Number Publication Date
CN112084891A CN112084891A (zh) 2020-12-15
CN112084891B true CN112084891B (zh) 2023-04-28

Family

ID=73729155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010849502.7A Active CN112084891B (zh) 2020-08-21 2020-08-21 基于多模态特征与对抗学习的跨域人体动作识别方法

Country Status (1)

Country Link
CN (1) CN112084891B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139664B (zh) * 2021-04-30 2023-10-10 中国科学院计算技术研究所 一种跨模态的迁移学习方法
CN113221916B (zh) * 2021-05-08 2023-07-07 哈尔滨工业大学（深圳） 一种基于跨域快速迁移的视觉拣选方法及装置
CN113705339B (zh) * 2021-07-15 2023-05-23 电子科技大学 基于对抗性域适应策略的跨用户人体行为识别方法
CN113657172B (zh) * 2021-07-20 2023-08-01 西安理工大学 基于语义级领域不变特征的跨域人体动作识别方法
CN114821250A (zh) * 2022-03-23 2022-07-29 支付宝(杭州)信息技术有限公司 一种跨域的模型训练方法、装置以及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544517A (zh) * 2018-11-06 2019-03-29 中山大学附属第医院 基于深度学习的多模态超声组学分析方法及系统
CN110796110A (zh) * 2019-11-05 2020-02-14 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及系统
CN111325155A (zh) * 2020-02-21 2020-06-23 重庆邮电大学 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180262525A1 (en) * 2017-03-09 2018-09-13 General Electric Company Multi-modal, multi-disciplinary feature discovery to detect cyber threats in electric power grid
US10853656B2 (en) * 2017-08-28 2020-12-01 Nec Corporation Surveillance system with activity recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544517A (zh) * 2018-11-06 2019-03-29 中山大学附属第医院 基于深度学习的多模态超声组学分析方法及系统
CN110796110A (zh) * 2019-11-05 2020-02-14 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及系统
CN111325155A (zh) * 2020-02-21 2020-06-23 重庆邮电大学 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
multi-modal domain adaptation for fine-grained action recognition;jonathan munro et al.;《arxiv》;20200319;第1-10页 *
结合自注意力的对抗性领域适应图像分类方法;陈诚等;《计算机工程与科学》;20200215(第02期);第72-78页 *

Also Published As

Publication number Publication date
CN112084891A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112084891B (zh) 基于多模态特征与对抗学习的跨域人体动作识别方法
CN112307958B (zh) 基于时空外观运动注意力网络的微表情识别方法
CN110532900B (zh) 基于U-Net和LS-CNN的人脸表情识别方法
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108596039B (zh) 一种基于3d卷积神经网络的双模态情感识别方法及系统
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
WO2019223397A1 (zh) 图像处理方法、装置、计算机设备和计算机存储介质
CN106295694B (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
Ouyang et al. Accurate and robust facial expressions recognition by fusing multiple sparse representation based classifiers
CN104361316B (zh) 一种基于多尺度时序建模的维度情感识别方法
CN112464865A (zh) 一种基于像素和几何混合特征的人脸表情识别方法
CN109308485A (zh) 一种基于字典域适应的迁移稀疏编码图像分类方法
CN112784763A (zh) 基于局部与整体特征自适应融合的表情识别方法及系统
CN109344759A (zh) 一种基于角度损失神经网络的亲属识别方法
CN112364708B (zh) 基于知识蒸馏与对抗学习的多模态人体动作识别方法
Li et al. Transfer learning for toxoplasma gondii recognition
Paul et al. Extraction of facial feature points using cumulative histogram
KR20190128933A (ko) 시공간 주의 기반 감정 인식 장치 및 방법
CN114937298A (zh) 一种基于特征解耦的微表情识别方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
Sabater et al. Event Transformer+. A multi-purpose solution for efficient event data processing
Uddin et al. A convolutional neural network for real-time face detection and emotion & gender classification
CN112926502B (zh) 基于核化双群稀疏学习的微表情识别方法及系统
CN113505740B (zh) 基于迁移学习和卷积神经网络的面部识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant