CN111274902A - 用多头掩模均衡融和单元的手势深度图像连续检测方法 - Google Patents

用多头掩模均衡融和单元的手势深度图像连续检测方法 Download PDF

Info

Publication number
CN111274902A
CN111274902A CN202010043780.3A CN202010043780A CN111274902A CN 111274902 A CN111274902 A CN 111274902A CN 202010043780 A CN202010043780 A CN 202010043780A CN 111274902 A CN111274902 A CN 111274902A
Authority
CN
China
Prior art keywords
frame
hand
mask
spatial distribution
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010043780.3A
Other languages
English (en)
Other versions
CN111274902B (zh
Inventor
何再兴
郭方泰
赵昕玥
张树有
谭建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010043780.3A priority Critical patent/CN111274902B/zh
Publication of CN111274902A publication Critical patent/CN111274902A/zh
Application granted granted Critical
Publication of CN111274902B publication Critical patent/CN111274902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用多头掩模均衡融和单元的手势深度图像连续检测方法。通过深度相机捕捉人手动态变化的深度图像序列；将每一帧投影三维空间点云网格化作为该帧的输入网格，组成网格序列；遍历每一帧，输入体卷积神经网络单帧检测模型中处理获得各帧的手部关节拟高斯空间分布；选取上一帧的手部关节拟高斯空间分布输入多头掩模均衡融和单元获得当前帧的掩模，然后将当前帧的掩模与输入网格进行掩模叠加；在输入体卷积神经网络多帧检测模型，获得当前帧的手部关节拟高斯空间分布；重复步骤，将每一帧的手部关节拟高斯空间分布转换为手骨骼关节点的三维坐标。本发明方法通过引入手部关节拟高斯空间分布极大提高了手势检测的稳定性。

Description

用多头掩模均衡融和单元的手势深度图像连续检测方法
技术领域
本发明属于图像自动识别技术领域的一种手势深度图像识别检测方法，更具体地是涉及了一种基于多头掩模均衡融和单元的手势深度图像连续检测方法。
背景技术
手势检测是诸多手势人机交互领域的基石技术，如机械臂手势伺服，虚拟现实和增强现实交互。基于单目深度相机捕捉包含人手深度图像，并采用深度卷积神经网络有监督学习的单帧手势检测解决方案已成为手势各个关节坐标检测的主流方法。然而现有单帧手势深度图像检测识别方法，因手势空间表达的高维复杂性和手势信息存在的自遮挡、噪声等问题，往往造成检测方法在实际应用场景中检测性能不稳定和误差浮动范围大的缺点。此外，当被观测对象存在连续、快速的手势变化时，单帧手势检测方法的无法满足实时高精度的手势检测结果。
发明内容
本发明的目的在于针对现有的单帧手势检测方法不能同时引入对时序和空间的依赖，提供一种依赖手部关节拟高斯空间分布对空间位置关系施加多头掩模机制融和的手势深度图像连续检测方法，方法通过引入手部关节拟高斯空间分布极大提高了手势检测的稳定性。
本发明所采用的技术方案如下：
S1、通过深度相机捕捉人手动态变化的深度图像序列；
S2、将深度图像序列的每一帧投影为三维空间点云并网格化作为该帧的输入网格，由各帧的网格化结果组成网格序列；
S3、选取网格序列的第一帧作为当前帧，输入预训练的体卷积神经网络单帧检测模型中处理获得第一帧的手部关节拟高斯空间分布；
S4、当前帧变为上一帧，下一帧变为当前帧；
S5、选取上一帧的手部关节拟高斯空间分布输入多头掩模均衡融和单元获得当前帧的掩模，然后将当前帧的掩模与当前帧的输入网格进行掩模叠加；
S6、将S5的掩模叠加结果输入体卷积神经网络多帧检测模型，获得当前帧的手部关节拟高斯空间分布；
S7、重复步骤S4-S6，直到将整个深度图像序列检测结束；
S8、将每一帧的手部关节拟高斯空间分布转换为手骨骼关节点的三维坐标。
本发明手势深度图像的检测方法针对第一帧不依赖多头掩模均衡融和单元，即直接将其输入体卷积神经网络单帧检测模型进行检测，这样可以有利于手势深度图像的快速识别检测，提高了连续性和稳定性以及检测精度。
所述体卷积神经网络单帧检测模型和体卷积神经网络多帧检测模型的网络结构相同但网络参数不同，均采用PoseNet网络结构，其中包括体卷积层、体反卷积层、体最大池化层、体批正则层和ReLu/Sigmoid激活函数。
所述多头掩模均衡融和单元的具体结构如下：
首先，选取上一帧的手部关节拟高斯空间分布
Figure BDA0002368645940000021
作为输入，在第一个维度拆分出不同手部关节对应的手部关节拟高斯空间分布
Figure BDA0002368645940000022
N表示手部关节总数；其中，下标t和t-1分别代表当前帧和上一帧，T表示深度图像序列中的图像帧总数，ηH,
Figure BDA0002368645940000023
ρH分别代表手部关节拟高斯空间分布的长、宽、高，t表示当前帧；
然后，构建N个由体反卷积层和Softmax层依次连接组成的均衡子路径，均衡子路径数量和手部关节总数相同，各个手部关节的手部关节拟高斯空间分布分别通过各自的均衡子路径获得各个手部关节对应的先验掩模，每个先验掩模代表了该手部关节在先验掩模所在的空间位置处的存在可能性，最后将各个手部关节的先验掩模通过一个元素最大池化模块进行融和为一个先验掩模分布，作为当前帧的掩模St。
S5、选取上一帧的手部关节拟高斯空间分布输入多头掩模均衡融和单元获得当前帧的掩模，然后将当前帧的掩模与当前帧的输入网格进行掩模叠加。
N个均衡子路径中的体反卷积层具有相同参数，N个均衡子路径中的Softmax层具有相同参数。
本发明所述的多头代指多个关节，均衡体现在N个均衡子路径中的体反卷积层在各个子路径中参数共享相同。
所述的体卷积神经网络单帧检测模型、体卷积神经网络多帧检测模型以及多头掩模均衡融和单元构成了手势连续检测模型，预先采用以下过程进行网络参数学习和优化：收集已含有手势标注的手部深度图像的数据集作为训练集，建立以下手势连续检测模型的目标函数：
Figure BDA0002368645940000024
Figure BDA0002368645940000031
其中，N表示手部关节数量，i,j,k表示手部关节拟高斯空间分布的每个位置的长、宽、高索引，
Figure BDA0002368645940000032
和
Figure BDA0002368645940000033
分别表示各个手部关节的手部关节高斯空间分布和手部关节拟高斯空间分布；σ2表示高斯分布形态参数，in、jn、kn表示输入网格的长、宽、高索引，ηH,
Figure BDA0002368645940000034
ρH分别代表手部关节高斯空间分布的长、宽、高；
然后以从头训练方式采用基于时序的后向传播方法(Back Propagation ThroughTime)并通过随机梯度下降优化获得网络参数。
具体实施中，优化设计各个模型的网络容量及其参数空间，保持良好的泛化能力，防止过拟合和欠拟合。
所述的步骤S5中，掩模叠加具体是由多头掩模均衡融和单元输出的当前帧的掩模St和当前帧的输入网格采用以下公式处理获得：
St⊙Vt
其中，Vt为当前帧的输入网格，⊙表示对应元素相乘。
第一帧的体卷积神经网络单帧检测模型PoseNet1的网络参数不同于其他帧的体卷积神经网络单帧检测模型的网络参数，除了第一帧以外的其他帧的体卷积神经网络单帧检测模型的网络参数均相同。
各帧的多头掩模均衡融和单元结构相同，且参数均相同共享。
本发明针对现有单帧手势检测存在缺少时序和空间依赖的情况，采用时空掩模处理方式应用于手势图像识别检测，提高检测性能。
本发明方法不仅能测出同时提供时序和空间依赖，而且能方便的对多头掩模均衡融和，提高了手势检测的稳定性、进一步降低检测误差。
本发明的目的是通过以下步骤以及技术方案来实现的：
总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明的有益效果：
1、本发明是一种端到端的手势深度图像连续识别检测方法，提出了针对多个关节的多头掩模均衡融和处理，可很好地融和各个关节的手部关节拟高斯空间分布，避免引入不同关节之前检测误差的不均衡。
2、本发明通过时序掩模叠加的操作，同时引入手部关节拟高斯空间分布和关节空间，极大提高了手势检测方法的连续性和稳定性，提高了图像识别检测的检测精度。
附图说明
下面结合附图和实例对本发明进一步说明；
图1是本发明方法的流程图；
图2是图1中多头掩模均衡融和单元的结构示意图。
图3是手势检测的实例示意图；
图4是网格序列中人手的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。
参照图1，按照本发明的发明内容完整方法实施的实施例及其实施过程如下：
S1、通过深度相机捕捉人手动态变化的深度图像序列
Figure BDA0002368645940000041
其中Dt表示深度图像，T表示图像序列，imgH和imgW分别表示图像的长度和宽度，图像中每个像素单元存贮的深度信息记做{z＝Dt(u,v)|u∈[0,imgH),v∈[0,imgW)}
S2将深度图像序列的每一帧投影为三维空间点云
Figure BDA0002368645940000042
具体的每一帧深度图像的像素与空间点云的对应关系，参考以下计算公式
z＝Dt(u,v)
x＝(v-imgW/2)*z/fx
y＝(imgH/2-u)*z/fy
其中，(x,y,z)代表点的空间位置坐标，fx,fy分别表示深度相机水平和竖直方向的焦距。将得到每一帧空间点云网格化，由各帧的网格化结果组成网格序列
Figure BDA0002368645940000043
其中Vt(i,j,k)作为该帧的输入网格，VoxL,VoxW,VoxH分别表示输入网格的长、宽、高，具体参考如下公式进行网格化：
Figure BDA0002368645940000044
其中，U(Vt(i,j,k))＝{(x,y,z)|(x-xmin)/sx∈[i,i+1],(y-ymin)/sy∈[j,j+1],(z-zmin)/sz∈[k,k+1]}代表网格单元Vt(i,j,k)的邻域，xmin,ymin,zmin分别表示点云在长、宽、高上的最小值，sx,sy,sz分别表示输入网格中每个网格单元的长、宽、高。
网格化结果实例见图4。
S3、选取网格序列的第一帧作为当前帧V1，输入预训练的体卷积神经网络单帧检测模型PoseNet1中处理获得第一帧的手部关节拟高斯空间分布；
S4、当前帧变为上一帧，下一帧变为当前帧；
S5、选取上一帧的手部关节拟高斯空间分布输入多头掩模均衡融和单元Attention Model(AM)获得当前帧的掩模St，然后将当前帧的掩模与当前帧的输入网格Vt进行掩模叠加；
如图2所示，多头掩模均衡融和单元的具体结构如下：
首先，选取上一帧的手部关节拟高斯空间分布
Figure BDA0002368645940000051
作为输入，在第一个维度拆分出不同手部关节对应的手部关节拟高斯空间分布
Figure BDA0002368645940000052
N表示手部关节总数；其中，下标t和t-1分别代表当前帧和上一帧，T表示深度图像序列中的图像帧总数，ηH,
Figure BDA0002368645940000053
ρH分别代表手部关节拟高斯空间分布的长、宽、高，t表示当前帧；
然后，构建N个由体反卷积层和Softmax层依次连接组成的均衡子路径，均衡子路径数量和手部关节总数相同，N个均衡子路径中的体反卷积层具有相同参数，N个均衡子路径中的Softmax层具有相同参数。
各个手部关节的手部关节拟高斯空间分布分别通过各自的均衡子路径获得各个手部关节对应的先验掩模，每个先验掩模代表了该手部关节在先验掩模所在的空间位置处的存在可能性，最后将各个手部关节的先验掩模通过一个元素最大池化模块进行融和为一个先验掩模分布，作为当前帧的掩模St。
S5、选取上一帧的手部关节拟高斯空间分布输入多头掩模均衡融和单元获得当前帧的掩模，然后将当前帧的掩模与当前帧的输入网格进行元素对应相乘后实现掩模叠加。
S6、将S5的掩模叠加结果输入体卷积神经网络多帧检测模型PoseNet2，t不等于1，获得当前帧的手部关节拟高斯空间分布；
S7、重复步骤S4-S6，直到将整个序列检测结束；
S8、将每一帧的手部关节拟高斯空间分布
Figure BDA0002368645940000054
转换为手骨骼关节点的三维坐标
Figure BDA0002368645940000055
具体的，先通过max()求得每一个关节最大拟高斯空间分布值的空间索引位置
Figure BDA0002368645940000056
记做
Figure BDA0002368645940000057
则求得每一关节坐标的具体计算过程如下：
Figure BDA0002368645940000058
相关的手势检测实例效果如图3所示。
上述实施中，体卷积神经网络单帧检测模型和体卷积神经网络多帧检测模型的网络结构相同但网络参数不同，均采用PoseNet网络结构，其中包括体卷积层、体反卷积层、体最大池化层、体批正则层和ReLu/Sigmoid激活函数。
本发明所述的多头代指多个关节，均衡体现在N个均衡子路径中的体反卷积层在各个子路径中参数共享相同。的体卷积神经网络单帧检测模型、体卷积神经网络多帧检测模型以及多头掩模均衡融和单元构成了手势连续检测模型，
收集已含有手势标注的手部深度图像的数据集作为训练集，建立以下手势连续检测模型的目标函数：
Figure BDA0002368645940000061
Figure BDA0002368645940000062
然后以从头训练方式采用基于时序的后向传播方法(Back Propagation ThroughTime)并通过随机梯度下降优化获得网络参数。
由此实施可见，本发明通过时序掩模叠加的操作，同时引入手部关节拟高斯空间分布和关节空间先验，极大提高了手势检测方法的连续性和稳定性，提高了检测精度。

Claims (8)

1.一种用多头掩模均衡融和单元的手势深度图像连续检测方法，其特征在于，包括以下步骤：
S1、通过深度相机捕捉人手动态变化的深度图像序列；
S2、将深度图像序列的每一帧投影为三维空间点云并网格化作为该帧的输入网格，由各帧的网格化结果组成网格序列；
S3、选取网格序列的第一帧作为当前帧，输入体卷积神经网络单帧检测模型中处理获得第一帧的手部关节拟高斯空间分布；
S4、当前帧变为上一帧，下一帧变为当前帧；
S5、选取上一帧的手部关节拟高斯空间分布输入多头掩模均衡融和单元获得当前帧的掩模，然后将当前帧的掩模与当前帧的输入网格进行掩模叠加；
S6、将S5的掩模叠加结果输入体卷积神经网络多帧检测模型，获得当前帧的手部关节拟高斯空间分布；
S7、重复步骤S4-S6，直到将整个深度图像序列检测结束；
S8、将每一帧的手部关节拟高斯空间分布转换为手骨骼关节点的三维坐标。
2.根据权利要求1所述的一种用多头掩模均衡融和单元的手势深度图像连续检测方法，其特征在于：所述体卷积神经网络单帧检测模型和体卷积神经网络多帧检测模型的网络结构相同但网络参数不同，均采用PoseNet网络结构。
3.根据权利要求1所述的一种用多头掩模均衡融和单元的手势深度图像连续检测方法，其特征在于：
所述多头掩模均衡融和单元的具体结构如下：
首先，选取上一帧的手部关节拟高斯空间分布
Figure FDA0002368645930000011
作为输入，拆分出不同手部关节对应的手部关节拟高斯空间分布
Figure FDA0002368645930000012
N表示手部关节总数；其中，下标t和t-1分别代表当前帧和上一帧，T表示深度图像序列中的图像帧总数，ηH,
Figure FDA0002368645930000013
ρH分别代表手部关节拟高斯空间分布的长、宽、高，t表示当前帧；
然后，构建N个由体反卷积层和Softmax层依次连接组成的均衡子路径，均衡子路径数量和手部关节总数相同，各个手部关节的手部关节拟高斯空间分布分别通过各自的均衡子路径获得各个手部关节对应的先验掩模，最后将各个手部关节的先验掩模通过一个元素最大池化模块进行融和为一个先验掩模分布，作为当前帧的掩模St；
S5、选取上一帧的手部关节拟高斯空间分布输入多头掩模均衡融和单元获得当前帧的掩模，然后将当前帧的掩模与当前帧的输入网格进行掩模叠加。
4.根据权利要求3所述的一种用多头掩模均衡融和单元的手势深度图像连续检测方法，其特征在于：N个均衡子路径中的体反卷积层具有相同参数，N个均衡子路径中的Softmax层具有相同参数。
5.根据权利要求1所述的一种用多头掩模均衡融和单元的手势深度图像连续检测方法，其特征在于：所述的体卷积神经网络单帧检测模型、体卷积神经网络多帧检测模型以及多头掩模均衡融和单元构成了手势连续检测模型，预先采用以下过程进行网络参数学习和优化：收集已含有手势标注的手部深度图像的数据集作为训练集，建立以下手势连续检测模型的目标函数：
Figure FDA0002368645930000021
Figure FDA0002368645930000022
其中，N表示手部关节数量，i,j,k表示手部关节拟高斯空间分布的每个位置的长、宽、高索引，
Figure FDA0002368645930000023
和
Figure FDA0002368645930000025
分别表示各个手部关节的手部关节高斯空间分布和手部关节拟高斯空间分布；σ2表示高斯分布形态参数，in、jn、kn表示输入网格的长、宽、高索引，ηH,
Figure FDA0002368645930000024
ρH分别代表手部关节高斯空间分布的长、宽、高；
然后以从头训练方式采用基于时序的后向传播方法并通过随机梯度下降优化获得网络参数。
6.根据权利要求1所述的一种用多头掩模均衡融和单元的手势深度图像连续检测方法，其特征在于：所述的步骤S5中，掩模叠加具体是由多头掩模均衡融和单元输出的当前帧的掩模St和当前帧的输入网格采用以下公式处理获得：
St⊙Vt
其中，Vt为当前帧的输入网格，⊙表示对应元素相乘。
7.根据权利要求1所述的一种用多头掩模均衡融和单元的手势深度图像连续检测方法，其特征在于：第一帧的体卷积神经网络单帧检测模型PoseNet1的网络参数不同于其他帧的体卷积神经网络单帧检测模型的网络参数，除了第一帧以外的其他帧的体卷积神经网络单帧检测模型的网络参数均相同。
8.根据权利要求3所述的一种用多头掩模均衡融和单元的手势深度图像连续检测方法，其特征在于：各帧的多头掩模均衡融和单元结构相同，且参数均相同共享。
CN202010043780.3A 2020-01-15 2020-01-15 用多头掩模均衡融和单元的手势深度图像连续检测方法 Active CN111274902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010043780.3A CN111274902B (zh) 2020-01-15 2020-01-15 用多头掩模均衡融和单元的手势深度图像连续检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010043780.3A CN111274902B (zh) 2020-01-15 2020-01-15 用多头掩模均衡融和单元的手势深度图像连续检测方法

Publications (2)

Publication Number Publication Date
CN111274902A true CN111274902A (zh) 2020-06-12
CN111274902B CN111274902B (zh) 2023-05-02

Family

ID=71001629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010043780.3A Active CN111274902B (zh) 2020-01-15 2020-01-15 用多头掩模均衡融和单元的手势深度图像连续检测方法

Country Status (1)

Country Link
CN (1) CN111274902B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883292A (zh) * 2023-09-07 2023-10-13 上海海栎创科技股份有限公司 基于伪高斯的图像方向场获取方法、系统及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872244A (zh) * 2010-06-25 2010-10-27 中国科学院软件研究所 一种基于用户手部运动与颜色信息的人机交互方法
US20110299776A1 (en) * 2010-04-05 2011-12-08 Lee Kuang-Chih Systems and methods for segmenting human hairs and faces in color images
US20170358092A1 (en) * 2016-06-09 2017-12-14 Lytro, Inc. Multi-view scene segmentation and propagation
US20180189598A1 (en) * 2016-12-30 2018-07-05 Facebook, Inc. Image Segmentation with Touch Interaction
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299776A1 (en) * 2010-04-05 2011-12-08 Lee Kuang-Chih Systems and methods for segmenting human hairs and faces in color images
CN101872244A (zh) * 2010-06-25 2010-10-27 中国科学院软件研究所 一种基于用户手部运动与颜色信息的人机交互方法
US20170358092A1 (en) * 2016-06-09 2017-12-14 Lytro, Inc. Multi-view scene segmentation and propagation
US20180189598A1 (en) * 2016-12-30 2018-07-05 Facebook, Inc. Image Segmentation with Touch Interaction
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883292A (zh) * 2023-09-07 2023-10-13 上海海栎创科技股份有限公司 基于伪高斯的图像方向场获取方法、系统及计算机设备
CN116883292B (zh) * 2023-09-07 2023-11-28 上海海栎创科技股份有限公司 基于伪高斯的图像方向场获取方法、系统及计算机设备

Also Published As

Publication number Publication date
CN111274902B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN112927357B (zh) 一种基于动态图网络的3d物体重建方法
CN110674741B (zh) 一种基于双通道特征融合的机器视觉中手势识别方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN106683048A (zh) 一种图像超分辨率方法及设备
CN109005398B (zh) 一种基于卷积神经网络的立体图像视差匹配方法
CN112418235B (zh) 一种基于膨胀最近邻特征增强的点云语义分割方法
CN107103285A (zh) 基于卷积神经网络的人脸深度预测方法
Wang et al. Lrru: Long-short range recurrent updating networks for depth completion
CN112561807A (zh) 一种基于卷积神经网络的端到端径向畸变校正方法
CN112084911A (zh) 一种基于全局注意力的人脸特征点定位方法及系统
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、系统、装置及介质
CN117315169A (zh) 基于深度学习多视密集匹配的实景三维模型重建方法和系统
CN117456330A (zh) 一种基于MSFAF-Net的低照度目标检测方法
CN114882524A (zh) 一种基于全卷积神经网络的单目三维手势估计方法
CN116258990A (zh) 一种基于跨模态亲和力的小样本参考视频目标分割方法
CN111274902B (zh) 用多头掩模均衡融和单元的手势深度图像连续检测方法
CN111274901A (zh) 一种基于深度门控递归单元的手势深度图像连续检测方法
CN116030330A (zh) 目标检测方法及装置
CN112215766A (zh) 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络
CN113450364B (zh) 一种基于三维通量模型的树状结构中心线提取方法
Zhong et al. MAGNet: Multi-scale Awareness and Global fusion Network for RGB-D salient object detection
CN115880175A (zh) 一种基于改进生成对抗网络的模糊图像复原方法
CN116342875A (zh) 基于多尺度自注意力特征融合的小样本分割方法
CN113592021B (zh) 一种基于可变形和深度可分离卷积的立体匹配方法
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant