CN108710830A - 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 - Google Patents

一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 Download PDF

Info

Publication number
CN108710830A
CN108710830A CN201810362559.7A CN201810362559A CN108710830A CN 108710830 A CN108710830 A CN 108710830A CN 201810362559 A CN201810362559 A CN 201810362559A CN 108710830 A CN108710830 A CN 108710830A
Authority
CN
China
Prior art keywords
human body
attention
network
pyramid residual
intensive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810362559.7A
Other languages
English (en)
Other versions
CN108710830B (zh
Inventor
田彦
王勋
蒋杭森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yunqi Smart Vision Technology Co Ltd
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201810362559.7A priority Critical patent/CN108710830B/zh
Publication of CN108710830A publication Critical patent/CN108710830A/zh
Application granted granted Critical
Publication of CN108710830B publication Critical patent/CN108710830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，该方法分解为辨别式人体2D姿势估计和生成式人体3D姿势估计两个部分。首先构建人体2D姿势估计模型，人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的漏斗子网络，注意力金字塔残差块用于多尺度图像特征提取，漏斗子网络用于生成人体关节点热力图；为解决环境上下文信息未充分利用的问题，结合注意力机制和多尺度分析捕捉环境上下文特征；为解决梯度消失/梯度爆炸问题，密集连接网络结合上述注意力机制改进特征图辨识度。然后构建损失函数，引入等距限制项，通过最小化损失函数来拟合人体3D姿势。本发明方法在人体3D姿势估计任务上有明显优势。

Description

一种结合密集连接注意力金字塔残差网络和等距限制的人体 3D姿势估计方法
技术领域
本发明属于人体姿势估计技术领域，具体涉及一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法。
背景技术
人体3D姿势估计恢复给定图像或视频中人体关节点的3D位置。这项工作是很多重要应用的基础，例如视频监控、行为识别、人体交互、虚拟现实、游戏动画、医疗看护等等。
目前的人体姿势估计方法大致可以分为以下几类：1)回归迭代法，初始化得到起始姿态预测，然后迭代估计提高预测精度；2)基于结构化学习的方法，利用马尔科夫随机场挖掘人体结构信息从而在特征层面上获得人体关节点的相互关系；3)基于检测的方法，通过检测器获得各个人体关节点的热力图，然后基于热力图分析得到最终关节点坐标。
目前基于深度卷积神经网络的人体3D姿势估计研究取得一定的效果，但是在性能上遇到一些瓶颈：1)这个问题本质上是病态问题；2)从图像特征空间到3D姿势空间的映射是非线性多模态的；3)更深层的网络容易学习这种非线性映射关系，但是更深层的网络容易引起梯度消失或梯度爆炸问题。
发明内容
本发明的目的在于针对现有技术的不足，提供一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，该方法能够有效提高人体姿势估计的准确率。
本发明的目的是通过以下技术方案来实现的：一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，该方法包括以下步骤：
(1)构建人体2D姿势估计模型：所述人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的漏斗子网络；
(1.1)所述注意力金字塔残差块用于多尺度图像特征提取，具体为：
金字塔残差块(pyramid residual module)具有三个支路，第一支路通过通道数为D、卷积核为1*1的卷积层后展开为n个并行分支，每个分支通过不同采样率的下采样层、卷积层、上采样层后连接注意力模块，在每个注意力模块中，首先输入特征经过卷积核为3*3的卷积层，然后经过卷积核为1*1、通道数为1的卷积层，从而得到非归一化注意力图，将非归一化注意力图输入softmax层，得到归一化注意力图αk，将每个尺度的归一化注意力图αk的通道数扩张到该尺度下的上采样特征通道数，再与该上采样特征进行Hadamard乘积得到该尺度的环境上下文特征，作为该注意力模块的输出；将所有注意力模块的输出进行加和，得到该输入特征的环境上下文特征c，作为该支路的输出；在上采样层输出和1*1卷积层输入之间引入一条捷径(short-cut)，上采样层输出特征图与3*3卷积层输出特征图级联(concatenate)到一起作为1*1卷积层的输入，从而形成密集连接网络；这种连接有利于解决梯度消失问题，同时加强特征的传播，间接地减少了网络参数；
第二支路依次通过通道数为C/2、卷积核为1*1的卷积层，通道数为C/2、卷积核为3*3的卷积后，作为该支路的输出；第三支路通过通道数为C、卷积核为1*1的卷积层后，作为该支路的输出；三个支路的输出进行融合后，作为注意力金字塔残差块的输出；
本发明将金字塔残差块修改为“密集连接的注意力金字塔残差块”，通过引入注意力机制，模型可以有选择性地在每个尺度关注特定局部区域而不是同样对待所有区域；
(1.2)所述漏斗子网络用于生成人体关节点热力图，具体为：
输入特征经过卷积层实现下采样，每个尺度使用注意力金字塔残差块进行处理，经过若干次下采样，输入特征分辨率逐渐下降，当输入特征分辨率降到指定精度后开始上采样，从而获得多尺度特征；漏斗子网络的拓扑结构是对称的，下采样过程中不同尺度的特征均能在上采样过程中得到对应尺度的特征，前后对应特征进行融合从而得到高层语义特征，进而得到人体2D姿势；
(2)生成3D人体姿势估计：
构建损失函数：损失函数包括四项：数据项EJ、先验知识项Eα、Eθ和等距限制项Eiso：
E(β,θ)＝EJ(β,θ,K,Jest)+λαEα(θ)+λθEθ(θ)+λiEiso(θ,β)
其中，β、θ、K、Jest分别为形状参数、姿势参数、相机参数、通过人体2D姿势估计模型得到的人体2D姿势；形状参数β＝[β1,...,ββ]T，|β|等于线性形状系数，线性形状系数的范围为[0,300]；姿势参数包括关节点的位置和角度，可通过改变形状参数和姿势参数得到不同的人体形状；相机参数包括相机内参、外参和畸变参数；λα、λθ和λi是权重因子，根据工程经验选择，每次实验时固定其他两个参数，微调第三个参数，直到得到最佳的效果；Lij是初始3D姿势下相邻关节点i和j间的长度，J(β)i是通过人体形状参数β得到的人体骨架关节点i的3D位置；Rθ(J(β)i)代表特定姿势θ下人体关节点3D位置；Di,j(θ,β)代表肢体伸缩程度，N(i)是关节点i的相邻关节点，u为辅助变量，uij是关节点i和j的辅助变量，辅助变量是为了凑代价函数的形式，凑成一定形式以后方便对代价函数求解。
参数λk＝0.02，参数λd的初始值设置为1，最小化损失函数过程中，每次迭代λd改变为原来的2倍直到λd>106，λk和λd在实验中通过训练曲线和测试曲线调整；
通过最小化损失函数来拟合人体3D姿势。
进一步地，通道数D、C的确定方式如下：
D＝math.floor(numOut/baseWidth)
C＝cardinality
其中，math.floor()为向下取整函数，numOut是注意力金字塔残差块输出通道数；baseWidth和cardinality是网络训练参数，baseWidth＝9，cardinality＝4。
进一步地，所述注意力金字塔残差块中所有卷积层前均包含归一化层BN和激活层RELU。
进一步地，三个支路输出的融合过程可以通过像素加和、像素乘积或级联实现。
进一步地，数据项EJ：
其中J(β)i是通过人体形状参数β得到的人体骨架关节点i的3D位置；Rθ(J(β)i)代表特定姿势θ下人体关节点3D位置；ΠK是根据相机参数K得到的人体关节从世界坐标3D位置到图像坐标2D位置的映射；wi是2D网络提供的关节点的预测置信度；Jest,i是通过人体2D姿势估计模型得到的关节点i的人体2D姿势；可微的Geman-McClure损失函数ρ用来处理噪音问题；
先验知识项：
其中，gj、μθ,j和Σθ,j是混合高斯分布中成分j的权重、均值和方差，N代表高斯分布；
先验知识项：
其中，θi是关节点i的姿势参数；肢体的弯曲程度用exp(θi)来表示，指数形式可以强有力地惩罚肢体不正常弯曲的情况。
进一步地，权重因子λα取值为1.5，权重因子λθ取值为2.1，权重因子λi取值为2.5。
进一步地，所述漏斗子网络使用卷积层实现下采样。
进一步地，所述漏斗子网络使用半像素卷积实现上采样。
进一步地，第一个漏斗子网络的输入和输出级联到一起与初始热力图相加到一起作为下一个漏斗子网络的输入。
进一步地，所述2D人体姿势估计阶段采用GPU进行计算，3D人体姿势估计阶段采用CPU进行计算。
相比于现有技术，本发明具有的有益效果为：
(1)漏斗结构的改进，能够在特征图提取时捕获到多尺度目标信息，能够增加特征的辨识度，能够提升计算效率。
(2)密集连接的金字塔注意力残差块的增加，能够在特征图提取时保证特征的辨识度，且解决了梯度消失问题、加强特征的传播、增加了特征重用；注意力机制的增加，有利于获取有用的局部特征。
(3)等距限制的增加，进一步解决了因参数空间过大造成训练困难和人体有多种可能姿势的问题。
附图说明
图1是本发明实施例提供的人体2D姿势估计模型的框架示意图；
图2是图1提供的框架示意图中的漏斗结构示意图；
图3是本发明实施例提供的金字塔残差块的结构示意图；
图4是本发明实施例提供的密集连接的金字塔注意力残差块的结构示意图；
图5是图4提供的密集连接的金字塔注意力残差块在数据集MPII上的注意力图结果示例；
图6是图1提供的框架示意图中半像素卷积操作的原理示意图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明实施例提供的人体3D姿势估计方法可以获得一副图像中人体的3D姿势，且可以应用到视频监控、行为识别、人体交互、虚拟现实、游戏动画和医疗看护等。
该方法包括人体2D姿势估计和3D姿势估计两个部分。下面在阐述这两个部分之前着重介绍本实施例所采用的人体2D姿势估计模型。
本发明实施例提供的人体2D姿势估计模型的框架示意图，参见图1，该人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的漏斗子网络；
在图1中，conv代表卷积操作，箭头上方矩阵代表该层输出尺寸，Block表示本实施例提出的“密集连接的金字塔注意力残差块”结构，pooling代表池化操作，FC为全连接层，Hourglass为本实施例提出的漏斗结构。concate代表特征的连接操作。
人体2D姿势估计模型开始于一个卷积核为7×7、步长为2的卷积层；然后是一个“密集连接的金字塔注意力残差块”Block1、最大池化层Max Pooling，分辨率相较于输入降低了4倍；随后是“密集连接的金字塔注意力残差块”Block2、Block3、Block4和漏斗结构Hourglass，接下来是全连接层FC1、FC2来实现跨通道交互和信息集成；经过卷积层Conv2得到初始的人体关节点热图。
此外，第一个漏斗子网络的输入和输出级联到一起与初始热力图相加到一起作为下一个漏斗子网络的输入。这种特征的重新利用有利于解决梯度消失问题，同时加强了特征的传播，从而间接减少了网络参数。
经过漏斗模型特征提取后得到n张人体关节点热力图，这些人体关节的热力图通过优化结合等距限制的代价函数生成人体3D姿势。
图2是图1提供的框架示意图中的漏斗结构示意图。如图2所示，sub-pixel conv表示半像素卷积操作用于提高特征图分辨率，步长为2的卷积层用来提取特征并降低特征的分辨率。输入特征经过卷积层实现下采样，每个尺度使用注意力金字塔残差块进行处理，经过若干次下采样，输入特征分辨率逐渐下降，当输入特征分辨率降到指定精度后开始上采样，从而获得多尺度特征；漏斗子网络的拓扑结构是对称的，下采样过程中不同尺度的特征均能在上采样过程中得到对应尺度的特征，前后对应特征进行融合从而得到高层语义特征，进而得到人体2D姿势；
图3是本发明实施例提供的原始金字塔残差块的结构示意图。原始金字塔残差块包括不同下采样率的多支路网络，不同尺度的特征图分别经过通道数为D、卷积核为3*3的卷积层，然后上采样到同样分辨率后进行像素级相加，从而获得了多尺度特征信息。为了获得全局信息，多尺度特征继续与跳级路融合，跳级路分别使用了通道数为C和C/2的卷积层，且此卷积层连接顺序为卷积层Conv-归一化层BN-激活层RELU。
图3所示的原始金字塔残差块虽特征提取性能较好，但是权值参数过多难以优化，且忽视了局部上下文环境信息，本实施例提出了如图4所示的密集连接的金字塔注意力残差块，金字塔残差块(pyramid residual module)具有三个支路，第一支路通过通道数为D、卷积核为1*1的卷积层后展开为n个并行分支，每个分支通过不同采样率的下采样层、卷积层、上采样层后连接注意力模块，在每个注意力模块中，首先输入特征经过卷积核为3*3的卷积层，然后经过卷积核为1*1、通道数为1的卷积层，从而得到非归一化注意力图，将非归一化注意力图输入softmax层，得到归一化注意力图αk，将每个尺度的归一化注意力图αk的通道数扩张到该尺度下的上采样特征通道数，再与该上采样特征进行Hadamard乘积得到该尺度的环境上下文特征，作为该注意力模块的输出；将所有注意力模块的输出进行加和，得到该输入特征的环境上下文特征c，作为该支路的输出；在上采样层输出和1*1卷积层输入之间引入一条捷径(short-cut)，上采样层输出特征图与3*3卷积层输出特征图级联(concatenate)到一起作为1*1卷积层的输入，从而形成密集连接网络；
第二支路依次通过通道数为C/2、卷积核为1*1的卷积层，通道数为C/2、卷积核为3*3的卷积后，作为该支路的输出；第三支路通过通道数为C、卷积核为1*1的卷积层后，作为该支路的输出；三个支路的输出进行融合后，作为注意力金字塔残差块的输出；
通道数D，C的确定方式如下：
D＝math.floor(numOut/baseWidth)
C＝cardinality
其中，math.floor()为向下取整函数，numOut是注意力金字塔残差块输出通道数；baseWidth和cardinality是网络训练参数，默认设置为baseWidth＝9，cardinality＝4。
与原始金字塔残差块不同，密集连接的金字塔注意力残差块的卷积层连接顺序为归一化层BN-激活层RELU-卷积层Conv。
通过图4所示的“密集连接的金字塔注意力残差块”使得输入特征图通过卷积层转化为不同尺度下的低维特征然后以并联的方式融合。这种分开-转化-融合的操作能达到复杂卷积层所具有的表达能力。同时，通过引入注意力机制，模型可以有选择性地在每个尺度关注于特定局部区域而不是同样对待所有区域。
图5是本实施例图4所示的“密集连接的金字塔注意力残差块”在MPII数据集上得到的注意力图。上行展示的是在没有加入密集连接机制的注意力图；下行展示的是相应的在加入了密集连接机制的注意力图。
图6是图2所示的漏斗结构网络中半像素卷积的原理。假设r是上采样率，首先用四个滤波器对输入进行卷积操作，得到尺寸为H×W×C×r2的输出特征图，之后对输出特征图进行周期性的平移操作得到尺寸为rH×rW×C的特征图。周期性的平移操作是一种计算效率很高的操作，代替了复杂的上采样或反卷积操作。
本实施例中，改进的人体3D姿势估计损失函数定义为：
E(β,θ)＝EJ(β,θ,K,Jest)+λαEα(θ)+λθEθ(θ)+λiEiso(θ,β)
其中，λα、λθ和λi是权重因子。本实施例中，权重因子λα取值为1.5，影响因子λθ取值为2.1，影响因子λi取值为2.5；
数据项EJ：
其中J(β)i是通过人体形状参数β得到的人体骨架关节点i的3D位置；Rθ(J(β)i)代表特定姿势θ下人体关节点3D位置；ΠK是根据相机参数K得到的人体关节从世界坐标3D位置到图像坐标2D位置的映射；wi是2D网络提供的关节点的预测置信度；Jest,i是通过人体2D姿势估计模型得到的关节点i的人体2D姿势；可微的Geman-McClure损失函数ρ用来处理噪音问题；
先验知识项：
其中，gj、μθ,j和Σθ,j是混合高斯分布中成分j的权重、均值和方差，N代表高斯分布，c是一个正常数；
先验知识项：
其中，θi是关节点i的姿势参数；肢体的弯曲程度可以用exp(θi)来表示，指数形式可以强有力地惩罚肢体不正常弯曲的情况；
本发明提出的等距限制
其中，Lij是初始3D姿势下相邻关节点i和j间的长度Di,j(θ,β)代表肢体伸缩程度，N(i)是关节点i的相邻关节点，u为辅助变量，uij是关节点i和j的辅助变量，辅助变量是为了凑代价函数的形式，凑成一定形式以后方便对代价函数求解；参数λk＝0.02，参数λd的初始值设置为1，最小化损失函数过程中，每次迭代λd改变为原来的2倍直到λd>106，λk和λd在实验中通过训练曲线和测试曲线调整；
以上模型建立完毕后，在Intel i7-4790 3.6GHz CPU、32GB内存、NVIDIA GTXTitan X graphics的计算机上进行实验，使用Torch library验证算法的性能和计算能力。实验结果显示本发明方法在HumaEva-I和Human3.6M数据集上相比较于方法取得了更好的效果。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，包括以下步骤：
(1)构建人体2D姿势估计模型：所述人体2D姿势估计模型包括注意力金字塔残差块和由若干注意力金字塔残差块组成的漏斗子网络；
(1.1)所述注意力金字塔残差块用于多尺度图像特征提取，具体为：
金字塔残差块具有三个支路，第一支路通过通道数为D、卷积核为1*1的卷积层后展开为n个并行分支，每个分支通过不同采样率的下采样层、卷积层、上采样层后连接注意力模块；在每个注意力模块中，首先输入特征经过卷积核为3*3的卷积层，然后经过卷积核为1*1、通道数为1的卷积层，从而得到非归一化注意力图，将非归一化注意力图输入softmax层，得到归一化注意力图αk，将每个尺度的归一化注意力图αk的通道数扩张到该尺度下的上采样特征通道数，再与该上采样特征进行Hadamard乘积得到该尺度的环境上下文特征，作为该注意力模块的输出；将所有注意力模块的输出进行加和，得到该输入特征的环境上下文特征c，作为该支路的输出；在上采样层输出和1*1卷积层输入之间引入一条捷径，上采样层输出特征图与3*3卷积层输出特征图级联到一起作为1*1卷积层的输入，从而形成密集连接网络；第二支路依次通过通道数为C/2、卷积核为1*1的卷积层，通道数为C/2、卷积核为3*3的卷积后，作为该支路的输出；第三支路通过通道数为C、卷积核为1*1的卷积层后，作为该支路的输出；三个支路的输出进行融合后，作为注意力金字塔残差块的输出；
(1.2)所述漏斗子网络用于生成人体关节点热力图，具体为：
输入特征经过卷积层实现下采样，每个尺度使用注意力金字塔残差块进行处理，经过若干次下采样，输入特征分辨率逐渐下降，当输入特征分辨率降到指定精度后开始上采样，从而获得多尺度特征；漏斗子网络的拓扑结构是对称的，下采样过程中不同尺度的特征均能在上采样过程中得到对应尺度的特征，前后对应特征进行融合从而得到高层语义特征，进而得到人体2D姿势；
(2)生成3D人体姿势估计：
构建损失函数：损失函数包括四项：数据项EJ、先验知识项Eα、Eθ和等距限制项Eiso:
E(β,θ)＝EJ(β,θ,K,Jest)+λαEα(θ)+λθEθ(θ)+λiEiso(θ,β)
其中，β、θ、K、Jest分别为形状参数、姿势参数、相机参数、通过人体2D姿势估计模型得到的人体2D姿势；λα、λθ和λi是权重因子；Lij是初始3D姿势下相邻关节点i和j间的长度；J(β)i是通过人体形状参数β得到的人体骨架关节点i的3D位置；Rθ(J(β)i)代表特定姿势θ下人体关节点3D位置；Di,j(θ,β)代表肢体伸缩程度；N(i)是关节点i的相邻关节点；u为辅助变量，uij是关节点i和j的辅助变量；参数λk＝0.02；参数λd的初始值设置为1，最小化损失函数过程中，每次迭代λd改变为原来的2倍直到λd>106；
通过最小化损失函数来拟合人体3D姿势。
2.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，通道数D、C的确定方式如下：
D＝math.floor(numOut/baseWidth)
C＝cardinality
其中，math.floor()为向下取整函数，numOut是注意力金字塔残差块输出通道数；baseWidth和cardinality是网络训练参数，baseWidth＝9，cardinality＝4。
3.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，所述注意力金字塔残差块中所有卷积层前均包含归一化层BN和激活层RELU。
4.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，三个支路输出的融合过程可以通过像素加和、像素乘积或级联实现。
5.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，
数据项EJ：
其中J(β)i是通过人体形状参数β得到的人体骨架关节点i的3D位置；Rθ(J(β)i)代表特定姿势θ下人体关节点3D位置；ΠK是根据相机参数K得到的人体关节从世界坐标3D位置到图像坐标2D位置的映射；wi是2D网络提供的关节点的预测置信度；Jest,i是通过人体2D姿势估计模型得到的关节点i的人体2D姿势；可微的Geman-McClure损失函数ρ用来处理噪音问题；
先验知识项：
其中，gj、μθ,j和Σθ,j是混合高斯分布中成分j的权重、均值和方差，N代表高斯分布；
先验知识项：
其中，θi是关节点i的姿势参数；肢体的弯曲程度用exp(θi)来表示，指数形式可以强有力地惩罚肢体不正常弯曲的情况。
6.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，权重因子λα取值为1.5，权重因子λθ取值为2.1，权重因子λi取值为2.5。
7.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，所述漏斗子网络使用卷积层实现下采样。
8.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，所述漏斗子网络使用半像素卷积实现上采样。
9.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，第一个漏斗子网络的输入和输出级联到一起与初始热力图相加到一起作为下一个漏斗子网络的输入。
10.根据权利要求1所述的一种结合密集连接注意力金字塔残差网络和等距限制的人体3D姿势估计方法，其特征在于，所述2D人体姿势估计阶段采用GPU进行计算。
CN201810362559.7A 2018-04-20 2018-04-20 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 Active CN108710830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810362559.7A CN108710830B (zh) 2018-04-20 2018-04-20 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810362559.7A CN108710830B (zh) 2018-04-20 2018-04-20 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法

Publications (2)

Publication Number Publication Date
CN108710830A true CN108710830A (zh) 2018-10-26
CN108710830B CN108710830B (zh) 2020-08-28

Family

ID=63866824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810362559.7A Active CN108710830B (zh) 2018-04-20 2018-04-20 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法

Country Status (1)

Country Link
CN (1) CN108710830B (zh)

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376673A (zh) * 2018-10-31 2019-02-22 南京工业大学 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN109598197A (zh) * 2018-10-31 2019-04-09 大连大学 基于密集连接模块的沙漏模型的设计方法
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109726659A (zh) * 2018-12-21 2019-05-07 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN109859120A (zh) * 2019-01-08 2019-06-07 北京交通大学 基于多尺度残差网络的图像去雾方法
CN109871823A (zh) * 2019-03-11 2019-06-11 中国电子科技集团公司第五十四研究所 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN109993109A (zh) * 2019-03-29 2019-07-09 成都信息工程大学 图像文字识别方法
CN109993701A (zh) * 2019-04-09 2019-07-09 福州大学 一种基于金字塔结构的深度图超分辨率重建的方法
CN110047069A (zh) * 2019-04-22 2019-07-23 北京青燕祥云科技有限公司 一种图像检测装置
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110263849A (zh) * 2019-06-19 2019-09-20 合肥工业大学 一种基于多尺度注意力机制的人群密度估计方法
CN110288570A (zh) * 2019-05-31 2019-09-27 东南大学 一种基于视觉注意机制的转子绕线弱反光图像检测方法
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN110322402A (zh) * 2019-04-30 2019-10-11 武汉理工大学 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN110427831A (zh) * 2019-07-09 2019-11-08 淮阴工学院 一种基于融合特征的人体动作分类方法
CN110633610A (zh) * 2019-05-17 2019-12-31 西南交通大学 一种基于yolo的学员状态检测算法
CN110706200A (zh) * 2019-09-02 2020-01-17 杭州深睿博联科技有限公司 数据预测的方法及装置
CN110825900A (zh) * 2019-11-07 2020-02-21 重庆紫光华山智安科技有限公司 特征重构层的训练方法、图像特征的重构方法及相关装置
CN111079683A (zh) * 2019-12-24 2020-04-28 天津大学 基于卷积神经网络的遥感图像云雪检测方法
CN111275714A (zh) * 2020-01-13 2020-06-12 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111275637A (zh) * 2020-01-15 2020-06-12 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111325161A (zh) * 2020-02-25 2020-06-23 四川翼飞视科技有限公司 一种基于注意力机制的人脸检测神经网络的构建方法
CN111358431A (zh) * 2020-03-06 2020-07-03 重庆金山医疗技术研究院有限公司 一种食道压力云图的标识识别方法及设备
CN111488964A (zh) * 2019-01-29 2020-08-04 北京市商汤科技开发有限公司 图像处理方法及装置、神经网络训练方法及装置
CN111523645A (zh) * 2020-04-16 2020-08-11 北京航天自动控制研究所 一种提升小尺度目标检测识别性能的卷积神经网络设计方法
CN111652054A (zh) * 2020-04-21 2020-09-11 北京迈格威科技有限公司 关节点检测方法、姿态识别方法及装置
CN111753643A (zh) * 2020-05-09 2020-10-09 北京迈格威科技有限公司 人物姿态识别方法、装置、计算机设备和存储介质
CN112131959A (zh) * 2020-08-28 2020-12-25 浙江工业大学 一种基于多尺度特征强化的2d人体姿态估计方法
CN112132255A (zh) * 2019-06-24 2020-12-25 百度（美国）有限责任公司 人工智能神经网络引擎中模型推断的批量归一化层融合和量化方法
CN112149563A (zh) * 2020-09-23 2020-12-29 中科人工智能创新技术研究院(青岛)有限公司 一种注意力机制人体图像关键点姿态估计方法及系统
CN112163541A (zh) * 2020-10-09 2021-01-01 上海云绅智能科技有限公司 一种3d目标检测方法、装置、电子设备和存储介质
CN112259119A (zh) * 2020-10-19 2021-01-22 成都明杰科技有限公司 基于堆叠沙漏网络的音乐源分离方法
CN112419419A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于人体姿势和形状估计的系统和方法
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN113011304A (zh) * 2021-03-12 2021-06-22 山东大学 一种基于注意力多分辨率网络的人体姿态估计方法及系统
TWI733616B (zh) * 2020-11-04 2021-07-11 財團法人資訊工業策進會 人體姿勢辨識系統、人體姿勢辨識方法以及非暫態電腦可讀取儲存媒體
CN113160234A (zh) * 2021-05-14 2021-07-23 太原理工大学 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN113449681A (zh) * 2021-07-15 2021-09-28 东南大学 一种联合注意力机制的3d人体姿态识别双分支网络模型
CN113516133A (zh) * 2021-04-01 2021-10-19 中南大学 一种多模态图像分类方法及系统
CN113537072A (zh) * 2021-07-19 2021-10-22 之江实验室 一种基于参数硬共享的姿态估计与人体解析联合学习系统
CN113673590A (zh) * 2021-08-13 2021-11-19 广东工业大学 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN113762177A (zh) * 2021-09-13 2021-12-07 成都市谛视科技有限公司 实时人体3d姿态估计方法、装置、计算机设备和存储介质
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法
CN114140683A (zh) * 2020-08-12 2022-03-04 天津大学 一种航拍图像目标检测的方法、设备与介质
CN114548153A (zh) * 2022-01-21 2022-05-27 电子科技大学 基于残差-胶囊网络的行星齿轮箱故障诊断方法
CN115100148A (zh) * 2022-06-23 2022-09-23 安徽省农业科学院农业经济与信息研究所 一种基于轻量型卷积神经网络的农作物害虫检测方法
CN117542104A (zh) * 2024-01-09 2024-02-09 浙江图讯科技股份有限公司 一种基于自监督辅助学习的人脸三维关键点检测方法
CN118314474A (zh) * 2024-06-13 2024-07-09 环天智慧科技股份有限公司 一种基于卫星遥感影像的水稻精细分类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216896A (zh) * 2008-01-14 2008-07-09 浙江大学 一种基于模版匹配的视点无关的人体动作识别方法
CN101599177A (zh) * 2009-07-01 2009-12-09 北京邮电大学 一种基于视频的人体肢体运动的跟踪方法
EP2383699A2 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
WO2012156141A1 (en) * 2011-05-16 2012-11-22 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Fast articulated motion tracking
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107609541A (zh) * 2017-10-17 2018-01-19 哈尔滨理工大学 一种基于可变形卷积神经网络的人体姿态估计方法
CN107886089A (zh) * 2017-12-11 2018-04-06 深圳市唯特视科技有限公司 一种基于骨架图回归的三维人体姿态估计的方法
CN108229445A (zh) * 2018-02-09 2018-06-29 深圳市唯特视科技有限公司 一种基于级联金字塔网络的多人姿态估计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216896A (zh) * 2008-01-14 2008-07-09 浙江大学 一种基于模版匹配的视点无关的人体动作识别方法
CN101599177A (zh) * 2009-07-01 2009-12-09 北京邮电大学 一种基于视频的人体肢体运动的跟踪方法
EP2383699A2 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
WO2012156141A1 (en) * 2011-05-16 2012-11-22 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Fast articulated motion tracking
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107609541A (zh) * 2017-10-17 2018-01-19 哈尔滨理工大学 一种基于可变形卷积神经网络的人体姿态估计方法
CN107886089A (zh) * 2017-12-11 2018-04-06 深圳市唯特视科技有限公司 一种基于骨架图回归的三维人体姿态估计的方法
CN108229445A (zh) * 2018-02-09 2018-06-29 深圳市唯特视科技有限公司 一种基于级联金字塔网络的多人姿态估计方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FEDERICA BOGO ET AL.: "Keep It SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
FRANCESC MORENO-NOGUER ET AL.: "3D Human Pose Estimation from a Single Image via Distance Matrix Regression", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
JONATHAN TOMPSON ET AL.: "Joint Training of a Convolutional Network and a", 《ARXIV:1406.2984V2》 *
WEI YANG ET AL.: "Learning Feature Pyramids for Human Pose Estimation", 《ARXIV:1708.01101V1》 *
XIAO CHU ET AL.: "Multi-Context Attention for Human Pose Estimation", 《ARXIV:1702.07432V1》 *
田彦: "基于视频的人体姿势预测与跟踪", 《中国博士学位论文全文数据库_信息科技辑I辑》 *

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598197A (zh) * 2018-10-31 2019-04-09 大连大学 基于密集连接模块的沙漏模型的设计方法
CN109376673A (zh) * 2018-10-31 2019-02-22 南京工业大学 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法
CN109376673B (zh) * 2018-10-31 2022-02-25 南京工业大学 一种基于人体姿态估计的煤矿井下人员不安全行为识别方法
CN109508681B (zh) * 2018-11-20 2021-11-30 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN109508681A (zh) * 2018-11-20 2019-03-22 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置
CN109784347A (zh) * 2018-12-17 2019-05-21 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN109784347B (zh) * 2018-12-17 2022-04-26 西北工业大学 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN109726659A (zh) * 2018-12-21 2019-05-07 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备和可读介质
CN109685141A (zh) * 2018-12-25 2019-04-26 哈工大机器人（合肥）国际创新研究院 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109685141B (zh) * 2018-12-25 2022-10-04 合肥哈工慧拣智能科技有限公司 一种基于深度神经网络的机器人物品分拣视觉检测方法
CN109859120B (zh) * 2019-01-08 2021-03-02 北京交通大学 基于多尺度残差网络的图像去雾方法
CN109859120A (zh) * 2019-01-08 2019-06-07 北京交通大学 基于多尺度残差网络的图像去雾方法
CN111488964A (zh) * 2019-01-29 2020-08-04 北京市商汤科技开发有限公司 图像处理方法及装置、神经网络训练方法及装置
CN109871823A (zh) * 2019-03-11 2019-06-11 中国电子科技集团公司第五十四研究所 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN109871823B (zh) * 2019-03-11 2021-08-31 中国电子科技集团公司第五十四研究所 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN109993109A (zh) * 2019-03-29 2019-07-09 成都信息工程大学 图像文字识别方法
CN109993701B (zh) * 2019-04-09 2022-06-21 福州大学 一种基于金字塔结构的深度图超分辨率重建的方法
CN109993701A (zh) * 2019-04-09 2019-07-09 福州大学 一种基于金字塔结构的深度图超分辨率重建的方法
CN110047069A (zh) * 2019-04-22 2019-07-23 北京青燕祥云科技有限公司 一种图像检测装置
CN110322402B (zh) * 2019-04-30 2023-07-25 武汉理工大学 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110084210B (zh) * 2019-04-30 2022-03-29 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110322402A (zh) * 2019-04-30 2019-10-11 武汉理工大学 基于稠密混合注意力网络的医学图像超分辨率重建方法
CN110633610A (zh) * 2019-05-17 2019-12-31 西南交通大学 一种基于yolo的学员状态检测算法
CN110633610B (zh) * 2019-05-17 2022-03-25 西南交通大学 一种基于yolo的学员状态检测方法
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110288570A (zh) * 2019-05-31 2019-09-27 东南大学 一种基于视觉注意机制的转子绕线弱反光图像检测方法
CN110287846B (zh) * 2019-06-19 2023-08-04 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN110263849A (zh) * 2019-06-19 2019-09-20 合肥工业大学 一种基于多尺度注意力机制的人群密度估计方法
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN112132255A (zh) * 2019-06-24 2020-12-25 百度（美国）有限责任公司 人工智能神经网络引擎中模型推断的批量归一化层融合和量化方法
CN110427831A (zh) * 2019-07-09 2019-11-08 淮阴工学院 一种基于融合特征的人体动作分类方法
CN110706200A (zh) * 2019-09-02 2020-01-17 杭州深睿博联科技有限公司 数据预测的方法及装置
CN110825900A (zh) * 2019-11-07 2020-02-21 重庆紫光华山智安科技有限公司 特征重构层的训练方法、图像特征的重构方法及相关装置
CN112419419A (zh) * 2019-11-27 2021-02-26 上海联影智能医疗科技有限公司 用于人体姿势和形状估计的系统和方法
CN111079683A (zh) * 2019-12-24 2020-04-28 天津大学 基于卷积神经网络的遥感图像云雪检测方法
CN111079683B (zh) * 2019-12-24 2023-12-12 天津大学 基于卷积神经网络的遥感图像云雪检测方法
CN111275714B (zh) * 2020-01-13 2022-02-01 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111275714A (zh) * 2020-01-13 2020-06-12 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111275637A (zh) * 2020-01-15 2020-06-12 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111275637B (zh) * 2020-01-15 2024-01-30 北京工业大学 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111325161A (zh) * 2020-02-25 2020-06-23 四川翼飞视科技有限公司 一种基于注意力机制的人脸检测神经网络的构建方法
CN111358431A (zh) * 2020-03-06 2020-07-03 重庆金山医疗技术研究院有限公司 一种食道压力云图的标识识别方法及设备
CN111523645A (zh) * 2020-04-16 2020-08-11 北京航天自动控制研究所 一种提升小尺度目标检测识别性能的卷积神经网络设计方法
CN111523645B (zh) * 2020-04-16 2023-04-18 北京航天自动控制研究所 一种提升小尺度目标检测识别性能的卷积神经网络设计方法
CN111652054A (zh) * 2020-04-21 2020-09-11 北京迈格威科技有限公司 关节点检测方法、姿态识别方法及装置
CN111652054B (zh) * 2020-04-21 2023-11-03 北京迈格威科技有限公司 关节点检测方法、姿态识别方法及装置
CN111753643B (zh) * 2020-05-09 2024-05-14 北京迈格威科技有限公司 人物姿态识别方法、装置、计算机设备和存储介质
CN111753643A (zh) * 2020-05-09 2020-10-09 北京迈格威科技有限公司 人物姿态识别方法、装置、计算机设备和存储介质
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN114140683A (zh) * 2020-08-12 2022-03-04 天津大学 一种航拍图像目标检测的方法、设备与介质
CN112131959A (zh) * 2020-08-28 2020-12-25 浙江工业大学 一种基于多尺度特征强化的2d人体姿态估计方法
CN112131959B (zh) * 2020-08-28 2024-03-22 浙江工业大学 一种基于多尺度特征强化的2d人体姿态估计方法
CN112149563A (zh) * 2020-09-23 2020-12-29 中科人工智能创新技术研究院(青岛)有限公司 一种注意力机制人体图像关键点姿态估计方法及系统
CN112163541A (zh) * 2020-10-09 2021-01-01 上海云绅智能科技有限公司 一种3d目标检测方法、装置、电子设备和存储介质
CN112259119A (zh) * 2020-10-19 2021-01-22 成都明杰科技有限公司 基于堆叠沙漏网络的音乐源分离方法
TWI733616B (zh) * 2020-11-04 2021-07-11 財團法人資訊工業策進會 人體姿勢辨識系統、人體姿勢辨識方法以及非暫態電腦可讀取儲存媒體
CN113011304A (zh) * 2021-03-12 2021-06-22 山东大学 一种基于注意力多分辨率网络的人体姿态估计方法及系统
CN113516133B (zh) * 2021-04-01 2022-06-17 中南大学 一种多模态图像分类方法及系统
CN113516133A (zh) * 2021-04-01 2021-10-19 中南大学 一种多模态图像分类方法及系统
CN113160234A (zh) * 2021-05-14 2021-07-23 太原理工大学 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN113449681A (zh) * 2021-07-15 2021-09-28 东南大学 一种联合注意力机制的3d人体姿态识别双分支网络模型
CN113449681B (zh) * 2021-07-15 2022-11-18 东南大学 一种联合注意力机制的3d人体姿态识别双分支网络模型
CN113537072A (zh) * 2021-07-19 2021-10-22 之江实验室 一种基于参数硬共享的姿态估计与人体解析联合学习系统
CN113537072B (zh) * 2021-07-19 2024-03-12 之江实验室 一种基于参数硬共享的姿态估计与人体解析联合学习系统
CN113673590A (zh) * 2021-08-13 2021-11-19 广东工业大学 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN113762177A (zh) * 2021-09-13 2021-12-07 成都市谛视科技有限公司 实时人体3d姿态估计方法、装置、计算机设备和存储介质
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法
CN114548153A (zh) * 2022-01-21 2022-05-27 电子科技大学 基于残差-胶囊网络的行星齿轮箱故障诊断方法
CN114548153B (zh) * 2022-01-21 2023-06-02 电子科技大学 基于残差-胶囊网络的行星齿轮箱故障诊断方法
CN115100148A (zh) * 2022-06-23 2022-09-23 安徽省农业科学院农业经济与信息研究所 一种基于轻量型卷积神经网络的农作物害虫检测方法
CN117542104A (zh) * 2024-01-09 2024-02-09 浙江图讯科技股份有限公司 一种基于自监督辅助学习的人脸三维关键点检测方法
CN117542104B (zh) * 2024-01-09 2024-04-30 浙江图讯科技股份有限公司 一种基于自监督辅助学习的人脸三维关键点检测方法
CN118314474A (zh) * 2024-06-13 2024-07-09 环天智慧科技股份有限公司 一种基于卫星遥感影像的水稻精细分类方法
CN118314474B (zh) * 2024-06-13 2024-08-06 环天智慧科技股份有限公司 一种基于卫星遥感影像的水稻精细分类方法

Also Published As

Publication number Publication date
CN108710830B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN108710830A (zh) 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN107292256B (zh) 基于辅任务的深度卷积小波神经网络表情识别方法
CN109522874B (zh) 人体动作识别方法、装置、终端设备及存储介质
CN109948453B (zh) 一种基于卷积神经网络的多人姿态估计方法
CN111738091A (zh) 一种基于多任务深度学习的姿态估计与人体解析系统
CN109033946A (zh) 融合方向图的人体姿态估计方法
CN113516693B (zh) 一种快速通用的图像配准方法
CN113159232A (zh) 一种三维目标分类、分割方法
CN110135438B (zh) 一种基于梯度幅值预运算的改进surf算法
CN112163498A (zh) 前景引导和纹理聚焦的行人重识别模型建立方法及其应用
CN114283495B (zh) 一种基于二值化神经网络的人体姿态估计方法
CN108280808B (zh) 基于结构化输出相关滤波器的目标跟踪方法
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN110175529A (zh) 一种基于降噪自编码网络的三维人脸特征点定位方法
CN103473559A (zh) 基于nsct域合成核的sar图像变化检测方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN103984954B (zh) 基于多特征融合的图像合成方法
CN112800882A (zh) 一种基于加权双流残差网络的口罩人脸姿态分类方法
CN114882524A (zh) 一种基于全卷积神经网络的单目三维手势估计方法
CN115565034A (zh) 基于双流增强网络的红外小目标检测方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN106971392B (zh) 一种结合dt-cwt和mrf的遥感图像变化检测方法与装置
CN117011648A (zh) 一种基于单个真实样本的触觉图像数据集扩充方法及设备
CN110660051B (zh) 一种基于导航金字塔的张量投票处理方法
CN112435345B (zh) 一种基于深度学习的人体三维测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210929

Address after: 310000 Room 401, building 2, No.16, Zhuantang science and technology economic block, Xihu District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou yunqi smart Vision Technology Co., Ltd

Address before: 310018, No. 18 Jiao Tong Street, Xiasha Higher Education Park, Hangzhou, Zhejiang

Patentee before: ZHEJIANG GONGSHANG University