CN110427877A - 一种基于结构信息的人体三维姿态估算的方法 - Google Patents

一种基于结构信息的人体三维姿态估算的方法 Download PDF

Info

Publication number
CN110427877A
CN110427877A CN201910706013.3A CN201910706013A CN110427877A CN 110427877 A CN110427877 A CN 110427877A CN 201910706013 A CN201910706013 A CN 201910706013A CN 110427877 A CN110427877 A CN 110427877A
Authority
CN
China
Prior art keywords
human body
node
structural information
dimensional
topological diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910706013.3A
Other languages
English (en)
Other versions
CN110427877B (zh
Inventor
王新年
姜涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201910706013.3A priority Critical patent/CN110427877B/zh
Publication of CN110427877A publication Critical patent/CN110427877A/zh
Application granted granted Critical
Publication of CN110427877B publication Critical patent/CN110427877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于结构信息的人体三维姿态估算的方法,包括以下步骤:将单目RGB图像输入到二维姿态检测器中,获取所述单目RGB图像中人体的各个关节的关节点坐标;构建人体姿态拓扑图及其拉普拉斯矩阵L;构建基于关节点结构信息的图卷积网络;在三维姿态估计数据集上对所述图卷积网络进行预训练;将所述姿态拓扑图及所述拉普拉斯矩阵L输入到所述图卷积网络中,输出人体三维姿态。本发明使用图卷积进行人体三维姿态识别,充分学习到人体的全身结构信息;利用注意力机制和兼顾关节局部结构的损失函数,从全局和局部两个方面学习关节点结构信息;基于上述两点,本方法提高了三维姿态估计的精度。

Description

一种基于结构信息的人体三维姿态估算的方法
技术领域
本发明涉及三维姿态估算技术领域,具体而言,尤其涉及一种基于结构信息的人体三维姿态估算的方法。
背景技术
目前单张单目图像三维姿态估计方法主要分为两类,判别式模型和生成式模型。而判别式模型可以大体分为两类:(1)直接估计:直接由图像回归到三维姿态;(2)两阶段估计:第一阶段先从图像中提取一些二维姿态特征,例如:二维关节坐标、二维关节热力图、二维关节骨架图等。然后再由这些二维姿态特征来回归到三维姿态。其中与本发明最相关的技术是两阶段估计方法。
现有的两阶段三维姿态估计如下:
李[1]通过视频流进行三维姿态估计。输入为连续三帧图像,将第一帧图像输入到堆叠沙漏网络得到第一帧的人体二维关节点热图,而后两帧图像输入到浅层神经网络得到图像浅层特征,将第一帧关节点热图和后两帧图像浅层特征图输入到LSTM中得到后两帧人体二维关节点热图,最后分别由二维关节点热力图输出各帧图像的人体三维关节点坐标。
夏[2]提出了一种基于骨架二值图回归的三维姿态估计。首先利用编解码网络从图像中提取前景骨架二值图和背景骨架二值图,然后将骨架二值图分别馈入单独的回归网络。由回归网络产生多个三维姿态的假设,最后为了匹配二维观测值,选择对二维关节检测具有最小投影误差的假设作为最终输出。
目前已有的三维姿态估计存在以下问题:
1)目前基于坐标的三维姿态估计输入输出都是一个一维向量,它由人体各个关节点坐标拼接而成。在特征提取的过程中将所有关节点视为一个整体,对人体的内部结构信息利用的并不充分。
2)一个关节点的位置受到其他关节点的共同影响,并且每个节点的影响大小不同。目前的姿态估计缺乏考察节点间的相互影响。
3)当前三维姿态估计的损失函数只针对关节坐标,即只通过最小化预测关节点误差来进行姿态估计。
4)基于坐标的二阶段三维姿态估计通常使用全连接层或长短时记忆网络提取姿态特征,这种全连接式的网络结构参数量很大。
参考文献:
[1]李帅等基于视频流进行三维人体姿态估计的方法.中国,申请公开的发明专利,201811080931.1;
[2]夏春秋一种基于骨架图回归的三维人体姿态估计的方法.中国,申请公开的发明专利,201711310090.4。
发明内容
根据上述提出的技术问题,而提供一种基于结构信息的人体三维姿态估计的方法。本发明主要利用一种基于结构信息的人体三维姿态估算的方法,其特征在于,包括以下步骤:
步骤S1:将单目RGB图像输入到二维姿态检测器中,获取所述单目RGB 图像中人体的各个关节的关节点坐标;
步骤S2:构建人体姿态拓扑图,由拓扑图的邻接矩阵A以及度矩阵D通过相应计算得到姿态拓扑图的拉普拉斯矩阵L;
步骤S3:构建基于关节点结构信息的图卷积网络;
步骤S4:在三维姿态估计数据集上对所述图卷积网络进行预训练;
步骤S5:将所述姿态拓扑图及所述拉普拉斯矩阵L输入到所述图卷积网络中,输出人体三维姿态。
进一步地,所述姿态有向拓扑图由节点集V和边集E组成;所述节点集 V={vi|i=1,2...,16}对应所述人体的16个关节点;所述边集表示人体各个节点的连接关系,其表示为E={ei,j|ei,j=vj-vi,(i,j)∈B};其中B表示为B=M∪R,其中M={(1,2),(2,3),(3,4),(1,8),(8,9),(9,10),(9,11),(11,12),(12,13)}, R={(1,5),(5,6),(6,7),(9,14),(14,15),(15,16)}。
表示节点vi在网络中第k层输出的特征向量,k∈{0,1...,n},当k=0时表示网络的输入,即节点vi的二维坐标;当k=n时表示网络的输出,为节点vi的三维坐标;表示边的特征向量。
更进一步地,所述图卷积网络包括:图卷积模块、注意力模块以及输出层模块;所述图卷积模块包括串联的图卷积层、BatchNorm层、激活函数ReLU、 1*1卷积层、BatchNorm层以及激活函数ReLU;
所述图卷积层为:
fout=WfinL
其中,W为可学习的权重矩阵,L为骨架拓扑图的拉普拉斯矩阵,fin为输入特征图,fout为输出特征图,
更进一步地,所述注意力模块的公式如下所示:
其中,vj表示拓扑图上除了vi节点外的其他节点;表示vi节点经过注意力模块输出的特征向量,为vi节点与其他节点的注意力特征向量;表示相似性度量函数,所述相似性度量函数采用嵌入式高斯函数其中 表示映射函数,Wθ,Wg均为可学习的权重矩阵;
所述输出层模块由1*1卷积构成,用于改变特征通道数。
进一步地,所述图卷积网络采用兼顾关节点坐标以及关节点局部结构的损失函数;所述损失函数为:
其中,V,E为所述姿态有向拓扑图的节点集与边集,为对应的真值。
较现有技术相比,本发明具有以下优点:
本发明由于采取以上技术方案,其具有以下优点:
1)本发明能够更好地关注人体内部结构信息。构建了一种结构感知的神经网络,使用图卷积进行人体三维姿态识别。利用图卷积的卷积特性,充分学习到人体的内部结构信息。
2)同时本发明能够很好的关注各关节间的相互影响。使用注意力机制去学习到关节点间影响的权重,从而更好的体现关节点间的关系。
3)本发明提高了姿态估计的准确度。网络采用兼顾关节点坐标以及关节局部架构的损失函数。从关节点坐标以及关节局部结构两个方面进行约束从而降低整体关节点的预测误差。
4)本发明提高了姿态估计的效率。由于图卷积是卷积操作,并且拓扑图的节点只有16个。计算量很小,可以实时估计三维姿态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的整体流程示意图;
图2为本发明人体姿态有向拓扑图示意图;
图3为本发明构造的基于节点结构信息的图卷积网络示意图;
图4为本发明图卷积模块示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
如图1-4所示,本发明包含一种基于结构信息的人体三维姿态估算的方法,包括以下步骤:
步骤S1:将单目RGB图像输入到二维姿态检测器中,获取所述单目RGB 图像中人体的各个关节的关节点坐标。
步骤S2:构建人体姿态拓扑图,由拓扑图的邻接矩阵A以及度矩阵D通过相应计算得到姿态拓扑图的拉普拉斯矩阵L。
步骤S3:构建基于关节点结构信息的图卷积网络。
步骤S4:在三维姿态估计数据集上对所述图卷积网络进行预训练。
步骤S5:将所述姿态拓扑图及所述拉普拉斯矩阵L输入到所述图卷积网络中,输出人体三维姿态。
作为一种优选的实施方式,所述姿态有向拓扑图由节点集V和边集E组成;所述节点集V={vi|i=1,2...,16}对应所述人体的16个关节点;所述边集表示人体各个节点的连接关系,其表示为E={ei,j|ei,j=vj-vi,(i,j)∈B};其中B表示为B=M∪R,其中M={(1,2),(2,3),(3,4),(1,8),(8,9),(9,10),(9,11),(11,12),(12,13)}, R={(1,5),(5,6),(6,7),(9,14),(14,15),(15,16)};
表示节点vi在网络中第k层输出的特征向量,k∈{0,1...,n},当k=0时表示网络的输入,即节点vi的二维坐标;当k=n时表示网络的输出,为节点vi的三维坐标;表示边的特征向量。
在本实施方式中,所述拓扑图的邻接矩阵A是表示顶点之间相邻关系的矩阵,所述度矩阵D表示各节点的相邻节点的个数的矩阵。所述拉普拉斯矩阵L由公式得到:
作为一种优选的实施方式,所述图卷积网络包括:图卷积模块、注意力模块以及输出层模块;所述图卷积模块包括串联的图卷积层、BatchNorm层、激活函数ReLU、1*1卷积层、BatchNorm层以及激活函数ReLU;
在本实施方式中,所述图卷积层为:
fout=WfinL
其中,W为可学习的权重矩阵,L为骨架拓扑图的拉普拉斯矩阵,fin为输入特征图,fout为输出特征图,公式(1) W由1*1卷积实现,故图卷积层具体实现是由输入经过1*1卷积后与拉普拉斯矩阵相乘得到。
作为一种优选的实施方式,所述注意力模块的公式如下所示:
其中,vj表示拓扑图上除了vi节点外的其他节点;表示vi节点经过注意力模块输出的特征向量,为vi节点与其他节点的注意力特征向量;表示相似性度量函数,所述相似性度量函数采用嵌入式高斯函数其中 表示映射函数,Wθ,Wg均为可学习的权重矩阵;
所述输出层模块由1*1卷积构成,用于改变特征通道数。
作为一种优选的实施方式,所述图卷积网络采用兼顾关节点坐标以及关节点局部结构的损失函数;所述损失函数为:
其中,V,E为所述姿态有向拓扑图的节点集与边集,为对应的真值。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于结构信息的人体三维姿态估算的方法,其特征在于,包括以下步骤:
S1:将单目RGB图像输入到二维姿态检测器中,获取所述单目RGB图像中人体的各个关节的关节点坐标;
S2:构建人体姿态拓扑图及其拉普拉斯矩阵L;
S3:构建基于关节点结构信息的图卷积网络;
S4:在三维姿态估计数据集上对所述图卷积网络进行预训练;
S5:将所述姿态拓扑图及所述拉普拉斯矩阵L输入到所述图卷积网络中,输出人体三维姿态。
2.根据权利要求1所述的一种基于结构信息的人体三维姿态估算的方法,其特征还在于:
所述姿态有向拓扑图由节点集V和边集E组成;所述节点集V={vi|i=1,2...,16}对应所述人体的16个关节点;所述边集表示人体各个节点的连接关系,其表示为E={ei,j|ei,j=vj-vi,(i,j)∈B};其中B表示为B=M∪R,M={(1,2),(2,3),(3,4),(1,8),(8,9),(9,10),(9,11),(11,12),(12,13)},
R={(1,5),(5,6),(6,7),(9,14),(14,15),(15,16)};
表示节点vi在网络中第k层输出的特征向量,k∈{0,1...,n},当k=0时表示网络的输入,即节点vi的二维坐标;当k=n时表示网络的输出,为节点vi的三维坐标;表示边的特征向量。
3.根据权利要求1所述的一种基于结构信息的人体三维姿态估算的方法,其特征还在于:
所述图卷积网络包括:图卷积模块、注意力模块以及输出层模块;
所述图卷积模块包括串联的图卷积层、BatchNorm层、激活函数ReLU、1*1卷积层、BatchNorm层以及激活函数ReLU;
所述图卷积层为:
fout=WfinL;
其中,W为可学习的权重矩阵,L为骨架拓扑图的拉普拉斯矩阵,fin为输入特征图,fout为输出特征图,
所述注意力模块的公式如下所示
其中,vj表示拓扑图上除了vi节点外的其他节点;表示vi节点经过注意力模块输出的特征向量,为vi节点与其他节点的注意力特征向量;表示相似性度量函数,所述相似性度量函数采用嵌入式高斯函数其中 表示映射函数,Wθ,Wg均为可学习的权重矩阵;
所述输出层模块由1*1卷积构成,用于改变特征通道数。
4.根据权利要求1所述的一种基于结构信息的人体三维姿态估算的方法,其特征还在于:
所述图卷积网络采用兼顾关节点坐标以及关节点局部结构的损失函数;所述损失函数为:
其中,V,E为所述姿态有向拓扑图的节点集与边集,为对应的真值。
CN201910706013.3A 2019-08-01 2019-08-01 一种基于结构信息的人体三维姿态估算的方法 Active CN110427877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910706013.3A CN110427877B (zh) 2019-08-01 2019-08-01 一种基于结构信息的人体三维姿态估算的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910706013.3A CN110427877B (zh) 2019-08-01 2019-08-01 一种基于结构信息的人体三维姿态估算的方法

Publications (2)

Publication Number Publication Date
CN110427877A true CN110427877A (zh) 2019-11-08
CN110427877B CN110427877B (zh) 2022-10-25

Family

ID=68413663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910706013.3A Active CN110427877B (zh) 2019-08-01 2019-08-01 一种基于结构信息的人体三维姿态估算的方法

Country Status (1)

Country Link
CN (1) CN110427877B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785396A (zh) * 2019-01-23 2019-05-21 中国科学院自动化研究所 基于双目相机的写字姿态监测方法、系统、装置
CN110969124A (zh) * 2019-12-02 2020-04-07 重庆邮电大学 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN111104902A (zh) * 2019-12-19 2020-05-05 中山大学 一种基于图卷积网络的偏瘫步态分类方法
CN111259836A (zh) * 2020-01-20 2020-06-09 浙江大学 一种基于动态图卷积表征的视频行人重识别方法
CN111401230A (zh) * 2020-03-13 2020-07-10 深圳市商汤科技有限公司 姿态估计方法及装置、电子设备和存储介质
CN111553968A (zh) * 2020-05-11 2020-08-18 青岛联合创智科技有限公司 一种三维人体重构动画的方法
CN111598995A (zh) * 2020-04-23 2020-08-28 浙江工商大学 一种基于原型分析的自监督多目三维人体姿态估计方法
CN111753669A (zh) * 2020-05-29 2020-10-09 广州幻境科技有限公司 基于图卷积网络的手部数据识别方法、系统和存储介质
CN111832468A (zh) * 2020-07-09 2020-10-27 平安科技(深圳)有限公司 基于生物识别的手势识别方法、装置、计算机设备及介质
CN111881773A (zh) * 2020-07-06 2020-11-03 武汉大学 一种基于位置偏移的事件相机人体姿态估计方法及系统
CN111914618A (zh) * 2020-06-10 2020-11-10 华南理工大学 基于对抗式相对深度约束网络的三维人体姿态估计方法
CN112101262A (zh) * 2020-09-22 2020-12-18 中国科学技术大学 一种多特征融合手语识别方法及网络模型
CN112232106A (zh) * 2020-08-12 2021-01-15 北京工业大学 一种二维到三维人体姿态估计方法
CN112712019A (zh) * 2020-12-28 2021-04-27 湖南大学 一种基于图卷积网络的三维人体姿态估计方法
CN112733707A (zh) * 2021-01-07 2021-04-30 浙江大学 一种基于深度学习的行人重识别方法
CN112949462A (zh) * 2021-02-26 2021-06-11 平安科技(深圳)有限公司 三维人体姿态的估计方法、装置、设备及存储介质
CN113052030A (zh) * 2021-03-11 2021-06-29 北京工业大学 一种基于单张rgb图像的双流多尺度手部姿态估计方法
CN113111865A (zh) * 2021-05-13 2021-07-13 广东工业大学 一种基于深度学习的跌倒行为检测方法和系统
CN113192186A (zh) * 2021-05-19 2021-07-30 华中科技大学 基于单帧图像的3d人体姿态估计模型建立方法及其应用
CN113255569A (zh) * 2021-06-15 2021-08-13 成都考拉悠然科技有限公司 一种基于图空洞卷积编码器解码器的3d姿态估计方法
CN113420676A (zh) * 2021-06-25 2021-09-21 华侨大学 一种二路特征交错融合网络的3d人体姿态估计方法
CN113449565A (zh) * 2020-03-27 2021-09-28 海信集团有限公司 三维姿态估计方法、智能设备及存储介质
CN113723237A (zh) * 2021-08-17 2021-11-30 绍兴市北大信息技术科创中心 一种根据相对信息的三维人体姿态估计方法及装置
CN114036969A (zh) * 2021-03-16 2022-02-11 上海大学 一种多视角情况下的3d人体动作识别算法
CN114417938A (zh) * 2022-01-27 2022-04-29 中国人民解放军32802部队 一种利用知识向量嵌入的电磁目标分类方法
CN114529605A (zh) * 2022-02-16 2022-05-24 青岛联合创智科技有限公司 一种基于多视图融合的人体三维姿态估计方法
CN115601840A (zh) * 2022-11-07 2023-01-13 四川大学(Cn) 一种考虑视觉和足底压力多模感知的行为障碍检测方法
CN116030537A (zh) * 2023-03-28 2023-04-28 山东科技大学 基于多分支注意力图卷积的三维人体姿态估计方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN109271933A (zh) * 2018-09-17 2019-01-25 北京航空航天大学青岛研究院 基于视频流进行三维人体姿态估计的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN109271933A (zh) * 2018-09-17 2019-01-25 北京航空航天大学青岛研究院 基于视频流进行三维人体姿态估计的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李天峰: "基于多媒体技术的三维人物图像动态重构", 《现代电子技术》 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785396B (zh) * 2019-01-23 2021-09-28 中国科学院自动化研究所 基于双目相机的写字姿态监测方法、系统、装置
CN109785396A (zh) * 2019-01-23 2019-05-21 中国科学院自动化研究所 基于双目相机的写字姿态监测方法、系统、装置
CN110969124A (zh) * 2019-12-02 2020-04-07 重庆邮电大学 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN110969124B (zh) * 2019-12-02 2022-09-27 重庆邮电大学 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN111104902A (zh) * 2019-12-19 2020-05-05 中山大学 一种基于图卷积网络的偏瘫步态分类方法
CN111104902B (zh) * 2019-12-19 2023-03-10 中山大学 一种基于图卷积网络的偏瘫步态分类方法
CN111259836A (zh) * 2020-01-20 2020-06-09 浙江大学 一种基于动态图卷积表征的视频行人重识别方法
CN111401230A (zh) * 2020-03-13 2020-07-10 深圳市商汤科技有限公司 姿态估计方法及装置、电子设备和存储介质
CN111401230B (zh) * 2020-03-13 2023-11-28 深圳市商汤科技有限公司 姿态估计方法及装置、电子设备和存储介质
CN113449565A (zh) * 2020-03-27 2021-09-28 海信集团有限公司 三维姿态估计方法、智能设备及存储介质
CN111598995B (zh) * 2020-04-23 2023-04-28 浙江工商大学 一种基于原型分析的自监督多目三维人体姿态估计方法
CN111598995A (zh) * 2020-04-23 2020-08-28 浙江工商大学 一种基于原型分析的自监督多目三维人体姿态估计方法
CN111553968B (zh) * 2020-05-11 2022-05-24 青岛联合创智科技有限公司 一种三维人体重构动画的方法
CN111553968A (zh) * 2020-05-11 2020-08-18 青岛联合创智科技有限公司 一种三维人体重构动画的方法
WO2021237875A1 (zh) * 2020-05-29 2021-12-02 广州幻境科技有限公司 基于图卷积网络的手部数据识别方法、系统和存储介质
CN111753669A (zh) * 2020-05-29 2020-10-09 广州幻境科技有限公司 基于图卷积网络的手部数据识别方法、系统和存储介质
CN111914618A (zh) * 2020-06-10 2020-11-10 华南理工大学 基于对抗式相对深度约束网络的三维人体姿态估计方法
CN111914618B (zh) * 2020-06-10 2024-05-24 华南理工大学 基于对抗式相对深度约束网络的三维人体姿态估计方法
CN111881773B (zh) * 2020-07-06 2023-08-25 武汉大学 一种基于位置偏移的事件相机人体姿态估计方法及系统
CN111881773A (zh) * 2020-07-06 2020-11-03 武汉大学 一种基于位置偏移的事件相机人体姿态估计方法及系统
WO2021120834A1 (zh) * 2020-07-09 2021-06-24 平安科技(深圳)有限公司 基于生物识别的手势识别方法、装置、计算机设备及介质
CN111832468A (zh) * 2020-07-09 2020-10-27 平安科技(深圳)有限公司 基于生物识别的手势识别方法、装置、计算机设备及介质
CN112232106A (zh) * 2020-08-12 2021-01-15 北京工业大学 一种二维到三维人体姿态估计方法
CN112101262A (zh) * 2020-09-22 2020-12-18 中国科学技术大学 一种多特征融合手语识别方法及网络模型
CN112101262B (zh) * 2020-09-22 2022-09-06 中国科学技术大学 一种多特征融合手语识别方法及网络模型
CN112712019A (zh) * 2020-12-28 2021-04-27 湖南大学 一种基于图卷积网络的三维人体姿态估计方法
CN112712019B (zh) * 2020-12-28 2023-08-01 湖南大学 一种基于图卷积网络的三维人体姿态估计方法
CN112733707A (zh) * 2021-01-07 2021-04-30 浙江大学 一种基于深度学习的行人重识别方法
CN112733707B (zh) * 2021-01-07 2023-11-14 浙江大学 一种基于深度学习的行人重识别方法
CN112949462A (zh) * 2021-02-26 2021-06-11 平安科技(深圳)有限公司 三维人体姿态的估计方法、装置、设备及存储介质
CN112949462B (zh) * 2021-02-26 2023-12-19 平安科技(深圳)有限公司 三维人体姿态的估计方法、装置、设备及存储介质
WO2022178951A1 (zh) * 2021-02-26 2022-09-01 平安科技(深圳)有限公司 三维人体姿态的估计方法、装置、设备及存储介质
CN113052030B (zh) * 2021-03-11 2024-09-24 北京工业大学 一种基于单张rgb图像的双流多尺度手部姿态估计方法
CN113052030A (zh) * 2021-03-11 2021-06-29 北京工业大学 一种基于单张rgb图像的双流多尺度手部姿态估计方法
CN114036969A (zh) * 2021-03-16 2022-02-11 上海大学 一种多视角情况下的3d人体动作识别算法
CN113111865B (zh) * 2021-05-13 2023-08-15 广东工业大学 一种基于深度学习的跌倒行为检测方法和系统
CN113111865A (zh) * 2021-05-13 2021-07-13 广东工业大学 一种基于深度学习的跌倒行为检测方法和系统
CN113192186A (zh) * 2021-05-19 2021-07-30 华中科技大学 基于单帧图像的3d人体姿态估计模型建立方法及其应用
CN113255569A (zh) * 2021-06-15 2021-08-13 成都考拉悠然科技有限公司 一种基于图空洞卷积编码器解码器的3d姿态估计方法
CN113420676A (zh) * 2021-06-25 2021-09-21 华侨大学 一种二路特征交错融合网络的3d人体姿态估计方法
CN113420676B (zh) * 2021-06-25 2023-06-02 华侨大学 一种二路特征交错融合网络的3d人体姿态估计方法
CN113723237B (zh) * 2021-08-17 2023-12-05 绍兴市北大信息技术科创中心 一种根据相对信息的三维人体姿态估计方法及装置
CN113723237A (zh) * 2021-08-17 2021-11-30 绍兴市北大信息技术科创中心 一种根据相对信息的三维人体姿态估计方法及装置
CN114417938A (zh) * 2022-01-27 2022-04-29 中国人民解放军32802部队 一种利用知识向量嵌入的电磁目标分类方法
CN114417938B (zh) * 2022-01-27 2023-06-27 中国人民解放军32802部队 一种利用知识向量嵌入的电磁目标分类方法
CN114529605B (zh) * 2022-02-16 2024-05-24 青岛联合创智科技有限公司 一种基于多视图融合的人体三维姿态估计方法
CN114529605A (zh) * 2022-02-16 2022-05-24 青岛联合创智科技有限公司 一种基于多视图融合的人体三维姿态估计方法
CN115601840A (zh) * 2022-11-07 2023-01-13 四川大学(Cn) 一种考虑视觉和足底压力多模感知的行为障碍检测方法
CN116030537B (zh) * 2023-03-28 2023-05-23 山东科技大学 基于多分支注意力图卷积的三维人体姿态估计方法
CN116030537A (zh) * 2023-03-28 2023-04-28 山东科技大学 基于多分支注意力图卷积的三维人体姿态估计方法

Also Published As

Publication number Publication date
CN110427877B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN110427877A (zh) 一种基于结构信息的人体三维姿态估算的方法
US11238602B2 (en) Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN108596974B (zh) 动态场景机器人定位建图系统及方法
CN111311685B (zh) 一种基于imu与单目图像的运动场景重构无监督方法
CN106296812B (zh) 同步定位与建图方法
CN111126304A (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
WO2019029099A1 (zh) 基于图像梯度联合优化的双目视觉里程计算方法
CN111062326B (zh) 一种基于几何驱动的自监督人体3d姿态估计网络训练方法
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
Tang et al. ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans
CN107767419A (zh) 一种人体骨骼关键点检测方法及装置
CN113393522A (zh) 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN111160164A (zh) 基于人体骨架和图像融合的动作识别方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN109272493A (zh) 一种基于递归卷积神经网络的单目视觉里程计方法
CN112232106B (zh) 一种二维到三维人体姿态估计方法
CN113205595A (zh) 一种3d人体姿态估计模型的构建方法及其应用
Chen et al. Key issues in modeling of complex 3D structures from video sequences
CN113160287B (zh) 一种基于特征融合的复杂构件点云拼接方法及系统
CN110322507A (zh) 一种基于深度重投影和空间一致性特征匹配的方法
CN114842139A (zh) 一种基于空间分析的建筑三维数字化模型构建方法
CN115690908A (zh) 一种基于拓扑感知的三维手势姿态估计方法
CN111797692A (zh) 一种基于半监督学习的深度图像手势估计方法
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
Gao et al. Pose refinement with joint optimization of visual points and lines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant