CN109977827B - 一种使用多视图匹配方法的多人三维姿态估计方法 - Google Patents
一种使用多视图匹配方法的多人三维姿态估计方法 Download PDFInfo
- Publication number
- CN109977827B CN109977827B CN201910200726.2A CN201910200726A CN109977827B CN 109977827 B CN109977827 B CN 109977827B CN 201910200726 A CN201910200726 A CN 201910200726A CN 109977827 B CN109977827 B CN 109977827B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- person
- points
- joint
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种使用多视图匹配方法的多人三维姿态估计方法,主要过程如下:首先使用神经网络获取多视图图片中关节点的二维坐标;其次,设计了一种多图像匹配算法,对多视图中的关节点进行匹配,并使用二维坐标得到三维坐标;最后使用了一种简单的贪心算法,在三维空间进行姿态解析。
Description
技术领域
本发明在多视图图片上应用了现有的二维多人姿态估计技术,使用一种创新的多视图匹配方法恢复三维关节点,其次提出了一种在三维空间内进行的姿态解析算法,以得到最终的多人三维估计结果。
背景技术
二维和三维的多人人体姿态估计是计算机视觉领域的一项非常有挑战的工作。多人姿势估计旨在找出图像中所有人的骨骼关键点。由于身体姿态的高度灵活性、自我以及外部的遮挡、不同的衣服、罕见的姿势等原因,户外多人的姿势估计是非常具有挑战性的。
由于深度卷积神经网络的出现,二维多人姿态估计的准确性得到了很大的提升,现有的方法大致可分为两类:自底向上的方法和自顶向下的方法。自顶向下的方法首先通过人体检测器获取候选人,然后执行单人姿势估计。自底向上的方法直接预测关键点,然后将它们组成所有人的完整姿势。但是两种方法都有着各自的缺点:自顶向下的方法对人体检测器的准确度有着很高的要求,而且时间复杂度随着图片中的人数线性增长;自底向上的方法在严重遮挡的情况下无法得到理想的结果。
尽管二维的多人姿态估计得到了很大的进步,但是三维的多人姿态估计还存在很多问题需要解决,一些方法通过神经网络直接获得三维的人体姿态,但是这种方法对于复杂的多人场景不能很好的工作,而且得到的是局部坐标;一些方法先是获得二维的估计结果,然后在通过一些算法计算三维结果,这种方法受限于二维姿态估计方法的准确性,也很难得到在世界坐标系下的关节点坐标。
发明内容
本发明的目的是针对现有技术的不足,提供一种使用多视图匹配方法的多人三维姿态估计方法。
本发明是通过以下技术方案实现的:一种使用多视图匹配方法的多人三维姿态估计方法,包括以下步骤:
(1)二维关节点检测:使用场景中设置的V个相机,获得V个图像,对于每个图像使用卷积神经网络,获取对应的14个关节的置信图Sp和13个亲和力场Lc,p=1,2,…,14;c=1,2,…,13。
(2)关节点关联:
从V个图像中任意选取两个图像v和w构成一组,针对关节点p,根据这一组图像获得一组距离值{dij},因此,一共可获得组距离值;将组距离值中的所有距离值从小到大排序,依次进行关联处理,得到关节点p的若干组关联好的二维坐标点,其中,不同组的关节点分别对应于不同的人。
关联处理的方法分成以下四种情况:
①xi和xj都尚未关联到任何一个人身上:那么新建一个人,xi和xj都属于这个人。
②xi被关联到了一个人身上,xj没有关联到任何一个人身上:将xj关联到xi所属的这个人上。
③xj被关联到了一个人身上,xi没有关联到任何一个人身上:将xi关联到xj所属的这个人上。
④xi和xj分别被关联到两个不同的人身上:忽略这一对坐标。
对于其他的关节点按照上述关联处理方法完成关联,每个关节点得到若干组关联好的二维坐标点。
(3)求解关节点三维坐标:对于每个关节点,利用步骤2获得的若干组关联好的二维坐标点分别求解得到若干个三维坐标,每一组关联好的二维坐标点均使用三角化算法获得一个三维坐标;
(4)三维姿态解析:
其中,每一组权重值中的权重通过以下方法得到:
α和β是两个阈值,分别设为0.2和0.8。
该权值衡量在二维图像上的合理性,通过计算置信度(s)大于阈值θ的视图数量占视图总数的比例获得。其中函数1(·)判断括号中的表达式是否为真,若为真该函数值为1,否则为0。置信度通过下式计算:
解析处理的过程如下:对于c的两个关节点p,q中,如果任意一个之前的遍历过程中已经遇到过,则跳过这个连接;如果p不属于任何一个人的姿态,那么新建一个姿态,并把p,q加入这个姿态中;如果p已经属于某个人的姿态,那么把q也加入这个人的姿态,从而完成多人的三维姿态估计。
进一步地,所述步骤1中使用了OpenPose中的卷积神经网络作为二维关节点检测。
本发明的有益效果在于:使用RGB图片以及多视图之间的信息,结合亲和力场和人体骨长的约束,对复杂场景进行多人姿态估计,并能获得鲁棒且准确的结果。
附图说明
图1:三个不同的视角的二维关节点检测结果。
图2:多人的三维关节点示意图。
图3:三维姿态解析的最终结果。
图4:在Panostic和Shelf数据集上的结果。
具体实施方式
使用多视图匹配方法的三维多人姿态估计方法,具体包括以下步骤:
(1)二维关节点检测:使用场景中设置的V个相机,获得V个图像,对于每个图像使用卷积神经网络,获取对应的14个关节的置信图Sp和13个亲和力场Lc,p=1,2,…,14;c=1,2,…,13。
图1为三个视角的二维关节点检测结果。
(2)关节点关联:在每个摄像机视图中获取关节的二维坐标之后,所有检测到的位置应该与场景中的人相关联。我们把这个问题看作一个寻找两个图像之间对应关系的多图像关节点匹配问题。对于每一个关节点p,我们使用一个贪心算法来解决这个问题:
从V个图像中任意选取两个图像v和w构成一组,针对关节点p,根据这一组图像获得一组距离值{dij},因此,一共可获得组距离值;将组距离值中的所有距离值从小到大排序,依次进行关联处理,得到关节点p的若干组关联好的二维坐标点,其中,不同组的关节点分别对应于不同的人。
关联处理的方法分成以下四种情况:
①xi和xj都尚未关联到任何一个人身上:那么新建一个人,xi和xj都属于这个人。
②xi被关联到了一个人身上,xj没有关联到任何一个人身上:将xj关联到xi所属的这个人上。
③xj被关联到了一个人身上,xi没有关联到任何一个人身上:将xi关联到xj所属的这个人上。
④xi和xj分别被关联到两个不同的人身上:忽略这一对坐标。
对于其他的关节点按照上述关联处理方法完成关联,每个关节点得到若干组关联好的二维坐标点。
(3)求解关节点三维坐标:对于每个关节点,利用步骤2获得的若干组关联好的二维坐标点分别求解得到若干个三维坐标,每一组关联好的二维坐标点均使用三角化算法获得一个三维坐标;
图2展示了所得到的三维点在世界坐标系中的结果,坐标轴单位为厘米
(4)三维姿态解析:最后一步将孤立的三维关节点解析成人体姿态,得到最终结果。
其中,每一组权重值中的权重通过以下方法得到:
α和β是两个阈值,我们分别设为0.2和0.8。
该权值衡量在二维图像上的合理性,通过计算置信度(s)大于阈值θ的视图数量占视图总数的比例获得。其中函数1(·)判断括号中的表达式是否为真,若为真该函数值为1,否则为0。置信度通过下式计算
解析处理的过程如下:对于c的两个关节点p,q中,如果任意一个之前的遍历过程中已经遇到过,则跳过这个连接;如果p不属于任何一个人的姿态,那么新建一个姿态,并把p,q加入这个姿态中;如果p已经属于某个人的姿态,那么把q也加入这个人的姿态。
图3展示了在进行姿态解析之后的结果
经过以上流程,就可以得到最终的多人姿态估计结果,图4展示了我们在Panostic和Shelf数据集上的结果。表1和表2展示了我们的方法在数据集Panostic和Shelf上的准确率的。在Shelf数据集上可以看出准确度相比其他方法都有着不同程度的提升。
表1 Panostic数据集的准确率
表2 Shelf数据集的准确率对比
Claims (2)
1.一种使用多视图匹配方法的多人三维姿态估计方法,其特征在于,包括以下步骤:
(1)二维关节点检测:使用场景中设置的V个相机,获得V个图像,对于每个图像使用卷积神经网络,获取对应的14个关节的置信图Sp和13个亲和力场Lc,p=1,2,...,14;c=1,2,...,13;
(2)关节点关联:
从V个图像中任意选取两个图像v和w构成一组,针对关节点p,根据这一组图像获得一组距离值{dij},因此,一共可获得组距离值;将组距离值中的所有距离值从小到大排序,依次进行关联处理,得到关节点p的若干组关联好的二维坐标点,其中,不同组的关节点分别对应于不同的人;
关联处理的方法分成以下四种情况:
①xi和xj都尚未关联到任何一个人身上:那么新建一个人,xi和xj都属于这个人;
②xi被关联到了一个人身上,xj没有关联到任何一个人身上:将xj关联到xi所属的这个人上;
③xj被关联到了一个人身上,xi没有关联到任何一个人身上:将xi关联到xj所属的这个人上;
④xi和xj分别被关联到两个不同的人身上:忽略这一对坐标;
对于其他的关节点按照上述关联处理方法完成关联,每个关节点得到若干组关联好的二维坐标点;
(3)求解关节点三维坐标:对于每个关节点,利用步骤2获得的若干组关联好的二维坐标点分别求解得到若干个三维坐标,每一组关联好的二维坐标点均使用三角化算法获得一个三维坐标;
(4)三维姿态解析:
其中,每一组权重值中的权重通过以下方法得到:
α和β是两个阈值,分别设为0.2和0.8;
权值衡量在二维图像上的合理性,通过计算置信度sv大于阈值θ的视图数量占视图总数的比例获得;其中函数1(·)判断括号中的表达式是否为真,若为真该函数值为1,否则为0;置信度sv通过下式计算:
解析处理的过程如下:对于c的两个关节点p,q中,如果任意一个之前的遍历过程中已经遇到过,则跳过这个连接;如果p不属于任何一个人的姿态,那么新建一个姿态,并把p,q加入这个姿态中;如果p已经属于某个人的姿态,那么把q也加入这个人的姿态,从而完成多人的三维姿态估计。
2.根据权利要求1所述的方法,其特征在于,所述步骤1中使用了OpenPose中的卷积神经网络作为二维关节点检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910200726.2A CN109977827B (zh) | 2019-03-17 | 2019-03-17 | 一种使用多视图匹配方法的多人三维姿态估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910200726.2A CN109977827B (zh) | 2019-03-17 | 2019-03-17 | 一种使用多视图匹配方法的多人三维姿态估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109977827A CN109977827A (zh) | 2019-07-05 |
CN109977827B true CN109977827B (zh) | 2020-11-13 |
Family
ID=67079163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910200726.2A Active CN109977827B (zh) | 2019-03-17 | 2019-03-17 | 一种使用多视图匹配方法的多人三维姿态估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109977827B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112883761B (zh) * | 2019-11-29 | 2023-12-12 | 北京达佳互联信息技术有限公司 | 姿态估计模型的构建方法、装置、设备及存储介质 |
CN111611895B (zh) * | 2020-05-15 | 2023-12-19 | 北京联合大学 | 一种基于OpenPose的多视角人体骨架自动标注方法 |
CN111401340B (zh) * | 2020-06-02 | 2020-12-25 | 腾讯科技(深圳)有限公司 | 目标对象的运动检测方法和装置 |
WO2022245281A1 (en) * | 2021-05-18 | 2022-11-24 | Garena Online Private Limited | Neural network system for 3d pose estimation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2383696A1 (en) * | 2010-04-30 | 2011-11-02 | LiberoVision AG | Method for estimating a pose of an articulated object model |
CN106296610A (zh) * | 2016-08-05 | 2017-01-04 | 天津大学 | 基于低秩矩阵分析的三维骨架修复方法 |
CN107729797A (zh) * | 2016-08-10 | 2018-02-23 | 塔塔咨询服务有限公司 | 基于传感器数据分析识别身体关节位置的系统和方法 |
CN109345504A (zh) * | 2018-08-07 | 2019-02-15 | 浙江大学 | 一种使用边界框约束的自底向上的多人姿态估计方法 |
CN109377513A (zh) * | 2018-09-20 | 2019-02-22 | 浙江大学 | 一种针对两视图的全局三维人体姿态可信估计方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170316578A1 (en) * | 2016-04-29 | 2017-11-02 | Ecole Polytechnique Federale De Lausanne (Epfl) | Method, System and Device for Direct Prediction of 3D Body Poses from Motion Compensated Sequence |
CN107945269A (zh) * | 2017-12-26 | 2018-04-20 | 清华大学 | 基于多视点视频的复杂动态人体对象三维重建方法及系统 |
CN109035327B (zh) * | 2018-06-25 | 2021-10-29 | 北京大学 | 基于深度学习的全景相机姿态估计方法 |
-
2019
- 2019-03-17 CN CN201910200726.2A patent/CN109977827B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2383696A1 (en) * | 2010-04-30 | 2011-11-02 | LiberoVision AG | Method for estimating a pose of an articulated object model |
CN106296610A (zh) * | 2016-08-05 | 2017-01-04 | 天津大学 | 基于低秩矩阵分析的三维骨架修复方法 |
CN107729797A (zh) * | 2016-08-10 | 2018-02-23 | 塔塔咨询服务有限公司 | 基于传感器数据分析识别身体关节位置的系统和方法 |
CN109345504A (zh) * | 2018-08-07 | 2019-02-15 | 浙江大学 | 一种使用边界框约束的自底向上的多人姿态估计方法 |
CN109377513A (zh) * | 2018-09-20 | 2019-02-22 | 浙江大学 | 一种针对两视图的全局三维人体姿态可信估计方法 |
Non-Patent Citations (4)
Title |
---|
Monocular 3D Human Pose Estimation In The Wild Using Improved CNN Supervision;Dushyant Mehta,Helge Rhodin,Dan Casas,Pascal Fua;《2017 International Conference on 3D Vision》;20171231;第506-516页 * |
Multi-Person Pose Estimation Using Bounding Box Constraint and LSTM;Miaopeng Li,Zimeng Zhou,Xinguo Liu;《IEEE Transactions on Multimedia》;20190307;第2653-2663页 * |
一种基于姿态估计的视点无关的人体姿态图像检索方法;杨晶晶,万丽莉;《中国科技论文》;20170731;第1632-1639页 * |
多视角下结合形状和运动信息的三维人体姿态估计;沈建锋,杨文明,廖庆敏;《电子与信息学报》;20111130;页2658-2664页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109977827A (zh) | 2019-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109977827B (zh) | 一种使用多视图匹配方法的多人三维姿态估计方法 | |
CN107392964B (zh) | 基于室内特征点和结构线结合的室内slam方法 | |
Liu et al. | Tracking-based 3D human skeleton extraction from stereo video camera toward an on-site safety and ergonomic analysis | |
JP3512992B2 (ja) | 画像処理装置および画像処理方法 | |
CN104021538B (zh) | 物体定位方法和装置 | |
Sundaresan et al. | Model driven segmentation of articulating humans in Laplacian Eigenspace | |
CN108628306B (zh) | 机器人行走障碍检测方法、装置、计算机设备和存储介质 | |
CN109758756B (zh) | 基于3d相机的体操视频分析方法及系统 | |
CN106971406A (zh) | 物体位姿的检测方法和装置 | |
CN111652047B (zh) | 基于彩色图和深度图的人体姿势识别方法及存储介质 | |
CN113111767A (zh) | 一种基于深度学习3d姿态评估的跌倒检测方法 | |
CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
CN107949851A (zh) | 在场景内的物体的端点的快速和鲁棒识别 | |
CN112330813A (zh) | 一种基于单目深度摄像头的着装下三维人体模型重建方法 | |
Argyros et al. | Binocular hand tracking and reconstruction based on 2D shape matching | |
CN111709982B (zh) | 一种动态环境三维重建方法 | |
JP2002259989A (ja) | ポインティングジェスチャ検出方法及びその装置 | |
CN115376034A (zh) | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 | |
JP2022046210A (ja) | 学習装置、処理装置、学習方法、姿勢検出モデル、プログラム、及び記憶媒体 | |
CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
CN111197976A (zh) | 一种顾及弱纹理区域多阶段匹配传播的三维重建方法 | |
Barros et al. | Real-time human pose estimation from body-scanned point clouds | |
JP2017097549A (ja) | 画像処理装置、方法、及びプログラム | |
Wang et al. | Facilitating PTZ camera auto-calibration to be noise resilient with two images | |
Paudel et al. | Localization of 2D cameras in a known environment using direct 2D-3D registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |