CN115331263A - 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 - Google Patents

鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 Download PDF

Info

Publication number
CN115331263A
CN115331263A CN202211139036.9A CN202211139036A CN115331263A CN 115331263 A CN115331263 A CN 115331263A CN 202211139036 A CN202211139036 A CN 202211139036A CN 115331263 A CN115331263 A CN 115331263A
Authority
CN
China
Prior art keywords
human body
key point
picture
robust
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211139036.9A
Other languages
English (en)
Other versions
CN115331263B (zh
Inventor
刘偲
姜文韬
张天宇
杨山
李波
张永飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211139036.9A priority Critical patent/CN115331263B/zh
Publication of CN115331263A publication Critical patent/CN115331263A/zh
Application granted granted Critical
Publication of CN115331263B publication Critical patent/CN115331263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种鲁棒的姿态估计方法及其在朝向判断的应用及相关方法，首先训练鲁棒的人体姿态估计算法，使用人体姿态模型对输入图片进行人体关键点检测。该鲁棒的人体姿态估计算法将全局人体关键点检测以及人体局部部位关键点检测进行融合，输出鲁棒的人体姿态。然后基于输出的人体姿态，可以计算人体水平向量与垂直向量以及关键肢体的朝向和长度，从而对人体进行快速且具有可解释性的人体朝向判断。通过检测到关键点的个数以及置信度则可以进行人体图像质量评价。

Description

鲁棒的姿态估计方法及其在朝向判断的应用及相关方法
技术领域
本发明涉及计算机视觉技术领域，具体涉及使用深度神经网络进行人体姿态估计并使用结果辅助下游人体分析任务的方法。
背景技术
当前的人体姿态估计模型对于某些人体关键局部的关键点估计准确度不高，导致整体结果不够鲁棒。另一方面，针对人体进行朝向判断是一个较少被研究的任务，当前方法通常通过单独的模型分别对人体朝向进行判断。而在现有技术中，通过单独模型对两个任务进行判断需要的时间开销较多，且没有中间表示进行转化，导致精度不高。
因此，如何提供一种能够得到鲁棒的人体关键点，以及如何使用得到的关键性信息以及置信度对人体朝向进行识别的应用及相关方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明首先训练鲁棒的人体姿态估计算法，然后基于人体姿态对行人进行快速且具有可解释性的人体朝向以及人体图像质量评价。
为了实现上述目的，本发明采用如下技术方案：
本发明首先公开了一种鲁棒的姿态估计方法，包括如下步骤：
S1、对人体图片I进行人体部位解析，得到集合{I p }，其中I p 表示不同的人体部位图片；
S2、将人体图片I输入全身人体姿态估计网络PoseNet，预测得到全身关键点结果，包括：全身人体关键点热力图k i 以及置信度c i ；
S3、将人体部位图片I p 输入仿射学习变换网络，进行仿射变换学习，得到转向偏正的人体部位图片集合{I p ’ }；
S4、将人体部位图片集合{I p ’ }输入人体部件关键点估计网络PartNet，预测得到部位关键点结果，包括：每个部位I p ’ 所包含的部位人体关键点热力图
Figure 100002_DEST_PATH_IMAGE001
以及置信度
Figure 318752DEST_PATH_IMAGE002
；
S5、对全身关键点结果和部位关键点结果进行加权融合，得到鲁棒的人体姿态关键点识别结果。
优选的，所述全身人体关键点k i 和部位人体关键点
Figure 439155DEST_PATH_IMAGE001
从属于相同的人体关键点集合，所述人体关键点集合包含每个人体部位图片中的人体关键点。
优选的，所述{I p }至少包括以下人体部位的图片：左手、左下臂、左上臂、右手、右下臂、右上臂、左脚、左小腿、左大腿、右脚、右小腿、右大腿和头部；所述人体关键点集合至少包括以下人体部位的关键点：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、颈部、左髋、右髋、左膝、右膝、左踝和右踝。
优选的，还包括根据鲁棒的人体姿态关键点识别结果进行人体图片
Figure 100002_DEST_PATH_IMAGE003
质量分类的步骤：
获取所述鲁棒的人体姿态关键点识别结果中设定人体部位图片中所有关键点的置信度求和，若所有部位的求和置信度低于设置的阈值，则赋予该人体图片I低质量标签。
本发明其次还公开了一种所述的鲁棒的姿态估计方法在识别图片中人体朝向的应用，利用所述鲁棒的姿态估计方法得到的鲁棒的人体姿态关键点识别结果，检测所述人体图片I中的人体朝向。
本发明最后还公开了一种图片中人体朝向的识别方法，包括如下步骤：
S1、对人体图片I进行人体部位解析，得到集合{I p }，其中I p 表示不同的人体部位图片；
S2、将人体图片I输入全身人体姿态估计网络
Figure 890996DEST_PATH_IMAGE004
，预测得到全身关键点结果，包括：全身人体关键点k i 以及置信度c i ；
S3、将人体部位图片I p 输入仿射学习变换网络，进行仿射变换学习，得到转向偏正的人体部位图片集合{I p ’ }；
S4、将人体部位图片集合{I p ’ }输入人体部件关键点估计网络PartNet，预测得到部位关键点结果，包括：每个部位I p ’ 所包含的部位人体关键点
Figure 755047DEST_PATH_IMAGE001
以及置信度
Figure 303840DEST_PATH_IMAGE002
；
S5、对全身关键点结果和部位关键点结果进行加权融合，得到鲁棒的人体姿态关键点识别结果；
S6、获取鲁棒的人体姿态关键点识别结果中以下人体部位的关键点：左肩、右肩、颈部、左髋、右髋和鼻子，计算左肩关键点至右肩关键点的长度一，以及颈部关键点到置信度不为零的左髋/右髋关键点的长度二，计算长度一和长度二的比例判断人体图片I中行人朝向是否为侧面，然后再根据鼻子关键点向量的夹角判断人体图片I中行人的朝向是左朝向或者右朝向；
计算人体水平向量和人体垂直向量之间的夹角d，根据夹角d的值判断人体图片I中行人的朝向为正面或者背面；其中，由左肩关键点到右肩关键点构成人体水平向量，由颈部关键点到左髋关键点构成人体左垂直向量，由颈部关键点到右髋关键点构成人体右垂直向量，人体左垂直向量和人体右垂直向量求和得到人体垂直向量。
优选的，所述S6之前，还包括：筛选所述鲁棒的人体姿态关键点识别结果中预设的关键点，根据该关键点的置信度与阈值的大小关系，判断所述人体图片I是否属于未知朝向，若否则执行所述S6。
优选的，还包括根据鲁棒的人体姿态关键点识别结果进行人体图片I质量分类的步骤：根据所述S6得到的行人朝向信息，若朝向被判定为未知朝向，则赋予该人体图片I低质量标签。
经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：
本发明通过先对输入人体图片进行部件解析，对全局关键点以及局部关键点分别预测并融合，输出鲁棒的人体姿态作为中间表示方式。使用得到的关键性信息以及置信度基于输出的人体姿态，可以计算人体水平向量与垂直向量以及关键肢体的朝向和长度，从而对人体进行快速且具有可解释性的人体朝向判断。通过检测到关键点的个数以及置信度则可以进行人体图像质量评价。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；
图1为本发明实施例提供的鲁棒的姿态估计方法的流程图；
图2为本发明实施例提供的图片中人体朝向识别方法的流程图；
图3为本发明实施例提供的图片中人体朝向识别方法的执行过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本实施例公开了一种鲁棒的姿态估计方法，首先训练鲁棒的人体关键点检测模型，其次将人体图片进行人体部位图片拆解，并分别进行关键点估计，其中对人体部件图片进行仿射变换旋转的学习，让网络更加鲁棒地检测人体关键点。具体包括如下执行步骤：
S1、对人体图片I进行人体部位解析，将其分为13个类别，得到集合{I p }，其中I p 表示不同的人体部位图片。
在一个实施例中，{I p }至少包括以下人体部位的图片：左手、左下臂、左上臂、右手、右下臂、右上臂、左脚、左小腿、左大腿、右脚、右小腿、右大腿和头部。
S2、将人体图片I输入全身人体姿态估计网络PoseNet，预测得到全身关键点结果，包括：全身人体关键点k i 以及置信度c i ，则有
Figure 736090DEST_PATH_IMAGE005
其中
Figure 471964DEST_PATH_IMAGE006
包括17个人体关键点，人体关键点集合至少包括以下人体部位的关键点：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、颈部、左髋、右髋、左膝、右膝、左踝和右踝。PostNet由10层restnet构成，接受图片输入后预测每个关键点的热力图（heatmap），由训练数据得到的真实热力图直接监督。
在一个实施例中，全身人体关键点k i 和部位人体关键点
Figure 405285DEST_PATH_IMAGE001
从属于相同的人体关键点集合，人体关键点集合包含每个人体部位图片中的人体关键点。
S3、在对人体部件图片进行训练时，将人体部位图片I p 输入仿射学习变换网络，进行仿射变换学习，得到转向偏正的人体部位图片集合{I p ’ }。
对每个输入人体部件
Figure DEST_PATH_IMAGE007
，
Figure 884284DEST_PATH_IMAGE008
里包含的仿射学习变换网络AffNet对其学习仿射变换矩阵Mp。通过对人体部件图片应用该矩阵，可得到I p ’ 。具体则有：
Figure 221855DEST_PATH_IMAGE009
Figure 304081DEST_PATH_IMAGE010
该操作使得输入
Figure 775513DEST_PATH_IMAGE008
的图片转向偏正，可使得检测结果更加精确。
S4、将人体部位图片集合{I p ’ }输入人体部件关键点估计网络PartNet，PartNet的结构与PoseNet一致。预测得到部位关键点结果，包括：每个部位I p ’ 所包含的部位人体关键点
Figure 767740DEST_PATH_IMAGE001
以及置信度
Figure 807371DEST_PATH_IMAGE002
，则有：
Figure 783418DEST_PATH_IMAGE011
其中每个人体部件图片
Figure 527383DEST_PATH_IMAGE007
均包含特定的人体关键点，其中“鼻子”、“左眼”、“右眼”、“左耳”、“右耳”、“脖子”属于“头部”；“左肩”属于“左上臂”；“左肘”属于“左下臂”；“右肩”属于“右上臂”；“右肘”属于“右下臂”；“左腕”属于“左手”；“右腕”属于“右手”；“左髋”属于“左大腿”；“右髋”属于“右大腿”；“左膝”属于“左小腿”；“右膝”属于“右小腿”；“左踝”属于“左脚”；“右踝”属于“右脚”。
S5、通过前面步骤得到的全图人体关键点热力图以及置信度
Figure DEST_PATH_IMAGE012
，以及部件网络得到的人体关键点热力图以及置信度
Figure 764329DEST_PATH_IMAGE013
，对两种结果以手工权值
Figure DEST_PATH_IMAGE014
进行加权融合，得到最终的鲁棒结果，即人体关键点信息：
Figure 181054DEST_PATH_IMAGE015
。
在一个实施例中，还包括根据鲁棒的人体姿态关键点识别结果进行人体图片
Figure 519762DEST_PATH_IMAGE003
质量分类的步骤：
其中一种质量分类方法为：获取鲁棒的人体姿态关键点识别结果中设定人体部位图片中所有关键点的置信度求和，若所有部位的求和置信度低于设置的阈值，则赋予该人体图片I低质量标签。
例如：对一幅行人图像，根据生成的人体关键点信息，取头部所有关键点的置信度求和，一般包括“鼻子”、“左眼”、“右眼”、“左耳”、“右耳”等关键点，若所有部位的求和置信度低于设置的阈值Thead，则将该行人图像标记低质量标签。
对一幅行人图像，根据所述步骤1生成人体关键点信息，取上半身所有关键点的置信度求和，一般包括“左肩”、“右肩”、“左肘”、“右肘”、“左腕”、“右腕”、“脖子”，若所有部位的求和置信度低于设置的阈值Tup，则将该行人图像标记低质量标签。
对一幅行人图像，根据所述步骤1生成人体关键点信息，取全身所有关键点的置信度求和，一般包括“鼻子”、“左眼”、“右眼”、“左耳”、“右耳”、“左肩”、“右肩”、“左肘”、“右肘”、“左腕”、“右腕”、“脖子”、“左髋”、“右髋”、“左膝”、“右膝”、“左踝”、“右踝”，若所有部位的求和置信度低于设置的阈值Tall，则将该行人图像标记低质量标签。
实施例二
本实施例公开了一种的鲁棒的姿态估计方法在识别图片中人体朝向的应用，利用鲁棒的姿态估计方法得到的鲁棒的人体姿态关键点识别结果，检测人体图片I中的人体朝向。
实施例三
本实施例公开了一种图片中人体朝向的识别方法，包括如下步骤，其中S1-S5的具体实施方式与实施例一相同：
S1、对人体图片I进行人体部位解析，得到集合{I p }，其中I p 表示不同的人体部位图片；
S2、将人体图片I输入全身人体姿态估计网络
Figure 67418DEST_PATH_IMAGE004
，预测得到全身关键点结果，包括：全身人体关键点k i 以及置信度c i ；
S3、将人体部位图片I p 输入仿射学习变换网络，进行仿射变换学习，得到转向偏正的人体部位图片集合{I p ’ }；
S4、将人体部位图片集合{I p ’ }输入人体部件关键点估计网络PartNet，预测得到部位关键点结果，包括：每个部位I p ’ 所包含的部位人体关键点
Figure 893292DEST_PATH_IMAGE001
以及置信度
Figure 9147DEST_PATH_IMAGE002
；
S5、对全身关键点结果和部位关键点结果进行加权融合，得到鲁棒的人体姿态关键点识别结果；
S6、获取鲁棒的人体姿态关键点识别结果中以下人体部位的关键点：左肩、右肩、颈部、左髋、右髋和鼻子，计算左肩关键点至右肩关键点的长度一，以及颈部关键点到置信度不为零的左髋/右髋关键点的长度二，计算长度一和长度二的比例判断人体图片I中行人朝向是否为侧面，然后再根据鼻子关键点向量的夹角判断人体图片I中行人的朝向是左朝向或者右朝向；
计算人体水平向量和人体垂直向量之间的夹角d，根据夹角d的值判断人体图片I中行人的朝向为正面或者背面；其中，由左肩关键点到右肩关键点构成人体水平向量，由颈部关键点到左髋关键点构成人体左垂直向量，由颈部关键点到右髋关键点构成人体右垂直向量，人体左垂直向量和人体右垂直向量求和得到人体垂直向量。
在一个实施例中，S6之前，还包括：筛选鲁棒的人体姿态关键点识别结果中预设的关键点，根据该关键点的置信度与阈值的大小关系，判断人体图片I是否属于未知朝向，若否则执行S6。
例如，根据S1-S5生成的人体关键点信息，先判断行人朝向是否为未知朝向，从上半身所有关键点的置信度中挑选出的最小置信度低于设置的阈值a，则将该行人的朝向归于未知朝向。参见图3所示，包括如下步骤：
S601：根据提取人体关键点信息，如果肩和髋关节的关键点置信度都不为0，则从中选择最小的置信度，如果只有左肩和右肩关键点的置信度都不为0，则从中挑选最小的置信度。
S602：根据S601中选择的最小置信度，如果该最小置信度低于设定的阈值a，则判断其朝向为未知朝向。
在一个实施例中，根据S601-S602的行人朝向判断结果，如果其不是未知朝向，则根据肩膀的长度和颈部到置信度不为零的髋关节关键点的长度的比例判断行人朝向是否为侧面，然后再根据鼻子向量的夹角判断行人的朝向是左朝向还是右朝向，具体执行步骤包括：
S611：根据提取人体关键点信息，计算左右肩关键点之间的长度l，然后再计算颈部关键点到置信度不为零的髋关节关键点之间的距离d，二者之间的比值l/d小于设定的阈值b则判断其为侧面，否则执行S612。
S612：根据S611的计算结果，计算鼻子向量夹角。如果鼻子关键点置信度为0，则使用置信度不为0的耳朵或者眼睛关键点信息代替鼻子关键点。根据提取人体关键点信息，计算颈部和鼻子两个关键点组成的向量m，颈部和左肩两个关键点组成的向量n，然后计算两个向量之间的夹角c，如果0< c <180，则人体朝向判断为右朝向，如果360> c >180，则人体朝向判断为左朝向。
需要说明的是，鼻子关键点向量是由鼻子的关键点坐标减去颈部关键点坐标得到。
鼻子关键点向量的夹角计算过程为：计算颈部和鼻子两个关键点组成的向量m，颈部和左肩两个关键点组成的向量n，然后计算两个向量之间的夹角c，夹角计算公式如下：
Figure DEST_PATH_IMAGE016
在一个实施例中，根据提取人体关键点信息的到人体水平向量和人体垂直向量之间的夹角d，根据夹角d的值判断人体的朝向为正面或者背面，具体执行步骤包括：
S621：由左侧肩关键点起到右侧肩关键点止构成人体水平向量i，由颈部关键点起到左髋关节关键点止得到人体左垂直向量lv，由颈部关键点起到右髋关节关键点止得到人体右垂直向量rv，lv和rv求和得到人体垂直向量v，计算人体水平向量i和人体垂直向量v之间的夹角e。
S622：根据上述S621计算结果，如果e >= 270-阈值f 且e <= 270+阈值f ,则判断该行人为正朝向。如果e >= 90-阈值f 且e <= 90+阈值f ,则判断该行人为正朝向。
在一个实施例中，如果人体关键点信息根据S611-S612、S621-S622均未能对其进行朝向分类，则将人体朝向判定为未知朝向。
在一个实施例中，还包括根据鲁棒的人体姿态关键点识别结果进行人体图片I质量分类的步骤：根据S6得到的行人朝向信息，若朝向被判定为未知朝向，则赋予该人体图片I低质量标签。
在一个实施例中，对一幅行人图像，若没有被标记低质量标签，则选为备用图像，可被用于后续的跨摄像机目标跟踪、目标聚档等各种应用。
以上对本发明所提供的非弹道目标可达区快速预测方法进行了详细介绍，本实施例中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本实施例中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本实施例所示的这些实施例，而是要符合与本实施例所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种鲁棒的姿态估计方法，其特征在于，包括如下步骤：
S1、对人体图片I进行人体部位解析，得到集合{I p }，其中I p 表示不同的人体部位图片；
S2、将人体图片I输入全身人体姿态估计网络PoseNet，预测得到全身关键点结果，包括：全身人体关键点热力图k i 以及置信度c i ；
S3、将人体部位图片I p 输入仿射学习变换网络，进行仿射变换学习，得到转向偏正的人体部位图片集合{I p ’ }；
S4、将人体部位图片集合{I p ’ }输入人体部件关键点估计网络PartNet，预测得到部位关键点结果，包括：每个部位I p ’ 所包含的部位人体关键点热力图
Figure DEST_PATH_IMAGE001
以及置信度
Figure 882303DEST_PATH_IMAGE002
；
S5、对全身关键点结果和部位关键点结果进行加权融合，得到鲁棒的人体姿态关键点识别结果。
2.根据权利要求1所述的鲁棒的姿态估计方法，其特征在于，所述全身人体关键点k i 和部位人体关键点
Figure DEST_PATH_IMAGE003
从属于相同的人体关键点集合，所述人体关键点集合包含每个人体部位图片中的人体关键点。
3.根据权利要求2所述的鲁棒的姿态估计方法，其特征在于，所述{I p }至少包括以下人体部位的图片：左手、左下臂、左上臂、右手、右下臂、右上臂、左脚、左小腿、左大腿、右脚、右小腿、右大腿和头部；所述人体关键点集合至少包括以下人体部位的关键点：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、颈部、左髋、右髋、左膝、右膝、左踝和右踝。
4.根据权利要求1所述的鲁棒的姿态估计方法，其特征在于，还包括根据鲁棒的人体姿态关键点识别结果进行人体图片
Figure 433501DEST_PATH_IMAGE004
质量分类的步骤：
获取所述鲁棒的人体姿态关键点识别结果中设定人体部位图片中所有关键点的置信度求和，若所有部位的求和置信度低于设置的阈值，则赋予该人体图片I低质量标签。
5.一种权利要求1-3中任一项所述的鲁棒的姿态估计方法在识别图片中人体朝向的应用，其特征在于，利用所述鲁棒的姿态估计方法得到的鲁棒的人体姿态关键点识别结果，检测所述人体图片I中的人体朝向。
6.一种图片中人体朝向的识别方法，其特征在于，包括如下步骤：
S1、对人体图片I进行人体部位解析，得到集合{I p }，其中I p 表示不同的人体部位图片；
S2、将人体图片I输入全身人体姿态估计网络Posenet，预测得到全身关键点结果，包括：全身人体关键点k i 以及置信度c i ；
S3、将人体部位图片I p 输入仿射学习变换网络，进行仿射变换学习，得到转向偏正的人体部位图片集合{I p ’ }；
S4、将人体部位图片集合{I p ’ }输入人体部件关键点估计网络PartNet，预测得到部位关键点结果，包括：每个部位I p ’ 所包含的部位人体关键点
Figure DEST_PATH_IMAGE005
以及置信度
Figure 609268DEST_PATH_IMAGE006
；
S5、对全身关键点结果和部位关键点结果进行加权融合，得到鲁棒的人体姿态关键点识别结果；
S6、获取鲁棒的人体姿态关键点识别结果中以下人体部位的关键点：左肩、右肩、颈部、左髋、右髋和鼻子，计算左肩关键点至右肩关键点的长度一，以及颈部关键点到置信度不为零的左髋/右髋关键点的长度二，计算长度一和长度二的比例判断人体图片I中行人朝向是否为侧面，然后再根据鼻子关键点向量的夹角判断人体图片I中行人的朝向是左朝向或者右朝向；
计算人体水平向量和人体垂直向量之间的夹角d，根据夹角d的值判断人体图片I中行人的朝向为正面或者背面；其中，由左肩关键点到右肩关键点构成人体水平向量，由颈部关键点到左髋关键点构成人体左垂直向量，由颈部关键点到右髋关键点构成人体右垂直向量，人体左垂直向量和人体右垂直向量求和得到人体垂直向量。
7.根据权利要求6所述的鲁棒的姿态估计方法，其特征在于，所述S6之前，还包括：筛选所述鲁棒的人体姿态关键点识别结果中预设的关键点，根据该关键点的置信度与阈值的大小关系，判断所述人体图片I是否属于未知朝向，若否则执行所述S6。
8.根据权利要求7所述的鲁棒的姿态估计方法，其特征在于，还包括根据鲁棒的人体姿态关键点识别结果进行人体图片I质量分类的步骤：根据所述S6得到的行人朝向信息，若朝向被判定为未知朝向，则赋予该人体图片I低质量标签。
CN202211139036.9A 2022-09-19 2022-09-19 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 Active CN115331263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211139036.9A CN115331263B (zh) 2022-09-19 2022-09-19 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211139036.9A CN115331263B (zh) 2022-09-19 2022-09-19 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法

Publications (2)

Publication Number Publication Date
CN115331263A true CN115331263A (zh) 2022-11-11
CN115331263B CN115331263B (zh) 2023-11-07

Family

ID=83914068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211139036.9A Active CN115331263B (zh) 2022-09-19 2022-09-19 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法

Country Status (1)

Country Link
CN (1) CN115331263B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631464A (zh) * 2022-11-17 2023-01-20 北京航空航天大学 面向大时空目标关联的行人立体表示方法
CN115862074A (zh) * 2023-02-28 2023-03-28 科大讯飞股份有限公司 人体指向确定、屏幕控制方法、装置及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095156A (ja) * 2013-11-13 2015-05-18 日本電信電話株式会社 幾何検証装置、幾何検証方法及びプログラム
CN111126379A (zh) * 2019-11-22 2020-05-08 苏州浪潮智能科技有限公司 一种目标检测方法与装置
CN111738091A (zh) * 2020-05-27 2020-10-02 复旦大学 一种基于多任务深度学习的姿态估计与人体解析系统
CN113947794A (zh) * 2021-10-22 2022-01-18 浙江大学 基于头部姿态偏差校正的伪造换脸增强检测方法
CN114120188A (zh) * 2021-11-19 2022-03-01 武汉大学 一种基于联合全局和局部特征的多行人跟踪方法
CN114724241A (zh) * 2022-03-29 2022-07-08 平安科技（深圳）有限公司 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN114821263A (zh) * 2022-06-01 2022-07-29 西安科技大学 一种基于特征融合的弱纹理目标位姿估计方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095156A (ja) * 2013-11-13 2015-05-18 日本電信電話株式会社 幾何検証装置、幾何検証方法及びプログラム
CN111126379A (zh) * 2019-11-22 2020-05-08 苏州浪潮智能科技有限公司 一种目标检测方法与装置
CN111738091A (zh) * 2020-05-27 2020-10-02 复旦大学 一种基于多任务深度学习的姿态估计与人体解析系统
CN113947794A (zh) * 2021-10-22 2022-01-18 浙江大学 基于头部姿态偏差校正的伪造换脸增强检测方法
CN114120188A (zh) * 2021-11-19 2022-03-01 武汉大学 一种基于联合全局和局部特征的多行人跟踪方法
CN114724241A (zh) * 2022-03-29 2022-07-08 平安科技（深圳）有限公司 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN114821263A (zh) * 2022-06-01 2022-07-29 西安科技大学 一种基于特征融合的弱纹理目标位姿估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631464A (zh) * 2022-11-17 2023-01-20 北京航空航天大学 面向大时空目标关联的行人立体表示方法
CN115862074A (zh) * 2023-02-28 2023-03-28 科大讯飞股份有限公司 人体指向确定、屏幕控制方法、装置及相关设备

Also Published As

Publication number Publication date
CN115331263B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
CN108345869B (zh) 基于深度图像和虚拟数据的驾驶人姿态识别方法
CN109657631B (zh) 人体姿态识别方法及装置
CN115331263B (zh) 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
US9189855B2 (en) Three dimensional close interactions
CN114724241A (zh) 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN110674785A (zh) 一种基于人体关键点跟踪的多人姿态分析方法
CN108268838A (zh) 人脸表情识别方法及人脸表情识别系统
CN111259735B (zh) 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN109886356A (zh) 一种基于三分支神经网络的目标追踪方法
CN109740454A (zh) 一种基于yolo-v3的人体体态识别方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN108898623A (zh) 目标跟踪方法及设备
CN109558814A (zh) 一种三维矫正和加权相似性度量学习的无约束人脸验证方法
CN111368768A (zh) 一种基于人体关键点的员工手势指引检测方法
Zhou et al. MTCNet: Multi-task collaboration network for rotation-invariance face detection
CN112329571B (zh) 一种基于姿态质量评估的自适应人体姿态优化方法
Faujdar et al. Human Pose Estimation using Artificial Intelligence with Virtual Gym Tracker
Raman et al. Kinesiology-inspired estimation of pedestrian walk direction for smart surveillance
CN110334677A (zh) 一种基于人体骨骼关键点检测和非均等分区的行人重识别方法
Campomanes-Álvarez et al. Automatic facial expression recognition for the interaction of individuals with multiple disabilities
CN113963202A (zh) 一种骨骼点动作识别方法、装置、电子设备及存储介质
CN117409485B (zh) 一种基于姿态估计和确定学习的步态识别方法及系统
Rios et al. Building of a Convolutional Neuronal Network for the prediction of mood states through face recognition based on object detection with YOLOV8 and Python

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant