CN110349206B - 一种人体对称性检测的方法和相关装置 - Google Patents

一种人体对称性检测的方法和相关装置 Download PDF

Info

Publication number
CN110349206B
CN110349206B CN201910650851.3A CN201910650851A CN110349206B CN 110349206 B CN110349206 B CN 110349206B CN 201910650851 A CN201910650851 A CN 201910650851A CN 110349206 B CN110349206 B CN 110349206B
Authority
CN
China
Prior art keywords
trunk
symmetry
human body
human
muscle group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910650851.3A
Other languages
English (en)
Other versions
CN110349206A (zh
Inventor
王霏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Suzhou Technology Co Ltd
Original Assignee
Iflytek Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Suzhou Technology Co Ltd filed Critical Iflytek Suzhou Technology Co Ltd
Priority to CN201910650851.3A priority Critical patent/CN110349206B/zh
Publication of CN110349206A publication Critical patent/CN110349206A/zh
Application granted granted Critical
Publication of CN110349206B publication Critical patent/CN110349206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

本申请公开了一种人体对称性检测的方法和相关装置,该方法包括:拍摄得到多角度的目标人体RGB图像序列,对多角度的目标人体RGB图像序列进行3D建模获得左右肌群相似度;对正面的和侧面的目标人体RGB图像进行躯干中心线检测获得躯干中心线倾斜度;对正面的目标人体RGB图像进行躯干边缘检测获得左右躯干对称度;综合左右肌群相似度、躯干中心线倾斜度和左右躯干对称度获得人体对称性结果。通过对普通的多角度的目标人体RGB图像检测分析,获得左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,综合三个人体对称指标获得人体对称性结果,考虑人体肌群对称和人体姿态对称,人体对称性检测更加便捷、高效、全面、精准。

Description

一种人体对称性检测的方法和相关装置
技术领域
本申请涉及图像检测技术领域,尤其涉及一种人体对称性检测的方法和相关装置。
背景技术
随着人们生活水平的提高,人们越来越多关注自身的外在仪表和内在健康问题,通过运动锻炼等方式提高自身的身体质量。然而,绝大多数的身体质量的指标是指身高、体重等这类参数,忽视了人体肌群和人体姿态的对称性问题,即,较少关注到人体对称性问题;因此,人体对称性检测逐渐成为一项重要的身体质量检测。
目前,常见的人体对称性检测方法为肉眼观察判断、人工卷尺测量、指定动作评估以及高端设备分析等。但是,肉眼观察判断是指通过肉眼观察判断人体是否对称,存在不全面、不精准等问题;人工卷尺测量是指利用卷尺两人配合手动测量人体是否对称,存在耗时耗力、测量误差等问题;完成指定动作是指完成指定功能动作量表评估人体是否对称,存在无定量指标结果、主观差异等问题;高端设备分析是指利用高端设备获得人体表面位置信息分析人体是否对称,存在依赖高端设备等问题。即,上述常见的人体对称性检测方法均不能够便捷、高效、全面、精准地检测人体对称性。
发明内容
本申请所要解决的技术问题是,提供一种人体对称性检测的方法和相关装置,既考虑人体肌群对称,又考虑人体姿态对称,使得人体对称性检测更加便捷、高效、全面、精准。
第一方面,本申请实施例提供了一种人体对称性检测的方法,该方法包括:
基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度;
基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度;
基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度;
基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果。
可选的,所述基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度,包括:
对所述目标人体RGB图像序列进行3D建模,获得人体3D模型;所述人体3D模型包括躯干肌群、臂部肌群和腿部肌群;
基于所述人体3D模型划分左右肌群,获得左肌群和右肌群;
基于所述左肌群和所述右肌群,获得所述左右肌群相似度。
可选的,所述基于所述人体3D模型划分左右肌群,获得左肌群和右肌群,包括:
基于所述躯干肌群、左初始中心坐标和右初始中心坐标,获得左躯干肌群和右躯干肌群;所述左初始中心坐标是基于所述人体3D模型中左耳坐标确定的,所述右初始中心坐标是基于所述人体3D模型中右耳坐标确定的。
可选的,所述基于所述左肌群和所述右肌群,获得所述左右肌群相似度,包括:
基于所述左肌群和所述右肌群,获得所述左肌群的空间面积和所述右肌群的空间面积;
基于所述左肌群的空间面积和所述右肌群的空间面积的差异,获得所述左右肌群相似度。
可选的,所述基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度,包括:
对正面的所述目标人体RGB图像进行躯干中心线检测获得正面躯干中心线;对侧面的所述目标人体RGB图像进行躯干中心线检测获得侧面躯干中心线;
基于所述正面躯干中心线和正面的所述目标人体RGB图像的竖直中心线获得正面躯干中心线倾斜夹角;基于所述侧面躯干中心线和侧面的所述目标人体RGB图像的竖直中心线获得侧面躯干中心线倾斜夹角;
基于所述正面躯干中心线倾斜夹角和所述侧面躯干中心线倾斜夹角,获得所述躯干中心线倾斜度。
可选的,所述对正面的所述目标人体RGB图像进行躯干中心线检测获得正面躯干中心线;对侧面的所述目标人体RGB图像进行躯干中心线检测获得侧面躯干中心线,包括:
对正面的所述目标人体RGB图像进行人体关键点检测获得第一正面人体中心点和第二正面人体中心点;对侧面的所述目标人体RGB图像进行人体关键点检测获得第一侧面人体中心点和第二侧面人体中心点;
基于所述第一正面人体中心点和所述第二正面人体中心点获得正面躯干中心线;基于所述第一侧面人体中心点和所述第二侧面人体中心点获得侧面躯干中心线。
可选的,所述基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度,包括:
对正面的所述目标人体RGB图像进行躯干边缘线检测获得目标躯干边缘,所述目标正面躯干边缘中边缘点连续;
在预设区域内,获得所述目标正面躯干边缘的左边缘点与所述正面躯干中心线的距离作为第一距离;获得所述目标正面躯干边缘的右边缘点与所述正面躯干中心线的距离作为第二距离;所述预设区域由至少由所述第一正面人体中心点或所述第二正面人体中心点确定;
基于所述第一距离和所述第二距离,获得所述左右躯干对称度。
可选的,所述对正面的所述目标人体RGB图像进行躯干边缘线检测获得目标正面躯干边缘,包括:
对正面的所述目标人体RGB图像进行躯干边缘线检测获得正面躯干边缘;
基于所述正面躯干边缘中各个边缘点的8邻域的像素,校正所述正面躯干边缘获得所述目标正面躯干边缘。
可选的,所述基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果,包括:
获取所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度分别对应的预设权重参数;
基于所述左右肌群相似度、所述躯干中心线倾斜度、所述左右躯干对称度和对应的所述预设权重参数,获得所述人体对称性结果。
可选的,还包括:
重复获得多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度;
对应地,所述基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果,包括:
基于多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得所述人体对称性结果。
可选的,所述目标人体RGB图像是人体RGB图像进行图像预处理获得的,所述目标人体RGB图像获得步骤,包括:
基于RGB摄像机的相机参数对所述人体RGB图像进行图像校正处理获得校正人体RGB图像;
对所述校正人体RGB图像进行背景去除处理获得所述目标人体RGB图像。
第二方面,本申请实施例提供了一种人体对称性检测的装置,该装置包括:
左右肌群相似度获得单元,用于基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度;
躯干中心线倾斜度获得单元,用于基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度;
左右躯干对称度获得单元,用于基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度;
人体对称性结果获得单元,用于基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果。
可选的,所述左右肌群相似度获得单元包括:
人体3D模型获得子单元,用于对所述目标人体RGB图像序列进行3D建模,获得人体3D模型;所述人体3D模型包括躯干肌群、臂部肌群和腿部肌群;
左肌群和右肌群获得子单元,用于基于所述人体3D模型划分左右肌群,获得左肌群和右肌群;
左右肌群相似度获得子单元,用于基于所述左肌群和所述右肌群,获得所述左右肌群相似度。
可选的,所述左肌群和右肌群获得子单元,具体用于:
基于所述躯干肌群、左初始中心坐标和右初始中心坐标,获得左躯干肌群和右躯干肌群;所述左初始中心坐标是基于所述人体3D模型中左耳坐标确定的,所述右初始中心坐标是基于所述人体3D模型中右耳坐标确定的。
可选的,所述左右肌群相似度获得子单元包括:
空间面积获得模块,用于基于所述左肌群和所述右肌群,获得所述左肌群的空间面积和所述右肌群的空间面积;
左右肌群相似度获得模块,用于基于所述左肌群的空间面积和所述右肌群的空间面积的差异,获得所述左右肌群相似度。
可选的,所述躯干中心线倾斜度获得单元包括:
躯干中心线获得子单元,用于对正面的所述目标人体RGB图像进行躯干中心线检测获得正面躯干中心线;对侧面的所述目标人体RGB图像进行躯干中心线检测获得侧面躯干中心线;
躯干中心线倾斜夹角获得子单元,用于基于所述正面躯干中心线和正面的所述目标人体RGB图像的竖直中心线获得正面躯干中心线倾斜夹角;基于所述侧面躯干中心线和侧面的所述目标人体RGB图像的竖直中心线获得侧面躯干中心线倾斜夹角;
躯干中心线倾斜度获得子单元,用于基于所述正面躯干中心线倾斜夹角和所述侧面躯干中心线倾斜夹角,获得所述躯干中心线倾斜度。
可选的,所述躯干中心线获得子单元包括:
人体中心点获得模块,用于对正面的所述目标人体RGB图像进行人体关键点检测获得第一正面人体中心点和第二正面人体中心点;基于侧面的所述目标人体RGB图像进行人体关键点检测获得第一侧面人体中心点和第二侧面人体中心点;
躯干中心线获得模块,用于基于所述第一正面人体中心点和所述第二正面人体中心点获得正面躯干中心线;基于所述第一侧面人体中心点和所述第二侧面人体中心点获得侧面躯干中心线。
可选的,所述左右躯干对称度获得单元包括:
目标正面躯干边缘获得子单元,用于对正面的所述目标人体RGB图像进行躯干边缘线检测获得目标躯干边缘,所述目标正面躯干边缘中边缘点连续;
距离获得子单元,用于在预设区域内,获得所述目标正面躯干边缘的左边缘点与所述正面躯干中心线的距离作为第一距离;获得所述目标正面躯干边缘的右边缘点与所述正面躯干中心线的距离作为第二距离,所述预设区域由至少由第一正面人体中心点或所述第二正面人体中心点确定;
左右躯干对称度获得子单元,用于基于所述第一距离和所述第二距离,获得所述左右躯干对称度。
可选的,所述目标正面躯干边缘获得子单元包括:
正面躯干边缘获得模块,用于对正面的所述目标人体RGB图像进行躯干边缘线检测获得正面躯干边缘;
目标正面躯干边缘获得模块,用于基于所述正面躯干边缘中各个边缘点的8邻域的像素校正所述正面躯干边缘获得所述目标正面躯干边缘。
可选的,所述人体对称性结果获得单元包括:
预设权重参数获得子单元,用于获取所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度分别对应的预设权重参数;
人体对称性结果获得子单元,用于基于所述左右肌群相似度、所述躯干中心线倾斜度、所述左右躯干对称度和对应的所述预设权重参数,获得所述人体对称性结果。
可选的,还包括:
重复获得单元,用于重复获得多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度;
对应地,所述人体对称性结果获得单元具体用于:
基于多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得所述人体对称性结果。
可选的,所述目标人体RGB图像是人体RGB图像进行图像预处理获得的,还包括目标人体RGB图像获得单元,所述目标人体RGB图像获得单元包括:
校正人体RGB图像获得子单元,用于基于RGB摄像机的相机参数对所述人体RGB图像进行图像校正处理获得校正人体RGB图像;
目标人体RGB图像获得子单元,用于对所述校正人体RGB图像进行背景去除处理获得所述目标人体RGB图像。
第三方面,本申请实施例提供了一种终端设备,该终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的人体对称性检测的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述第一方面任一项所述的人体对称性检测的方法。
与现有技术相比,本申请至少具有以下优点:
采用本申请实施例的技术方案,拍摄得到多角度的目标人体RGB图像序列,对多角度的目标人体RGB图像序列进行3D建模获得左右肌群相似度;对正面的和侧面的目标人体RGB图像进行躯干中心线检测获得躯干中心线倾斜度;对正面的目标人体RGB图像进行躯干边缘检测获得左右躯干对称度;综合左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,获得人体对称性结果。由此可见,通过对普通的多角度的目标人体RGB图像的检测分析,获得人体的左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,综合上述三个人体对称指标获得人体对称性结果,既考虑人体肌群对称,又考虑人体姿态对称,使得人体对称性检测更加便捷、高效、全面、精准。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例中一种应用场景所涉及的系统框架示意图;
图2为本申请实施例提供的一种人体对称性检测的方法的流程示意图;
图3为本申请实施例中多角度的人体RGB图像拍摄的示意图;
图4为本申请实施例中人体RGB图像进行图像预处理获得目标人体RGB图像的示意图;
图5为本申请实施例中人体3D模型各个肌群的示意图;
图6为本申请实施例中正面躯干中心线倾斜夹角和侧面躯干中心线倾斜夹角的示意图;
图7为本申请实施例中正面躯干边缘、第一距离和第二距离的示意图;
图8为本申请实施例提供的另一种人体对称性检测的方法的流程示意图;
图9为本申请实施例提供的一种人体对称性检测的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着人们生活水平的提高,人们越来越多关注自身的两侧肌群、人体姿态等是否对称,即,两侧肌群松紧力量是否相同,人体的肩部、腰部等姿态是否对称,则人体对称性检测十分重要。现阶段,一般通过肉眼观察判断、人工卷尺测量、指定动作评估或者高端设备分析等方法进行人体对称性检测,但是,发明人经过研究发现,这些方法均不能够便捷、高效、全面、精准地进行人体对称性检测。
为了解决这一问题,在本申请实施例中,拍摄得到多角度的目标人体RGB图像序列,对多角度的目标人体RGB图像序列进行3D建模获得左右肌群相似度;对正面的和侧面的目标人体RGB图像进行躯干中心线检测获得躯干中心线倾斜度;对正面的目标人体RGB图像进行躯干边缘检测获得左右躯干对称度;综合左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,获得人体对称性结果。由此可见,通过对普通的多角度的目标人体RGB图像的检测分析,获得人体的左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,综合上述三个人体对称指标获得人体对称性结果,既考虑人体肌群对称,又考虑人体姿态对称,使得人体对称性检测更加便捷、高效、全面、精准。
举例来说,本申请实施例的场景之一,可以是应用到如图1所示的场景中,该场景包括RGB摄像机101和图像处理器102。利用RGB摄像机101从多角度拍摄人体得到多角度的人体RGB图像传送至图像处理器102,图像处理器102对每个人体RGB图像进行图像预处理得到目标人体RGB图像,形成多角度的目标人体RGB图像序列;图像处理器102基于多角度的目标人体RGB图像序列采用本申请实施例的实施方式获得人体对称性结果。
可以理解的是,在上述应用场景中,虽然将本申请实施方式的动作描述由图像处理器102执行,但是,本申请在执行主体方面不受限制,只要执行了本申请实施方式所公开的动作即可。还可以理解的是,上述场景仅是本申请实施例提供的一个场景示例,本申请实施例并不限于此场景。
下面结合附图,通过实施例来详细说明本申请实施例中人体对称性检测的方法和相关装置的具体实现方式。
示例性方法
参见图2,示出了本申请实施例中一种人体对称性检测的方法的流程示意图。在本实施例中,所述方法例如可以包括以下步骤:
步骤201:基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度。
可以理解的是,由于肉眼观察判断、人工卷尺测量、指定动作评估以及高端设备分析均不能够便捷、高效、全面、精准地检测人体对称性;因此,在本申请实施例中,可以考虑通过对普通的多角度的人体RGB图像的分析,以从左右肌群相似度、躯干中心线倾斜度和左右躯干对称度三个人体对称指标综合进行人体对称性检测,则需要先利用RGB摄像机从多角度拍摄人体得到多角度的人体RGB图像。
其中,由于拍摄得到的多角度的人体RGB图像需要覆盖到人体的全方位,则需要控制RGB摄像机相对于人体的方位与距离,例如,如图3所示的多角度的人体RGB图像拍摄的示意图。还需要注意的是,RGB摄像机的拍摄高度可设置在人体的胸部位置;RGB摄像机的拍摄背景尽量干净;RGB摄像机的拍摄对象—人体可保持立正双手平举姿势,其肌群表面应尽量减少衣物遮挡等。
首先,需要说明的是,由于RGB摄像机的摄像头的透镜不能严格和成像平面平行,人体RGB图像受RGB摄像机的拍摄角度的影响容易出现切向畸变;且RGB摄像机的拍摄背景是指人体所处周围环境,人体RGB图像受RGB摄像机的拍摄背景的影响无法突出人体;则需要对人体RGB图像进行图像预处理以获得目标人体RGB图像。例如,如图4所示的人体RGB图像进行图像预处理获得目标人体RGB图像的示意图;第一,需要通过RGB摄像机的相机参数对人体RGB图像进行校正处理,以获得校正后的人体RGB图像作为校正人体RGB图像。第二,对校正人体RGB图像进行背景去除处理,以获得背景去除后的校正人体RGB图像作为目标人体RGB图像。因此,在本申请实施例一种可选的实施方式中,所述目标人体RGB图像是人体RGB图像进行图像预处理获得的,所述目标人体RGB图像获得步骤,例如可以包括以下步骤:
步骤A:基于RGB摄像机的相机参数对所述人体RGB图像进行图像校正处理获得校正人体RGB图像。
步骤A具体实施时,图像校正实际上是基于RGB摄像机的相机参数和初始坐标模值对人体RGB图像的像素坐标进行校正,当人体RGB图像的像素坐标均校正完成即可得到校正人体RGB图像。因此,在本申请实施例一种可选的实施方式中,所述步骤A例如具体可以为:基于所述相机参数和初始坐标模值校正所述人体RGB图像的像素坐标,获得校正像素坐标形成所述校正人体RGB图像。具体像素坐标校正公式可以如下所示:
xcorrected=x+[2 p1xy+p2(r2+2x2)];
ycorrected=y+[p1(r2+2y2)+2 p2xy];
其中,x、y表示人体RGB图像的像素横、纵坐标;p1、p2表示RGB摄像机的相机参数中两个外参参数(外参参数可通过RGB摄像机的使用说明书获得),r表示像素坐标(x,y)到原点坐标(0,0)的距离,xcorrected、ycorrected表示校正像素横、纵坐标。
步骤B:对所述校正人体RGB图像进行背景去除处理获得所述目标人体RGB图像。
步骤B具体实施时,背景去除实际上是先从校正人体RGB图像分割出粗糙的人体结构图像,比如利用区域生长算法;再去除人体结构图像中的噪声以平滑人体边缘,比如利用高斯滤波器。因此,在本申请实施例一种可选的实施方式中,所述步骤B例如可以包括以下步骤:
步骤B1:对所述校正人体RGB图像进行图像分割处理获得人体结构图像;
步骤B2:对所述人体结构图像进行图像去噪处理获得所述目标人体RGB图像。
其次,需要说明的是,考虑上述三个人体对称指标之一的左右肌群相似度,需要先通过多角度目标人体RGB图像序列进行3D建模构建人体3D模型,再划分人体3D模型中的左右肌群,通过对左右肌群计算获得左右肌群相似度。因此,在本申请实施例一种可选的实施方式中,所述步骤201例如可以包括以下步骤:
步骤C:对所述目标人体RGB图像序列进行3D建模,获得人体3D模型;所述人体3D模型包括躯干肌群、臂部肌群和腿部肌群。
其中,在本申请实施例中可以利用DensePose方式预测目标人体RGB图像中的像素在人体3D表面中位置及人体24个部件的表面分割结果,同时得到不规则人体表面的密集顶点,在顶点间连线构成空间三角形,从而将人体表面网格化获得人体3D模型。需要注意的是,由于基于目标人体RGB图像序列中每个目标人体RGB图像进行3D建模,输出的顶点数量是固定不变的,则可以通过取目标人体RGB图像序列中各个目标人体RGB图像的预测结果的平均值,平滑人体3D模型的预测噪声以提高人体3D模型的精度。
其中,本申请实施例中主要考虑的人体肌群包括躯干肌群、臂部肌群、腿部肌群,其中,躯干肌群例如包括胸部肌群、背部肌群、腹部肌群和肩部肌群,臂部肌群例如包括肱二头肌肌群和肱三头肌肌群,在此不做精准的肌群分割,例如,利用DensePose方式时只考虑上述人体24个部件对应的分割肌群。
步骤D:基于所述人体3D模型划分左右肌群,获得左肌群和右肌群。
具体地,在对人体3D模型进行左右肌群划分时,例如,如图5所示的人体3D模型各个肌群的示意图,其中,1、2、3和4对应的肌群为左肱二头肌肌群、左肱三头肌肌群、右肱二头肌肌群和右肱三头肌肌群,7、8、11和12对应的肌群为左腿部肌群,9、10、13和14对应的肌群为右腿部肌群,由此可知,臂部肌群和腿部肌群容易进行左右肌群划分。但是,5、6对应的肌群为躯干肌群,无法轻易进行左右肌群划分,此时,可以在5、6对应的躯干肌群中设置左初始中心坐标和右初始中心坐标,在5、6对应的躯干肌群中,例如使用二分类的聚类算法基于左初始中心坐标和右初始中心坐标对各个空间点进行二分类聚类,从而获得左躯干肌群和右躯干肌群,实现左右肌群划分。其中,左初始中心坐标和右初始中心坐标分别基于左耳坐标和右耳坐标确定。因此,在本申请实施例一种可选的实施方式中,所述步骤D例如具体可以为:基于所述躯干肌群、左初始中心坐标和右初始中心坐标,获得左躯干肌群和右躯干肌群;所述左初始中心坐标是基于所述人体3D模型中左耳坐标确定的,所述右初始中心坐标是基于所述人体3D模型中右耳坐标确定的。
步骤E:基于所述左肌群和所述右肌群,获得所述左右肌群相似度。
其中,左右肌群相似度与左肌群的空间面积、右肌群的空间面积相关,具体地,左右肌群相似度与两个空间面积的差异呈反比,左肌群的空间面积与右肌群的空间面积的差异越小,左右肌群相似度越高。由于人体3D模型中左肌群和右肌群实际上是多个空间三角形网格结构,则可以先计算得到左肌群的空间面积和右肌群的空间面积,例如,利用贪心算法和面积公式(比如海伦公式,即,空间三角形面积公式)计算空间三角形的空间面积;再计算左肌群的空间面积和右肌群的空间面积的差异,例如,利用欧式距离公式计算两个空间面积的差异,从而计算左右肌群相似度。因此,在本申请实施例一种可选的实施方式中,所述步骤E例如可以包括以下步骤:
步骤E1:基于所述左肌群和所述右肌群,获得所述左肌群的空间面积和所述右肌群的空间面积;
步骤E2:基于所述左肌群的空间面积和所述右肌群的空间面积的差异,获得所述左右肌群相似度。
例如,左右肌群相似度公式如下所示:
Figure BDA0002135171450000131
其中,Msimilarity表示左右肌群相似度,e表示无理数;SAl(ma)表示左躯干肌群的空间面积,SAl(mb)表示左臂部肌群的空间面积,SAl(mc)表示左腿部肌群的空间面积;SAr(ma)表示右躯干肌群的空间面积,SAr(mb)表示右臂部肌群的空间面积,SAr(mc)表示右腿部肌群的空间面积。
需要说明的是,由步骤C至步骤E可知,左右肌群相似度的计算利用了3D建模方法,尤其是利用DensePose方式得到人体3D表面从而获得人体3D模型,并通过计算空间三角形面积的方法度量人体肌群的空间面积,有效地避免了人体肌群分割不精确的问题。
步骤202:基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度。
需要说明的是,考虑上述三个人体对称指标之二的躯干中心线倾斜度,其与正面躯干中心线倾斜夹角和侧面躯干中心线倾斜夹角相关,具体地,躯干中心线倾斜度与两个中心线倾斜夹角的和呈正比,正面躯干中心线倾斜夹角与侧面躯干中心线倾斜夹角的和越小,躯干中心线倾斜度越小。其中,例如,如图6所示的正面躯干中心线倾斜夹角和侧面躯干中心线倾斜夹角的示意图,正面躯干中心线倾斜夹角是通过正面躯干中心线与正面的目标人体RGB图像的竖直中心线计算得到的;同理,侧面躯干中心线倾斜夹角是通过侧面躯干中心线与侧面的目标人体RGB图像的竖直中心线计算得到的;而正面躯干中心线和侧面躯干中心线分别是通过对正面的和侧面的目标人体RGB图像进行躯干中心线检测得到的。因此,在本申请实施例一种可选的实施方式中,所述步骤202例如可以包括以下步骤:
步骤F:对正面的所述目标人体RGB图像进行躯干中心线检测获得正面躯干中心线;对侧面的所述目标人体RGB图像进行躯干中心线检测获得侧面躯干中心线。
具体地,躯干中心线检测得到正面躯干中心线可以借助人体关键点检测方法,先检测得到正面的目标人体RGB图像中两个正面人体中心点,再连线两个正面人体中心点即可获得正面躯干中心线。同理,躯干中心线检测得到正面躯干中心线也借助人体关键点检测方法,先检测得到侧面的目标人体RGB图像中两个侧面人体中心点,再连线两个侧面人体中心点即可获得侧面躯干中心线。因此,在本申请实施例一种可选的实施方式中,所述步骤F例如可以包括以下步骤:
步骤F1:对正面的所述目标人体RGB图像进行人体关键点检测获得第一正面人体中心点和第二正面人体中心点;对侧面的所述目标人体RGB图像进行人体关键点检测获得第一侧面人体中心点和第二侧面人体中心点。
其中,人体关键点检测可利用预先训练好的hourglass人体关键点检测模型。在本申请实施例中,设定锁骨中心点、肚脐、耳朵、膝盖共4个人体关键点,收集正面的人体RGB图像训练样本集,将其锁骨中心点和肚脐标记为正面人体中心点,并收集侧面的人体RGB图像训练样本集,将其耳朵和膝盖标记为侧面人体中心点,预先训练得到检测锁骨中心点和肚脐两个正面人体中心点,检测耳朵和膝盖两个侧面人体中心点的hourglass人体关键点检测模型。
步骤F2:基于所述第一正面人体中心点和所述第二正面人体中心点获得正面躯干中心线;基于所述第一侧面人体中心点和所述第二侧面人体中心点获得侧面躯干中心线。
步骤G:基于所述正面躯干中心线和正面的所述目标人体RGB图像的竖直中心线获得正面躯干中心线倾斜夹角;基于所述侧面躯干中心线和侧面的所述目标人体RGB图像的竖直中心线获得侧面躯干中心线倾斜夹角;
步骤H:基于所述正面躯干中心线倾斜夹角和所述侧面躯干中心线倾斜夹角,获得所述躯干中心线倾斜度。
例如,躯干中心线倾斜度公式如下所示:
Figure BDA0002135171450000151
Figure BDA0002135171450000152
Figure BDA0002135171450000153
其中,Cslope表示躯干中心线倾斜度,e表示无理数,cosfront表示正面躯干中心线倾斜夹角余弦值,cosside表示侧面躯干中心线倾斜夹角余弦值;
Figure BDA0002135171450000154
表示正面躯干中心线向量,
Figure BDA0002135171450000155
表示正面的目标人体RGB图像的竖直中心线向量,/>
Figure BDA0002135171450000156
表示侧面躯干中心线向量,/>
Figure BDA0002135171450000157
表示侧面的目标人体RGB图像的竖直中心线向量。
需要说明的是,基于步骤F至步骤H可知,计算躯干中心线倾斜度时即考虑了正面躯干中心线倾斜夹角,又考虑了侧面躯干中心线倾斜夹角,综合正面和侧面两个视角,有效地避免了单一视角检测躯干中心线倾斜度不全面的问题。
步骤203:基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度。
需要说明的是,考虑上述三个人体对称指标之三的左右躯干对称度,其与预设区域内正面躯干边缘的左边缘点、右边缘点分别与正面躯干中心线距离(记为第一距离和第二距离)相关,具体地,左右躯干对称度与两个距离的差值呈反比,第一距离与第二距离的差值越小,左右躯干对称度越高。其中,计算第一距离和第二距离的前提是获得边缘点连续的正面躯干边缘,记为目标正面躯干边缘。例如,如图7所示的正面躯干边缘、第一距离和第二距离的示意图。因此,在本申请实施例一种可选的实施方式中,所述步骤203例如可以包括以下步骤:
步骤I:对正面的所述目标人体RGB图像进行躯干边缘线检测获得目标正面躯干边缘,所述目标正面躯干边缘中边缘点连续。
步骤I具体实施例时,直接躯干边缘线检测获得的正面躯干边缘存在边缘点不连续的问题,还需要基于正面躯干边缘中各个边缘点的8邻域的像素进行校正,才能获得各个边缘点连续的目标正面躯干边缘。因此,在本申请实施例一种可选的实施方式中,所述步骤I例如可以包括以下步骤:
步骤I1:对正面的所述目标人体RGB图像进行躯干边缘线检测获得正面躯干边缘。
其中,步骤I1中躯干边缘线检测得到正面躯干边缘可以利用Canny边缘检测算法,Canny边缘检测算法是多级边缘检测算法,可以说是边缘检测的一种标准算法,需要注意的是,若Canny边缘检测算法获得正面躯干边缘的效果不理想时,还可以辅助增加水平和竖直的梯度检测算法。
步骤I2:基于所述正面躯干边缘中各个边缘点的8邻域的像素校正所述正面躯干边缘获得所述目标正面躯干边缘。
其中,由于步骤I1获得的正面躯干边缘中各个边缘点并不是连续不断的,则需要对正面躯干边缘中每个边缘点的8邻域的像素进行判断,若边缘点与其8邻域的像素不能构成连续像素,利用最近邻插值算法进行正面躯干边缘校正,连接断开的像素点,以获得校正正面躯干边缘作为目标正面躯干边缘。
步骤J:在预设区域内,获得所述目标正面躯干边缘的左边缘点与所述正面躯干中心线的距离作为第一距离;获得所述目标正面躯干边缘的右边缘点与所述正面躯干中心线的距离作为第二距离,所述预设区域由至少由所述第一正面人体中心点或所述第二正面人体中心点确定。
其中,预设区域实际上是指至少由第一正面人体中心点或第二正面人体中心点预先设定的左右躯干对称度的计算范围,第一正面人体中心点可以为锁骨中心点,第二正面人体中心点可以为肚脐。作为一种示例,预设区域可以为由锁骨中心点确定的矩形框,矩形框的上边框经过锁骨中心点,矩形框的高度为预设高度,矩形框的宽度设置为其高度的二分之一;作为另一种示例,预设区域可以为由肚脐确定的矩形框,矩形框的下边框经过肚脐,矩形框的高度为预设高度,矩形框的宽度设置为其高度的二分之一。作为再一种示例,预设区域可以为由锁骨中心点和肚脐确定的矩形框,矩形框的上边框经过锁骨中心点,矩形框的下边框经过肚脐,矩形框的宽度设置为其高度的二分之一。
步骤K:基于所述第一距离与所述第二距离,获得所述左右躯干对称度。
例如,左右躯干对称度公式如下所示:
Figure BDA0002135171450000171
其中,Bsymmetry表示左右躯干对称度,e表示无理数,Ldis tan ce表示第一距离,Rdis tan ce表示第二距离。
需要说明的是,若步骤I利用Canny边缘检测算法对正面的目标人体RGB图像进行躯干边缘线检测得到正面躯干边缘,后续执行步骤J至步骤K,有效地避免了左右躯干通过镜像重叠方法计算对称度的问题,使得第一距离与所述第二距离的差值计算更精确,从而计算得到左右躯干对称度更精确。
还需要说明的是,在本申请实施例中并不限定步骤201与步骤201至步骤203的执行顺序,既可以先执行步骤201再执行步骤202和步骤203,也可以先执行步骤202和步骤203再执行步骤201,还可以同时执行步骤201与步骤201至步骤203。
步骤204:基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果。
可以理解的是,在步骤201至步骤203获得左右肌群相似度、躯干中心线倾斜度和左右躯干对称度三个人体对称指标之后,为了既考虑人体肌群对称,又考虑人体姿态对称,使得人体对称性检测更加便捷、高效、全面、精准,在本申请实施例中,需要综合左右肌群相似度、躯干中心线倾斜度和左右躯干对称度三个人体对称指标获得人体对称性结果。
需要说明的是,由于左右肌群相似度、躯干中心线倾斜度和左右躯干对称度三个人体对称指标对人体对称性的影响程度不一致,则在基于该三个人体对称指标计算人体对称性结果时,需要预先设置每个人体对称指标对应的权重参数,记为预设权重参数,以衡量其对人体对称性的影响,从而基于三个人体对称指标以及对应的预设权重参数可以得到更加精准的人体对称性结果。因此,在本申请实施例一种可选的实施方式中,所述步骤204例如可以包括以下步骤:
步骤L:获取所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度分别对应的预设权重参数。
作为一种示例,依据专家赋权法原则,可设置左右肌群相似度、躯干中心线倾斜度和左右躯干对称度分别对应的预设权重参数的数值为0.4、0.4和0.2。
步骤M:基于所述左右肌群相似度、所述躯干中心线倾斜度、所述左右躯干对称度和对应的所述预设权重参数,获得所述人体对称性结果。
例如,人体对称性结果的公式可以如下所示:
HBS=a×Msimilarity+b×Cslope+c×Bsymmetry
其中,HBS表示人体对称性结果;a表示左右肌群相似度对应的预设权重参数,Msimilarity表示左右肌群相似度;b表示躯干中心线倾斜度对应的预设权重参数,Cslope表示躯干中心线倾斜度;c表示左右躯干对称度对应的预设权重参数,Bsymmetry表示左右躯干对称度。当a=0.4,b=0.4以及c=0.2时,人体对称性结果的公式为:HBS=0.4×Msimilarity+0.4×Cslope+0.2×Bsymmetry
通过本实施例提供的各种实施方式,拍摄得到多角度的目标人体RGB图像序列,对多角度的目标人体RGB图像序列进行3D建模获得左右肌群相似度;对正面的和侧面的目标人体RGB图像进行躯干中心线检测获得躯干中心线倾斜度;对正面的目标人体RGB图像进行躯干边缘检测获得左右躯干对称度;综合左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,获得人体对称性结果。由此可见,通过对普通的多角度的目标人体RGB图像的检测分析,获得人体的左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,综合上述三个人体对称指标获得人体对称性结果,既考虑人体肌群对称,又考虑人体姿态对称,使得人体对称性检测更加便捷、高效、全面、精准。
需要说明的是,在上述实施例的基础上,考虑单次检测获得人体对称性结果具有较大的不稳定性,可以通过重复多次步骤201至步骤203,获得多组左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,对应于步骤204而言,通过多组左右肌群相似度、躯干中心线倾斜度和左右躯干对称度计算人体对称性结果。下面通过另一个实施例来详细说明本申请实施例中另一种人体对称性检测的方法的具体实现方式。
参见图8,示出了本申请实施例中另一种人体对称性检测的方法的流程示意图。在本实施例中,所述方法例如可以包括以下步骤:
步骤801:基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度。
步骤802:基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度。
步骤803:基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度。
需要说明的是,本申请该实施例中步骤801至步骤803与本申请上述实施例中步骤201至步骤203相同,具体实施方式参考本申请上述实施例,在此不再赘述。
步骤804:重复获得多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度。
可以理解的是,只有重复执行步骤801至步骤803才能获得多组左右肌群相似度、躯干中心线倾斜度和左右躯干对称度。
步骤805:基于多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得所述人体对称性结果。
需要说明的是,实际上步骤805对应于上述步骤204,在具体实施时,可对多组左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,辅助利用秩和比算法获得多组人体对称性统计量,选取其中最大人体对称性统计量和最小人体对称性统计量,取二者平均值作为最终的人体对称性结果。
作为一种示例,对10组左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,利用秩和比算法,计算获得10个人体对称性统计量(WRSRFit)如下表格所示:
Figure BDA0002135171450000201
其中,10个人体对称性统计量(WRSRFit)的排序如表格中的idx列所示,idx列中1至10表示了人体对称性统计量(WRSRFit)由大到小的排序,取排序idx为1对应的人体对称性统计量(WRSRFit)0.688713,以及排序idx为10对应的人体对称性统计量(WRSRFit)0.416453,计算的人体对称性结果为:HBS=0.5×(0.688713+0.416453)=0.552583。
通过本实施例提供的各种实施方式,拍摄得到多角度的目标人体RGB图像序列,对多角度的目标人体RGB图像序列进行3D建模获得左右肌群相似度;对正面的和侧面的目标人体RGB图像进行躯干中心线检测获得躯干中心线倾斜度;对正面的目标人体RGB图像进行躯干边缘检测获得左右躯干对称度;重复获得多组左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,综合多组左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,获得人体对称性结果。由此可见,通过对普通的多角度的目标人体RGB图像的检测分析,获得人体的左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,综合多组上述三个人体对称指标获得人体对称性结果,既考虑人体肌群对称,又考虑人体姿态对称,且避免单次检测不稳定性的问题,使得人体对称性检测更加便捷、高效、全面、精准、稳定。
示例性装置
参见图9,示出了本申请实施例中一种人体对称性检测的装置的结构示意图。在本实施例中,所述装置例如具体可以包括:
左右肌群相似度获得单元901,用于基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度;
躯干中心线倾斜度获得单元902,用于基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度;
左右躯干对称度获得单元903,用于基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度;
人体对称性结果获得单元904,用于基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果。
在本申请实施例一种可选的实施方式中,所述左右肌群相似度获得单元901包括:
人体3D模型获得子单元,用于对所述目标人体RGB图像序列进行3D建模,获得人体3D模型;所述人体3D模型包括躯干肌群、臂部肌群和腿部肌群;
左肌群和右肌群获得子单元,用于基于所述人体3D模型划分左右肌群,获得左肌群和右肌群;
左右肌群相似度获得子单元,用于基于所述左肌群和所述右肌群,获得所述左右肌群相似度。
在本申请实施例一种可选的实施方式中,所述左肌群和右肌群获得子单元,具体用于:
基于所述躯干肌群、左初始中心坐标和右初始中心坐标,获得左躯干肌群和右躯干肌群;所述左初始中心坐标是基于所述人体3D模型中左耳坐标确定的,所述右初始中心坐标是基于所述人体3D模型中右耳坐标确定的。
在本申请实施例一种可选的实施方式中,所述左右肌群相似度获得子单元包括:
空间面积获得模块,用于基于所述左肌群和所述右肌群,获得所述左肌群的空间面积和所述右肌群的空间面积;
左右肌群相似度获得模块,用于基于所述左肌群的空间面积和所述右肌群的空间面积的差异,获得所述左右肌群相似度。
在本申请实施例一种可选的实施方式中,所述躯干中心线倾斜度获得单元902包括:
躯干中心线获得子单元,用于对正面的所述目标人体RGB图像进行躯干中心线检测获得正面躯干中心线;对侧面的所述目标人体RGB图像进行躯干中心线检测获得侧面躯干中心线;
躯干中心线倾斜夹角获得子单元,用于基于所述正面躯干中心线和正面的所述目标人体RGB图像的竖直中心线获得正面躯干中心线倾斜夹角;基于所述侧面躯干中心线和侧面的所述目标人体RGB图像的竖直中心线获得侧面躯干中心线倾斜夹角;
躯干中心线倾斜度获得子单元,用于基于所述正面躯干中心线倾斜夹角和所述侧面躯干中心线倾斜夹角,获得所述躯干中心线倾斜度。
在本申请实施例一种可选的实施方式中,所述躯干中心线获得子单元包括:
人体中心点获得模块,用于对正面的所述目标人体RGB图像进行人体关键点检测获得第一正面人体中心点和第二正面人体中心点;基于侧面的所述目标人体RGB图像进行人体关键点检测获得第一侧面人体中心点和第二侧面人体中心点;
躯干中心线获得模块,用于基于所述第一正面人体中心点和所述第二正面人体中心点获得正面躯干中心线;基于所述第一侧面人体中心点和所述第二侧面人体中心点获得侧面躯干中心线。
在本申请实施例一种可选的实施方式中,所述左右躯干对称度获得单元903包括:
目标正面躯干边缘获得子单元,用于对正面的所述目标人体RGB图像进行躯干边缘线检测获得目标躯干边缘,所述目标正面躯干边缘中边缘点连续;
距离获得子单元,用于在预设区域内,获得所述目标正面躯干边缘的左边缘点与所述正面躯干中心线的距离作为第一距离;获得所述目标正面躯干边缘的右边缘点与所述正面躯干中心线的距离作为第二距离,所述预设区域由至少由第一正面人体中心点或所述第二正面人体中心点确定;
左右躯干对称度获得子单元,用于基于所述第一距离和所述第二距离,获得所述左右躯干对称度。
在本申请实施例一种可选的实施方式中,所述目标正面躯干边缘获得子单元包括:
正面躯干边缘获得模块,用于对正面的所述目标人体RGB图像进行躯干边缘线检测获得正面躯干边缘;
目标正面躯干边缘获得模块,用于基于所述正面躯干边缘中各个边缘点的8邻域的像素校正所述正面躯干边缘获得所述目标正面躯干边缘。
在本申请实施例一种可选的实施方式中,所述人体对称性结果获得单元904包括:
预设权重参数获得子单元,用于获取所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度分别对应的预设权重参数;
人体对称性结果获得子单元,用于基于所述左右肌群相似度、所述躯干中心线倾斜度、所述左右躯干对称度和对应的所述预设权重参数,获得所述人体对称性结果。
在本申请实施例一种可选的实施方式中,还包括:
重复获得单元,用于重复获得多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度;
对应地,所述人体对称性结果获得单元904具体用于:
基于多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得所述人体对称性结果。
在本申请实施例一种可选的实施方式中,所述目标人体RGB图像是人体RGB图像进行图像预处理获得的,还包括目标人体RGB图像获得单元,所述目标人体RGB图像获得单元包括:
校正人体RGB图像获得子单元,用于基于RGB摄像机的相机参数对所述人体RGB图像进行图像校正处理获得校正人体RGB图像;
目标人体RGB图像获得子单元,用于对所述校正人体RGB图像进行背景去除处理获得所述目标人体RGB图像。
通过本实施例提供的各种实施方式,拍摄得到多角度的目标人体RGB图像序列,对多角度的目标人体RGB图像序列进行3D建模获得左右肌群相似度;对正面的和侧面的目标人体RGB图像进行躯干中心线检测获得躯干中心线倾斜度;对正面的目标人体RGB图像进行躯干边缘检测获得左右躯干对称度;综合左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,获得人体对称性结果。由此可见,通过对普通的多角度的目标人体RGB图像的检测分析,获得人体的左右肌群相似度、躯干中心线倾斜度和左右躯干对称度,综合上述三个人体对称指标获得人体对称性结果,既考虑人体肌群对称,又考虑人体姿态对称,使得人体对称性检测更加便捷、高效、全面、精准。
此外,本申请实施例还提供了一种终端设备,所述终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的人体对称性检测的方法。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述方法实施例所述的人体对称性检测的方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅是本申请的较佳实施例而已,并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上,然而并非用以限定本申请。任何熟悉本领域的技术人员,在不脱离本申请技术方案范围情况下,都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本申请技术方案的内容,依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本申请技术方案保护的范围内。

Claims (12)

1.一种人体对称性检测的方法,其特征在于,包括:
基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度;所述左右肌群相似度与左肌群的空间面积和右肌群的空间面积的差异呈反比;
基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度;
基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度;
基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果;
其中,所述基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度,包括:
对正面的所述目标人体RGB图像进行躯干边缘线检测获得正面躯干边缘;
基于所述正面躯干边缘中各个边缘点的8邻域的像素,校正所述正面躯干边缘获得目标正面躯干边缘,所述目标正面躯干边缘中边缘点连续;
在预设区域内,获得所述目标正面躯干边缘的左边缘点与正面躯干中心线的距离作为第一距离;获得所述目标正面躯干边缘的右边缘点与所述正面躯干中心线的距离作为第二距离;所述预设区域由至少由第一正面人体中心点或第二正面人体中心点确定;
基于所述第一距离和所述第二距离,获得所述左右躯干对称度。
2.根据权利要求1所述的方法,其特征在于,所述基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度,包括:
对所述目标人体RGB图像序列进行3D建模,获得人体3D模型;所述人体3D模型包括躯干肌群、臂部肌群和腿部肌群;
基于所述人体3D模型划分左右肌群,获得左肌群和右肌群;
基于所述左肌群和所述右肌群,获得所述左右肌群相似度。
3.根据权利要求2所述的方法,其特征在于,所述基于所述人体3D模型划分左右肌群,获得左肌群和右肌群,包括:
基于所述躯干肌群、左初始中心坐标和右初始中心坐标,获得左躯干肌群和右躯干肌群;所述左初始中心坐标是基于所述人体3D模型中左耳坐标确定的,所述右初始中心坐标是基于所述人体3D模型中右耳坐标确定的。
4.根据权利要求2所述的方法,其特征在于,所述基于所述左肌群和所述右肌群,获得所述左右肌群相似度,包括:
基于所述左肌群和所述右肌群,获得所述左肌群的空间面积和所述右肌群的空间面积;
基于所述左肌群的空间面积和所述右肌群的空间面积的差异,获得所述左右肌群相似度。
5.根据权利要求1所述的方法,其特征在于,所述基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度,包括:
对正面的所述目标人体RGB图像进行躯干中心线检测获得正面躯干中心线;对侧面的所述目标人体RGB图像进行躯干中心线检测获得侧面躯干中心线;
基于所述正面躯干中心线和正面的所述目标人体RGB图像的竖直中心线获得正面躯干中心线倾斜夹角;基于所述侧面躯干中心线和侧面的所述目标人体RGB图像的竖直中心线获得侧面躯干中心线倾斜夹角;
基于所述正面躯干中心线倾斜夹角和所述侧面躯干中心线倾斜夹角,获得所述躯干中心线倾斜度。
6.根据权利要求5所述的方法,其特征在于,所述对正面的所述目标人体RGB图像进行躯干中心线检测获得正面躯干中心线;对侧面的所述目标人体RGB图像进行躯干中心线检测获得侧面躯干中心线,包括:
对正面的所述目标人体RGB图像进行人体关键点检测获得第一正面人体中心点和第二正面人体中心点;对侧面的所述目标人体RGB图像进行人体关键点检测获得第一侧面人体中心点和第二侧面人体中心点;
基于所述第一正面人体中心点和所述第二正面人体中心点获得正面躯干中心线;基于所述第一侧面人体中心点和所述第二侧面人体中心点获得侧面躯干中心线。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果,包括:
获取所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度分别对应的预设权重参数;
基于所述左右肌群相似度、所述躯干中心线倾斜度、所述左右躯干对称度和对应的所述预设权重参数,获得所述人体对称性结果。
8.根据权利要求1至6任一项所述的方法,其特征在于,还包括:
重复获得多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度;
对应地,所述基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果,包括:
基于多组所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得所述人体对称性结果。
9.根据权利要求1至6任一项所述的方法,其特征在于,所述目标人体RGB图像是人体RGB图像进行图像预处理获得的,所述目标人体RGB图像获得步骤,包括:
基于RGB摄像机的相机参数对所述人体RGB图像进行图像校正处理获得校正人体RGB图像;
对所述校正人体RGB图像进行背景去除处理获得所述目标人体RGB图像。
10.一种人体对称性检测的装置,其特征在于,包括:
左右肌群相似度获得单元,用于基于多角度的目标人体RGB图像序列,3D建模获得左右肌群相似度;所述左右肌群相似度与左肌群的空间面积和右肌群的空间面积的差异呈反比;
躯干中心线倾斜度获得单元,用于基于正面的和侧面的所述目标人体RGB图像,躯干中心线检测获得躯干中心线倾斜度;
左右躯干对称度获得单元,用于基于正面的所述目标人体RGB图像,躯干边缘检测获得左右躯干对称度;
人体对称性结果获得单元,用于基于所述左右肌群相似度、所述躯干中心线倾斜度和所述左右躯干对称度,获得人体对称性结果;
其中,所述左右躯干对称度获得单元,具体用于:
对正面的所述目标人体RGB图像进行躯干边缘线检测获得正面躯干边缘;
基于所述正面躯干边缘中各个边缘点的8邻域的像素,校正所述正面躯干边缘获得目标正面躯干边缘,所述目标正面躯干边缘中边缘点连续;
在预设区域内,获得所述目标正面躯干边缘的左边缘点与正面躯干中心线的距离作为第一距离;获得所述目标正面躯干边缘的右边缘点与所述正面躯干中心线的距离作为第二距离;所述预设区域由至少由第一正面人体中心点或第二正面人体中心点确定;
基于所述第一距离和所述第二距离,获得所述左右躯干对称度。
11.一种终端设备,其特征在于,所述终端设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1至9任一项所述的人体对称性检测的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1至9任一项所述的人体对称性检测的方法。
CN201910650851.3A 2019-07-18 2019-07-18 一种人体对称性检测的方法和相关装置 Active CN110349206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910650851.3A CN110349206B (zh) 2019-07-18 2019-07-18 一种人体对称性检测的方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910650851.3A CN110349206B (zh) 2019-07-18 2019-07-18 一种人体对称性检测的方法和相关装置

Publications (2)

Publication Number Publication Date
CN110349206A CN110349206A (zh) 2019-10-18
CN110349206B true CN110349206B (zh) 2023-05-30

Family

ID=68178923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910650851.3A Active CN110349206B (zh) 2019-07-18 2019-07-18 一种人体对称性检测的方法和相关装置

Country Status (1)

Country Link
CN (1) CN110349206B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291656B (zh) * 2020-01-21 2023-06-02 杭州微洱网络科技有限公司 一种度量2d图像中人体躯干姿态匹配方法
CN112669380B (zh) * 2020-12-25 2022-09-09 宁波智能装备研究院有限公司 一种显微操作系统中目标姿态控制方法及系统
CN113421297B (zh) * 2021-07-02 2023-06-27 浙江德菲洛智能机械制造有限公司 一种草莓的形状对称性分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置
CN104200483A (zh) * 2014-06-16 2014-12-10 南京邮电大学 多摄像头环境中基于人体中心线的目标检测方法
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技(深圳)有限公司 人脸活体检测方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置
CN104200483A (zh) * 2014-06-16 2014-12-10 南京邮电大学 多摄像头环境中基于人体中心线的目标检测方法
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技(深圳)有限公司 人脸活体检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于对称性区域过滤的显著性区域检测方法;董本志等;《计算机工程》;20190321(第05期);全文 *

Also Published As

Publication number Publication date
CN110349206A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110349206B (zh) 一种人体对称性检测的方法和相关装置
US8842906B2 (en) Body measurement
JP7057959B2 (ja) 動作解析装置
CN108898567A (zh) 图像降噪方法、装置及系统
CN105744256B (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN105761254B (zh) 基于图像特征的眼底图像配准方法
CN108537788B (zh) 迷彩伪装效果评测方法及装置、计算机设备及存储介质
CN107798279B (zh) 一种人脸活体检测方法及装置
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN110991266A (zh) 一种双目人脸活体检测方法及装置
CN106897986B (zh) 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN108428224B (zh) 基于卷积神经网的动物体表温度检测方法及装置
CN106296613B (zh) 一种基于dr机器的双能量减影方法
CN105740781A (zh) 一种三维人脸活体检测的方法和装置
CN112102947B (zh) 用于身体姿态评估的装置和方法
CN109064418A (zh) 一种基于非局部均值的非均匀噪声图像去噪方法
US20150104097A1 (en) Image processing apparatus and image processing method
CN109977827B (zh) 一种使用多视图匹配方法的多人三维姿态估计方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN101909165A (zh) 一种基于混合测度的视频数据宽景成像方法
CN111488857A (zh) 一种三维人脸识别模型训练方法及装置
Lu et al. Human body flexibility fitness test based on image edge detection and feature point extraction
CN112261399B (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
JP2015148895A (ja) 物体数分布推定方法
CN112215878A (zh) 一种基于surf特征点的x光图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant