CN110619285A - 人体骨骼关键点提取方法及计算机可读存储介质 - Google Patents

人体骨骼关键点提取方法及计算机可读存储介质 Download PDF

Info

Publication number
CN110619285A
CN110619285A CN201910806441.3A CN201910806441A CN110619285A CN 110619285 A CN110619285 A CN 110619285A CN 201910806441 A CN201910806441 A CN 201910806441A CN 110619285 A CN110619285 A CN 110619285A
Authority
CN
China
Prior art keywords
human body
depth map
pixel
depth
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910806441.3A
Other languages
English (en)
Other versions
CN110619285B (zh
Inventor
刘德建
陈春雷
郭玉湖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian TQ Digital Co Ltd
Original Assignee
Fujian TQ Digital Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian TQ Digital Co Ltd filed Critical Fujian TQ Digital Co Ltd
Priority to CN201910806441.3A priority Critical patent/CN110619285B/zh
Publication of CN110619285A publication Critical patent/CN110619285A/zh
Application granted granted Critical
Publication of CN110619285B publication Critical patent/CN110619285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Abstract

本发明公开了一种人体骨骼关键点提取方法及计算机可读存储介质,方法包括:从深度摄像机获取同一时刻的彩色图和深度图,并同步所述彩色图和深度图的位置;在所述彩色图中进行人体检测,得到人体检测框;根据所述人体检测框和深度图,计算人体区域深度平均值;根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图;根据所述彩色图,对所述人体深度图进行修正;根据修正后的人体深度图,提取人体骨骼关键点。本发明在保证识别效率的基础上提升了人体骨骼关键点的识别效果。

Description

人体骨骼关键点提取方法及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人体骨骼关键点提取方法及计算机可读存储介质。
背景技术
人体骨骼关键点提取算法属于人体姿势识别算法的一种,已经成功应用于一些体感游戏中。根据用户是否需要穿戴额外设备,可分为设备主动反馈和相机被动识别两种。由于设备主动反馈需要用户穿戴特定的设备,如智能手套等,在易用性上输于相机被动识别。
相机被动识别算法根据相机的不同,又分为彩色图识别算法和深度图识别算法。彩色图识别算法的代表有Face++的Skeleton Detection API,poseNet等,深度图识别算法的代表有PrimeSensor的NiTE。前者只利用了彩色图信息,识别效果容易被背景干扰,导致肢体的漏检和误检;后者利用深度信息,克服了背景的干扰,但当肢体靠近身体躯干时难以分辨(如手臂靠近躯干时)。
现有的基于相机被动识别的算法不是计算复杂度高,就是准确度不高,或者需要手工干预。
发明内容
本发明所要解决的技术问题是:提供一种人体骨骼关键点提取方法及计算机可读存储介质,在保证识别效率的基础上提升了人体骨骼关键点的识别效果。
为了解决上述技术问题,本发明采用的技术方案为:一种人体骨骼关键点提取方法,包括:
从深度摄像机获取同一时刻的彩色图和深度图,并同步所述彩色图和深度图的位置;
在所述彩色图中进行人体检测,得到人体检测框;
根据所述人体检测框和深度图,计算人体区域深度平均值;
根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图;
根据所述彩色图,对所述人体深度图进行修正;
根据修正后的人体深度图,提取人体骨骼关键点。
本发明还涉及一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的步骤。
本发明的有益效果在于:首先通过彩色图检测得到人体检测框,得到人体的大致位置,接着根据人体检测框,在深度图中提取人体区域,修正人体轮廓,得到人体深度图,然后通过彩色图,修正人体深度图中的肢体粘连现象,得到修正后的人体深度图,最后在修正后的人体深度图上检测、跟踪人体骨骼关键点。本发明结合了深度距离信息与彩图颜色信息,并利用两者信息相互修正,在保证识别效率的基础上提升了人体骨骼关键点的识别效果。
附图说明
图1为本发明的一种人体骨骼关键点提取方法的流程图;
图2为本发明实施例一的方法流程图;
图3为本发明实施例一的与彩色图位置同步之后的深度图;
图4为本发明实施例一的人体检测框的示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于:使用彩色图与深度图互相修正的方式,避免了手臂靠近躯干时深度图粘连对对后续提取算法的干扰。
请参阅图1,一种人体骨骼关键点提取方法,包括:
从深度摄像机获取同一时刻的彩色图和深度图,并同步所述彩色图和深度图的位置;
在所述彩色图中进行人体检测,得到人体检测框;
根据所述人体检测框和深度图,计算人体区域深度平均值;
根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图;
根据所述彩色图,对所述人体深度图进行修正;
根据修正后的人体深度图,提取人体骨骼关键点。
从上述描述可知,本发明的有益效果在于:可在保证识别效率的基础上提升了人体骨骼关键点的识别效果。
进一步地,所述根据所述人体检测框和深度图,计算人体区域深度平均值具体为:
将所述人体检测框缩小预设的倍数;
根据缩小后的人体检测框,对所述彩色图进行二值化处理,得到掩膜图;
根据所述深度图和掩膜图,计算人体区域深度平均值。
由上述描述可知,通过缩小人体检测框,以去除背景深度信息的干扰,保证框内大部分区域为人体区域,提高后续计算人体区域深度平均值的准确度。
进一步地,所述根据缩小后的人体检测框,对所述彩色图进行二值化处理,得到掩膜图具体为:
将处于缩小后的人体检测框内的像素点的像素值设为1,将处于缩小后的人体检测框外的像素点的像素值设为0,得到掩膜图。
进一步地,所述根据所述深度图和掩膜图,计算人体区域深度平均值具体为:
根据所述掩膜图和深度图,计算得到掩膜深度图;
获取所述掩膜深度图中非零的像素值,并将所述像素值从小到大进行排列,得到递增序列;
计算所述递增序列的最大平缓区间,所述最大平缓区间的两端的取值之差与区间长度的比值最小;
计算所述递增序列中处于所述最大平缓区间的像素值的平均值,得到人体区域深度平均值。
进一步地,所述计算所述递增序列的最大平缓区间具体为:
根据第一公式,计算所述递增序列的最大平缓区间,所述第一公式为a为所述递增序列,b为最大平缓区间,r和l分别为区间的两端,且r>l,c为预设的正数。
由上述描述可知,提高人体区域深度平均值的准确度。
进一步地,所述根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图具体为:
根据第二公式,对所述深度图进行滤波,得到人体深度图,所述第二公式为D”(p)为人体深度图,D(p)为所述深度图,p为像素点,c为所述人体区域深度平均值,ε为预设的常数,Q为所述人体检测框。
由上述描述可知,由于人体深度信息是连续的,且不能超过臂长(或腿长)的范围波动,利用这一原理对深度图进行滤波,可以提取人体区域的深度图。
进一步地,所述根据所述彩色图,对所述人体深度图进行修正具体为:
计算所述彩色图的梯度图;
根据所述人体深度图,将所述梯度图中位于人体区域外的像素点的像素值设为0;
获取梯度图中像素值不为零的像素点,得到第一像素点;
获取所述第一像素点在所述人体深度图中对应的像素点,得到第二像素点;
在所述人体深度图中获取所述第二像素点的预设大小的邻域;
若所述第二像素点在所述邻域内为局部极小值点,则将所述第二像素点的像素值设为0。
由上述描述可知,由于手臂与身体躯干的粘连处往往存在较大的梯度值,且在深度图中处于凹陷(即周围的深度值大于中间的深度值)的位置,因此可通过获取梯度图中像素值不为零的像素点,并对人体深度图中对应的像素点进行判断,将处于凹陷处的像素点的像素值置0,以此达到修正粘连现象的目的。
进一步地,所述根据所述人体深度图,将所述梯度图中位于人体区域外的像素点的像素值设为0具体为:
若所述人体深度图中的一像素点的像素值为0,则将所述一像素点在所述梯度图中对应的像素点的像素值设为0。
由上述描述可知,通过先将梯度图中已确定为非人体区域的像素值置0,减少了后续待处理的数据,提高了修正效率。
进一步地,所述若所述第二像素点在所述邻域内为局部极小值点,则将所述第二像素点的像素值设为0具体为:
获取所述邻域内所述第二像素点所在的列,得到中间列;
计算所述中间列的像素平均值,得到中间平均值;
分别获取所述邻域内所述中间列两边的列,得到左列和右列;
分别计算所述左列的像素平均值和右列的像素平均值,得到左列平均值和右列平均值;
判断所述中间平均值是否小于所述左列平均值,且小于所述右列平均值;
若是,则将所述第二像素点的像素值设为0。
由上述描述可知,由于手臂粘连躯干一般为竖直方向,因此仅考虑深度图水平方向上的取值是否极小。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上所述的步骤。
实施例一
请参照图2-4,本发明的实施例一为:一种人体骨骼关键点提取方法,可应用于体感游戏中,如图2所示,包括如下步骤:
S1:从深度摄像机获取同一时刻的彩色图和深度图,并同步所述RGB图和深度图的位置。具体地,利用OpenNI(一套开源API,为用户提供了一套深度相机交互方法,这里主要使用其获取RGB图像、深度图,以及标定同步)从RGBD摄像机(深度摄像机)读取RGB视频流和深度视频流,获取同一时刻的彩色图(RGB图)G和深度图D,并同步彩色图G与深度图D的位置,即进行位置标定,使得彩色图和深度图中的像素点一一对应。其中,与彩色图位置同步之后的深度图如图3所示。
S2:在所述彩色图中进行人体检测,得到人体检测框;具体地,在彩色图中利用Opencv的HOG+SVM方法检测人体的大致位置,检出结果为一个矩形的人体检测框Q。
进一步地,本步骤中,在进行人体检测时,先判断是否可检测到人体,若可检测到人体,则得到人体检测框,若未检测到人体,则重新获取彩色图和深度图,即返回执行步骤S1。
S3:将所述人体检测框缩小预设的倍数;优选地,所述倍数为2,即将人体检测框缩小2倍。由于步骤S2得到的人体检测框的框内还包含有背景区域,因此,通过缩小人体检测框,以去除背景深度信息的干扰,保证框内大部分区域为人体区域,对后续计算人体区域深度平均值有帮助。如图4所示,图4为以深度图为背景的人体检测框的示意图,其中,较大的矩形框为步骤S2检测得到的人体检测框,位于人体内的矩形框为缩小后的人体检测框。
S4:根据缩小后的人体检测框,对所述彩色图进行二值化处理,得到掩膜图。具体地,掩膜图表示为Ψ(p),p为图像上的像素点,当p处于缩小后的人体检测框内,则Ψ(p)=1,当p不处于缩小后的人体检测框内,则Ψ(p)=0。
S5:根据所述深度图和掩膜图,计算人体区域深度平均值。掩膜图中体现了缩小后的人体检测框区域,通过该区域在深度图中的对应区域中的像素值,来计算人体区域深度平均值。
具体地,本实施例中,采用下述步骤计算人体区域深度平均值:
S501:根据所述掩膜图和深度图,计算得到掩膜深度图;具体地,将掩膜图Ψ与深度图D点乘,即可得到掩膜深度图D’。其掩膜深度图只保留深度图中的缩小后的人体检测框区域内的像素值,其余像素点的像素值均为0。
S502:获取所述掩膜深度图中非零的像素值,并将所述像素值从小到大进行排列,得到递增序列;即将所述掩膜深度图中的非零部分按顺序排列为一个递增序列。
S503:计算所述递增序列的最大平缓区间,其中,所述最大平缓区间的两端的取值之差与区间长度的比值最小;具体地,根据第一公式计算最大平缓区间;
所述第一公式为:
其中,a为递增序列,b为最大平缓区间,r、l分别为区间的两端,r>l,a[r]为递增序列中第r个像素值,a[l]为递增序列中第l个像素值,c为预设的正数,优选地,c尽可能的小,例如,c=0.001。通过设置一个尽可能小的正数c,可有助于获取最大平缓区间。
例如,若未设置c,当递增序列中连续多个像素值相同,假设第5个至第10个像素值均相同,则当r=5,l=6,7,8,9,10,虽然分母不同但分子均为0,所得结果也均为0,即均能取到最小值,此时则无法确定区间范围,因此,通过设置一个足够小的正数,使得分子不为0,此时分母越大则结果值越小,因此可确定区间的两端,即r=5,l=10。
S504:计算所述递增序列中处于所述最大平缓区间的像素值的平均值,得到人体区域深度平均值;具体地,即将递增序列中第r个像素值至第l个像素值进行相加后除以r-l+1,即可得到人体区域深度平均值。
S6:根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图。
具体地,根据第二公式,对所述深度图进行滤波,得到人体深度图;
所述第二公式为
其中,D”(p)为人体深度图,D(p)为所述深度图,p为像素点,c为所述人体区域深度平均值,ε为预设的常数,一般设置为人的臂长或腿长,Q为步骤S2检测得到的人体检测框。
即若深度图中的一像素点处于人体检测框内,且其像素值处于(c-ε,c+ε)内,则保留所述一像素点的像素值,否则将所述一像素点的像素值设为0。
步骤S5已求得人体区域在深度图上的平均取值。由于人体深度信息是连续的,且不能超过臂长(或腿长)的范围波动,利用这一原理对深度图进行滤波,可以提取人体区域的深度图。也就是说,通过上述滤波操作,可滤除人体检测框外的区域,还可滤除人体检测框内的非人体区域,仅保留人体区域的深度图,并且人体深度图可体现出大概的人体轮廓,但当手臂接近身体躯干时深度图会存在粘连现象,因此需要通过步骤S7进行修正,细化人体轮廓。
进一步地,根据上述原理,在实际使用中要求人体与深度摄像机之间不能有障碍物遮挡。
S7:根据所述彩色图,对所述人体深度图进行修正。
具体地,先计算所述彩色图的梯度图,并根据所述人体深度图,将所述梯度图中位于人体区域外的像素点的像素值设为0;其中,人体区域为人体深度图中的人体区域,而人体深度图中,人体区域外的像素点的像素值均为0,因此,若所述人体深度图中的一像素点的像素值为0,则将所述一像素点在所述梯度图中对应的像素点的像素值设为0。通过先将梯度图中已确定为非人体区域的像素值置0,减少了后续待处理的数据,提高了修正效率。
接着获取梯度图中像素值不为零的像素点,得到第一像素点;然后获取所述第一像素点在所述人体深度图中对应的像素点,得到第二像素点,并在所述人体深度图中获取所述第二像素点的预设大小的邻域。其中,上述得到的掩膜图、掩膜深度图和人体深度图与彩色图、深度图的大小是相同的,且每张图中的各像素点都是分别一一对应的。另外,人体深度图为一个二维矩阵,对于某一点p,p的4邻域即p点的上下左右4个点,8邻域即以p为中心点,3×3范围内的其他8点,以此类推,24领域为5×5范围内的其他24点,48领域为7×7范围内的其他48点。邻域的大小根据深度摄像机的分辨率而定,可先用5×5范围的24邻域,再根据具体情况进行调整以达到最佳去粘连效果。
若所述第二像素点在所述邻域内为局部极小值点,则将所述第二像素点的像素值设为0;具体地,获取所述邻域内所述第二像素点所在的列,得到中间列;计算所述中间列的像素平均值,得到中间平均值;分别获取所述邻域内所述中间列两边的列,得到左列和右列;分别计算所述左列的像素平均值和右列的像素平均值,得到左列平均值和右列平均值;判断所述中间平均值是否小于所述左列平均值,且小于所述右列平均值;若是,则将所述第二像素点的像素值设为0。
例如,对于一第二像素点,假设选取了5×5范围的24邻域,则计算第三列中的像素点的像素值的平均值,得到中间平均值;计算第一列和第二列中的像素点的像素值的平均值,得到左列平均值;计算第四列和第五列中的像素点的像素值的平均值,得到右列平均值;若中间平均值小于左列平均值且小于右列平均值,则认为该第二像素点在其邻域内为局部极小值点,令其像素值为0,否则不改变其像素值。
本实施例中,由于手臂粘连躯干一般为竖直方向,因此仅考虑深度图水平方向上的取值是否极小。
步骤S6提取了人体区域的深度图,但当手臂接近身体躯干时深度图会存在粘连现象。由于手臂与身体躯干的粘连处往往存在较大的梯度值,因此可以利用这一信息切分人体深度图的粘连部分。但梯度图容易受到衣服的纹理影响,存在较大的干扰,因此结合人体深度图修正纹理造成的梯度干扰,保证了在彩色图存在边缘(即梯度图上取值非零),且人体深度图存在凹陷(即其处于局部极小值)时,将凹陷处的像素点的像素值置0,以此达到修正粘连现象的目的。
S8:根据修正后的人体深度图,提取人体骨骼关键点;可采用现有的人体骨骼关键点提取算法,如NiTE。
本实施例中,首先通过彩色图检测得到人体检测框,得到人体的大致位置,接着根据人体检测框,在深度图中提取人体区域,修正人体轮廓,得到人体深度图,然后通过彩色图,修正人体深度图中的肢体粘连现象,得到修正后的人体深度图,最后在修正后的人体深度图上检测、跟踪人体骨骼关键点,结合了深度距离信息与彩图颜色信息,并利用两者信息相互修正,在保证识别效率的基础上提升了人体骨骼关键点的识别效果。
实施例二
本实施例是对应上述实施例的一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如下步骤:
从深度摄像机获取同一时刻的彩色图和深度图,并同步所述彩色图和深度图的位置;
在所述彩色图中进行人体检测,得到人体检测框;
根据所述人体检测框和深度图,计算人体区域深度平均值;
根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图;
根据所述彩色图,对所述人体深度图进行修正;
根据修正后的人体深度图,提取人体骨骼关键点。
进一步地,所述根据所述人体检测框和深度图,计算人体区域深度平均值具体为:
将所述人体检测框缩小预设的倍数;
根据缩小后的人体检测框,对所述彩色图进行二值化处理,得到掩膜图;
根据所述深度图和掩膜图,计算人体区域深度平均值。
进一步地,所述根据缩小后的人体检测框,对所述彩色图进行二值化处理,得到掩膜图具体为:
将处于缩小后的人体检测框内的像素点的像素值设为1,将处于缩小后的人体检测框外的像素点的像素值设为0,得到掩膜图。
进一步地,所述根据所述深度图和掩膜图,计算人体区域深度平均值具体为:
根据所述掩膜图和深度图,计算得到掩膜深度图;
获取所述掩膜深度图中非零的像素值,并将所述像素值从小到大进行排列,得到递增序列;
计算所述递增序列的最大平缓区间,所述最大平缓区间的两端的取值之差与区间长度的比值最小;
计算所述递增序列中处于所述最大平缓区间的像素值的平均值,得到人体区域深度平均值。
进一步地,所述计算所述递增序列的最大平缓区间具体为:
根据第一公式,计算所述递增序列的最大平缓区间,所述第一公式为a为所述递增序列,b为最大平缓区间,r和l分别为区间的两端,且r>l,c为预设的正数。
进一步地,所述根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图具体为:
根据第二公式,对所述深度图进行滤波,得到人体深度图,所述第二公式为D”(p)为人体深度图,D(p)为所述深度图,p为像素点,c为所述人体区域深度平均值,ε为预设的常数,Q为所述人体检测框。
进一步地,所述根据所述彩色图,对所述人体深度图进行修正具体为:
计算所述彩色图的梯度图;
根据所述人体深度图,将所述梯度图中位于人体区域外的像素点的像素值设为0;
获取梯度图中像素值不为零的像素点,得到第一像素点;
获取所述第一像素点在所述人体深度图中对应的像素点,得到第二像素点;
在所述人体深度图中获取所述第二像素点的预设大小的邻域;
若所述第二像素点在所述邻域内为局部极小值点,则将所述第二像素点的像素值设为0。
进一步地,所述根据所述人体深度图,将所述梯度图中位于人体区域外的像素点的像素值设为0具体为:
若所述人体深度图中的一像素点的像素值为0,则将所述一像素点在所述梯度图中对应的像素点的像素值设为0。
进一步地,所述若所述第二像素点在所述邻域内为局部极小值点,则将所述第二像素点的像素值设为0具体为:
获取所述邻域内所述第二像素点所在的列,得到中间列;
计算所述中间列的像素平均值,得到中间平均值;
分别获取所述邻域内所述中间列两边的列,得到左列和右列;
分别计算所述左列的像素平均值和右列的像素平均值,得到左列平均值和右列平均值;
判断所述中间平均值是否小于所述左列平均值,且小于所述右列平均值;
若是,则将所述第二像素点的像素值设为0。
综上所述,本发明提供的一种人体骨骼关键点提取方法及计算机可读存储介质,首先通过彩色图检测得到人体检测框,得到人体的大致位置,接着根据人体检测框,在深度图中提取人体区域,修正人体轮廓,得到人体深度图,然后通过彩色图,修正人体深度图中的肢体粘连现象,得到修正后的人体深度图,最后在修正后的人体深度图上检测、跟踪人体骨骼关键点。本发明结合了深度距离信息与彩图颜色信息,并利用两者信息相互修正,在保证识别效率的基础上提升了人体骨骼关键点的识别效果。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人体骨骼关键点提取方法,其特征在于,包括:
从深度摄像机获取同一时刻的彩色图和深度图,并同步所述彩色图和深度图的位置;
在所述彩色图中进行人体检测,得到人体检测框;
根据所述人体检测框和深度图,计算人体区域深度平均值;
根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图;
根据所述彩色图,对所述人体深度图进行修正;
根据修正后的人体深度图,提取人体骨骼关键点。
2.根据权利要求1所述的人体骨骼关键点提取方法,其特征在于,所述根据所述人体检测框和深度图,计算人体区域深度平均值具体为:
将所述人体检测框缩小预设的倍数;
根据缩小后的人体检测框,对所述彩色图进行二值化处理,得到掩膜图;
根据所述深度图和掩膜图,计算人体区域深度平均值。
3.根据权利要求2所述的人体骨骼关键点提取方法,其特征在于,所述根据缩小后的人体检测框,对所述彩色图进行二值化处理,得到掩膜图具体为:
将处于缩小后的人体检测框内的像素点的像素值设为1,将处于缩小后的人体检测框外的像素点的像素值设为0,得到掩膜图。
4.根据权利要求2所述的人体骨骼关键点提取方法,其特征在于,所述根据所述深度图和掩膜图,计算人体区域深度平均值具体为:
根据所述掩膜图和深度图,计算得到掩膜深度图;
获取所述掩膜深度图中非零的像素值,并将所述像素值从小到大进行排列,得到递增序列;
计算所述递增序列的最大平缓区间,所述最大平缓区间的两端的取值之差与区间长度的比值最小;
计算所述递增序列中处于所述最大平缓区间的像素值的平均值,得到人体区域深度平均值。
5.根据权利要求4所述的人体骨骼关键点提取方法,其特征在于,所述计算所述递增序列的最大平缓区间具体为:
根据第一公式,计算所述递增序列的最大平缓区间,所述第一公式为a为所述递增序列,b为最大平缓区间,r和l分别为区间的两端,且r>l,c为预设的正数。
6.根据权利要求1所述的人体骨骼关键点提取方法,其特征在于,所述根据所述人体区域深度平均值,对所述深度图进行滤波,得到人体深度图具体为:
根据第二公式,对所述深度图进行滤波,得到人体深度图,所述第二公式为D”(p)为人体深度图,D(p)为所述深度图,p为像素点,c为所述人体区域深度平均值,ε为预设的常数,Q为所述人体检测框。
7.根据权利要求1所述的人体骨骼关键点提取方法,其特征在于,所述根据所述彩色图,对所述人体深度图进行修正具体为:
计算所述彩色图的梯度图;
根据所述人体深度图,将所述梯度图中位于人体区域外的像素点的像素值设为0;
获取梯度图中像素值不为零的像素点,得到第一像素点;
获取所述第一像素点在所述人体深度图中对应的像素点,得到第二像素点;
在所述人体深度图中获取所述第二像素点的预设大小的邻域;
若所述第二像素点在所述邻域内为局部极小值点,则将所述第二像素点的像素值设为0。
8.根据权利要求7所述的人体骨骼关键点提取方法,其特征在于,所述根据所述人体深度图,将所述梯度图中位于人体区域外的像素点的像素值设为0具体为:
若所述人体深度图中的一像素点的像素值为0,则将所述一像素点在所述梯度图中对应的像素点的像素值设为0。
9.根据权利要求7所述的人体骨骼关键点提取方法,其特征在于,所述若所述第二像素点在所述邻域内为局部极小值点,则将所述第二像素点的像素值设为0具体为:
获取所述邻域内所述第二像素点所在的列,得到中间列;
计算所述中间列的像素平均值,得到中间平均值;
分别获取所述邻域内所述中间列两边的列,得到左列和右列;
分别计算所述左列的像素平均值和右列的像素平均值,得到左列平均值和右列平均值;
判断所述中间平均值是否小于所述左列平均值,且小于所述右列平均值;
若是,则将所述第二像素点的像素值设为0。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9任一项所述的步骤。
CN201910806441.3A 2019-08-29 2019-08-29 人体骨骼关键点提取方法及计算机可读存储介质 Active CN110619285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910806441.3A CN110619285B (zh) 2019-08-29 2019-08-29 人体骨骼关键点提取方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910806441.3A CN110619285B (zh) 2019-08-29 2019-08-29 人体骨骼关键点提取方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110619285A true CN110619285A (zh) 2019-12-27
CN110619285B CN110619285B (zh) 2022-02-11

Family

ID=68922603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910806441.3A Active CN110619285B (zh) 2019-08-29 2019-08-29 人体骨骼关键点提取方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110619285B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652047A (zh) * 2020-04-17 2020-09-11 福建天泉教育科技有限公司 基于彩色图和深度图的人体姿势识别方法及存储介质
CN111899293A (zh) * 2020-09-29 2020-11-06 成都索贝数码科技股份有限公司 Ar应用中的虚实遮挡处理方法
CN112287758A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点检测的攀爬识别方法
CN112927368A (zh) * 2021-02-20 2021-06-08 北京未澜科技有限公司 一种基于三维参数表达的人体衣物图片编辑和视频生成方法
WO2021233051A1 (zh) * 2020-05-21 2021-11-25 华为技术有限公司 干扰提示方法和设备
CN113808256A (zh) * 2021-09-15 2021-12-17 天津大学 一种结合身份识别的高精度全息人体重建方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156693A (zh) * 2014-07-15 2014-11-19 天津大学 一种基于多模态序列融合的动作识别方法
US20150254868A1 (en) * 2014-03-07 2015-09-10 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
EP3023932A1 (en) * 2014-11-19 2016-05-25 Thomson Licensing Method and device for correction of depth values in a depth map
CN106504294A (zh) * 2016-10-17 2017-03-15 浙江工业大学 基于扩散曲线的rgbd图像矢量化方法
CN106780619A (zh) * 2016-11-25 2017-05-31 青岛大学 一种基于Kinect深度相机的人体尺寸测量方法
CN106886994A (zh) * 2017-02-08 2017-06-23 青岛大学 一种基于深度相机的人流量智能检测装置和检测方法
US20170366802A1 (en) * 2015-02-27 2017-12-21 Sony Corporation Imaging device, image processing device and image processing method
CN107610041A (zh) * 2017-08-16 2018-01-19 南京华捷艾米软件科技有限公司 基于3d体感摄像头的视频人像抠图方法及系统
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254868A1 (en) * 2014-03-07 2015-09-10 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
CN104156693A (zh) * 2014-07-15 2014-11-19 天津大学 一种基于多模态序列融合的动作识别方法
EP3023932A1 (en) * 2014-11-19 2016-05-25 Thomson Licensing Method and device for correction of depth values in a depth map
US20170366802A1 (en) * 2015-02-27 2017-12-21 Sony Corporation Imaging device, image processing device and image processing method
CN106504294A (zh) * 2016-10-17 2017-03-15 浙江工业大学 基于扩散曲线的rgbd图像矢量化方法
CN106780619A (zh) * 2016-11-25 2017-05-31 青岛大学 一种基于Kinect深度相机的人体尺寸测量方法
CN106886994A (zh) * 2017-02-08 2017-06-23 青岛大学 一种基于深度相机的人流量智能检测装置和检测方法
CN107610041A (zh) * 2017-08-16 2018-01-19 南京华捷艾米软件科技有限公司 基于3d体感摄像头的视频人像抠图方法及系统
CN109961406A (zh) * 2017-12-25 2019-07-02 深圳市优必选科技有限公司 一种图像处理的方法、装置及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ADNAN FAROOQ ET AL.: ""Dense RGB-D Map-Based Human Tracking and Activity Recognition using Skin Joints Features and Self-Organizing Map"", 《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652047A (zh) * 2020-04-17 2020-09-11 福建天泉教育科技有限公司 基于彩色图和深度图的人体姿势识别方法及存储介质
CN111652047B (zh) * 2020-04-17 2023-02-28 福建天泉教育科技有限公司 基于彩色图和深度图的人体姿势识别方法及存储介质
WO2021233051A1 (zh) * 2020-05-21 2021-11-25 华为技术有限公司 干扰提示方法和设备
CN112287758A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于关键点检测的攀爬识别方法
CN112287758B (zh) * 2020-09-26 2022-08-26 浙江汉德瑞智能科技有限公司 基于关键点检测的攀爬识别方法
CN111899293A (zh) * 2020-09-29 2020-11-06 成都索贝数码科技股份有限公司 Ar应用中的虚实遮挡处理方法
CN112927368A (zh) * 2021-02-20 2021-06-08 北京未澜科技有限公司 一种基于三维参数表达的人体衣物图片编辑和视频生成方法
CN112927368B (zh) * 2021-02-20 2021-11-19 北京未澜科技有限公司 一种基于三维参数表达的人体衣物图片编辑和视频生成方法
CN113808256A (zh) * 2021-09-15 2021-12-17 天津大学 一种结合身份识别的高精度全息人体重建方法
CN113808256B (zh) * 2021-09-15 2023-06-09 天津大学 一种结合身份识别的高精度全息人体重建方法

Also Published As

Publication number Publication date
CN110619285B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN110619285B (zh) 人体骨骼关键点提取方法及计算机可读存储介质
CN103927016B (zh) 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN107358623B (zh) 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法
CN108062536B (zh) 一种检测方法及装置、计算机存储介质
WO2018176938A1 (zh) 红外光斑中心点提取方法、装置和电子设备
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
WO2017084204A1 (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
Hao et al. Improved self-adaptive edge detection method based on Canny
CN105279769B (zh) 一种联合多特征的层次粒子滤波跟踪方法
KR20160148577A (ko) 깊이 이미지를 프로세싱하기 위한 방법 및 장치
Gui et al. A new method for soybean leaf disease detection based on modified salient regions
CN108765317A (zh) 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法
CN106778767B (zh) 基于orb和主动视觉的视觉图像特征提取及匹配方法
CN104504723A (zh) 基于视觉显著特征的图像配准方法
CN110097050A (zh) 行人检测方法、装置、计算机设备及存储介质
CN110298314A (zh) 手势区域的识别方法及装置
CN103500454A (zh) 一种抖动视频运动目标提取方法
CN111753638A (zh) 一种基于rgbd图像的行人跟踪方法及系统
CN110197501B (zh) 图像处理方法和设备
KR20150053438A (ko) 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
CN113763449B (zh) 深度恢复方法、装置、电子设备及存储介质
CN109961092B (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
CN110599407B (zh) 基于向下倾角方向的多台tof相机人体降噪方法及系统
CN104517292A (zh) 基于平面单应矩阵约束的多摄像机高密度人群分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant