CN110084161B - 一种人体骨骼关键点的快速检测方法及系统 - Google Patents

一种人体骨骼关键点的快速检测方法及系统 Download PDF

Info

Publication number
CN110084161B
CN110084161B CN201910310417.0A CN201910310417A CN110084161B CN 110084161 B CN110084161 B CN 110084161B CN 201910310417 A CN201910310417 A CN 201910310417A CN 110084161 B CN110084161 B CN 110084161B
Authority
CN
China
Prior art keywords
human body
point
bone
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910310417.0A
Other languages
English (en)
Other versions
CN110084161A (zh
Inventor
林倞
叶灵昶
王青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910310417.0A priority Critical patent/CN110084161B/zh
Publication of CN110084161A publication Critical patent/CN110084161A/zh
Application granted granted Critical
Publication of CN110084161B publication Critical patent/CN110084161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明公开了一种人体骨骼关键点的快速检测方法及系统,所述方法包括如下步骤:步骤S1,构建并训练一卷积神经网络,以通过所述卷积神经网络利用多尺寸图像特征信息来检测图像中人体的各个部位;步骤S2,获取一二维彩色图;步骤S3,将所述二维彩色图输入至步骤S1中经训练好的卷积神经网络中,利用多尺寸图像特征信息来检测图像中人体的各个部位,并将该些检测到的部位聚合起来以形成单人的骨骼点集合,完成关键点的检测,本发明通过设计轻量化的卷积神经网络结构,可减少运算时间,实现在智能相机上实现人体骨骼关键点的检测。

Description

一种人体骨骼关键点的快速检测方法及系统
技术领域
本发明涉及一种人体骨骼关键点的快速检测方法及系统,特别是涉及一种可用于智能相机的人体骨骼关键点的快速检测方法及系统。
背景技术
人体骨骼关键点检测是计算机视觉中一项经典的任务,具体来说时候指计算机能够检测到人体各个骨骼点包括头、手、肩、脚踝等位置。通过快速检测人体骨骼关键点可以为监控、人机交互等未来具有重要意义的场景提供技术基础。
人体骨骼关键点检测的目标是以一张图片为输入,输出图中人体的各个骨骼关键点在图像中的二维坐标。用以输入的图片可以是深度图或彩色图。现有成熟的技术(例如Kinematic)集中于使用二维深度图作为输入,因为深度图可以测量人与相机的距离,即深度信息,计算机可以根据这些深度信息来计算人体的轮廓信息。但是深度图相机十分不普及,而且在生活中不论是手机、相机以及网络上可以获取的图片都是彩色图,因此设计一种基于彩色图的人体骨骼关键点的方法对于在日常生活中推进相关应用技术的落地具有重要意义。
然而,由于基于彩色图的人体骨骼关键点检测方法需要使用卷积神经网络来提取彩色图的特征信息,并且结合特征信息来进行检测,这对于计算资源的要求比较高。在研究中通常使用计算机中的图像处理单元GPU(Graphics Processing Unit)来进行计算,但是在生活中无法使用这种昂贵的计算资源来进行计算。一般的手机或者其他移动设备上使用中央处理单元CPU(Central Processing Unit)进行计算。如果直接将这种算法部署到手机或其他移动设备上使用,计算时间会大大增加,不利于实际使用。因此实有必要设计一种轻量级卷积神经网络,在保证结果准确的情况下通过更少的计算来进行人体骨骼关键点检测,使其可以部署在计算能力较弱的设备上。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种人体骨骼关键点的快速检测方法及系统,以通过设计轻量化的卷积神经网络结构,减少运算时间,在智能相机上实现人体骨骼关键点的检测。
为达上述目的,本发明提出一种人体骨骼关键点的快速检测方法,包括如下步骤:
步骤S1,构建并训练一卷积神经网络,以通过所述卷积神经网络利用多尺寸图像特征信息来检测图像中人体的各个部位;
步骤S2,获取一二维彩色图;
步骤S3,将所述二维彩色图输入至步骤S1中经训练好的卷积神经网络中,利用多尺寸图像特征信息来检测图像中人体的各个部位,并将该些检测到的部位聚合起来以形成单人的骨骼点集合,完成关键点的检测。
优选地,步骤S1进一步包括:
步骤S100,收集二维彩色图,对所述二维彩色图中人体骨骼关键点进行标注得到相应的二维坐标;
步骤S101,构建卷积神经网络,并随机初始化该卷积神经网络的参数;
步骤S102,以所述二维彩色图为卷积神经网络的输入,以所述二维彩色图的特征图和每个骨骼关键点所属人体的标签信息为卷积神经网络的目标输出,使用随机梯度下降算法对所述卷积神经网络进行端到端的模型训练,更新网络中的参数,使网络输出逐渐趋于目标输出。
优选地,于步骤S100中,对包括右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶、脖子在内的各部位进行标注,计算二维彩色图的特征图和每个骨骼关键点所属人体的标签信息。
优选地,对所述二维彩色图生成特征图的方法是以每个人体骨骼关键点的二维坐标为中心,逐个生成二维高斯分布的概率图;对所述二维彩色图生成人体标签信息的方法是以每个人体骨骼关键点的二维坐标为中心,根据骨骼关键点所属人体分别为其赋值,其余不属于骨骼关键点的位置赋零。
优选地,所述卷积神经网络包括初级特征提取模块和人体特征提取模块,所述初级特征提取模块用以提取低级特征,人体特征提取模块用以组合低级特征来形成高级特征进而表达人体各部位特征,通过组合二维深度可分离3×3卷积层和二维1×1卷积层来替换原来网络中的二维3×3卷积层,以在原有能对图像进行特征提取的基础上,减少网络的参数。
优选地,所述卷积神经网络采用如下目标损失函数来衡量卷积神经网络的输出和所希望的输出之间的差距:
Figure BDA0002031276060000031
Figure BDA0002031276060000032
其中K为骨骼关键点的数量,z为输出特征图在二维空间上的坐标,Z为输出特征图在二维空间上的范围,N为图中人的数量。bk(z)是骨骼点k的输出特征图,
Figure BDA0002031276060000033
是骨骼点k的目标特征图,
Figure BDA0002031276060000034
为经过网络的输出人体标签特征图中第n个人所属的标签值:
Figure BDA0002031276060000035
其中,n为图中第n个人,n′为图中除第n个人以外所有人,hk为骨骼点k的输出人体标签特征图,xnk为图像中第n个人骨骼点k的坐标位置。
优选地,于步骤S3中,将二维彩色图输入到训练好的卷积神经网络后得到各个骨骼点的概率置信图和每个骨骼点的人体标签图,并通过非极大值抑制算法和聚类算法将这些离散的骨骼点聚合起来作为一个人体的骨骼点集合,得到所需人体骨骼关键点的二维坐标。
优选地,所述非极大值抑制算法如下:对每个骨骼点的的概率置信图的每一个点,在以该点为中心点的范围内对范围内的点进行遍历并找出最大值,同时将其他非最大值的点赋值为零,以每个骨骼点的概率置信图为输入,将一定范围内概率置信度为极大值的点找出来,最终形成输入图像中每个骨骼点的预测位置。
优选地,所述聚类算法如下:根据图像中每个骨骼点的预测位置以及每个骨骼点的人体标签图,获得每个骨骼点的预测位置以及这些位置上的人体标签信息,通过判断不同骨骼点间这些人体标签信息的绝对值是否小于一定阈值来决定这些骨骼点是否为属于同一人,同时筛去那些骨骼点数量不足预设值以及预测结果形成的人体规格小于预设值的结果。
为达到上述目的,本发明还提供一种人体骨骼关键点的快速检测系统,包括:
网络构建并训练单元,用于构建并训练一卷积神经网络,以通过所述卷积神经网络利用多尺寸图像特征信息来检测图像中人体的各个部位;
图像获取单元,用于获取一二维彩色图;
检测单元,用于将所述二维彩色图输入至所述卷积神经网络中,经训练好的卷积神经网络中,利用多尺寸图像特征信息来检测图像中人体的各个部位,并将这些检测到的部位聚合起来以形成单人的骨骼点集合,完成关键点的检测。
与现有技术相比,本发明一种人体骨骼关键点的快速检测方法及系统可不再使用日常生活难以获取的深度图而是使用网络中可轻易获取的彩色图作为输出,能检测彩色图中人体的骨骼关键点信息,为行为理解、动作识别等具有重要前景的课题提供了技术基础,本发明通过轻量化设计,可大大减少其运算时间,相比于以往方法中较为复杂的网络,对于硬件编程人员可以更好地基于FPGA设计驱动该方法的芯片,用于部署在智能相机上实现人体骨骼关键的检测。
附图说明
图1为本发明一种人体骨骼关键点的快速检测方法的步骤流程图;
图2为本发明具体实施例支持的14个人体骨骼关键点示意图;
图3为本发明具体实施例中卷积神经网络的结构图;
图4为本发明具体实施例中初级特征提取模块结构示意图;
图5为本发明具体实施例中人体特征提取模块结构示意图;
图6A-图6C为图4及图5中部分模块的结构图;
图7为本发明一种人体骨骼关键点的快速检测系统的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种人体骨骼关键点的快速检测方法的步骤流程图。如图1所示,本发明一种人体骨骼关键点的快速检测方法,包括如下步骤:
步骤S1,构建并训练一卷积神经网络,以利用多尺寸图像特征信息来检测图像中人体的各个部位。
具体地,步骤S1进一步包括:
步骤S100,收集二维彩色图,并对其中人体骨骼关键点进行标注得到相应的二维坐标。
如图2所示,对包括:右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶、脖子在内的14个部位进行标注。坐标以图片宽高为横纵轴,左上角为原点,通过计算得到二维彩色图的特征图和每个骨骼关键点所属人体的标签信息,并以此作为训练样本。在本发明具体实施例中,生成特征图的方法是以每个人体骨骼关键点的二维坐标为中心,逐个生成二维高斯分布的概率图,生成人体标签信息的方法是以每个人体骨骼关键点的二维坐标为中心,根据骨骼关键点所属人体分别为其赋值,其余不属于骨骼关键点的位置赋零。
步骤S101,构建卷积神经网络,并随机初始化该卷积神经网络的参数。
在本发明具体实施例中,所构建的卷积神经网络由初级特征提取模块和人体特征提取模块组成,其中初级特征提取模块用以提取低级特征,人体特征提取模块用以组合低级特征来形成高级特征进而表达人体各部位特征,具体结构图如图3所示。
具体地,初级特征提取模块结构如图4所示,人体特征提取模块结构如图5所示,其中,1为卷积模块,2为深度可分离卷积模块,3为沙漏结构,4为二维1×1卷积层,5为相加层。具体地,初级特征提取模块包括1个卷积模块1与多个深度可分离卷积模块2,其输入为分辨率为256×256的经归一化的彩色图片,经卷积模块1与深度可分离卷积模块2多次卷积处理后输出至人体特征提取模块,这里的归一化指对输入图中的R通道所有像素值除255减去0.4798除0.2558,对输入图中的G通道所有像素值除255减去0.4517除0.2481,以及对输入图中的B通道所有像素值除255减去0.4220除0.2468,人体特征提取模块包括多个深度可分离卷积模块2、沙漏结构3、二维1×1卷积层4以及相加层5。在本发明具体实施例中,1~3是由计算层组成的子模块,具体地,图6A为沙漏结钩3的结构图,图6B为深度可分离卷积模块2的结构图,图6C为卷积模块1的结构图,其中6为上采样层,7为线性修正单元,8为二维3×3深度可分离卷积层,9为二维3×3卷积层。
以下对其中图4-图6中的各计算层分别进行解释:
二维3×3卷积层:该层是对输入特征进行卷积运算得到新特征,通过组合位于不同通道的新特征来形成新的高级特征。计算公式如下:
Figure BDA0002031276060000061
二维深度可分离3×3卷积层:该层对输入特征的每个通道单独进行卷积运算,形成每个通道的高级特征。计算公式如下:
Figure BDA0002031276060000071
二维1×1卷积层:该层是对输入特征进行组合来形成新的高级特征。计算公式如下:
Figure BDA0002031276060000072
线性修正单元:该层只允许非负值通过,增强了网络的非线性,提高网络的拟合能力。计算公式如下:
v=max(0,u)
上采样层:该层对输入特征图进行放大,使特征图能够恢复到原图大小。计算公式如下:
vhw=uh+1/2w+1/2
相加层:该层将维度相同的输入特征图相加,以加强特征。
其中,v、u:分别为输出特征图、输入特征图;
s、h、w:分别为输出特征图的通道位置、高位置、宽位置;
hk、wh:3×3卷积层的卷积核高、宽;
ci:输入特征图的通道数;
ω:卷积层中卷积核的权重。
特别地,通过组合二维深度可分离3×3卷积层和二维1×1卷积层,可以替代单个二维3×3卷积层。二维3×3卷积层的作用在于对卷积层进行卷积运算形成新特征,再进行组合形成新的高级特征,而这两步分别可以由二维深度可分离3×3卷积层和二维1×1卷积层替代。由于卷积神经网络由大量卷积层组合而成,而二维深度可分离3×3卷积层和二维1×1卷积层组合的参数量略少于二维3×3卷积层的参数量,因此可以在同样完成特征提取功能且不过度影响网络性能的同时减少卷积神经网络的参数,减少了计算资源并提高了运算效率。
步骤S102,以上述二维彩色图为卷积神经网络的输入,以上述二维彩色图的特征图和每个骨骼关键点所属人体的标签信息为卷积神经网络的目标输出,使用随机梯度下降算法对所述卷积神经网络进行端到端的模型训练,更新网络中的参数,使网络输出逐渐趋于目标输出。
较佳地,本发明还使用目标损失函数来衡量卷积神经网络的输出和所希望的输出之间的差距。具体的目标损失函数如下:
Figure BDA0002031276060000081
该目标损失函数由三部分组成:
第一部分是训练样本经过网络的输出特征图和训练样本目标特征图之间的均方误差之和;第二部分是训练样本经过网络的输出人体标签特征图的内部损失;第三部分是训练样本经过网络的输出人体标签特征图中不同标签之间的损失。
其中K为骨骼关键点的数量,z为输出特征图在二维空间上的坐标,Z为输出特征图在二维空间上的范围,N为图中人的数量。bk(z)是骨骼点k的输出特征图,
Figure BDA0002031276060000082
是骨骼点k的目标特征图,
Figure BDA0002031276060000083
为经过网络的输出人体标签特征图中第n个人所属的标签值:
Figure BDA0002031276060000084
其中,n为图中第n个人,n′为图中除第n个人以外所有人,hk为骨骼点k的输出人体标签特征图,xnk为图像中第n个人骨骼点k的坐标位置。
步骤S2,获取一二维彩色图。在本发明具体实施例中,可通过各种方式进行获取所述二维彩色图,比如:智能手机、摄像头或照相机进行拍照,或从网上获取彩色图。
步骤S3,将所述二维彩色图输入至步骤S1中经训练好的卷积神经网络中,利用多尺寸图像特征信息来检测图像中人体的各个部位,并进一步将这些检测到的部位聚合起来以形成单人的骨骼点集合,完成关键点的检测。
具体地,于步骤S3中,将二维彩色图输入到训练好的卷积神经网络后得到各个骨骼点的概率置信图和每个骨骼点的人体标签图,并通过非极大值抑制算法和聚类算法将这些离散的骨骼点聚合起来作为一个人体的骨骼点集合,得到所需人体骨骼关键点的二维坐标。
其中非极大值抑制算法具体如下:对每个骨骼点的的概率置信图的每一个点,在以该点为中心点的范围内对范围内的点进行遍历并找出最大值,同时将其他非最大值的点赋值为零。这一算法以每个骨骼点的概率置信图为输入,将一定范围内概率置信度为极大值的点找出来,最终形成输入图像中每个骨骼点的预测位置。
聚类算法具体如下:根据图像中每个骨骼点的预测位置以及每个骨骼点的人体标签图,获得每个骨骼点的预测位置以及这些位置上的人体标签信息,通过判断不同骨骼点间这些人体标签信息的绝对值是否小于一定阈值来决定这些骨骼点是否为属于同一人,同时筛去那些骨骼点数量不足3以及预测结果形成的人体规格过小的结果。
图7为本发明一种人体骨骼关键点的快速检测系统的系统架构图。如图7所示,本发明一种人体骨骼关键点的快速检测系统,包括:
网络构建并训练单元801,用于构建并训练一卷积神经网络,以利用多尺寸图像特征信息来检测图像中人体的各个部位。
具体地,网络构建并训练单元801进一步包括:
图像标注单元,用于收集二维彩色图,并对其中人体骨骼关键点进行标注得到相应的二维坐标。
如图2所示,对包括:右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶、脖子在内的14个部位进行标注。坐标以图片宽高为横纵轴,左上角为原点,通过计算得到二维彩色图的特征图和每个骨骼关键点所属人体的标签信息,并以此作为训练样本。在本发明具体实施例中,生成特征图的方法是以每个人体骨骼关键点的二维坐标为中心,逐个生成二维高斯分布的概率图,生成人体标签信息的方法是以每个人体骨骼关键点的二维坐标为中心,根据骨骼关键点所属人体分别为其赋值,其余不属于骨骼关键点的位置赋零。
网络构建初始化单元,构建卷积神经网络,并随机初始化该卷积神经网络的参数。
在本发明具体实施例中,所构建的卷积神经网络由初级特征提取模块和人体特征提取模块组成,其中初级特征提取模块用以提取低级特征,人体特征提取模块用以组合低级特征来形成高级特征进而表达人体各部位特征。
训练单元,用于以上述二维彩色图为卷积神经网络的输入,以上述二维彩色图的特征图和每个骨骼关键点所属人体的标签信息为卷积神经网络的目标输出,使用随机梯度下降算法对所述卷积神经网络进行端到端的模型训练,更新网络中的参数,使网络输出逐渐趋于目标输出。
较佳地,所述训练单元还使用目标损失函数来衡量卷积神经网络的输出和所希望的输出之间的差距。具体的目标损失函数如下:
Figure BDA0002031276060000101
该目标损失函数由三部分组成:
第一部分是训练样本经过网络的输出特征图和训练样本目标特征图之间的均方误差之和;第二部分是训练样本经过网络的输出人体标签特征图的内部损失;第三部分是训练样本经过网络的输出人体标签特征图中不同标签之间的损失。
其中K为骨骼关键点的数量,z为输出特征图在二维空间上的坐标,Z为输出特征图在二维空间上的范围,N为图中人的数量。bk(z)是骨骼点k的输出特征图,
Figure BDA0002031276060000111
是骨骼点k的目标特征图,
Figure BDA0002031276060000112
为经过网络的输出人体标签特征图中第n个人所属的标签值:
Figure BDA0002031276060000113
其中,n为图中第n个人,n′为图中除第n个人以外所有人,hk为骨骼点k的输出人体标签特征图,xnk为图像中第n个人骨骼点k的坐标位置。
图像获取单元702,用于获取一二维彩色图。在本发明具体实施例中,图像获取单元702可通过各种方式进行获取所述二维彩色图,比如:智能手机、摄像头或照相机进行拍照,或从网上获取彩色图。
检测单元703,用于将所述二维彩色图输入至所述卷积神经网络中,经训练好的卷积神经网络中,利用多尺寸图像特征信息来检测图像中人体的各个部位,并进一步将这些检测到的部位聚合起来以形成单人的骨骼点集合,完成关键点的检测。
具体地,检测单元703将二维彩色图输入到训练好的卷积神经网络后得到各个骨骼点的概率置信图和每个骨骼点的人体标签图,并通过非极大值抑制算法和聚类算法将这些离散的骨骼点聚合起来作为一个人体的骨骼点集合,得到所需人体骨骼关键点的二维坐标。
其中非极大值抑制算法具体如下:对每个骨骼点的的概率置信图的每一个点,在以该点为中心点的范围内对范围内的点进行遍历并找出最大值,同时将其他非最大值的点赋值为零。这一算法以每个骨骼点的概率置信图为输入,将一定范围内概率置信度为极大值的点找出来,最终形成输入图像中每个骨骼点的预测位置。
聚类算法具体如下:根据图像中每个骨骼点的预测位置以及每个骨骼点的人体标签图,获得每个骨骼点的预测位置以及这些位置上的人体标签信息,通过判断不同骨骼点间这些人体标签信息的绝对值是否小于一定阈值来决定这些骨骼点是否为属于同一人,同时筛去那些骨骼点数量不足3以及预测结果形成的人体规格过小的结果。
与现有技术相比,本发明具有如下优点:
一、不再使用日常生活难以获取的深度图而是使用网络中可轻易获取的彩色图作为输入;
二、通过轻量化设计,大大减少其运算时间,相比于以往方法中较为复杂的网络,对于硬件编程人员可以更好地基于FPGA设计驱动该方法的芯片,用于部署在智能相机上实现人体骨骼关键的检测。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (6)

1.一种人体骨骼关键点的快速检测方法,包括如下步骤:
步骤S1,构建并训练一卷积神经网络,以通过所述卷积神经网络利用多尺寸图像特征信息来检测图像中人体的各个部位;
步骤S2,获取二维彩色图;
步骤S3,将所述二维彩色图输入至步骤S1中经训练好的卷积神经网络中,利用多尺寸图像特征信息来检测图像中人体的各个部位,并将检测到的部位聚合起来以形成单人的骨骼点集合,完成关键点的检测;
步骤S1进一步包括:
步骤S100,收集二维彩色图,对所述二维彩色图中人体骨骼关键点进行标注得到相应的二维坐标;
步骤S101,构建卷积神经网络,并随机初始化该卷积神经网络的参数;
步骤S102,以所述二维彩色图为卷积神经网络的输入,以所述二维彩色图的特征图和每个骨骼关键点所属人体的标签信息为卷积神经网络的目标输出,使用随机梯度下降算法对所述卷积神经网络进行端到端的模型训练,更新网络中的参数,使网络输出逐渐趋于目标输出;
所述卷积神经网络包括初级特征提取模块和人体特征提取模块,所述初级特征提取模块用以提取低级特征,人体特征提取模块用以组合低级特征来形成高级特征进而表达人体各部位特征,通过组合二维深度可分离3×3卷积层和二维1×1卷积层来替换现有网络中的二维3×3卷积层,以在原有能对图像进行特征提取的基础上,减少网络的参数;
所述卷积神经网络采用如下目标损失函数来衡量卷积神经网络的输出和所希望的输出之间的差距:
Figure FDA0004058734120000021
其中K为骨骼关键点的数量,z为输出特征图在二维空间上的坐标,Z为输出特征图在二维空间上的范围,N为图中人的数量,bk(z)是骨骼点k的输出特征图,
Figure FDA0004058734120000022
是骨骼点k的目标特征图,σ为高斯激活函数中的常数,hk(xnk)为第n个人的骨骼点k的输出人体标签特征图,
Figure FDA0004058734120000023
为经过网络的输出人体标签特征图中除第n个人以外的所有人n所属的标签值,
Figure FDA0004058734120000024
为经过网络的输出人体标签特征图中第n个人所属的标签值:
Figure FDA0004058734120000025
其中,n为图中第n个人,n为图中除第n个人以外所有人,hk为骨骼点k的输出人体标签特征图,xnk为图像中第n个人骨骼点k的坐标位置。
2.如权利要求1所述的一种人体骨骼关键点的快速检测方法,其特征在于:于步骤S100中,对包括右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、头顶、脖子在内的各部位进行标注,计算二维彩色图的特征图和每个骨骼关键点所属人体的标签信息。
3.如权利要求2所述的一种人体骨骼关键点的快速检测方法,其特征在于:对所述二维彩色图生成特征图的方法是以每个人体骨骼关键点的二维坐标为中心,逐个生成二维高斯分布的概率图;对所述二维彩色图生成人体标签信息的方法是以每个人体骨骼关键点的二维坐标为中心,根据骨骼关键点所属人体分别为其赋值,其余不属于骨骼关键点的位置赋零。
4.如权利要求1所述的一种人体骨骼关键点的快速检测方法,其特征在于:于步骤S3中,将二维彩色图输入到训练好的卷积神经网络后得到各个骨骼点的概率置信图和每个骨骼点的人体标签图,并通过非极大值抑制算法和聚类算法将这些离散的骨骼点聚合起来作为一个人体的骨骼点集合,得到所需人体骨骼关键点的二维坐标。
5.如权利要求4所述的一种人体骨骼关键点的快速检测方法,其特征在于,所述非极大值抑制算法如下:对于每个骨骼点的概率置信图上的每一个点,在以该点为中心点的范围内,对范围内的点进行遍历并找出最大值,同时将其他非最大值的点赋值为零,以每个骨骼点的概率置信图为输入,将一定范围内概率置信度为极大值的点找出来,最终形成输入图像中每个骨骼点的预测位置。
6.如权利要求4所述的一种人体骨骼关键点的快速检测方法,其特征在于,所述聚类算法如下:根据图像中每个骨骼点的预测位置以及每个骨骼点的人体标签图,获得每个骨骼点的预测位置以及这些位置上的人体标签信息,通过判断不同骨骼点间这些人体标签信息的绝对值是否小于一定阈值来决定这些骨骼点是否属于同一人,同时筛去那些骨骼点数量不足预设值以及预测结果形成的人体规格小于预设值的结果。
CN201910310417.0A 2019-04-17 2019-04-17 一种人体骨骼关键点的快速检测方法及系统 Active CN110084161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910310417.0A CN110084161B (zh) 2019-04-17 2019-04-17 一种人体骨骼关键点的快速检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910310417.0A CN110084161B (zh) 2019-04-17 2019-04-17 一种人体骨骼关键点的快速检测方法及系统

Publications (2)

Publication Number Publication Date
CN110084161A CN110084161A (zh) 2019-08-02
CN110084161B true CN110084161B (zh) 2023-04-18

Family

ID=67415418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910310417.0A Active CN110084161B (zh) 2019-04-17 2019-04-17 一种人体骨骼关键点的快速检测方法及系统

Country Status (1)

Country Link
CN (1) CN110084161B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503083A (zh) * 2019-08-30 2019-11-26 北京妙医佳健康科技集团有限公司 一种关键点检测方法、装置及电子设备
CN110619316A (zh) * 2019-09-26 2019-12-27 联想(北京)有限公司 人体关键点检测方法、装置和电子设备
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN110807380B (zh) * 2019-10-22 2023-04-07 北京达佳互联信息技术有限公司 一种人体关键点检测方法及装置
CN111160262A (zh) * 2019-12-30 2020-05-15 国网北京市电力公司 一种融合人体关键点检测的人像分割方法
CN111368673B (zh) * 2020-02-26 2023-04-07 华南理工大学 一种基于神经网络的人体关键点快速提取方法
CN111368751A (zh) * 2020-03-06 2020-07-03 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111369539B (zh) * 2020-03-06 2023-06-16 浙江大学 一种基于多特征图融合的建筑立面窗户检测系统
CN111476277A (zh) * 2020-03-20 2020-07-31 广东光速智能设备有限公司 一种基于图像识别的报警方法及系统
CN111523387B (zh) * 2020-03-24 2024-04-19 杭州易现先进科技有限公司 手部关键点检测的方法、设备和计算机设备
CN113536841A (zh) * 2020-04-15 2021-10-22 普天信息技术有限公司 人体结构化信息解析方法及系统
CN111652047B (zh) * 2020-04-17 2023-02-28 福建天泉教育科技有限公司 基于彩色图和深度图的人体姿势识别方法及存储介质
CN111882532B (zh) * 2020-07-15 2021-10-01 中国科学技术大学 下肢x光影像中关键点提取方法
CN112800958B (zh) * 2021-01-28 2022-07-22 南京邮电大学 一种基于热点图的轻量级人体关键点检测方法
CN112801979B (zh) * 2021-01-28 2023-09-05 广东工业大学 一种基于不确定性推理的脊柱侧弯检测方法及系统
CN113033520B (zh) * 2021-05-25 2021-08-13 华中农业大学 一种基于深度学习的树木线虫病害木识别方法及系统
CN113743257A (zh) * 2021-08-20 2021-12-03 江苏大学 一种融合时空特征的施工高空作业失稳状态检测方法
CN114093024A (zh) * 2021-09-24 2022-02-25 张哲为 人体动作的识别方法、装置、设备及存储介质
CN115601793B (zh) * 2022-12-14 2023-04-07 北京健康有益科技有限公司 一种人体骨骼点检测方法、装置、电子设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
CN106203242B (zh) * 2015-05-07 2019-12-24 阿里巴巴集团控股有限公司 一种相似图像识别方法及设备
CN108229490B (zh) * 2017-02-23 2021-01-05 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
US10452954B2 (en) * 2017-09-14 2019-10-22 Google Llc Object detection and representation in images
DE102017216821A1 (de) * 2017-09-22 2019-03-28 Siemens Aktiengesellschaft Verfahren zur Erkennung einer Objektinstanz und/oder Orientierung eines Objekts
CN107767419A (zh) * 2017-11-07 2018-03-06 广州深域信息科技有限公司 一种人体骨骼关键点检测方法及装置
CN108052896B (zh) * 2017-12-12 2020-06-02 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法
CN108256431B (zh) * 2017-12-20 2020-09-25 中车工业研究院有限公司 一种手部位置标识方法及装置
CN108549844B (zh) * 2018-03-22 2021-10-26 华侨大学 一种基于分形网络和关节亲属模式的多人姿态估计方法
CN108960064A (zh) * 2018-06-01 2018-12-07 重庆锐纳达自动化技术有限公司 一种基于卷积神经网络的人脸检测及识别方法
CN109033946A (zh) * 2018-06-08 2018-12-18 东南大学 融合方向图的人体姿态估计方法

Also Published As

Publication number Publication date
CN110084161A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110084161B (zh) 一种人体骨骼关键点的快速检测方法及系统
CN109448007B (zh) 图像处理方法、图像处理装置及存储介质
CN106127108B (zh) 一种基于卷积神经网络的人手图像区域检测方法
CN111062981B (zh) 图像处理方法、装置及存储介质
CN104751147A (zh) 一种图像识别方法
CN112381183B (zh) 目标检测方法、装置、电子设备及存储介质
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN107301643B (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN113807361A (zh) 神经网络、目标检测方法、神经网络训练方法及相关产品
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
Chen et al. Object-based multi-modal convolution neural networks for building extraction using panchromatic and multispectral imagery
CN112381045A (zh) 一种面向物联网移动端设备的轻量级人体姿态识别方法
CN112287802A (zh) 人脸图像检测方法、系统、存储介质及设备
CN111626241A (zh) 一种人脸检测方法及装置
CN114332927A (zh) 课堂举手行为检测方法、系统、计算机设备和存储介质
JP2012123631A (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
Gheitasi et al. Estimation of hand skeletal postures by using deep convolutional neural networks
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN111062274B (zh) 上下文感知嵌入的人群计数方法、系统、介质及电子设备
CN110728172B (zh) 基于点云的人脸关键点检测方法、装置、系统及存储介质
Osuna-Coutiño et al. Structure extraction in urbanized aerial images from a single view using a CNN-based approach
CN109359543B (zh) 一种基于骨骼化的人像检索方法及装置
Luo et al. Multi-scale face detection based on convolutional neural network
CN113255514B (zh) 基于局部场景感知图卷积网络的行为识别方法
CN117036658A (zh) 一种图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant