CN113837130A - 一种人体手部骨架检测方法及系统 - Google Patents

一种人体手部骨架检测方法及系统 Download PDF

Info

Publication number
CN113837130A
CN113837130A CN202111150158.3A CN202111150158A CN113837130A CN 113837130 A CN113837130 A CN 113837130A CN 202111150158 A CN202111150158 A CN 202111150158A CN 113837130 A CN113837130 A CN 113837130A
Authority
CN
China
Prior art keywords
data
picture
feature map
initial
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111150158.3A
Other languages
English (en)
Other versions
CN113837130B (zh
Inventor
林志贤
林依林
林珊玲
林坚普
张永爱
周雄图
叶芸
郭太良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111150158.3A priority Critical patent/CN113837130B/zh
Publication of CN113837130A publication Critical patent/CN113837130A/zh
Application granted granted Critical
Publication of CN113837130B publication Critical patent/CN113837130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人体手部骨架检测方法，首先处理待识别图片，获取目标人体手部骨架的初始姿态，然后获取处理所述待识别图片过程中不同解码层输出的特征图，之后处理所述特征图得到特征图数据，并从所述特征图数据中提取与所述初始姿态对应的位置数据作为输入数据，最后输入所述初始姿态以及所述输入数据至经过训练的图卷积神经网络，获取所述目标手部骨架的最终姿态，其中，所述图卷积神经网络的矩阵表示根据人体手部骨架结构的约束关系确定。该技术方案通过结合人体关节结构之间的基本约束信息以及挖掘出的特征图中包含的被遮挡关键点的相关数据，能够精确地调整被遮挡关键点的位置，因此对于人体手部骨架的检测具有较高的正确率。

Description

一种人体手部骨架检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种人体手部骨架检测方法及系统。
背景技术
人体的手部骨架估计长期都是计算视觉领域中的主要内容，通过骨架分析得到人体的关键点，可以简化动作估计的过程，尤其对于一些3d人体手部重建任务，手部骨架估计是先验任务之一。现有技术中，手部骨架检测主要分为自顶而下和自下而上的方法。自顶而下的方法首先检测场景中的所有手部，定位出手部的检测框，每个检测框包含手部骨架的2D关键点，然后对该2D关键点通过全连层估计出3D手部骨架姿势。而自下而上的做法是通过检测整张图片的关键点，再通过聚类对各个关键点分组从而得到每个人的关键点骨架。人体手部骨架估计在抓取的场景下更具挑战性，因为该场景下手部骨架存在着被遮挡的情况，使得关键点的检测不够准确。
发明内容
有鉴于此，本发明的目的在于提供一种人体手部骨架检测方法及系统，通过结合人体关节结构之间的基本约束信息以及挖掘出的特征图中包含的被遮挡关键点的相关数据，能够精确地调整被遮挡关键点的位置，因此对于人体手部骨架的检测具有较高的正确率。
为实现上述目的，本发明采用如下技术方案：
一种人体手部骨架检测方法，包括以下步骤：
步骤S1:获取待识别图片，并预处理；
步骤S2:根据预处理后的待识别图片，通过检测基础检测框架获取初始化手部主要位置；
步骤S3:通过三种热度图编码来获取初始手部姿态；
步骤S4:获取处理所述待识别图片过程中不同解码层输出的特征图,得到特征图数据，并在特征图数据中提取与初始手部姿态对应的位置数据；
步骤S5:根据初始手部姿态以及位置数据，基于图卷积神经网络，获取所述手部体骨架的最终姿态。
进一步的，所述步骤S3具体为：
步骤S31:利用检测网络处理待识别图片，并将手部图片切割出来；
步骤S32:利用骨架检测网络处理已切割手部图片，生成目标人体骨架的二维热度图,三维位置热度图和三维偏移热度图；
步骤S33:将所述热度图转化为坐标数据，作为目标手部骨架的初始姿态。
进一步的，所述获取处理所述待识别图片过程中不同解码层输出的特征图，具体为：利用骨架检测网络处理待识别图片，从中提取出至少三个解码层的特征图记为
Figure BDA0003286702040000021
以及
Figure BDA0003286702040000022
并且根据手部骨架初始状态的位置坐标P，来抽出对应关节点的节点特征
Figure BDA0003286702040000023
进一步的，所述得到特征图数据，并在特征图数据中提取与初始手部姿态对应的位置数据，具体为：
将特征图
Figure BDA0003286702040000024
转化为特征图数据
Figure BDA0003286702040000025
并从所述特征图数据
Figure BDA0003286702040000026
中根据初始坐标P提取位置数据
Figure BDA0003286702040000027
融合特征图
Figure BDA0003286702040000028
并从融合后的特征图数据
Figure BDA0003286702040000029
中根据初始坐标P提取位置数据
Figure BDA00032867020400000210
融合特征图
Figure BDA0003286702040000031
并从融合后的特征图数据
Figure BDA0003286702040000032
中根据初始坐标P提取位置数据
Figure BDA0003286702040000033
进一步的，所述融合特征图
Figure BDA0003286702040000034
的部分，包括：
(1)处理所述特征图
Figure BDA0003286702040000035
至相同的分辨率以及通道数；
(2)利用自注意力网络融合步骤(1)中处理得到的特征，并进行归一化处理；
(3)融合步骤(2)中处理得到的特征与步特征获取特征图数据
Figure BDA0003286702040000036
进一步的，所述图卷积神经网络训练，具体如下：分别将位置数据
Figure BDA0003286702040000037
输入图卷积神经网络的注意力模块，其中，第一个所述注意力模块获取所述初始姿态以及所述位置数据
Figure BDA0003286702040000038
作为输入特征；第二个所述注意力模块获取所述第一个注意力模块的输出特征以及所述位置数据
Figure BDA0003286702040000039
作为输入特征；第三个所述注意力模块获取所述第二个注意力模块的输出特征以及所述位置数据
Figure BDA00032867020400000310
作为输入特征。
一种人体手部骨架检测系统，包括
第一获取模块，用于处理待识别图片，获取目标人体手部骨架的初始姿态；
第二获取模块，用于获取处理所述待识别图片过程中不同解码层输出的特征图；
提取模块，用于处理所述特征图得到特征图数据，并从所述特征图数据中提取与所述初始姿态对应的位置数据作为输入数据；
第三获取模块，包括训练后的图卷积神经网络，用于将输入初始姿态以及输入数据至经过训练的图卷积神经网络，获取所述目标人体手部骨架的最终姿态。
本发明与现有技术相比具有以下有益效果：
本发明通过结合人体关节结构之间的基本约束信息以及挖掘出的特征图中包含的被遮挡关键点的相关数据，能够精确地调整被遮挡关键点的位置，因此对于人体手部骨架的检测具有较高的正确率。
附图说明
图1是本发明方法流程图；
图2是本发明系统网络架构；
图3是现有技术与本公开的实施例的人体手部骨架检测方法的对比效果示意图；
图4示出现有技术与本公开的实施例的人体手部骨架检测方法在自然场景下对比效果示意图；
图5是本发明一实施例中特征图融合的流程图；
图6本发明一实施例中特征图融合的流程图；
图7本发明一实施例中人体手部骨架检测装置的结构框图；
图8本发明一实施例中电子设备的结构框图；
图9本发明一实施例中系统的结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
上文提及，人体手部骨架估计长期都是计算视觉领域中的主要内容，通过骨架分析得到手部的关键点，可以简化动作估计的过程，尤其对于一些3d人体手部重建任务，骨架估计是先验任务之一。现有技术中，骨架检测主要分为自顶而下和自下而上的方法。自顶而下的方法首先检测场景中的所有手部，定位出手部的检测框，每个检测框包含手部骨架的关键点，然后对每个手部进行姿势估计。
本公开提出的人体手部骨架检测方法，通过结合人体手部关节结构之间的基本约束信息以及挖掘出的特征图中包含的被遮挡关键点的相关数据，能够精确地调整被遮挡关键点的位置，因此对于人体手部骨架的检测具有较高的正确率。
请参照图1，本发明提供一种人体手部骨架检测方法，包括以下步骤：
步骤S1:获取待识别图片，并预处理；
步骤S2:根据预处理后的待识别图片，通过检测基础检测框架获取初始化手部主要位置；
步骤S3:通过三种热度图编码来获取初始手部姿态；
步骤S4:获取处理所述待识别图片过程中不同解码层输出的特征图,得到特征图数据，并在特征图数据中提取与初始手部姿态对应的位置数据；
步骤S5:根据初始手部姿态以及位置数据，基于图卷积神经网络，获取所述手部体骨架的最终姿态。其中，所述图卷积神经网络的矩阵表示根据人体手部骨架结构的约束关系确定。
参考图2，在本实施例中，还提供一种人体手部骨架检测系统，包括初始姿势估计模块110、特征融合模块120和图卷积神经网络130。
初始姿势估计模块110用于处理待识别图片，获取目标手势骨架的初始姿态。首先从待识别图片中获取目标骨架关键点的热度图(heat map)三维位置图(location map)以及三维偏移图(delta map)，然后将三个热度图转化为三维坐标表示的目标人体手部骨架的初始姿态。
特征融合模块120用于获取处理所述待识别图片过程中不同解码层输出的特征图，并处理所述特征图得到特征图数据。比如，从所述初始姿势估计模块110处理待识别图片得到热度图的后三层解码层中依次提取出特征图1、2、3，然后通过特征融合生成特征图数据。其中，三个解码层提取出的特征图1、2、3的分辨率递增以及通道数递减。不同分辨率以及通道数的特征图1、2、3表示人体骨架被遮挡关键点的不同精确程度的细节特征。
特征融合模块120由多个转换子模块121构成。转换子模块121用于将待融合的两个特征图数据转换为相同通道数的特征和用于融合经过转换的特征图数据，生成特征图数据
Figure BDA0003286702040000071
特征融合模块120和所述图卷积神经网络130联合用于调整手部骨架初始姿态，精确地调整待识别图片中被遮挡关键点的位置。其中，所述特征融合模块120在处理特征图的过程中，特征图1、2、3按照分辨率从低至高的顺序被融合，从而能够利用特征图上下文信息，挖掘出不同特征图之间手部骨架被遮挡关键点的细节特征，相应的得到三个特征图数据
Figure BDA0003286702040000072
三个特征图数据
Figure BDA0003286702040000073
分别提取与所述初始姿态对应的位置数据
Figure BDA0003286702040000074
作为输入数据，分别输入到所述图卷积神经网络130中图卷积模块131训练权重，并相应输出目标手部骨架的姿势1、姿势2和最终姿势。联合姿势1、姿势2以及最终姿势的误差确定目标函数训练所述图卷积神经网络130。
图卷积神经网络130根据所述初始姿态以及输入数据
Figure BDA0003286702040000075
输出目标人体手部骨架的最终姿态，其中，所述输入数据为从所述特征图数据中提取的与所述初始姿态对应的位置数据。其中，所述图卷积神经网络130中的拉普拉斯矩阵提供人体手部结构关节之间的基本约束信息。
现有的手部骨架检测方法很大程度上依赖于热图表示法进行关节位置估计，对于被遮挡关键点的位置估计往往不够准确。如图3所示，图3上层以及图3下层中手部关节存在遮挡，与上图相比较，下侧图为采用本公开的方法正确识别出的骨架位置。图4是该算法用于自然抓取场景下的检测结果。如结果所示，即使在抓取过程中存在着较大面积的遮挡，由于引入了手部骨架图的约束，使得算法能够在一定程度上估计出准确的手部骨架。
优选的，在本实施例中，步骤S3具体为：
步骤S31:利用检测网络处理待识别图片，并将手部图片切割出来；
步骤S32:利用骨架检测网络处理已切割手部图片，生成目标人体骨架的二维热度图,三维位置热度图和三维偏移热度图；
步骤S33:将所述热度图转化为坐标数据，作为目标手部骨架的初始姿态。
选的，在本实施例中，获取处理所述待识别图片过程中不同解码层输出的特征图，具体为：利用骨架检测网络处理待识别图片，从中提取出至少三个解码层的特征图记为
Figure BDA0003286702040000081
以及
Figure BDA0003286702040000082
并且根据手部骨架初始状态的位置坐标P，来抽出对应关节点的节点特征
Figure BDA0003286702040000083
选的，在本实施例中，得到特征图数据，并在特征图数据中提取与初始手部姿态对应的位置数据，具体为：
将特征图
Figure BDA0003286702040000084
转化为特征图数据
Figure BDA0003286702040000085
并从所述特征图数据
Figure BDA0003286702040000086
中根据初始坐标P提取位置数据
Figure BDA0003286702040000087
融合特征图
Figure BDA0003286702040000088
并从融合后的特征图数据
Figure BDA0003286702040000089
中根据初始坐标P提取位置数据
Figure BDA00032867020400000810
融合特征图
Figure BDA00032867020400000811
并从融合后的特征图数据
Figure BDA00032867020400000812
中根据初始坐标P提取位置数据
Figure BDA00032867020400000813
选的，在本实施例中，融合特征图
Figure BDA00032867020400000814
的部分，包括：
(1)处理所述特征图
Figure BDA0003286702040000091
至相同的分辨率以及通道数；
(2)利用自注意力网络融合步骤(1)中处理得到的特征，并进行归一化处理；
(3)融合步骤(2)中处理得到的特征与步特征获取特征图数据
Figure BDA0003286702040000092
选的，在本实施例中，图卷积神经网络训练，具体如下：分别将位置数据
Figure BDA0003286702040000093
输入图卷积神经网络的注意力模块，其中，第一个所述注意力模块获取所述初始姿态以及所述位置数据
Figure BDA0003286702040000094
作为输入特征；第二个所述注意力模块获取所述第一个注意力模块的输出特征以及所述位置数据
Figure BDA0003286702040000095
作为输入特征；第三个所述注意力模块获取所述第二个注意力模块的输出特征以及所述位置数据
Figure BDA0003286702040000096
作为输入特征。
优选的，本实施例中，图卷积神经网络使用的是Deep-GCN的网络结构，其中图卷积神经网络的拉普拉斯矩阵根据人体手部骨架结构自动给出。
根据本公开的实施例，通过结合位置数据
Figure BDA0003286702040000097
能够挖掘存储在特征图
Figure BDA0003286702040000098
但可能在初始姿态中丢失的信息，进而来调整目标人体手部骨架的初始姿态，可以改善姿态估计结果。
图7示出根据本公开的实施例的人体手部骨架检测装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图7所示，所述人体手部骨架检测装置700包括第一获取模块710、第二获取模块720、提取模块730和第三获取模块740。
第一获取模块710被配置为处理待识别图片，获取目标人体手部骨架的初始姿态；
第二获取模块720被配置为获取处理所述待识别图片过程中不同解码层输出的特征图来获取手部骨架重投影后的节点特征图数据；
提取模块730被配置为处理所述特征图得到特征图数据，并从所述特征图数据中提取与所述初始姿态对应的位置数据作为输入数据；
第三获取模块740被配置为输入所述初始姿态以及所述输入数据至经过训练的图卷积神经网络，获取所述目标人体手部骨架的最终姿态；其中，所述图卷积神经网络的矩阵表示根据人体骨架结构的约束关系确定。
本公开提供的人体骨架检测装置可以适应于自然场景下的人体手部骨架的检测，通过结合人体手部关节结构之间的基本约束信息以及挖掘出的不同分辨率、通道数的特征图中包含的被遮挡关键点的相关数据，能够精确地调整被遮挡关键点的位置，因此对于人体手部骨架的检测具有较高的正确率。
本公开还公开了一种电子设备，图8示出根据本公开的实施例的电子设备的结构框图。
如图8所示，所述电子设备800包括存储器801和处理器802，其中，存储器801用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器802执行以实现以下方法步骤：
处理待识别图片，获取目标人体骨架的初始姿态；
获取处理所述待识别图片过程中不同解码层输出的特征图；
处理所述特征图得到特征图数据，并从所述特征图数据中提取与所述初始姿态对应的位置数据作为输入数据；
输入所述初始姿态以及所述输入数据至经过训练的图卷积神经网络，获取所述目标人体手部骨架的最终姿态；其中，所述图卷积神经网络的矩阵表示根据人体手部骨架结构的约束关系确定。
图9示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
如图9所示，计算机系统900包括处理单元901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行上述实施例中的各种方法。在RAM 903中，还存储有系统900操作所需的各种程序和数据。处理单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信过程。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。其中，所述处理单元901可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种人体手部骨架检测方法，其特征在于，包括以下步骤：
步骤S1:获取待识别图片，并预处理；
步骤S2:根据预处理后的待识别图片，通过检测基础检测框架获取初始化手部主要位置；
步骤S3:通过三种热度图编码来获取初始手部姿态；
步骤S4:获取处理所述待识别图片过程中不同解码层输出的特征图,得到特征图数据，并在特征图数据中提取与初始手部姿态对应的位置数据；
步骤S5:根据初始手部姿态以及位置数据，基于图卷积神经网络，获取所述手部体骨架的最终姿态。
2.根据权利要求1所述的一种人体手部骨架检测方法，其特征在于，所述步骤S3具体为：
步骤S31:利用检测网络处理待识别图片，并将手部图片切割出来；
步骤S32:利用骨架检测网络处理已切割手部图片，生成目标人体骨架的二维热度图,三维位置热度图和三维偏移热度图；
步骤S33:将所述热度图转化为坐标数据，作为目标手部骨架的初始姿态。
3.根据权利要求1所述的一种人体手部骨架检测方法，其特征在于，所述获取处理所述待识别图片过程中不同解码层输出的特征图，具体为：利用骨架检测网络处理待识别图片，从中提取出至少三个解码层的特征图记为
Figure FDA0003286702030000021
以及
Figure FDA0003286702030000022
并且根据手部骨架初始状态的位置坐标P，来抽出对应关节点的节点特征
Figure FDA0003286702030000023
4.根据权利要求1所述的一种人体手部骨架检测方法，其特征在于，所述得到特征图数据，并在特征图数据中提取与初始手部姿态对应的位置数据，具体为：
将特征图
Figure FDA0003286702030000024
转化为特征图数据
Figure FDA0003286702030000025
并从所述特征图数据
Figure FDA0003286702030000026
中根据初始坐标P提取位置数据
Figure FDA0003286702030000027
融合特征图
Figure FDA0003286702030000028
并从融合后的特征图数据
Figure FDA0003286702030000029
中根据初始坐标P提取位置数据
Figure FDA00032867020300000210
融合特征图
Figure FDA00032867020300000211
并从融合后的特征图数据
Figure FDA00032867020300000212
中根据初始坐标P提取位置数据
Figure FDA00032867020300000213
5.根据权利要求4所述的一种人体手部骨架检测方法，其特征在于，所述融合特征图
Figure FDA00032867020300000214
的部分，包括：
(1)处理所述特征图
Figure FDA00032867020300000215
至相同的分辨率以及通道数；
(2)利用自注意力网络融合步骤(1)中处理得到的特征，并进行归一化处理；
(3)融合步骤(2)中处理得到的特征与步特征获取特征图数据
Figure FDA00032867020300000216
6.根据权利要求4所述的一种人体手部骨架检测方法，其特征在于，所述图卷积神经网络训练，具体如下：分别将位置数据
Figure FDA00032867020300000217
输入图卷积神经网络的注意力模块，其中，第一个所述注意力模块获取所述初始姿态以及所述位置数据
Figure FDA00032867020300000218
作为输入特征；第二个所述注意力模块获取所述第一个注意力模块的输出特征以及所述位置数据
Figure FDA00032867020300000219
作为输入特征；第三个所述注意力模块获取所述第二个注意力模块的输出特征以及所述位置数据
Figure FDA0003286702030000031
作为输入特征。
7.根据权利要求1-6任一所述的一种人体手部骨架检测系统，其特征在于，包括
第一获取模块，用于处理待识别图片，获取目标人体手部骨架的初始姿态；
第二获取模块，用于获取处理所述待识别图片过程中不同解码层输出的特征图；
提取模块，用于处理所述特征图得到特征图数据，并从所述特征图数据中提取与所述初始姿态对应的位置数据作为输入数据；
第三获取模块，包括训练后的图卷积神经网络，用于将输入初始姿态以及输入数据至经过训练的图卷积神经网络，获取所述目标人体手部骨架的最终姿态。
CN202111150158.3A 2021-09-29 2021-09-29 一种人体手部骨架检测方法及系统 Active CN113837130B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111150158.3A CN113837130B (zh) 2021-09-29 2021-09-29 一种人体手部骨架检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111150158.3A CN113837130B (zh) 2021-09-29 2021-09-29 一种人体手部骨架检测方法及系统

Publications (2)

Publication Number Publication Date
CN113837130A true CN113837130A (zh) 2021-12-24
CN113837130B CN113837130B (zh) 2023-08-08

Family

ID=78967624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111150158.3A Active CN113837130B (zh) 2021-09-29 2021-09-29 一种人体手部骨架检测方法及系统

Country Status (1)

Country Link
CN (1) CN113837130B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375997A (zh) * 2022-08-23 2022-11-22 黑龙江工程学院 一种海面的目标检测方法、目标检测装置及终端设备
WO2024078037A1 (zh) * 2022-10-12 2024-04-18 华人运通(上海)云计算科技有限公司 人体姿态检测方法和基于视觉感知的安全人机交互方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135375A (zh) * 2019-05-20 2019-08-16 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN111027407A (zh) * 2019-11-19 2020-04-17 东南大学 针对遮挡情况的彩色图像手部姿态估计方法
CN112651316A (zh) * 2020-12-18 2021-04-13 上海交通大学 二维和三维多人姿态估计系统及方法
CN112836597A (zh) * 2021-01-15 2021-05-25 西北大学 基于级联并行卷积神经网络的多手姿态关键点估计方法
WO2021097750A1 (zh) * 2019-11-21 2021-05-27 深圳市欢太科技有限公司 人体姿态的识别方法、装置、存储介质及电子设备
CN113095254A (zh) * 2021-04-20 2021-07-09 清华大学深圳国际研究生院 一种人体部位关键点的定位方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135375A (zh) * 2019-05-20 2019-08-16 中国科学院宁波材料技术与工程研究所 基于全局信息整合的多人姿态估计方法
CN111027407A (zh) * 2019-11-19 2020-04-17 东南大学 针对遮挡情况的彩色图像手部姿态估计方法
WO2021097750A1 (zh) * 2019-11-21 2021-05-27 深圳市欢太科技有限公司 人体姿态的识别方法、装置、存储介质及电子设备
CN112651316A (zh) * 2020-12-18 2021-04-13 上海交通大学 二维和三维多人姿态估计系统及方法
CN112836597A (zh) * 2021-01-15 2021-05-25 西北大学 基于级联并行卷积神经网络的多手姿态关键点估计方法
CN113095254A (zh) * 2021-04-20 2021-07-09 清华大学深圳国际研究生院 一种人体部位关键点的定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李明阳: "基于轻量级卷积神经网络的人体姿态估计研究", 《重庆邮电大学》, pages 8 - 28 *
杨坚伟: "基于深度神经网络的移动端人像分割", 《计算机应用》, pages 3644 - 3650 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375997A (zh) * 2022-08-23 2022-11-22 黑龙江工程学院 一种海面的目标检测方法、目标检测装置及终端设备
CN115375997B (zh) * 2022-08-23 2023-10-31 黑龙江工程学院 一种海面的目标检测方法、目标检测装置及终端设备
WO2024078037A1 (zh) * 2022-10-12 2024-04-18 华人运通(上海)云计算科技有限公司 人体姿态检测方法和基于视觉感知的安全人机交互方法

Also Published As

Publication number Publication date
CN113837130B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN110221690B (zh) 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN107358149B (zh) 一种人体姿态检测方法和装置
CN108629946B (zh) 一种基于rgbd传感器的人体跌倒检测方法
EP2584529B1 (en) Method of image processing and device therefore
CN108090435B (zh) 一种可停车区域识别方法、系统及介质
CN108776775B (zh) 一种基于权重融合深度及骨骼特征的老年人室内跌倒检测方法
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN113837130A (zh) 一种人体手部骨架检测方法及系统
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
Porzi et al. Learning contours for automatic annotations of mountains pictures on a smartphone
EP3185212B1 (en) Dynamic particle filter parameterization
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
WO2022006784A1 (zh) 人体骨架检测方法、装置、系统、设备及存储介质
CN102783174B (zh) 图像处理设备、内容传递系统、图像处理方法和程序
CN112200917A (zh) 一种高精度增强现实方法及系统
KR20190055632A (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
CN111783497A (zh) 视频中目标的特征确定方法、装置和计算机可读存储介质
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
CN114066790A (zh) 图像生成模型的训练方法、图像生成方法、装置和设备
Tiwari et al. Deep learning approach for generating 2D pose estimation from video for motion capture animation
Afanasyev et al. 3D Human Body Pose Estimation by Superquadrics.
US20240119087A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant