CN113012229A - 人体关节点的定位方法及装置 - Google Patents

人体关节点的定位方法及装置 Download PDF

Info

Publication number
CN113012229A
CN113012229A CN202110325557.2A CN202110325557A CN113012229A CN 113012229 A CN113012229 A CN 113012229A CN 202110325557 A CN202110325557 A CN 202110325557A CN 113012229 A CN113012229 A CN 113012229A
Authority
CN
China
Prior art keywords
joint point
image
pixel
color picture
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110325557.2A
Other languages
English (en)
Inventor
古迎冬
李骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN202110325557.2A priority Critical patent/CN113012229A/zh
Publication of CN113012229A publication Critical patent/CN113012229A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人体关节点的定位方法及装置，该方法包括：获取人像彩色图片；使用关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到特征热图；使用关节点定位模型中的抠图模块对特征热图进行处理，得到背景热图和人像热图；使用关节点定位模型中的关节点定位模块对特征热图、人像热图以及背景热图进行处理，得到多张关节点定位热图；基于背景热图和人像热图生成人体掩码图，并基于多张关节点定位热图确定人像彩色图片中的关节点。本发明中的关节点定位模型结合背景热图和人像热图对关节点的定位，提高了对关节点定位的准确率。

Description

人体关节点的定位方法及装置
技术领域
本发明涉及关节点定位技术领域，特别涉及一种人体关节点的定位方法及装置。
背景技术
近年来，人体姿态估计技术在各个领域开始投入使用，例如游戏领域、机器人领域、虚拟现实应用领域以及体育教育领域等等，其中，人体姿态估计技术中关于人体骨架关节的定位和识别是重点的研究内容之一。
随着深度学习技术的发展，将深度学习技术应用到定位人体骨架关节点渐渐成为热门的研究方向，目前使用的深度学习算法所构建的网络模型在定位人体骨架关节点时，通常仅根据关节点的关键信息进行确定，而这种确定方式极有可能出现确定的出的关节点位置并不在人像中或是遗漏人像图片中的关节点的情况，造成关节点误检和漏检，降低了对人体关节点定位的准确度。
发明内容
有鉴于此，本发明提供一种人体关节点的定位方法及装置，结合关节点定位模型中抠图模块输出的背景热图和人像热图对关节点进行定位，从而提高对关节点定位的准确度。
为实现上述目的，本发明实施例提供如下技术方案：
一种人体关节点的定位方法，包括：
获取人像彩色图片；
使用预先训练完成的关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到与所述人像彩色图片对应的特征热图；
使用所述关节点定位模型中的抠图模块对所述特征热图进行处理，得到与所述人像彩色图片对应的背景热图和人像热图；
调用所述关节点定位模型中的关节点定位模块对所述背景热图、所述人像热图以及所述特征热图进行处理，得到所述关节点定位模块输出的多张关节点定位热图；
基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，并基于多张所述关节点定位热图确定所述人像彩色图片中的关节点。
上述的方法，可选的，所述获取人像彩色图片，包括：
获取初始彩色图片；
对所述初始彩色图片进行归一化处理，获得与所述初始彩色图片对应的人像彩色图片。
上述的方法，可选的，所述基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，包括：
确定所述背景热图上的各个第一热图像素以及确定所述人像热图上的各个第二热图像素；
对于每个所述第一热图像素，确定与该第一热图像素对应的第二热图像素，将与该第一热图像素对应的第二热图像素确定为该第一热图像素的匹配像素，并基于该第一热图像素的像素值和该第一热图像素的匹配像素的像素值确定该第一热图像素的掩码值；
基于各个所述第一热图像素的掩码值，得到与所述人像彩色图片对应的人体掩码图。
上述的方法，可选的，所述基于多张所述关节点定位热图确定所述人像彩色图片中的关节点，包括：
确定每张所述关节点定位热图的各个像素的像素值，并将存在不同的像素值的关节点定位热图确定为有效热图；
将每张所述有效热图中像素值最大的像素均确定为目标像素，并确定每个所述目标像素在所述人像彩色图片中的图像坐标，并将每个所述图像坐标确定为所述人像彩色图片中的关节点。
上述的方法，可选的，所述关节点定位模型的训练过程，包括：
获取预设的训练数据库中的每张训练样本图片；
使用预设的标记工具对每张所述训练样本图片进行处理，得到每张训练样本图片的关节点标记图片和人像标记图片，并将每张所述训练样本图片的关节点标记图片和人像标记图片均作为训练数据；
将所述训练数据输入初始定位模型中，使得所述初始定位模型中的模型损失函数对所述训练数据进行处理，直到所述模型损失函数停止收敛时，完成对所述初始定位模型的训练，并将完成训练的初始定位模型确定为关节点定位模型。
一种人体关节点的定位装置，包括：
第一获取单元，用于获取人像彩色图片；
第二获取单元，用于使用预先训练完成的关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到与所述人像彩色图片对应的特征热图；
第三获取单元，用于使用所述关节点定位模型中的抠图模块对所述特征热图进行处理，得到与所述人像彩色图片对应的背景热图和人像热图；
处理单元，用于调用所述关节点定位模型中的关节点定位模块对所述背景热图、人像热图以及特征热图进行处理，得到所述关节点定位模块输出的多张关节点定位热图；
确定单元，用于基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，并基于多张所述关节点定位热图确定所述人像彩色图片中的关节点。
上述的装置，可选的，所述第一获取单元，包括：
获取子单元，用于获取初始彩色图片；
处理子单元，用于对所述初始彩色图片进行归一化处理，获得与所述初始彩色图片对应的人像彩色图片。
上述的装置，可选的，所述确定单元，包括：
第二确定子单元，用于确定所述背景热图上的各个第一热图像素以及确定所述人像热图上的各个第二热图像素；
第三确定子单元，用于对于每个所述第一热图像素，确定与该第一热图像素对应的第二热图像素，将与该第一热图像素对应的第二热图像素确定为该第一热图像素的匹配像素，并基于该第一热图像素的像素值和该第一热图像素的匹配像素的像素值确定该第一热图像素的掩码值；
获得子单元，用于基于各个所述第一热图像素的掩码值，得到与所述人像彩色图片对应的人体掩码图。
上述的装置，可选的，所述确定单元，包括：
第四确定子单元，用于确定每张所述关节点定位热图的各个像素的像素值，并将存在不同的像素值的关节点定位热图确定为有效热图；
第五确定子单元，用于将每张所述有效热图中像素值最大的像素均确定为目标像素，并确定每个所述目标像素在所述人像彩色图片中的图像坐标，并将每个所述图像坐标确定为所述人像彩色图片中的关节点。
上述的装置，可选的，还包括：
第四获取单元，获取预设的训练数据库中的每张训练样本图片；
第五获取单元，用于使用预设的标记工具对每张所述训练样本图片进行处理，得到每张训练样本图片的关节点标记图片和人像标记图片，并将每张所述训练样本图片的关节点标记图片和人像标记图片均作为训练数据；
输入单元，用于将所述训练数据输入初始定位模型中，使得所述初始定位模型中的模型损失函数对所述训练数据进行处理，直到所述模型损失函数停止收敛时，完成对所述初始定位模型的训练，并将完成训练的初始定位模型确定为关节点定位模型。
一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的人体关节点的定位方法。
一种电子设备，具体包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上指令进行上述的人体关节点的定位方法。
与现有技术相比，本发明具有以下优点：
本发明提供一种人体关节点的定位方法及装置，该方法包括：获取人像彩色图片；使用关节点定位模型中的特征提取模块对人像彩色图片进行处理，得到特征热图；使用关节点定位模型中的抠图模块对特征热图进行处理，得到背景热图和人像热图；使用关节点定位模型中的关节点定位模块对特征热图、人像热图以及背景热图进行处理，得到多张关节点定位热图；基于背景热图和人像热图生成人体掩码图，并基于多张关节点定位热图确定人像彩色图片中的关节点。本发明中的关节点定位模型结合背景热图和人像热图可约束对关节点的定位，从而提高了对关节点定位的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种人体关节点的定位方法的方法流程图；
图2为本发明实施例提供的一种人体关节点的定位方法的另一方法流程图；
图3为本发明实施例提供的一种人体关节点的定位方法的又一方法流程图；
图4为本发明实施例提供的一种人体关节点的定位方法的场景实例图；
图5为本发明实施例提供的一种人体关节点的定位装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务型计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种人体关节点的定位方法，该方法可以应用在多种系统平台，其执行主体可以为计算机终端或各种移动设备的处理器，所述方法的方法流程图如图1所示，具体包括：
S101、获取人像彩色图片。
本发明实施例提供的方法中，获取人像彩色图片的途径有多种，例如将工作人员上传的人像图片作为人像彩色图片；又例如可通过接收关节点定位信号获得，计算机终端在接收到关节点定位信号后，获取与关节点定位信号对应的人像彩色图片，其中，人像彩色图片可保存在图片数据库中，人像彩色图片还可为对视频进行截图获得的图片以及使用拍照设备拍摄得到的图片，人像彩色图片还可直接包含在所述关节点定位信号中，计算机终端对关节点定位信号进行解析即可获得人像彩色图片。
进一步的，获取人像彩色图片的过程还可为：获取初始彩色图片；对所述初始彩色图片进行归一化处理，获得与所述初始彩色图片对应的人像彩色图片。本发明实施例提供的方法中，对初始彩色图片进行归一化处理，以得到满足关节点定位模型需求的归一化图片，其中，归一化图片即为人像彩色图片，在将归一化图片输入关节点定位模型后，关节点定位模型可直接对归一化图片进行处理，可以减少关节点定位模型的工作量。
进一步的，对初始彩色图片进行归一化处理，获得人像彩色图片的具体过程为：确定所述初始彩色图片上的每个像素的像素值，并将每个所述像素的像素值除以预设的阈值，以得到与所述初始彩色图对应的归一化图片。其中，初始彩色图片上的每个像素有三个颜色通道，分别为红、绿、蓝；每个像素的像素值由这三个颜色通道的值构成，像素的像素值可表示为(XR，XG，XB)，其中，XR、XG以及XB的取值范围为0～255。在对初始彩色图片进行归一化处理时，即将初始彩色图片中的每个像素的像素值除以预设的阈值，此处的阈值可设置为255；在将每个像素的像素值都除以255后，可将初始彩色图片中的每个像素都归一化到0到1的区间，基于各个归一化后的像素得到归一化图片；其中，归一化图片的分辨率与初始彩色图片的分辨率相同。
S102、使用预先训练完成的关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到与所述人像彩色图片对应的特征热图。
本发明实施例提供的方法中，将归一化图片输入关节点定位模型，使得关节点定位模型中的特征提取模块对归一化图片进行特征提取操作，以得到与人像彩色图片对应的特征热图，特征热图为多通道的热图，简单的可以理解为有多张图片，每个通道对应一张图片。进一步的，本发明中的特征提取模块可使用VGG网络、残差网络、CPM网络或是其他可实现特征提取的算法构建而成。
S103、使用所述关节点定位模型中的抠图模块对所述特征热图进行处理，得到与所述人像彩色图片对应的背景热图和人像热图。
本发明实施例提供的方法中，所述抠图模块可使用特征金字塔网络(FeaturePyramid Network，FPN)、或是与FPN结构类似的网络构成抠图模块。抠图模块对所述特征热图进行处理，并输出对特征热图处理后得到的与人像彩色图片对应的背景热图和人像热图，其中，与人像彩色图片对应的背景热图和人像热图可作为该人像彩色图片的人像语义信息或是人像的语义属性，其中，人像语义信息用于作为关节点定位模型提供定位关节点时的约束信息。
本发明中的抠图模块通过卷积+上采样+激活函数的方式对特征热图进行处理，可获得更高精度的抠图边缘信息，通过应用FPN网络中的特征融合方法，融合不同特征层的特征热图，由此提高了抠图的准确性。
S104、调用所述关节点定位模型中的关节点定位模块对所述背景热图、所述人像热图以及所述特征热图进行处理，得到所述关节点定位模块输出的多张关节点定位热图。
本发明实施例提供的方法中，关节点定位模型中的关节点定位模块将背景热图、人像热图以及特征热图进行处理，使得关节点定位模块输出与人像彩色图片对应的多张关节点定位热图，其中，关节点定位热图的数量与关节点定位模型所需要定位的关节点的数目相同，即关节点定位模型为需要定位14个关节点的模型时，关节点定位模块则输出14张关节点定位热图。
本发明实施例提供的方法中，背景热图和人像热图作为人像语义信息为关节点定位模块在定位关节点时提供了约束条件，关节点定位模块通过结合背景热图和人像热图，可以避免在定位关节点时出现定位在人体外的情况或是避免出现关节点未定位到的情况，由此通过结合人像彩色图片的人像语义信息，可以有效提高对关节点定位的准确率。本发明提供的方法中，关节点定位模型中的关节点定位模块和抠图模块共用一个特征提取模块输出的特征热图，由此减少了关节点定位模型的计算量，由此可以提高定位关节点的效率。
本发明中的关节点定位模块采用CPM的多stage结构为基础，通过将抠图模块接入到关节点定位模块，从而利用了抠图模块输出的背景热图和人像热图，使得关节点定位模块中利用了人像的语义属性增强骨架点的约束条件。
S105、基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，并基于多张所述关节点定位热图确定所述人像彩色图片中的关节点。
本发明实施例提供的方法中，在抠图模块输出背景热图和人像热图，以及关节点定位模块输出多张关节点定位热图时，可根据背景热图和人像热图生成与人像彩色图片对应的人体掩码图，以及基于多张关节点定位热图确定人像彩色图片中的关节点；其中，根据背景热图和人像热图生成与人像彩色图片对应的人体掩码图的过程如图2所示，具体说明如下所述：
S201、确定所述背景热图上的各个第一热图像素以及确定所述人像热图上的各个第二热图像素。
本发明实施例提供的方法中，背景热图上的第一热图像素与人像热图上的第二热图像素一一对应；即，每个第一热图像素均存在与其对应的第二热图像素。
S202、对于每个所述第一热图像素，确定与该第一热图像素对应的第二热图像素，将与该第一热图像素对应的第二热图像素确定为该第一热图像素的匹配像素，并基于该第一热图像素的像素值和该第一热图像素的匹配像素的像素值确定该第一热图像素的掩码值。
本发明实施例提供的方法中，对于每个第一热图像素，确定该第一热图像素在背景热图的坐标位置，并将人像热图上与该坐标位置相同的第二热图像素确定为与该第一热图像素对应的第二热图像素；判断该第一热图像素的像素值是否小于与该第一热图像素对应的第二热图像素的像素值；若该第一热图像素的像素值小于与该第一热图像素对应的第二热图像素的像素值，则确定该第一热图像素的掩码值为1；若该第一热图像素的像素值不小于与该第一热图像素对应的第二热图像素的像素值，则确定该第一热图像素的掩码值为0。
S203、基于各个所述第一热图像素的掩码值，得到与所述人像彩色图片对应的人体掩码图。
本发明实施例提供的方法中，基于各个第一热图像素的掩码值，组成与所述人像彩色图片对应的人体掩码图；其中，人体掩码图的分辨率与人像彩色图片的分辨率相同，像素的数目与人像彩色图片、背景热图以及人像热图的像素的数目均相同。其中，人体掩码图中属于人像部分的掩码值为1，不属于人像部分(即为背景部分)的掩码值为0。
本发明实施提供的方法中，基于人像热图和背景热图和完成对人像彩色图片中关于人体部分的抠图，本发明除了确定人像彩色图片中的关节点，还可对人像彩色图片进行抠图，由此可实现一个模型处理多个任务的情况，并且输出的抠图与对关节点进行定位可同时执行，本发明提供的模型具有更加强大的复用性和通用性。
参照图3，为本发明实施例提供的基于多张所述关节点定位热图确定所述人像彩色图片中的关节点的流程图，具体说明如下所述：
S301、确定每张所述关节点定位热图的各个像素的像素值，并将存在不同的像素值的关节点定位热图确定为有效热图。
本发明实施例提供的方法中，对于每张关节点定位热图，确定该关节点定位热图的各个像素的像素值，并判断该关节点定位热图的各个像素中是否存在像素值不同的像素；若该关节点定位热图的各个像素中不存在像素值不同的像素，则将该关节点定位热图确定为无效热图，即，无效热图中的各个像素的像素值是相同的，通常都是0；若该关节点定位热图的各个像素中存在像素值不同的像素，则将该关节点定位热图确定为有效热图。
S302、将每张所述有效热图中像素值最大的像素均确定为目标像素，并确定每个所述目标像素在所述人像彩色图片中的图像坐标，并将每个所述图像坐标确定为所述人像彩色图片中的关节点。
本发明实施例提供方法中，对于每张有效热图，遍历该有效热图中的各个像素，并将像素值最大的像素确定为目标像素；确定每个目标像素在人像彩色图片中的图像坐标，并将每个图像坐标确定为人像彩色图片中人体的关节点。
本发明实施例提供的方法中，基于关节点定位模块输出的各张关节点定位热图，可得知与人体彩色图像中人体的各个关节点。
参照图4，为本发明实施例提供的在实际应用时的一场景实例图，假设本发明中的关节点定位模型需要定位14个关节点，如图4所示，图中所示的N＝1至N＝14的图片为关节点定位模块输出的关节点定位热图；图中所示的M＝1和M＝2的图片为抠图模块输出的热图，其中，M＝1的图片为背景热图，M＝2的图片为人像热图；而N＝1至N＝14的关节点定位热图中的每个亮点均为人像的关节点的位置，而图4中A2所示的图片中的各个亮点均表示定位到的人体的关节点，其中，A1表示需要进行定位的人像彩色图片。
本发明实施例提供的方法中，当接收到关节点定位信号时，获取与关节点定位信号对应的人像彩色图片；对人像彩色图片进行归一化处理，获得归一化图片；使用关节点定位模型中的特征提取模块对归一化图片进行处理，得到特征热图；使用关节点定位模型中的抠图模块对特征热图进行处理，得到背景热图和人像热图；使用关节点定位模型中的关节点定位模块对特征热图、人像热图以及背景热图进行处理，得到多张关节点定位热图；基于背景热图和人像热图生成人体掩码图，并基于多张关节点定位热图确定人像彩色图片中的关节点。本发明中的背景热图和人像热图可约束关节点定位模块对关节点的定位，从而提高了对关节点定位的准确率。
本发明实施例提供的方法中，本发明提供的关节点定位模型的训练过程如下所述：
获取预设的训练数据库中的每张训练样本图片；
使用预设的标记工具对每张所述训练样本图片进行处理，得到每张训练样本图片的关节点标记图片和人像标记图片，并将每张所述训练样本图片的关节点标记图片和人像标记图片均作为训练数据；
将所述训练数据输入初始定位模型中，使得所述初始定位模型中的模型损失函数对所述训练数据进行处理，直到所述模型损失函数停止收敛时，完成对所述初始定位模型的训练，并将完成训练的初始定位模型确定为关节点定位模型。
本发明实施例提供的方法中，使用标记工具对训练样本图片进行处理时，得到的关节点标记图片和人像标记图片除了经过标记，还经过了降维和编码处理。本发明实施例提供的方法中，初始定位模型中的模型损失函数由关节点定位损失函数和抠图损失函数组成，其中，关节点定位损失函数可用于构建关节点定位模块，抠图损失函数可用于构建抠图模块，具体的，关节点定位损失函数ft如下所示：
Figure BDA0002994527140000111
其中，关节点定位损失函数ft中的t表示初始定位模型的第t个stage，其中，stage的定义与CPM算法中的stage定义一致；P表示初始定位模型中的关节点定位模块需要输出的热图的数量(也可表示热图的通道数或是表示进行定位的关节点的个数)；Z是输入关节点定位模块中的热图上的像素的集合；
Figure BDA0002994527140000116
表示标签数据中的像素值，
Figure BDA0002994527140000115
表示初始定位模型中的关节点定位模块输出的预测结果的像素值；其中，关节点定位模块输出的预测结果为关节点定位热图；标签数据可为本发明中的训练数据；
抠图损失函数具体如下所示：
Figure BDA0002994527140000112
其中，P为初始定位模型中的抠图模块输出的热图的数量；Z是输入抠图模块中的热图上的像素的集合；bp(z)表示标签数据中的像素值，
Figure BDA0002994527140000113
表示初始定位模型中的抠图模块输出的预测结果的像素值；其中，抠图模块输出的预测结果为背景热图和人像热图；标签数据可为本发明中的训练数据；
进一步的，本发明中的抠图损失函数和关节点定位损失函数都是计算模型预测结果同标签数据的欧式距离，表达的意思是预测结果各个特征通道与标签数据特征通道对应的像素求差，然后对其求平方，再将所有平方结果加到一起。
本发明中的模型损失函数为：
Figure BDA0002994527140000114
其中，ft为关节点定位模块在stage为t时的损失函数，n为关节点定位模块的stage总数，f为抠图舒适函数。
本发明实施例提供的方法中，将初始定位模型中的数据输入和数据标签以及损失函数定义完成之后，就可使用训练数据对初始定位模型进行训练，在训练的过程中超参的设置和优化器的参数都与CPM保持一致，直到初始定位模型的模型损失函数不再进行收敛，即完成对初始定位模型的训练。
本发明提供的方法中，通过将关节点定位模块和抠图模块融合到一个网络模型中，使得关节点定位模块和抠图模块公用同一个特征提取模块，这样在实现两个任务输出的同时，只需要运行一次特征提取模块，相比于普通的单任务网络可以很大程度的降低模型的运算量，提高模型的工作效率；并且本发明在对关节点进行定位时，使用抠图模块输出的结果，增强了对关节点定位时的语义属性约束，提高了定位人体上的关节点的准确度，降低关节点被定位到人体之外的空间。
与图1所示的方法相对应的，本发明实施例还提供一种人体关节点的定位装置，用于对图1中方法的具体实现，本发明实施例提供的人体关节点的定位装置可以应用计算机终端或各种移动设备中，其结构示意图如图5所示，具体包括：
第一获取单元501，用于获取人像彩色图片；
第二获取单元502，用于使用预先训练完成的关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到与所述人像彩色图片对应的特征热图；
第三获取单元503，用于使用所述关节点定位模型中的抠图模块对所述特征热图进行处理，得到与所述人像彩色图片对应的背景热图和人像热图；
处理单元504，用于调用所述关节点定位模型中的关节点定位模块对所述背景热图、人像热图以及特征热图进行处理，得到所述关节点定位模块输出的多张关节点定位热图；
确定单元505，用于基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，并基于多张所述关节点定位热图确定所述人像彩色图片中的关节点。
本发明实施例提供的装置中，获取人像彩色图片；使用关节点定位模型中的特征提取模块对人像彩色图片进行处理，得到特征热图；使用关节点定位模型中的抠图模块对特征热图进行处理，得到背景热图和人像热图；使用关节点定位模型中的关节点定位模块对特征热图、人像热图以及背景热图进行处理，得到多张关节点定位热图；基于背景热图和人像热图生成人体掩码图，并基于多张关节点定位热图确定人像彩色图片中的关节点。本发明中的关节点定位模型结合背景热图和人像热图可约束对关节点的定位，从而提高了对关节点定位的准确率。
本发明实施例提供的装置中，所述第一获取单元501，可配置为：
获取子单元，用于获取初始彩色图片；
处理子单元，用于对所述初始彩色图片进行归一化处理，获得与所述初始彩色图片对应的人像彩色图片。
本发明实施例提供的装置中，所述确定单元505，可配置为：
第二确定子单元，用于确定所述背景热图上的各个第一热图像素以及确定所述人像热图上的各个第二热图像素；
第三确定子单元，用于对于每个所述第一热图像素，确定与该第一热图像素对应的第二热图像素，将与该第一热图像素对应的第二热图像素确定为该第一热图像素的匹配像素，并基于该第一热图像素的像素值和该第一热图像素的匹配像素的像素值确定该第一热图像素的掩码值；
获得子单元，用于基于各个所述第一热图像素的掩码值，得到与所述人像彩色图片对应的人体掩码图。
本发明实施例提供的装置中，所述确定单元505，可配置为：
第四确定子单元，用于确定每张所述关节点定位热图的各个像素的像素值，并将存在不同的像素值的关节点定位热图确定为有效热图；
第五确定子单元，用于将每张所述有效热图中像素值最大的像素均确定为目标像素，并确定每个所述目标像素在所述人像彩色图片中的图像坐标，并将每个所述图像坐标确定为所述人像彩色图片中的关节点。
本发明实施例提供的装置中，还可以配置为：
第四获取单元，获取预设的训练数据库中的每张训练样本图片；
第五获取单元，用于使用预设的标记工具对每张所述训练样本图片进行处理，得到每张训练样本图片的关节点标记图片和人像标记图片，并将每张所述训练样本图片的关节点标记图片和人像标记图片均作为训练数据；
输入单元，用于将所述训练数据输入初始定位模型中，使得所述初始定位模型中的模型损失函数对所述训练数据进行处理，直到所述模型损失函数停止收敛时，完成对所述初始定位模型的训练，并将完成训练的初始定位模型确定为关节点定位模型。
本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行下述人体关节点的定位方法：
获取人像彩色图片；
使用预先训练完成的关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到与所述人像彩色图片对应的特征热图；
使用所述关节点定位模型中的抠图模块对所述特征热图进行处理，得到与所述人像彩色图片对应的背景热图和人像热图；
调用所述关节点定位模型中的关节点定位模块对所述背景热图、人像热图以及特征热图进行处理，得到所述关节点定位模块输出的多张关节点定位热图；
基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，并基于多张所述关节点定位热图确定所述人像彩色图片中的关节点。
本发明实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，以及一个或者一个以上的指令602，其中一个或者一个以上指令602存储于存储器601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作：
获取人像彩色图片；
使用预先训练完成的关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到与所述人像彩色图片对应的特征热图；
使用所述关节点定位模型中的抠图模块对所述特征热图进行处理，得到与所述人像彩色图片对应的背景热图和人像热图；
调用所述关节点定位模型中的关节点定位模块对所述背景热图、人像热图以及特征热图进行处理，得到所述关节点定位模块输出的多张关节点定位热图；
基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，并基于多张所述关节点定位热图确定所述人像彩色图片中的关节点。
上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种人体关节点的定位方法，其特征在于，包括：
获取人像彩色图片；
使用预先训练完成的关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到与所述人像彩色图片对应的特征热图；
使用所述关节点定位模型中的抠图模块对所述特征热图进行处理，得到与所述人像彩色图片对应的背景热图和人像热图；
调用所述关节点定位模型中的关节点定位模块对所述背景热图、所述人像热图以及所述特征热图进行处理，得到所述关节点定位模块输出的多张关节点定位热图；
基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，并基于多张所述关节点定位热图确定所述人像彩色图片中的关节点。
2.根据权利要求1所述的方法，其特征在于，所述获取人像彩色图片，包括：
获取初始彩色图片；
对所述初始彩色图片进行归一化处理，获得与所述初始彩色图片对应的人像彩色图片。
3.根据权利要求1所述的方法，其特征在于，所述基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，包括：
确定所述背景热图上的各个第一热图像素以及确定所述人像热图上的各个第二热图像素；
对于每个所述第一热图像素，确定与该第一热图像素对应的第二热图像素，将与该第一热图像素对应的第二热图像素确定为该第一热图像素的匹配像素，并基于该第一热图像素的像素值和该第一热图像素的匹配像素的像素值确定该第一热图像素的掩码值；
基于各个所述第一热图像素的掩码值，得到与所述人像彩色图片对应的人体掩码图。
4.根据权利要求1所述的方法，其特征在于，所述基于多张所述关节点定位热图确定所述人像彩色图片中的关节点，包括：
确定每张所述关节点定位热图的各个像素的像素值，并将存在不同的像素值的关节点定位热图确定为有效热图；
将每张所述有效热图中像素值最大的像素均确定为目标像素，并确定每个所述目标像素在所述人像彩色图片中的图像坐标，并将每个所述图像坐标确定为所述人像彩色图片中的关节点。
5.根据权利要求1所述的方法，其特征在于，所述关节点定位模型的训练过程，包括：
获取预设的训练数据库中的每张训练样本图片；
使用预设的标记工具对每张所述训练样本图片进行处理，得到每张训练样本图片的关节点标记图片和人像标记图片，并将每张所述训练样本图片的关节点标记图片和人像标记图片均作为训练数据；
将所述训练数据输入初始定位模型中，使得所述初始定位模型中的模型损失函数对所述训练数据进行处理，直到所述模型损失函数停止收敛时，完成对所述初始定位模型的训练，并将完成训练的初始定位模型确定为关节点定位模型。
6.一种人体关节点的定位装置，其特征在于，包括：
第一获取单元，用于获取人像彩色图片；
第二获取单元，用于使用预先训练完成的关节点定位模型中的特征提取模块对所述人像彩色图片进行处理，得到与所述人像彩色图片对应的特征热图；
第三获取单元，用于使用所述关节点定位模型中的抠图模块对所述特征热图进行处理，得到与所述人像彩色图片对应的背景热图和人像热图；
处理单元，用于调用所述关节点定位模型中的关节点定位模块对所述背景热图、人像热图以及特征热图进行处理，得到所述关节点定位模块输出的多张关节点定位热图；
确定单元，用于基于所述背景热图和所述人像热图生成与所述人像彩色图片对应的人体掩码图，并基于多张所述关节点定位热图确定所述人像彩色图片中的关节点。
7.根据权利要求6所述的装置，其特征在于，所述第一获取单元，包括：
获取子单元，用于获取初始彩色图片；
处理子单元，用于对所述初始彩色图片进行归一化处理，获得与所述初始彩色图片对应的人像彩色图片。
8.根据权利要求6所述的装置，其特征在于，所述确定单元，包括：
第二确定子单元，用于确定所述背景热图上的各个第一热图像素以及确定所述人像热图上的各个第二热图像素；
第三确定子单元，用于对于每个所述第一热图像素，确定与该第一热图像素对应的第二热图像素，将与该第一热图像素对应的第二热图像素确定为该第一热图像素的匹配像素，并基于该第一热图像素的像素值和该第一热图像素的匹配像素的像素值确定该第一热图像素的掩码值；
获得子单元，用于基于各个所述第一热图像素的掩码值，得到与所述人像彩色图片对应的人体掩码图。
9.根据权利要求6所述的装置，其特征在于，所述确定单元，包括：
第四确定子单元，用于确定每张所述关节点定位热图的各个像素的像素值，并将存在不同的像素值的关节点定位热图确定为有效热图；
第五确定子单元，用于将每张所述有效热图中像素值最大的像素均确定为目标像素，并确定每个所述目标像素在所述人像彩色图片中的图像坐标，并将每个所述图像坐标确定为所述人像彩色图片中的关节点。
10.根据权利要求6所述的装置，其特征在于，还包括：
第四获取单元，获取预设的训练数据库中的每张训练样本图片；
第五获取单元，用于使用预设的标记工具对每张所述训练样本图片进行处理，得到每张训练样本图片的关节点标记图片和人像标记图片，并将每张所述训练样本图片的关节点标记图片和人像标记图片均作为训练数据；
输入单元，用于将所述训练数据输入初始定位模型中，使得所述初始定位模型中的模型损失函数对所述训练数据进行处理，直到所述模型损失函数停止收敛时，完成对所述初始定位模型的训练，并将完成训练的初始定位模型确定为关节点定位模型。
CN202110325557.2A 2021-03-26 2021-03-26 人体关节点的定位方法及装置 Pending CN113012229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110325557.2A CN113012229A (zh) 2021-03-26 2021-03-26 人体关节点的定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110325557.2A CN113012229A (zh) 2021-03-26 2021-03-26 人体关节点的定位方法及装置

Publications (1)

Publication Number Publication Date
CN113012229A true CN113012229A (zh) 2021-06-22

Family

ID=76407680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110325557.2A Pending CN113012229A (zh) 2021-03-26 2021-03-26 人体关节点的定位方法及装置

Country Status (1)

Country Link
CN (1) CN113012229A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591560A (zh) * 2021-06-23 2021-11-02 西北工业大学 人体行为识别方法
CN113688756A (zh) * 2021-08-30 2021-11-23 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069888A1 (en) * 2009-09-22 2011-03-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN106548194A (zh) * 2016-09-29 2017-03-29 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
WO2018058419A1 (zh) * 2016-09-29 2018-04-05 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN109448007A (zh) * 2018-11-02 2019-03-08 北京迈格威科技有限公司 图像处理方法、图像处理装置及存储介质
CN109934165A (zh) * 2019-03-12 2019-06-25 南方科技大学 一种关节点检测方法、装置、存储介质及电子设备
CN110633723A (zh) * 2018-06-22 2019-12-31 佳能株式会社 图像处理装置和方法及存储介质
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置
CN111222440A (zh) * 2019-12-31 2020-06-02 江西开心玉米网络科技有限公司 一种人像背景分离方法、装置、服务器及存储介质
CN111626159A (zh) * 2020-05-15 2020-09-04 南京邮电大学 一种基于注意力残差模块和支路融合的人体关键点检测方法
CN111985414A (zh) * 2020-08-21 2020-11-24 成都数字天空科技有限公司 一种关节点位置确定方法及装置
US20210029305A1 (en) * 2018-11-29 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for adding a video special effect, terminal device and storage medium
CN112529073A (zh) * 2020-12-07 2021-03-19 北京百度网讯科技有限公司 模型训练方法、姿态估计方法、装置及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069888A1 (en) * 2009-09-22 2011-03-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN106548194A (zh) * 2016-09-29 2017-03-29 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
WO2018058419A1 (zh) * 2016-09-29 2018-04-05 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
CN108875523A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 人体关节点检测方法、装置、系统和存储介质
CN110633723A (zh) * 2018-06-22 2019-12-31 佳能株式会社 图像处理装置和方法及存储介质
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN109448007A (zh) * 2018-11-02 2019-03-08 北京迈格威科技有限公司 图像处理方法、图像处理装置及存储介质
US20210029305A1 (en) * 2018-11-29 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Method and apparatus for adding a video special effect, terminal device and storage medium
CN109934165A (zh) * 2019-03-12 2019-06-25 南方科技大学 一种关节点检测方法、装置、存储介质及电子设备
CN110688929A (zh) * 2019-09-20 2020-01-14 北京华捷艾米科技有限公司 一种人体骨架关节点定位方法及装置
CN111222440A (zh) * 2019-12-31 2020-06-02 江西开心玉米网络科技有限公司 一种人像背景分离方法、装置、服务器及存储介质
CN111626159A (zh) * 2020-05-15 2020-09-04 南京邮电大学 一种基于注意力残差模块和支路融合的人体关键点检测方法
CN111985414A (zh) * 2020-08-21 2020-11-24 成都数字天空科技有限公司 一种关节点位置确定方法及装置
CN112529073A (zh) * 2020-12-07 2021-03-19 北京百度网讯科技有限公司 模型训练方法、姿态估计方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕洁;刘亚洲;韩庆龙;杜晶;: "基于深度图像的人体关节点定位方法", 海军航空工程学院学报, no. 05, pages 539 - 546 *
蔡建军;孔令富;李海涛;: "基于欧式距离变换的人体2D关节点标定", 计算机仿真, no. 07, pages 243 - 246 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591560A (zh) * 2021-06-23 2021-11-02 西北工业大学 人体行为识别方法
CN113688756A (zh) * 2021-08-30 2021-11-23 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109584276B (zh) 关键点检测方法、装置、设备及可读介质
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
JP2020507850A (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
CN110648397B (zh) 场景地图生成方法、装置、存储介质及电子设备
CN108764048A (zh) 人脸关键点检测方法及装置
CN107633526A (zh) 一种图像跟踪点获取方法及设备、存储介质
CN109683699A (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
CN111612822B (zh) 对象跟踪方法、装置、计算机设备和存储介质
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
CN113012229A (zh) 人体关节点的定位方法及装置
US20220358662A1 (en) Image generation method and device
CN108846861B (zh) 图像单应矩阵计算方法、装置、移动终端及存储介质
CN111950570A (zh) 目标图像提取方法、神经网络训练方法及装置
CN111401234A (zh) 三维人物模型构建方法、装置及存储介质
CN111798521A (zh) 标定方法、装置、存储介质及电子设备
CN109785444A (zh) 图像中现实平面的识别方法、装置及移动终端
CN116012913A (zh) 模型训练方法、人脸关键点检测方法、介质及装置
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN112381749B (zh) 一种图像处理方法、图像处理装置和电子设备
CN110942064B (zh) 图像处理方法、装置和电子设备
WO2021035674A1 (zh) 一种图像生成方法、设备、可移动平台及存储介质
CN111310595A (zh) 用于生成信息的方法和装置
US11954801B2 (en) Concurrent human pose estimates for virtual representation
CN107622498B (zh) 基于场景分割的图像穿越处理方法、装置及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination