CN110059522B - 人体轮廓关键点检测方法、图像处理方法、装置及设备 - Google Patents

人体轮廓关键点检测方法、图像处理方法、装置及设备 Download PDF

Info

Publication number
CN110059522B
CN110059522B CN201810054352.3A CN201810054352A CN110059522B CN 110059522 B CN110059522 B CN 110059522B CN 201810054352 A CN201810054352 A CN 201810054352A CN 110059522 B CN110059522 B CN 110059522B
Authority
CN
China
Prior art keywords
human body
contour
key point
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810054352.3A
Other languages
English (en)
Other versions
CN110059522A (zh
Inventor
刘文韬
钱晨
许亲亲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810054352.3A priority Critical patent/CN110059522B/zh
Priority to JP2019572641A priority patent/JP6967090B2/ja
Priority to KR1020197038937A priority patent/KR102328349B1/ko
Priority to PCT/CN2019/070725 priority patent/WO2019141104A1/zh
Priority to SG11201911684RA priority patent/SG11201911684RA/en
Priority to US16/454,021 priority patent/US11113560B2/en
Publication of CN110059522A publication Critical patent/CN110059522A/zh
Application granted granted Critical
Publication of CN110059522B publication Critical patent/CN110059522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes

Abstract

本申请的实施方式公开了一种人体轮廓关键点检测方法、图像处理方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的人体轮廓关键点检测方法包括：获取包括有人体的图像块的图像特征；经第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；根据所述人体轮廓关键点预测结果，获得所述图像块中的人体轮廓关键点；其中，所述人体轮廓关键点用于表示人体的外部轮廓。

Description

人体轮廓关键点检测方法、图像处理方法、装置及设备
技术领域
本申请涉及计算机视觉技术，尤其是涉及一种人体轮廓关键点检测方法、人体轮廓关键点检测装置、图像处理方法、图像处理装置、神经网络的训练方法、神经网络的训练装置、电子设备、计算机可读存储介质以及计算机程序。
背景技术
目前，人体关键点通常是指人体骨架关键点，且人体关键点主要用于构建人体骨架的模型。根据构建出的人体骨架的模型，可以实现人体动作识别或者人机交互等应用。
如何从包含有人体的图像中获得更多的语义信息，以使图像能够表达出更为丰富的人体结构语义，从而为应用提供更丰富的信息，是一个值得关注的技术问题。
发明内容
本申请实施方式提供一种人体轮廓关键点检测、图像处理以及训练神经网络的技术方案。
根据本申请实施方式其中一方面，提供一种人体轮廓关键点检测方法，所述方法包括：获取包括有人体的图像块的图像特征；经第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；根据所述人体轮廓关键点预测结果，获得所述图像块中的人体轮廓关键点；其中，所述人体轮廓关键点用于表示人体的外部轮廓。
在本申请一实施方式中，所述获取包括有人体的图像块的图像特征包括：对待处理图像进行人体检测；根据人体检测结果获取所述待处理图像中包括有人体的所述图像块。
在本申请又一实施方式中，所述图像块为所述待处理图像；或者，所述图像块为所述待处理图像中包括人体的局部图像，或者，所述图像块为基于所述待处理图像中包括人体的局部图像处理而得的图像块。
在本申请再一实施方式中，所述对待处理图像进行人体检测包括：利用人体检测器对所述待处理图像进行人体检测，以获得人体外接框的中心位置以及人体尺度因子；所述人体外接框的中心位置以及人体尺度因子用于确定人体外接框在待处理图像中的位置。
在本申请再一实施方式中，所述经第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果包括：经所述第一神经网络根据所述图像特征，形成与至少一个体轮廓关键点分别对应的至少一个人体轮廓关键点响应图。
在本申请再一实施方式中，所述人体轮廓关键点响应图包括：人体轮廓关键点置信度图。
在本申请再一实施方式中，所述根据所述人体轮廓关键点预测结果，获得所述图像块中的人体轮廓关键点包括：针对一人体轮廓关键点置信度图，从所述置信度图中选取一满足预定置信度要求的点，将该点在所述图像块中的映射位置点，作为所述置信度图所对应的人体轮廓关键点。
在本申请再一实施方式中，所述人体轮廓关键点包括：头部轮廓关键点、手臂轮廓关键点、手部轮廓关键点、肩部轮廓关键点、腿部轮廓关键点、腰部轮廓关键点和/或脚部轮廓关键点。
在本申请再一实施方式中，所述头部轮廓关键点包括以下一种或多种：头顶关键点、鼻尖关键点以及下巴关键点；和/或，所述手臂轮廓关键点包括以下一种或多种：手腕轮廓关键点、胳膊肘轮廓关键点、臂根轮廓关键点、位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的下臂轮廓中点关键点、以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的上臂中点关键点；和/或，所述手部轮廓关键点包括以下一种或多种：手尖关键点以及手掌中点关键点；和/或，所述肩部轮廓关键点包括以下一种或多种：位于肩部与头部交汇位置处的肩头交汇关键点以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点；和/或，所述腿部轮廓关键点包括以下一种或多种：裆部关键点、膝盖轮廓关键点、脚踝轮廓关键点、大腿根部外侧轮廓关键点、位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点、位于膝盖轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点、以及位于膝盖轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点；和/或，所述腰部轮廓关键点包括以下一种或多种：将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分，所产生的N个等分点；其中，所述N大于1；和/或，所述脚部轮廓关键点包括以下一种或多种：脚尖关键点以及足跟关键点。
在本申请再一实施方式中，所述第一神经网络，经包括有人体轮廓关键点标注信息的训练图像集，预先训练完成。
在本申请再一实施方式中，所述第一神经网络的训练包括：获取包括有人体的样本图像块的图像特征；经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习。
在本申请再一实施方式中，所述获取包括有人体的样本图像块的图像特征包括：从训练数据集中获取图像样本；获取图像样本中的包含有人体的样本图像块的图像特征。
在本申请再一实施方式中，所述经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果包括：经所述待训练的第一神经网络根据所述图像特征形成与至少一个体轮廓关键点分别对应的至少一个人体轮廓关键点响应图。
在本申请再一实施方式中，所述人体轮廓关键点响应图包括：人体轮廓关键点置信度图。
在本申请再一实施方式中，所述以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习包括：针对至少一个人体轮廓关键点标注信息，分别生成人体轮廓关键点置信度图；以所述待训练的第一神经网络输出的人体轮廓关键点置信度图与所述生成的人体轮廓关键点置信度图之间的差异，为指导信息，对所述待训练的第一神经网络进行监督学习。
在本申请再一实施方式中，所述针对至少一个人体轮廓关键点标注信息，分别生成人体轮廓关键点置信度图包括：针对至少一个人体轮廓关键点标注信息，分别在相应的人体轮廓关键点标注信息各自对应的样本图像块中的位置的预定周边区域内，形成高斯响应，并根据所述高斯响应，形成至少一个人体轮廓关键点标注信息各自对应的人体轮廓关键点置信度图。
在本申请再一实施方式中，所述以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习包括：针对一人体轮廓关键点置信度图，从所述置信度图中选取满足预定置信度要求的点，将该点在所述图像样本中的映射位置点，作为所述置信度图所对应的人体轮廓关键点；以所述置信度图对应的人体轮廓关键点与所述图像样本的人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习。
在本申请再一实施方式中，所述获取包括有人体的样本图像块的图像特征包括：对所述图像样本进行人体检测；将人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块；利用待训练的第二神经网络获取所述样本图像块的图像特征。
在本申请再一实施方式中，所述训练所述第一神经网络还包括：以所述人体轮廓关键点预测结果与所述人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的输入神经网络以及待训练的第二神经网络进行监督学习。
在本申请再一实施方式中，所述图像样本带有的人体轮廓关键点标注信息的设置过程包括：获取图像样本的人体骨架关键点；根据已设置的第一集合中的人体轮廓关键点标注信息和/或所述人体骨架关键点，设置辅助线；根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息。
在本申请再一实施方式中，所述图像样本带有的人体轮廓关键点标注信息的设置过程还包括：根据第一集合和/或第二集合中的两个人体轮廓关键点之间的连线上的N1个分点，形成第三集合中的人体轮廓关键点标注信息；其中，N1为大于1的整数。
在本申请再一实施方式中，所述根据已设置的第一集合中的人体轮廓关键点标注信息和/或所述人体骨架关键点，设置辅助线包括：根据所述人体骨架关键点确定通过臂根内轮廓关键点且与上臂方向垂直的第一辅助线；所述根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息，包括：根据所述第一辅助线与上臂外轮廓交点，形成第二集合中臂根外轮廓关键点的标注信息。
在本申请再一实施方式中，所述根据已设置的第一集合中的人体轮廓关键点标注信息和/或所述人体骨架关键点，设置辅助线，包括：设置经过裆部关键点且与人体骨架关键点形成的大腿方向垂直的第二辅助线；所述根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息，包括：根据所述第二辅助线与大腿外轮廓交点，形成第二集合中的大腿根部外侧轮廓关键点的标注信息。
在本申请再一实施方式中，所述方法还包括：根据所述人体轮廓关键点，对所述图像块进行增强现实AR效果的渲染处理。
在本申请再一实施方式中，所述根据所述人体轮廓关键点，对所述图像块进行AR效果的渲染处理包括：确定所述图像块的人体轮廓关键点与贴纸素材的位置关系；根据所述位置关系，基于所述贴纸素材，对所述图像块进行AR效果的渲染处理。
根据本申请实施方式的其中另一方面，提供一种图像处理方法，所述方法包括：检测包括有人体的图像块的人体轮廓关键点，其中，所述人体轮廓关键点用于表示人体的外部轮廓；根据所述人体轮廓关键点对所述图像块进行增强现实AR效果的渲染处理。
在本申请一实施方式中，所述检测包括有人体的图像块的人体轮廓关键点，包括：采用上述方法进行所述人体轮廓关键点的检测。
在本申请又一实施方式中，所述根据所述人体轮廓关键点对所述图像块进行AR效果的渲染处理，包括：确定所述图像块的人体轮廓关键点与贴纸素材的位置关系；根据所述位置关系，基于所述贴纸素材，对所述图像块进行AR效果的渲染处理。
在本申请再一实施方式中，所述根据所述人体轮廓关键点对所述图像块进行AR效果的渲染处理，包括：调用用于创建贴纸句柄的第一接口函数创建贴纸句柄；调用用于读取贴纸素材的第二接口函数将贴纸素材压缩包读入内存并进行解析；调用用于渲染贴纸素材的第三接口函数根据解析结果确定所述图像块的人体轮廓关键点与贴纸素材的位置关系，并基于所述贴纸句柄根据所述解析结果和所述位置关系在所述图像块上将读入内存的贴纸素材包进行AR效果的渲染。
在本申请再一实施方式中，所述解析结果包括以下一种或多种：贴纸素材关联的人体轮廓关键点，贴纸素材的播放触发条件，贴纸素材的播放状态参数。
在本申请再一实施方式中，所述方法还包括：渲染完成后，销毁所述贴纸句柄。
根据本申请实施方式的其中再一方面，提供一种神经网络的训练方法，所述方法包括：获取包括有人体的样本图像块的图像特征；经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习。
在本申请一实施方式中，所述获取包括有人体的样本图像块的图像特征包括：从训练数据集中获取图像样本；获取图像样本中的包含有人体的样本图像块的图像特征。
在本申请又一实施方式中，所述经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果包括：经所述第一神经网络根据所述图像特征形成与至少一个体轮廓关键点分别对应的至少一个人体轮廓关键点响应图。
在本申请再一实施方式中，所述人体轮廓关键点响应图包括：人体轮廓关键点置信度图。
在本申请再一实施方式中，所述以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习包括：针对至少一个人体轮廓关键点标注信息，分别生成人体轮廓关键点置信度图；以所述待训练的第一神经网络输出的人体轮廓关键点置信度图与所述生成的人体轮廓关键点置信度图之间的差异，为指导信息，对所述待训练的第一神经网络进行监督学习。
在本申请再一实施方式中，所述针对至少一个人体轮廓关键点标注信息，分别生成人体轮廓关键点置信度图包括：针对至少一个人体轮廓关键点标注信息，分别在相应的人体轮廓关键点标注信息各自对应的样本图像块中的位置的预定周边区域内，形成高斯响应，并根据所述高斯响应，形成至少一个人体轮廓关键点标注信息各自对应的人体轮廓关键点置信度图。
在本申请再一实施方式中，所述以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习包括：针对一人体轮廓关键点置信度图，从所述置信度图中选取满足预定置信度要求的点，将该点在所述图像样本中的映射位置点，作为所述置信度图所对应的人体轮廓关键点；以所述置信度图对应的人体轮廓关键点与所述图像样本的人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习。
在本申请再一实施方式中，所述获取包括有人体的样本图像块的图像特征包括：对所述图像样本进行人体检测；将人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块；利用待训练的第二神经网络获取所述样本图像块的图像特征。
在本申请再一实施方式中，所述训练所述第一神经网络还包括：以所述人体轮廓关键点预测结果与所述人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的输入神经网络以及待训练的第二神经网络进行监督学习。
在本申请再一实施方式中，所述图像样本带有的人体轮廓关键点标注信息的设置过程包括：获取图像样本的人体骨架关键点；根据已设置的第一集合中的人体轮廓关键点标注信息和/或所述人体骨架关键点，设置辅助线；根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息。
在本申请再一实施方式中，所述图像样本带有的人体轮廓关键点标注信息的设置过程还包括：根据第一集合和/或第二集合中的两个人体轮廓关键点之间的连线上的N1个分点，形成第三集合中的人体轮廓关键点标注信息；其中，N1为大于1的整数。
在本申请再一实施方式中，所述根据已设置的第一集合中的人体轮廓关键点标注信息和/或所述人体骨架关键点，设置辅助线包括：根据所述人体骨架关键点确定通过臂根内轮廓关键点且与上臂方向垂直的第一辅助线；所述根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息，包括：根据所述第一辅助线与上臂外轮廓交点，形成第二集合中臂根外轮廓关键点的标注信息。
在本申请再一实施方式中，所述根据已设置的第一集合中的人体轮廓关键点标注信息和/或所述人体骨架关键点，设置辅助线，包括：设置经过裆部关键点且与人体骨架关键点形成的大腿方向垂直的第二辅助线；所述根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息，包括：根据所述第二辅助线与大腿外轮廓交点，形成第二集合中的大腿根部外侧轮廓关键点的标注信息。
根据本申请实施方式的其中再一方面，提供一种人体轮廓关键点检测装置，所述装置包括：获取图像特征模块，用于获取包括有人体的图像块的图像特征；获取预测结果模块，用于经第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；获得轮廓关键点模块，用于根据所述人体轮廓关键点预测结果，获得所述图像块中的人体轮廓关键点；其中，所述人体轮廓关键点用于表示人体的外部轮廓。
在本申请一实施方式中，所述获取图像特征模块对待处理图像进行人体检测；并根据人体检测结果获取所述待处理图像中包括有人体的所述图像块。
在本申请又一实施方式中，所述图像块为所述待处理图像；或者，所述图像块为所述待处理图像中包括人体的局部图像，或者，所述图像块为基于所述待处理图像中包括人体的局部图像处理而得的图像块。
在本申请再一实施方式中，所述获取图像特征模块，利用人体检测器对所述待处理图像进行人体检测，以获得人体外接框的中心位置以及人体尺度因子；其中，所述人体外接框的中心位置以及人体尺度因子用于确定人体外接框在待处理图像中的位置。
在本申请再一实施方式中，所述获取预测结果模块，经所述第一神经网络根据所述图像特征，形成与至少一个体轮廓关键点分别对应的至少一个人体轮廓关键点响应图。
在本申请再一实施方式中，所述人体轮廓关键点响应图包括：人体轮廓关键点置信度图。
在本申请再一实施方式中，所述获得轮廓关键点模块，针对一人体轮廓关键点置信度图，从所述置信度图中选取一满足预定置信度要求的点，将该点在所述图像块中的映射位置点，作为所述置信度图所对应的人体轮廓关键点。
在本申请再一实施方式中，所述人体轮廓关键点包括：头部轮廓关键点、手臂轮廓关键点、手部轮廓关键点、肩部轮廓关键点、腿部轮廓关键点、腰部轮廓关键点和/或脚部轮廓关键点。
在本申请再一实施方式中，所述头部轮廓关键点包括以下一种或多种：头顶关键点、鼻尖关键点以及下巴关键点；和/或，所述手臂轮廓关键点包括以下一种或多种：手腕轮廓关键点、胳膊肘轮廓关键点、臂根轮廓关键点、位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的下臂轮廓中点关键点、以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的上臂中点关键点；和/或，所述手部轮廓关键点包括以下一种或多种：手尖关键点以及手掌中点关键点；和/或
所述肩部轮廓关键点包括以下一种或多种：位于肩部与头部交汇位置处的肩头交汇关键点以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点；和/或，所述腿部轮廓关键点包括以下一种或多种：裆部关键点、膝盖轮廓关键点、脚踝轮廓关键点、大腿根部外侧轮廓关键点、位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点、位于膝盖轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点、以及位于膝盖轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点；和/或，所述腰部轮廓关键点包括以下一种或多种：将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分，所产生的N个等分点；其中，所述N大于1；和/或，所述脚部轮廓关键点包括以下一种或多种：脚尖关键点以及足跟关键点。
在本申请再一实施方式中，所述装置还包括：神经网络的训练装置，用于利用包括有人体轮廓关键点标注信息的训练图像集，对所述第一神经网络进行训练。
根据本申请实施方式的其中再一方面，提供一种图像处理装置，所述装置包括：人体轮廓关键点检测装置，用于检测包括有人体的图像块的人体轮廓关键点，其中，所述人体轮廓关键点用于表示人体的外部轮廓；渲染模块，用于根据所述人体轮廓关键点对所述图像块进行AR效果的渲染处理。
在本申请一实施方式中，所述人体轮廓关键点检测装置，采用如权利要求45-54中任一项所述的装置进行所述人体轮廓关键点的检测。
在本申请又一实施方式中，所述渲染模块确定所述图像块的人体轮廓关键点与贴纸素材的位置关系；并根据所述位置关系，基于所述贴纸素材，对所述图像块进行AR效果的渲染处理。
在本申请再一实施方式中，所述渲染模块，调用用于创建贴纸句柄的第一接口函数创建贴纸句柄；调用用于读取贴纸素材的第二接口函数将贴纸素材压缩包读入内存并进行解析；调用用于渲染贴纸素材的第三接口函数根据解析结果确定所述图像块的人体轮廓关键点与贴纸素材的位置关系，并基于所述贴纸句柄根据所述解析结果和所述位置关系在所述图像块上将读入内存的贴纸素材包进行AR效果的渲染。
在本申请再一实施方式中，所述解析结果包括以下一种或多种：贴纸素材关联的人体轮廓关键点，贴纸素材的播放触发条件，贴纸素材的播放状态参数。
在本申请再一实施方式中，所述渲染模块在渲染完成后，销毁所述贴纸句柄。
根据本申请实施方式的其中再一方面，提供一种神经网络的训练装置，所述装置包括：第一模块，用于获取包括有人体的样本图像块的图像特征；第二模块，用于经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；第三模块，用于以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习。
在本申请一实施方式中，所述第一模块包括：检测子模块，用于对所述图像样本进行人体检测；第一获取子模块，用于将人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块；第二获取子模块，用于利用待训练的第二神经网络获取所述样本图像块的图像特征。
在本申请又一实施方式中，所述第三模块还用于：以所述人体轮廓关键点预测结果与所述人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的输入神经网络以及待训练的第二神经网络进行监督学习。
在本申请再一实施方式中，所述装置还包括：第一标注模块，用于：获取图像样本的人体骨架关键点，根据已设置的第一集合中的人体轮廓关键点标注信息和/或所述人体骨架关键点，设置辅助线，并根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息。
在本申请再一实施方式中，所述装置还包括：第二标注模块，用于：根据第一集合和/或第二集合中的两个人体轮廓关键点之间的连线上的N1个分点，形成第三集合中的人体轮廓关键点标注信息；其中，N1为大于1的整数。
在本申请再一实施方式中，所述第一标注模块，根据所述人体骨架关键点确定通过臂根内轮廓关键点且与上臂方向垂直的第一辅助线，并根据所述第一辅助线与上臂外轮廓交点，形成第二集合中臂根外轮廓关键点的标注信息。
在本申请再一实施方式中，所述第一标注模块，设置经过裆部关键点且与人体骨架关键点形成的大腿方向垂直的第二辅助线，并根据所述第二辅助线与大腿外轮廓交点，形成第二集合中的大腿根部外侧轮廓关键点的标注信息。
根据本申请实施方式再一个方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本申请任一方法实施方式。
根据本申请实施方式再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一方法实施方式。
根据本申请实施方式的再一个方面，提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本申请任一方法实施方式。
基于本申请提供的人体轮廓关键点检测方法、人体轮廓关键点检测装置、图像处理方法、图像处理装置、神经网络的训练方法、神经网络的训练装置、电子设备、计算机可读存储介质及计算机程序，本申请通过利用第一神经网络获得人体轮廓关键点，有利于快速准确的实现对图像中的人体外部轮廓的精确勾画，从而有利于从包含有人体的图像中获得更为丰富的人体语义信息，进而可以为相应的应用提供更为丰富的人体语义信息，例如，本申请提取出的人体轮廓关键点，可以用于贴纸处理、人体动作分析以及人体形态分析等应用中。
下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请的人体轮廓关键点检测方法一个实施方式的流程图；
图2为本申请的人体轮廓关键点的一个实施方式的示意图；
图3为本申请的神经网络的训练方法一个实施方式的流程图；
图4为本申请的神经网络的训练方法另一个实施方式的流程图；
图5为本申请的图像样本的人体轮廓关键点标注信息的生成方法的一个实施方式的流程图；
图6为本申请的图像处理方法的一个实施方式的流程图；
图7为本申请的对待处理图像进行贴纸处理的一个实施方式的流程图；
图8为本申请的人体轮廓关键点检测装置一个实施方式的结构示意图；
图9为本申请的神经网络的训练装置一个实施方式的结构示意图；
图10为本申请的图像处理装置一个实施方式的结构示意图；
图11为实现本申请实施方式的一示例性设备的框图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应当注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其它通用或者专用的计算系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性实施例
图1为本申请人体轮廓关键点检测方法一个实施例的流程图。如图1所示，该实施例方法包括：步骤S100、步骤S110以及步骤S120。下面对图1中的各步骤进行详细说明。
S100、获取包括有人体的图像块的图像特征，例如，获取待处理图像中的包含有人体的图像块的图像特征。
在一个可选示例中，本申请中的待处理图像可以为呈现静态的图片或者照片等图像，也可以为呈现动态的视频中的视频帧等。该待处理图像中的人体可以为正身人体、侧身人体或者背身人体等。待处理图像中的人体可以呈现出多种形态，例如，待处理图像中的人体呈现出行走、跳跃、蹲身、横卧或者倒立等形态。另外，本申请的图像块中所包含的人体可以是完整的人体(如附图2所示的人体)，也可以是局部部分人体(即人体的局部，如人的半身像等)。本申请不限制待处理图像中的人体的具体表现形态。
在一个可选示例中，本申请可以利用神经网络的方式，来获取待处理图像中的包含有人体的图像块的图像特征。本申请中的用于提取待处理图像中的包含有人体的图像块的图像特征的神经网络可以具体为卷积神经网络等。为了与本申请中的第一神经网络相区分，本申请将用于提取待处理图像中的包含有人体的图像块的图像特征的神经网络称为第二神经网络。
一个具体的可选例子，本申请可以将待处理图像中的包含有人体的图像块输入第二神经网络，经由该第二神经网络输出该图像块的图像特征。输入第二神经网络的图像块的大小通常与第二神经网络对输入图像的尺寸要求相关，例如，图像块的大小可以为256×256等。本申请对图像块的大小不作限制。
在一个可选示例中，本申请中的第二神经网络的网络结构可以根据提取图像特征的实际需求灵活设计，本申请实施例并不限制该第二神经网络的具体网络结构；例如，本申请的第二神经网络可以包括但不限于：卷积层、非线性Relu层、池化层以及全连接层等，该第二神经网络所包含的层数越多，则网络越深；再例如，本申请的第二神经网络的网络结构可以采用但不限于：ALexNet、深度残差网络(Deep Residual Network，ResNet)或者VGGnet(Visual Geometry Group Network，视觉几何组网络)等神经网络所采用的网络结构。
在一个可选示例中，本申请中的图像块可以为待处理图像的整个图像，也可以为待处理图像中包括人体的局部图像。另外，图像块还可以为基于待处理图像中包括人体的局部图像处理而得到的图像块。本申请输入至第二神经网络的图像块可以是通过对待处理图像进行剪切处理而获得的图像块。一个具体的可选例子，本申请可以先对待处理图像进行人体检测，并根据人体检测结果，对待处理图像进行剪切处理，从而可以根据剪切处理的结果，获得本申请中的图像块。
在一个可选示例中，为了获得具有预定大小的图像块，本申请可以先对待处理图像进行缩放处理，然后，按照预定大小从缩放处理后的待处理图像中剪切出包含有人体的图像块。本申请可以根据人体检测结果对待处理图像进行缩放处理，以便于使剪切出的包含有人体的图像块具有预定大小。本申请可以采用神经网络的方式，对待处理图像进行缩放处理以及剪切处理。为了与本申请中的第一神经网络和第二神经网络相区分，本申请中的用于执行缩放处理以及剪切处理的神经网络可以称为输入神经网络。
在一个可选示例中，本申请可以将人体检测结果以及待处理图像，提供给输入神经网络，从而本申请可以根据输入神经网络的输出，获得具有预定大小的包含有人体的图像块。本申请中的人体检测结果通常是指可以表征出人体在待处理图像中的具体位置的信息。本申请可以采用多种方式获得待处理图像的人体检测结果，例如，可以利用人体检测器，对待处理图像进行人体检测，从而获得人体检测结果。本申请不限制对待处理图像进行人体检测的具体实现方式以及人体检测器的具体结构等。
在一个可选示例中，本申请的人体检测结果可以包括：待处理图像中的人体外接框的中心位置以及人体尺度因子。本申请中的人体外接框的中心位置可以称为人体位置或者人体中心点等。本申请中的人体尺度因子可以用于确定人体外接框的大小。人体尺度因子可以具体为放缩因子，例如，人体尺度因子s可以是使待处理图像中的人头大小H，放缩到标准尺寸h的放缩因子，即s＝h/H。本申请可以将待处理图像中的人体外接框的中心位置、人体尺度因子以及待处理图像提供给输入神经网络，由输入神经网络根据人体尺度因子对待处理图像进行放缩处理，并根据预定大小以及中心位置对放缩处理后的待处理图像进行剪切处理，从而输出具有预定大小的包含有人体的图像块。
S110、经第一神经网络根据图像特征获取上述人体的人体轮廓关键点预测结果。
在一个可选示例中，本申请中的第一神经网络是利用带有人体轮廓关键点标注信息的图像样本进行训练，而获得的。在本申请通过输入神经网络对待处理图像进行放缩处理以及剪切处理，并通过第二神经网络提取包含有人体的图像块的图像特征的情况下，本申请中的输入神经网络、第一神经网络以及第二神经网络均可以是利用带有人体轮廓关键点标注信息的图像样本进行训练，而获得的。利用图像样本训练神经网络的过程可以参见下述针对图3以及图4的描述。在此不再详细说明。
在一个可选示例中，本申请中的第一神经网络，会针对输入的图像特征，为至少一个人体轮廓关键点，分别形成人体轮廓关键点响应图。本申请中的一个人体轮廓关键点响应图通常可以表征出：一个相应的人体轮廓关键点在图像块中的多个位置(如各个位置)出现的可能性。人体轮廓关键点响应图为一种人体轮廓关键点预测结果的可选表示形式。一个具体的例子，预先设定人体轮廓关键点的数量为N(N为大于0的整数)，则本申请中的第一神经网络会针对输入的图像特征，形成N个人体轮廓关键点响应图，每一个人体轮廓关键点响应图对应一个人体轮廓关键点，不同人体轮廓关键点响应图对应不同的人体轮廓关键点，从而一个人体轮廓关键点响应图可以反映出与其对应的人体轮廓关键点出现在图像块中的各个位置的可能性。
在一个可选示例中，第一神经网络输出的人体轮廓关键点响应图可以具体为：人体轮廓关键点置信度图。人体轮廓关键点置信度图可以反映出相应的人体轮廓关键点出现在图像块中的多个位置(如各个位置)的置信度。
在一个可选示例中，本申请中的人体轮廓关键点的数量通常为多个。在一个可选例子中，人体轮廓关键点的数量通常不低于42个，且通常不超过115个；例如，本申请的人体轮廓关键点的数量可以为64个。64个人体轮廓关键点分布的一个可选示例如图2所示。
在一个可选示例中，本申请的人体轮廓关键点包括：头部轮廓关键点、手臂轮廓关键点、手部轮廓关键点、肩部轮廓关键点、腿部轮廓关键点、腰部轮廓关键点以及脚部轮廓关键点中的至少一个。
可选的，本申请的头部轮廓关键点的数量通常不低于3个，且通常不超过8个。
可选的，本申请的手臂轮廓关键点可以包括：左侧手臂轮廓关键点(包括左侧手臂内轮廓关键点和/或左侧手臂外轮廓关键点)和右侧手臂轮廓关键点(包括右侧手臂内轮廓关键点和/或右侧手臂外轮廓关键点)。左/右侧手臂轮廓关键点的数量通常不低于6个，且通常不超过18个。
可选的，本申请的手部轮廓关键点可以包括：左侧手部轮廓关键点和右侧手部轮廓关键点，左/右侧手部轮廓关键点的数量通常不低于2个，且通常不超过2个。
可选的，本申请的肩部轮廓关键点可以包括：左侧肩部轮廓关键点和右侧肩部轮廓关键点，左/右侧肩部轮廓关键点的数量通常不低于2个，且通常不超过4个。
可选的，本申请的腿部轮廓关键点可以包括：左侧腿部轮廓关键点(包括左侧腿部内轮廓关键点和/或左侧腿部外轮廓关键点)和右侧腿部轮廓关键点(包括右侧腿部内轮廓关键点和/或右侧腿部外轮廓关键点)。左/右侧腿部轮廓关键点的数量通常不低于6个，且通常不超过18个。其中的左侧腿部轮廓关键点和右侧腿部轮廓关键点中的位于裆部的关键点是重复的。
可选的，本申请的腰部轮廓关键点可以包括：左侧腰部轮廓关键点和右侧腰部轮廓关键点。左/右侧腰部轮廓关键点的数量通常不低于2个，且通常不超过10个。
可选的，本申请的脚部轮廓关键点可以包括：左侧脚部轮廓关键点和右侧脚部轮廓关键点，左/右侧脚部轮廓关键点的数量通常不低于2个，且通常不超过2个。
在一个可选示例中，本申请的人体轮廓关键点包括：
3个头部轮廓关键点，分别为：1个头顶关键点、1个鼻尖关键点以及1个下巴关键点；
10个左侧手臂轮廓关键点，分别为：2个左手腕轮廓关键点(内外各1，即左手腕内轮廓关键点和左手腕外轮廓关键点)、2个左胳膊肘轮廓关键点(内外各1，即左胳膊肘内轮廓关键点和左胳膊肘外轮廓关键点)、2个左臂臂根轮廓关键点(内外各1，即左臂臂根内轮廓关键点和左臂臂根外轮廓关键点，左臂臂根内轮廓关键点即左腋窝关键点)、位于左手腕轮廓关键点与左胳膊肘轮廓关键点之间的中点位置处的2个左下臂轮廓中点关键点(内外各1，即左下臂内轮廓中点关键点和左下臂外轮廓中点关键点)、以及位于左胳膊肘轮廓关键点与左臂根轮廓关键点之间的中点位置处的2个左上臂中点关键点(内外各1，即左上臂内轮廓中点关键点和左上臂外轮廓中点关键点)；本申请中的上臂即大臂；
10个右侧手臂轮廓关键点，分别为：2个右手腕轮廓关键点(内外各1，即右手腕内轮廓关键点和右手腕外轮廓关键点)、2个右胳膊肘轮廓关键点(内外各1，即右胳膊肘内轮廓关键点和右胳膊肘外轮廓关键点)、2个右臂臂根轮廓关键点(内外各1，即右臂臂根内轮廓关键点和右臂臂根外轮廓关键点，其中的右臂臂根内轮廓关键点即右腋窝关键点)、位于右手腕轮廓关键点与右胳膊肘轮廓关键点之间的中点位置处的2个右下臂轮廓中点关键点(内外各1，即右下臂内轮廓中点关键点和右下臂外轮廓中点关键点)、以及位于右胳膊肘轮廓关键点与右臂根轮廓关键点之间的中点位置处的2个右上臂轮廓中点关键点(内外各1，即右上臂内轮廓中点关键点和右上臂外轮廓中点关键点)；本申请中的下臂即小臂。
2个左侧手部轮廓关键点，分别为：1个左手手尖关键点、以及1个左手手掌中点关键点；
2个右侧手部轮廓关键点，分别为：1个右手手尖关键点、以及1个右手手掌中点关键点；
2个左侧肩部轮廓关键点，分别为：位于左侧肩部与头部交汇位置处的1个左肩头交汇关键点、以及位于左臂臂根轮廓关键点与左肩头交汇关键点之间的中点位置处的1个左肩轮廓中点关键点；
2个右侧肩部轮廓关键点，分别为：位于右侧肩部与头部交汇位置处的1个右肩头交汇关键点、以及位于右臂臂根轮廓关键点与右肩头交汇关键点之间的中点位置处的1个右肩轮廓中点关键点；
10个左侧腿部轮廓关键点，分别为：1个裆部关键点、2个左膝盖轮廓关键点(内外各1)、2个左脚踝轮廓关键点(内外各1，即左脚踝内轮廓关键点和左脚踝外轮廓关键点)、1个左大腿根部外侧轮廓关键点、位于左膝盖轮廓关键点与左脚踝轮廓关键点之间的中点位置处的2个左小腿轮廓中点关键点(内外各1，即左小腿内轮廓中点关键点和左小腿外轮廓中点关键点)、位于左膝盖轮廓关键点与裆部关键点之间的中点位置处的1个左大腿内轮廓中点关键点、以及位于左膝盖轮廓关键点与左大腿根部外侧轮廓关键点之间的中点位置处的1个左大腿外轮廓中点关键点；
10个右侧腿部轮廓关键点，分别为：1个裆部关键点(与上述左侧腿部轮廓关键点中的裆部关键点重复)、2个右膝盖轮廓关键点(内外各1，即右膝盖内关键点和右膝盖外轮廓关键点)、2个右脚踝轮廓关键点(内外各1，即右脚踝内轮廓关键点和右脚踝外轮廓关键点)、1个右大腿根部外侧轮廓关键点、位于右膝盖轮廓关键点与右脚踝轮廓关键点之间的中点位置处的2个右小腿轮廓中点关键点(内外各1，即右小腿内轮廓中点关键点和右小腿外轮廓中点关键点)、位于右膝盖轮廓关键点与裆部关键点之间的中点位置处的1个右大腿内轮廓中点关键点、以及位于右膝盖轮廓关键点与右大腿根部外侧轮廓关键点之间的中点位置处的1个右大腿外轮廓中点关键点；
5个左侧腰部轮廓关键点，分别为：将左大腿根部外侧轮廓关键点与左臂臂根轮廓关键点之间6等分，所产生的5个等分点；
5个右侧腰部轮廓关键点，分别为：将右大腿根部外侧轮廓关键点与右臂臂根轮廓关键点之间6等分，所产生的5个等分点；
2个左侧脚部轮廓关键点，分别为：1个左脚尖关键点以及1个左足跟关键点；
2个右侧脚部轮廓关键点，分别为：1个右脚尖关键点以及1个右足跟关键点；
上述人体轮廓关键点的总数量为64(去除了一个重复的裆部关键点)。通过多次的实验可知，本申请检测出64个人体轮廓关键点，并未耗费过多的计算资源以及时间成本。从图2可以看出，64个人体轮廓关键点可以较为精准的勾勒出人体的外部轮廓。由此可知，64个人体轮廓关键点，可以在资源耗费、实时性以及勾勒人体外部轮廓的精准性方面，取得较好的平衡。
上述人体轮廓关键点的详细分布仅为一个具体的示例，本申请不限制人体轮廓关键点的具体分布情况，只要能够通过人体轮廓关键点基本勾勒出人体的外部轮廓即可。另外，如果人体轮廓关键点的数量越高(如高于64)，则利用人体轮廓关键点所勾勒出的人体轮廓往往会越准确。
S120、根据人体轮廓关键点预测结果，获得图像块中的人体轮廓关键点。
在一个可选示例中，本申请可以根据预先设置的人体轮廓点判别条件，针对第一神经网络输出的信息进行判断，并根据判断结果获得图像块中的人体轮廓关键点，从而可以通过位置映射等方式，将图像块中的人体轮廓关键点转换到待处理图像中，从而获得待处理图像中的人体轮廓关键点。本申请中的判别条件是根据实际情况设定的，例如，判别条件是基于人体轮廓关键点响应图而设定的。
在一个可选的示例中，第一神经网络针对N个人体轮廓关键点，输出N个人体轮廓关键点置信度图，本申请可以根据预定置信度要求针对第M(M大于0，且小于等于N)个人体轮廓关键点置信度图进行判断，以从人体轮廓关键点置信度图中选取满足预定置信度要求的点，例如，本申请可以根据预定置信度要求针对第M个人体轮廓关键点置信度图进行下述操作：从第M个人体轮廓关键点置信度图中选取置信度最高的点，判断该置信度最高的点是否大于预定置信度门限，如果不大于预定置信度门限，则表示待处理图像中并不存在第M个人体轮廓关键点；而如果大于预定置信度门限，则针对该点在图像块中的位置进行映射处理，从而可以获得该点在待处理图像中的映射位置点，该映射位置点即为第M个人体轮廓关键点。
本申请获得的人体轮廓关键点有利于实现对待处理图像中的人体外部轮廓的精确勾画，从而有利于从包含有人体的图像中获得更为丰富的人体语义信息，进而可以为相应的应用提供更为丰富的人体语义信息，例如，本申请提取出的人体轮廓关键点，可以用于贴纸处理、人体动作分析以及人体形态分析等应用中。本申请通过利用第一神经网络获得待处理图像的人体轮廓关键点，有利于快速准确的获得待处理图像的人体轮廓关键点，从而有利于满足实时提取待处理图像的人体轮廓关键点的要求，进而本申请提供的技术方案有利于应用在直播或者人机交互等实时环境中。
图3为本申请训练神经网络的一个实施例的流程图。如图3所示，该实施例方法包括：步骤S300、步骤S310以及步骤S320。下面对图3中的各步骤进行详细说明。
S300、获取包括有人体的样本图像块的图像特征，例如，从训练数据集中获取图像样本，并获取图像样本中的包含有人体的样本图像块的图像特征。在一个可选示例中，本申请中的训练数据集中包括多条用于训练第一神经网络的图像样本，通常情况下，每一个图像样本均设置有人体轮廓关键点标注信息；例如，每一个图像样本均设置有：多个人体轮廓关键点(如64个或者大于64且小于等于115个人体轮廓关键点等)标注信息。本申请可以按照随机读取方式或者按照图像样本排列次序顺序读取方式，一次从训练数据集中读取一个或者多个图像样本。训练数据集中的图像样本的人体轮廓关键点标注信息的生成方式可以如下述针对图5的描述，在此不再详细说明。
在一个可选示例中，本申请可以采用多种方式获取包含有人体的样本图像块的图像特征，例如，本申请可以利用神经网络的方式，来获取图像样本中的包含有人体的图像块的图像特征。一个具体的例子，本申请可以先对图像样本进行人体检测，然后，将人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块，最后，利用待训练的第二神经网络获取样本图像块的图像特征。上述人体检测结果可以具体为图像样本中的人体外接框的中心位置以及人体尺度因子。
S310、经待训练的第一神经网络根据图像特征获取人体的人体轮廓关键点预测结果。
在一个可选示例中，本申请中的待训练的第一神经网络，会针对输入的样本图像块的图像特征，为至少一个人体轮廓关键点，分别形成人体轮廓关键点响应图。一个具体的例子，预先设定人体轮廓关键点的数量为N(N为大于0的整数)，则本申请中的待训练的第一神经网络会针对输入的样本图像块的图像特征，形成N个人体轮廓关键点响应图，每一个人体轮廓关键点响应图对应一个人体轮廓关键点，不同人体轮廓关键点响应图对应不同的人体轮廓关键点，从而一个人体轮廓关键点响应图可以反映出与其对应的人体轮廓关键点出现在样本图像块中的各个位置的可能性。
在一个可选示例中，待训练的第一神经网络输出的人体轮廓关键点响应图可以具体为：人体轮廓关键点置信度图。人体轮廓关键点置信度图可以反映出相应的人体轮廓关键点出现在样本图像块中的多个位置(如各个位置)的置信度。
S320、以人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对待训练的第一神经网络进行监督学习。
在一个可选示例中，针对图像样本的任意一个人体轮廓关键点标注信息而言，本申请可以为该人体轮廓关键点标注信息生成人体轮廓关键点响应图(如人体轮廓关键点置信度图)。本申请可以针对图像样本的部分或者所有人体轮廓关键点标注信息，分别生成一人人体轮廓关键点响应图(如人体轮廓关键点置信度图)。之后，本申请可以以待训练的第一神经网络输出的各人体轮廓关键点响应图(如人体轮廓关键点置信度图)与上述生成的各人体轮廓关键点响应图(如人体轮廓关键点置信度图)之间的差异为指导信息，对待训练的第一神经网络进行监督学习。
一个具体的可选示例，待训练的第一神经网络针对N(如64)个人体轮廓关键点，输出的N(如64)张人体轮廓关键点置信度图，分别为第1输出人体轮廓关键点置信度图、第2输出人体轮廓关键点置信度图、……以及第N输出人体轮廓关键点置信度图，本申请为图像样本的N(如64)个人体轮廓关键点标注信息，生成N(如64)张人体轮廓关键点置信度图，分别为第1生成人体轮廓关键点置信度图、第2生成人体轮廓关键点置信度图、……以及第N生成人体轮廓关键点置信度图，本申请可以以第1输出人体轮廓关键点置信度图与第1生成人体轮廓关键点置信度图之间的差异、第2输出人体轮廓关键点置信度图与第2生成人体轮廓关键点置信度图之间的差异、……、以及第N输出人体轮廓关键点置信度图与第N生成人体轮廓关键点置信度图之间的差异，为指导信息，对待训练的第一神经网络进行监督学习。
在一个可选示例中，本申请可以通过多种方式生成人体轮廓关键点置信度图，例如，针对图像样本的其中任意一个人体轮廓关键点标注信息而言，先根据该人体轮廓关键点标注信息确定其在样本图像块中的位置，然后，在该位置的预定周边区域(如以该位置为中心的X×Y区域，再如，整个图像块区域等)内，形成高斯响应，从而可以根据该高斯响应，获得该人体轮廓关键点标注信息对应的人体轮廓关键点置信度图。利用上述方法，本申请可以为图像样本的每一个人体轮廓关键点标注信息，分别生成一张与样本图像块大小相等的人体轮廓关键点置信度图。另外，本申请也可以采用其他方式生成人体轮廓关键点置信度图，如将人体轮廓关键点标注信息所对应的样本图像块中的位置设置为1，而将其他位置设置为0，从而获得一张人体轮廓关键点置信度图。本申请不限制生成人体轮廓关键点置信度图的具体实现方式。
在一个可选示例中，本申请可以根据预先设置的人体轮廓点判别条件，针对待训练的第一神经网络输出的信息进行判断，并根据判断结果获得样本图像块中的人体轮廓关键点，从而本申请可以通过位置映射等方式，将样本图像块中的人体轮廓关键点转换到图像样本中，从而获得图像样本中的人体轮廓关键点。之后，本申请可以以减小上述获得的图像样本中的人体轮廓关键点与图像样本的人体轮廓关键点标注信息之间的差异为目的，调整待训练的第一神经网络中的网络参数(如权值等)，从而对待训练的第一神经网络进行监督学习。
在一个可选示例中，在针对待训练的第一神经网络的训练达到预定迭代条件时，本次训练过程结束。本申请中的预定迭代条件可以包括：待训练的第一神经网络输出的信息与图像样本的人体轮廓关键点标注信息之间的差异满足预定差异要求。在差异满足该预定差异要求的情况下，本次对待训练的第一神经网络成功训练完成。本申请中的预定迭代条件也可以包括：对该待训练的第一神经网络进行训练，所使用的图像样本的数量达到预定数量要求等。在使用的图像样本的数量达到预定数量要求，然而，差异并未满足预定差异要求的情况下，本次对待训练的第一神经网络并未训练成功。成功训练完成的第一神经网络可以用于对待处理图像中的包含有人体的图像块的图像特征进行人体轮廓关键点检测处理。
图4为本申请训练神经网络的另一个实施例的流程图。如图4所示，该实施例方法包括：步骤S400、步骤S410、步骤S420、步骤S430、步骤S440以及步骤S450。下面对图4中的各步骤进行说明。
S400、从训练数据集中获取图像样本。本申请中的图像样本可以参见上述针对步骤S300的描述。
S410、将图像样本提供给人体检测器，以获取图像样本的人体检测结果。可选的，本申请可以利用人体检测器获取图像样本中的人体外接框的中心位置以及人体尺度因子。
S420、将图像样本的人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块。
可选的，待训练的输入神经网络可以根据输入的图像样本中的人体外接框的中心位置以及人体尺度因子，确定出图像样本中的人体外接框的大小以及位置，从而待训练的输入神经网络可以根据人体外接框的大小以及位置从输入的图像样本中剪切出样本图像块，并输出该样本图像块。
S430、将样本图像块提供给待训练的第二神经网络，以经由第二神经网络获取样本图像块的图像特征。该待训练的第二神经网络的具体结构等可以参见上述方法实施方式中的相关描述，在此不再重复说明。
S440、将样本图像块的图像特征提供给待训练的第一神经网络，以经由待训练的第一神经网络根据样本图像块的图像特征进行人体轮廓关键点预测处理，从而获得至少一个人体轮廓关键点响应图。
可选的，针对输入的样本图像块的图像特征，待训练的第一神经网络可以为每一个人体轮廓关键点分别输出一人体轮廓关键点置信度图，即输出的每一个人体轮廓关键点置信度图，各自对应一个不同的人体轮廓关键点，一个人体轮廓关键点置信度图可以表示出：其对应的人体轮廓关键点出现在样本图像块中的每一个位置的置信度。
S450、以待训练的第一神经网络输出的N个人体轮廓关键点响应图与基于图像样本的人体轮廓关键点标注信息所形成的N个人体轮廓关键点响应图之间的差异为指导信息，对待训练的输入神经网络、待训练的第一神经网络以及待训练的第二神经网络进行监督学习。
可选的，针对图像样本的任意一个人体轮廓关键点标注信息而言，可以先根据该人体轮廓关键点标注信息确定其在样本图像块中的位置，然后，在该位置的预定周边区域(如以该位置为中心的X×Y区域，再如，整个图像块区域等)内，形成高斯响应，从而可以根据该高斯响应，获得该人体轮廓关键点标注信息对应的人体轮廓关键点置信度图。利用上述方法，本申请可以为图像样本的每一个人体轮廓关键点标注信息，分别生成一张与样本图像块大小相等的人体轮廓关键点置信度图。这样，本申请可以根据第一神经网络为每一个人体轮廓关键点输出的人体轮廓关键点置信度图与上述生成的相应的人体轮廓关键点置信度图之间的差异为指导信息，对待训练的输入神经网络、待训练的第一神经网络以及待训练的第二神经网络进行监督学习。也就是说，本申请可以以减小上述生成的人体轮廓关键点置信度图与待训练的第一神经网络输出的人体轮廓关键点置信度图之间的差异为目的，调整待训练的输入神经网络、待训练的第一神经网络以及待训练的第二神经网络中的网络参数(如权值等)，从而对待训练的输入神经网络、待训练的第一神经网络以及待训练的第二神经网络进行监督学习。
在针对待训练的输入神经网络、待训练的第一神经网络以及待训练的第二神经网络的训练达到预定迭代条件(如差异满足预定差异要求或者所使用的图像样本的数量达到预定数量要求)时，本次训练过程结束。在训练过程结束时，如果待训练的第一神经网络输出的信息与图像样本的人体轮廓关键点标注信息之间的差异满足预定差异要求，则本次对待训练的输入神经网络、待训练的第一神经网络以及待训练的第二神经网络成功训练完成；否则，本次对待训练的输入神经网络、待训练的第一神经网络以及待训练的第二神经网络并未训练成功。
图5为本申请的图像样本的人体轮廓关键点标注信息的生成方法的一个实施例的流程图。如图5所示，该实施例方法包括：步骤S500、步骤S510以及步骤S520。可选的，该实施例的方法还包括：步骤S530。下面对图5中的各步骤进行说明。
S500、获取图像样本的人体骨架关键点。
在一个可选示例中，本申请可以利用多种方式获取图像样本的人体骨架关键点，一个可选的例子，首先，将图像样本提供给人体检测器，以获取图像样本的人体检测结果，例如，获取图像样本中的人体外接框的中心位置以及人体尺度因子，然后，将图像样本的人体检测结果以及图像样本提供给输入神经网络，以经由输入神经网络，获得该图像样本中的包含有人体的样本图像块；之后，将样本图像块提供给人体骨架检测模块，以经由该人体骨架检测模块获得样本图像块中的人体骨架关键点。
在一个可选示例中，本申请中的人体骨架关键点通常位于人体关节中心位置处。利用人体骨架关键点并不能勾勒出人体外部轮廓。可选的，本申请获取到的人体骨架关键点包括：右肩关键点、右肘关键点、右腕关键点、左肩关键点、左肘关键点、左腕关键点、右髋关键点、右膝关键点、右踝关键点、左髋关键点、左膝关键点、左踝关键点、头顶关键点以及脖子关键点等。本申请不限制人体骨架关键点的数量以及获得人体骨架关键点的具体实现方式。
S510、根据该图像样本的第一集合中的人体轮廓关键点标注信息和/或人体骨架关键点，基于预定辅助线设置方式，设置辅助线。
在一个可选示例中，人体轮廓关键点标注信息可以包括人体轮廓关键点的编号以及位置坐标等。一个图像样本可以具有多个集合，不同集合对应的标注难度可以不相同，标注难度高的集合中的人体轮廓关键点标注信息可以是：在标注难度低的集合中的人体轮廓关键点标注信息的基础上，而形成的。本申请中的标注难度的高低可以基于人体轮廓关键点的位置是否易于准确确定，来区分。本申请中的图像样本的第一集合中的人体轮廓关键点标注信息的标注难度通常最低，即最易于被准确确定的人体轮廓关键点标注信息被设置于第一集合中。本申请可以通过手工标注等方式，形成第一集合中的人体轮廓关键点标注信息。
在一个可选示例中，第一集合中的人体轮廓关键点标注信息可以包括：
头部轮廓关键点标注信息，如1个头顶关键点标注信息、1个鼻尖关键点标注信息以及1个下巴关键点标注信息；
左侧手部轮廓关键点标注信息，如1个左手手尖关键点标注信息以及1个左手手掌中点关键点标注信息；
右侧手部轮廓关键点标注信息，如1个右手手尖关键点标注信息以及1个右手手掌中点关键点标注信息；
左侧手臂轮廓关键点标注信息中的左手腕轮廓关键点标注信息(内外各1)、左胳膊肘轮廓关键点标注信息(内外各1)以及1个左臂臂根内轮廓关键点标注信息(即左腋窝关键点标注信息)；
右侧手臂轮廓关键点标注信息中的右手腕轮廓关键点标注信息(内外各1)、右胳膊肘轮廓关键点标注信息(内外各1)以及1个右臂臂根内轮廓关键点标注信息(即右腋窝轮廓关键点标注信息)；
左侧肩部轮廓关键点标注信息中的1个左肩头交汇关键点标注信息；
右侧肩部轮廓关键点标注信息中的1个右肩头交汇关键点标注信息；
左侧腿部轮廓关键点标注信息中的1个裆部关键点标注信息、左膝盖轮廓关键点标注信息(内外各1)以及左脚踝轮廓关键点标注信息(内外各1)；
右侧腿部轮廓轮廓关键点标注信息中的裆部关键点标注信息(重复)、右膝盖轮廓关键点标注信息(内外各1)和右脚踝轮廓关键点标注信息(内外各1)；
左侧脚部轮廓关键点标注信息，如1个左脚尖关键点标注信息以及1个左足跟关键点标注信息；
右侧脚部轮廓关键点标注信息，如1个右脚尖关键点标注信息以及1个右足跟关键点标注信息。
在一个可选示例中，本申请中的预定辅助线设置方式通常包括：通过一人体轮廓关键点，设置与两个人体骨架关键点的连线相垂直的垂线。
第一个可选的例子，做人体骨架关键点中的左肩关键点和左肘关键点之间的连线(下述称为第一连线)，通过第一集合中的左腋窝关键点，设置该第一连线的垂线(下述称为第一垂线)，该第一垂线即为本申请中的一辅助线。同样的，做人体骨架关键点中的右肩关键点和右肘关键点之间的连线(下述称为第二连线)，通过第一集合中的右腋窝关键点，设置该第一连线的垂线(下述称为第二垂线)，该第二垂线即为本申请中的一辅助线。
第二个可选的例子，做人体骨架关键点中的左髋关键点和左膝关键点之间的连线(下述称为第三连线)，通过第一集合中的裆部关键点，设置该第三连线的垂线(下述称为第三垂线)，该第三垂线即为本申请中的一辅助线。同样的，做人体骨架关键点中的右髋关键点和右膝关键点之间的连线(下述称为第四连线)，通过第一集合中的裆部关键点，设置该第四连线的垂线(下述称为第四垂线)，该第四垂线即为本申请中的一辅助线。
S520、根据从辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息。
在一个可选示例中，本申请的图像样本的第二集合中的人体轮廓关键点标注信息的标注难度通常高于第一集合。第二集合中的人体轮廓关键点标注信息通常是在第一集合中的人体轮廓关键点标注信息的基础上，形成的。本申请可以通过从辅助线上选取点的方式，如选取交点的方式，形成第二集合中的人体轮廓关键点标注信息。通过做辅助线以及在辅助线上选取点的方式形成第二集合中的人体轮廓关键点标注信息，有利于提高第二集合中的人体轮廓关键点标注信息的准确性和一致性。
在一个可选示例中，本申请可以将第一垂线与样本图像块中的人体外部轮廓相交的点作为左臂臂根外轮廓关键点，通过将左臂臂根外轮廓关键点在样本图像块中的位置坐标，转换为图像样本中的位置坐标，从而可以根据该左臂臂根外轮廓关键点的编号以及其在图像样本中的位置坐标，形成第二集合中的左臂臂根外轮廓关键点标注信息。通过该方式有利于提高左臂臂根外轮廓关键点标注信息的准确性和一致性。
在一个可选示例中，本申请可以将第二垂线与样本图像块中的人体外部轮廓相交的点作为右臂臂根外轮廓关键点，通过将右臂臂根外轮廓关键点在样本图像块中的位置坐标，转换为图像样本中的位置坐标，从而可以根据该右臂臂根外轮廓关键点的编号以及其在图像样本中的位置坐标，形成第二集合中的右臂臂根外轮廓关键点标注信息。通过该方式有利于提高右臂臂根外轮廓关键点标注信息的准确性和一致性。
在一个可选示例中，本申请可以将第三垂线与样本图像块中的人体外部轮廓相交的点作为左大腿根部外侧轮廓关键点，通过将左大腿根部外侧轮廓关键点在样本图像块中的位置坐标，转换为图像样本中的位置坐标，从而可以根据该左大腿根部外侧轮廓关键点的编号以及其在图像样本中的位置坐标，形成第二集合中的左大腿根部外侧轮廓关键点标注信息。通过该方式有利于提高左大腿根部外侧轮廓关键点标注信息的准确性和一致性。
在一个可选示例中，本申请可以将第四垂线与样本图像块中的人体外部轮廓相交的点作为右大腿根部外侧轮廓关键点，通过将右大腿根部外侧轮廓关键点在样本图像块中的位置坐标，转换为图像样本中的位置坐标，从而可以根据该右大腿根部外侧轮廓关键点的编号以及其在图像样本中的位置坐标，形成第二集合中的右大腿根部外侧轮廓关键点标注信息。通过该方式有利于提高右大腿根部外侧轮廓关键点标注信息的准确性和一致性。
S530、根据第一集合和/或第二集合中的两个人体轮廓关键点之间的连线上的N1分点，形成第三集合中的人体轮廓关键点标注信息。
在一个可选示例中，本申请的图像样本的第三集合中的人体轮廓关键点标注信息的标注难度通常高于第一集合。然而，第三集合的标注难度并不是一定会高于第二集合的标注难度。在一个可选的示例中，本申请中的人体轮廓关键点标注信息可以是第一集合中的两个人体轮廓关键点的连线上的N1分点的标注信息；也可以是第二集合中的两个人体轮廓关键点的连线的N1分点的标注信息；还可以是第一集合中的1个人体轮廓关键点与第二集合中的1个人体轮廓关键点的连线的N1分点的标注信息。本申请中的N1分点通常为N1均分点，N1均分点即N1等分点，且N1为大于1的整数，如2等分点(即中点)或者5等分点或者6等分点等。
在一个可选的示例中，本申请可以将左手腕内轮廓关键点与左胳膊肘内轮廓关键点之间连线的中点作为左下臂内轮廓中点关键点，并形成第三集合中的左下臂内轮廓中点关键点标注信息。本申请可以将左手腕外轮廓关键点与左胳膊肘外轮廓关键点之间连线的中点作为左下臂外轮廓中点关键点，并形成第三集合中的左下臂外轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将右手腕内轮廓关键点与右胳膊肘内轮廓关键点之间连线的中点作为右下臂内轮廓中点关键点，并形成第三集合中的右下臂内轮廓中点关键点标注信息。本申请可以将右手腕外轮廓关键点与左胳膊肘外轮廓关键点之间连线的中点作为右下臂外轮廓中点关键点，并形成第三集合中的右下臂外轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将左胳膊肘内轮廓关键点与左臂臂根内轮廓关键点(即左腋窝关键点)之间连线的中点作为左上臂内轮廓中点关键点，并形成第三集合中的左上臂内轮廓中点关键点标注信息。本申请可以将左胳膊肘外轮廓关键点与左臂臂根外轮廓关键点之间连线的中点作为左上臂外轮廓中点关键点，并形成第三集合中的左上臂外轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将右胳膊肘内轮廓关键点与右臂臂根内轮廓关键点(即右腋窝关键点)之间连线的中点作为右上臂内轮廓中点关键点，并形成第三集合中的右上臂内轮廓中点关键点标注信息。本申请可以将右胳膊肘外轮廓关键点与右臂臂根外轮廓关键点之间连线的中点作为右上臂外轮廓中点关键点，并形成第三集合中的右上臂外轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将左臂臂根外轮廓关键点与左肩头交汇关键点之间连线的中点作为左肩轮廓中点关键点，并形成第三集合中的左肩轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将右臂臂根外轮廓关键点与右肩头交汇关键点之间连线的中点作为右肩轮廓中点关键点，并形成第三集合中的右肩轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将左膝盖内轮廓关键点与左脚踝内轮廓关键点之间连线的中点作为左小腿内轮廓中点关键点，并形成第三集合中的左小腿内轮廓中点关键点标注信息。本申请可以将左膝盖外轮廓关键点与左脚踝外轮廓关键点之间连线的中点作为左小腿外轮廓中点关键点，并形成第三集合中的左小腿外轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将右膝盖内轮廓关键点与右脚踝内轮廓关键点之间连线的中点作为右小腿内轮廓中点关键点，并形成第三集合中的右小腿内轮廓中点关键点标注信息。本申请可以将右膝盖外轮廓关键点与右脚踝外轮廓关键点之间连线的中点作为右小腿外轮廓中点关键点，并形成第三集合中的右小腿外轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将左膝盖内轮廓关键点与左大腿根部内侧轮廓关键点(即裆部关键点)之间连线的中点作为左大腿内轮廓中点关键点，并形成第三集合中的左大腿内轮廓中点关键点标注信息。本申请可以将左膝盖外轮廓关键点与左大腿根部外侧轮廓关键点之间连线的中点作为左大腿外轮廓中点关键点，并形成第三集合中的左大腿外轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将右膝盖内轮廓关键点与右大腿根部内侧轮廓关键点(即裆部关键点)之间连线的中点作为右大腿内轮廓中点关键点，并形成第三集合中的右大腿内轮廓中点关键点标注信息。本申请可以将右膝盖外轮廓关键点与右大腿根部外侧轮廓关键点之间连线的中点作为右大腿外轮廓中点关键点，并形成第三集合中的右大腿外轮廓中点关键点标注信息。
在一个可选的示例中，本申请可以将左大腿根部外侧轮廓关键点与左臂臂根轮廓关键点(即左腋窝关键点)之间连线6等分，从而产生5个等分点，本申请可以将5个等分点作为5个左侧腰部轮廓关键点，并形成第三集合中的5个左侧腰部轮廓关键点标注信息。
在一个可选的示例中，本申请可以将右大腿根部外侧轮廓关键点与右臂臂根轮廓关键点(即右腋窝关键点)之间连线6等分，从而产生5个等分点，本申请可以将5个等分点作为5个右侧腰部轮廓关键点，并形成第三集合中的5个右侧腰部轮廓关键点标注信息。
图6为本申请的图像处理方法的一个实施例的流程图。如图6所示，该实施例方法包括：步骤S600以及步骤S610。下面对图6中的各步骤进行说明。
S600、检测包括有人体的图像块的人体轮廓关键点。本申请中的人体轮廓关键点用于表示人体的外部轮廓。本申请可以利用上述图1所示的各步骤进行人体轮廓关键点的检测。在此不再重复描述。
S610、根据人体轮廓关键点对图像块进行AR(Augmented Reality，增强现实)效果的渲染处理。
在一个可选示例中，本申请可以先确定出图像块的人体轮廓关键点与贴纸素材的位置关系，然后，根据该位置关系，基于贴纸素材，对图像块进行AR效果的渲染处理。一个更具体的可选示例，首先，调用用于创建贴纸句柄的第一接口函数创建贴纸句柄；其次，调用用于读取贴纸素材的第二接口函数将贴纸素材压缩包读入内存并进行解析，从而根据解析获得贴纸素材关联的人体轮廓关键点、贴纸素材的播放触发条件、贴纸素材的播放状态参数等渲染所需的信息；再次，调用用于渲染贴纸素材的第三接口函数根据解析结果确定图像块的人体轮廓关键点与贴纸素材的位置关系，并基于上述贴纸句柄根据解析结果和位置关系在图像块上将读入内存的贴纸素材包进行AR效果的渲染。在渲染完成后，销毁上述创建的贴纸句柄。
在一个可选示例中，本申请中的贴纸素材的播放状态参数可以包括：播放所在图层、循环播放参数以及放大/缩小播放，等等。本申请中的AR效果可以具体为服装效果(如换装效果)、饰品效果(如饰品佩带效果)、广告效果以及2D/3D特效，等等。本申请不限制播放状态参数所包括的具体内容以及AR效果的具体表现形式。
图7为本申请的对待处理图像进行贴纸处理的一个实施例的流程图。如图7所示，该实施例方法包括：步骤S700、步骤S710、步骤S720、步骤S730、步骤S740以及步骤S750。下面对图7中的各步骤进行说明。
S700、创建贴纸句柄。
在一个可选示例中，本申请可以通过调用创建贴纸句柄的接口函数来实现贴纸句柄的创建。创建的贴纸句柄预留有相应的存储空间，以便于存储视频帧以及贴纸素材等。另外，本申请可以在非GL(Graphics Library，图形库)环境中创建贴纸句柄。本申请创建的贴纸句柄可以为基于延迟创建GL中的资源的贴纸句柄，也就是说，如果创建的贴纸句柄需要使用GL中的资源，则可以采用使用资源时创建的策略，例如，在第一次渲染之前，在GL环境中创建相应的资源。
S710、读取贴纸素材。
在一个可选示例中，本申请可以通过调用读取贴纸素材的接口函数来实现贴纸素材的读取，如通过向该接口函数提供贴纸素材的路径信息，将相应的贴纸素材压缩包读入到内存中，并在内存中对该压缩包中的文件进行解析。贴纸素材压缩包中通常包含有json文件，通过对json文件的解析，一方面可以获取贴纸素材压缩包中的贴纸素材(如2D贴纸等)的图片数量以及大小等贴纸素材的信息，以便于进行贴纸素材的读取，另一方面可以获取到不同贴纸素材与人体轮廓关键点的位置关系以及贴纸素材的触发动作等。本申请可以在上述创建的贴纸句柄中存储贴纸素材、位置关系和触发动作等贴纸素材渲染信息。
在一个可选示例中，本申请可以根据贴纸句柄中的贴纸渲染信息来获取需要渲染的帧数，并预先读取相应的视频帧。本申请可以通过在后台开启一个资源读取线程，来完成上述读取视频帧的操作。
S720、渲染贴纸素材。
在一个可选示例中，本申请可以通过调用渲染贴纸素材的接口函数来实现渲染贴纸素材的操作。例如，该接口函数可以根据贴纸素材渲染信息以及检测出的视频帧中的动作，判断是否需要在该视频帧中渲染相应的贴纸素材(如视频帧中的动作是否属于各贴纸素材各自对应的触发动作等)，在判断出需要在视频帧中渲染相应的贴纸素材的情况下，该贴纸素材进入播放状态，本申请可以根据贴纸素材与人体轮廓关键点的位置关系等信息，将相应的贴纸素材显示在一定数量的视频帧中的相应位置上。具体的，可以计算出进行播放状态的贴纸素材的位置矩阵，并将位置矩阵存储在贴纸句柄中，在显示时，可以先将相应的贴纸素材转换为显存中的图像纹理，以便显示处理器进行处理，然后，根据获得的位置矩阵，确定图像纹理在视频帧中的位置，并进行渲染。
S730、销毁贴纸句柄。
在一个可选示例中，本申请可以在不需要继续渲染贴纸素材的情况下，通过调用销毁贴纸句柄的接口函数来销毁上述创建的贴纸句柄，以释放特征句柄所占用的相应资源。
图8为本申请的人体轮廓关键点检测装置一个实施例的结构示意图。如图8所示，该实施例的装置主要包括：获取图像特征模块800、获取预测结果模块810以及获得轮廓关键点模块820。可选的，该装置还可以包括：神经网络的训练装置830。
获取图像特征模块800主要用于获取包括有人体的图像块的图像特征。获取图像特征模块800所执行的具体操作，可以参见上述方法实施方式中针对图1中的步骤100的描述。在此不再重复说明。
获取预测结果模块810主要用于经第一神经网络根据上述获取图像特征模块800所获得的图像特征，获取人体的人体轮廓关键点预测结果。获取预测结果模块810所执行的具体操作，可以参见上述方法实施方式中针对图1中的步骤110的描述。在此不再重复说明。
获得轮廓关键点模块820主要用于根据人体轮廓关键点预测结果，获得图像块中的人体轮廓关键点。人体轮廓关键点用于表示人体的外部轮廓。获得轮廓关键点模块820所执行的具体操作，可以参见上述方法实施方式中针对图1中的步骤120的描述。在此不再重复说明。
神经网络的训练装置830主要用于对第一神经网络进行训练。神经网络的训练装置830也可以用于对输入神经网络以及第二神经网络进行训练。神经网络的训练装置830还可以用于对图像样本进行标注。神经网络的训练装置830具体执行的操作，可以参见上述方法实施方式中针对图3、图4以及图5的描述。神经网络的训练装置830的具体结构可以参见下述实施方式中针对图9的描述。在此不再重复说明。
图9为本申请的神经网络的训练装置一个实施例的结构示意图。如图9所示，该实施例的装置主要包括：第一模块900、第二模块910以及第三模块920。可选的，该装置还可以包括：第一标注模块930和第二标注模块940。
第一模块900主要用于获取包括有人体的样本图像块的图像特征。
在一个可选示例中，第一模块900包括：检测子模块、第一获取子模块以及第二获取子模块。其中的检测子模块主要用于对图像样本进行人体检测。其中的第一获取子模块主要用于将人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块。其中的第二获取子模块主要用于利用待训练的第二神经网络获取样本图像块的图像特征。第一模块900及其包含的各子模块所执行的具体操作，可以参见上述方法实施方式中针对图3中的步骤S300以及图4中的步骤S400、S410、S420和S430的描述。在此不再重复说明。
第二模块910主要用于经待训练的第一神经网络根据图像特征，获取人体的人体轮廓关键点预测结果。第二模块910所执行的具体操作，可以参见上述方法实施方式中针对图3中的步骤S310以及图4中的步骤S440的描述。在此不再重复说明。
第三模块920主要用于以人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对待训练的第一神经网络进行监督学习。第三模块920还用于：以人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对待训练的输入神经网络以及待训练的第二神经网络进行监督学习。第三模块920所执行的具体操作，可以参见上述方法实施方式中针对图3中的步骤S320以及图4中的步骤S450的描述。在此不再重复说明。
第一标注模块930主要用于获取图像样本的人体骨架关键点，根据已设置的第一集合中的人体轮廓关键点标注信息和/或所述人体骨架关键点，设置辅助线，并根据从辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息。第一标注模块930所执行的具体操作，可以参见上述方法实施方式中针对图5中的步骤S500、S510以及S520的描述。在此不再重复说明。
第二标注模块940主要用于根据第一集合和/或第二集合中的两个人体轮廓关键点之间的连线上的N1个分点，形成第三集合中的人体轮廓关键点标注信息；其中，N1为大于1的整数。第二标注模块940所执行的具体操作，可以参见上述方法实施方式中针对图5中的S530的描述。在此不再重复说明。
图10为本申请的图像处理装置的一个实施例的结构示意图。图10中的装置主要包括：人体轮廓关键点检测装置1000以及渲染模块1010。
人体轮廓关键点检测装置1000主要用于检测包括有人体的图像块的人体轮廓关键点。其中的人体轮廓关键点用于表示人体的外部轮廓。该人体轮廓关键点检测装置1000所执行的具体操作，可以参见上述方法实施方式中针对图1、图3、图4以及图5的描述。在此不再重复说明。
渲染模块1010主要用于根据人体轮廓关键点对图像块进行AR效果的渲染处理。渲染模块1010所执行的具体操作，可以参见上述方法实施方式中针对图6中的步骤S610以及图7的描述。在此不再重复说明。
示例性设备
图11示出了适于实现本申请的示例性设备1100，设备1100可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图11中，设备1100包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)1101，和/或，一个或者多个利用神经网络进行人体轮廓关键点检测的图像处理器(GPU)1113等，处理器可以根据存储在只读存储器(ROM)1102中的可执行指令或者从存储部分1108加载到随机访问存储器(RAM)1103中的可执行指令而执行各种适当的动作和处理。通信部1112可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器1102和/或随机访问存储器1130中通信以执行可执行指令，通过总线1104与通信部1112相连、并经通信部1112与其他目标设备通信，从而完成本申请中的相应步骤。
上述各指令所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。此外，在RAM1103中，还可以存储有装置操作所需的各种程序以及数据。CPU1101、ROM1102以及RAM1103通过总线1104彼此相连。在有RAM1103的情况下，ROM1102为可选模块。RAM1103存储可执行指令，或在运行时向ROM1102中写入可执行指令，可执行指令使中央处理单元1101执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口1105也连接至总线1104。通信部1112可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装在存储部分1108中。
需要特别说明的是，如图11所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图11的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。
特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包含有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请提供的方法中的步骤对应的指令。
在这样的实施方式中，该计算机程序可以通过通信部分1109从网络上被下载及安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请中记载的实现上述相应步骤的指令。
在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任意实施例中所述的人体轮廓关键点检测方法或者神经网络的训练方法或者图像处理方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在一个或多个可选实施方式中，本公开实施例还提供了另一种人体轮廓关键点检测方法和神经网络的训练方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中的方法包括：第一装置向第二装置发送人体轮廓关键点检测指示或者训练神经网络指示或者图像处理指示，该指示使得第二装置执行上述任一可能的实施例中的人体轮廓关键点检测方法或者训练神经网络方法或者图像处理方法；第一装置接收第二装置发送的人体轮廓关键点检测结果或者神经网络训练结果或者图像处理结果。
在一些实施例中，该人体轮廓关键点检测指示或者训练神经网络指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行人体轮廓关键点检测操作或者训练神经网络操作或者图像处理操作，相应地，响应于接收到调用指令，第二装置可以执行上述人体轮廓关键点检测方法或者训练神经网络的方法或者图像处理方法中的任意实施例中的步骤和/或流程。
应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述，是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言，是显然的。选择和描述实施方式是为了更好说明本申请的原理以及实际应用，并且使本领域的普通技术人员能够理解本申请实施例可以从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (63)

1.一种人体轮廓关键点检测方法，其特征在于，包括：
获取包括有人体的图像块的图像特征；
经第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；其中，所述第一神经网络基于包括有人体轮廓关键点标注信息的训练图像集训练得到，所述训练图像集包括图像样本；其中，所述图像样本带有的人体轮廓关键点标注信息基于以下方式设置：获取所述图像样本的人体骨架关键点；根据已设置的第一集合中的人体轮廓关键点标注信息和所述人体骨架关键点，设置辅助线；根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息；
根据所述人体轮廓关键点预测结果，获得所述图像块中的人体轮廓关键点；其中，所述人体轮廓关键点用于表示人体的外部轮廓。
2.根据权利要求1所述的方法，其特征在于，所述获取包括有人体的图像块的图像特征包括：
对待处理图像进行人体检测；
根据人体检测结果获取所述待处理图像中包括有人体的所述图像块。
3.根据权利要求2所述的方法，其特征在于，
所述图像块为所述待处理图像；或者，
所述图像块为所述待处理图像中包括人体的局部图像，或者，
所述图像块为基于所述待处理图像中包括人体的局部图像处理而得的图像块。
4.根据权利要求2所述的方法，其特征在于，
所述对待处理图像进行人体检测包括：利用人体检测器对所述待处理图像进行人体检测，以获得人体外接框的中心位置以及人体尺度因子；
所述人体外接框的中心位置以及人体尺度因子用于确定人体外接框在待处理图像中的位置。
5.根据权利要求所述的方法，其特征在于，所述经第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果包括：
经所述第一神经网络根据所述图像特征，形成与至少一个体轮廓关键点分别对应的至少一个人体轮廓关键点响应图。
6.根据权利要求5所述的方法，其特征在于，所述人体轮廓关键点响应图包括：人体轮廓关键点置信度图。
7.根据权利要求6所述的方法，其特征在于，所述根据所述人体轮廓关键点预测结果，获得所述图像块中的人体轮廓关键点包括：
针对一人体轮廓关键点置信度图，从所述置信度图中选取一满足预定置信度要求的点，将该点在所述图像块中的映射位置点，作为所述置信度图所对应的人体轮廓关键点。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述人体轮廓关键点包括：头部轮廓关键点、手臂轮廓关键点、手部轮廓关键点、肩部轮廓关键点、腿部轮廓关键点、腰部轮廓关键点和/或脚部轮廓关键点。
9.根据权利要求8所述的方法，其特征在于，
所述头部轮廓关键点包括以下一种或多种：头顶关键点、鼻尖关键点以及下巴关键点；和/或，
所述手臂轮廓关键点包括以下一种或多种：手腕轮廓关键点、胳膊肘轮廓关键点、臂根轮廓关键点、位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的下臂轮廓中点关键点、以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的上臂中点关键点；和/或
所述手部轮廓关键点包括以下一种或多种：手尖关键点以及手掌中点关键点；和/或
所述肩部轮廓关键点包括以下一种或多种：位于肩部与头部交汇位置处的肩头交汇关键点以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点；和/或
所述腿部轮廓关键点包括以下一种或多种：裆部关键点、膝盖轮廓关键点、脚踝轮廓关键点、大腿根部外侧轮廓关键点、位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点、位于膝盖轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点、以及位于膝盖轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点；和/或
所述腰部轮廓关键点包括以下一种或多种：将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分，所产生的N个等分点；其中，所述N大于1；和/或
所述脚部轮廓关键点包括以下一种或多种：脚尖关键点以及足跟关键点。
10.根据权利要求1至7中任一项所述的方法，其特征在于，所述第一神经网络的训练包括：
获取包括有人体的样本图像块的图像特征；
经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；
以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习。
11.根据权利要求10所述的方法，其特征在于，所述获取包括有人体的样本图像块的图像特征包括：
从训练数据集中获取图像样本；
获取图像样本中的包含有人体的样本图像块的图像特征。
12.根据权利要求10所述的方法，其特征在于，所述经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果包括：
经所述待训练的第一神经网络根据所述图像特征形成与至少一个体轮廓关键点分别对应的至少一个人体轮廓关键点响应图。
13.根据权利要求12所述的方法，其特征在于，所述人体轮廓关键点响应图包括：人体轮廓关键点置信度图。
14.根据权利要求13所述的方法，其特征在于，所述以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习包括：
针对至少一个人体轮廓关键点标注信息，分别生成人体轮廓关键点置信度图；
以所述待训练的第一神经网络输出的人体轮廓关键点置信度图与所述生成的人体轮廓关键点置信度图之间的差异，为指导信息，对所述待训练的第一神经网络进行监督学习。
15.根据权利要求14所述的方法，其特征在于，所述针对至少一个人体轮廓关键点标注信息，分别生成人体轮廓关键点置信度图包括：
针对至少一个人体轮廓关键点标注信息，分别在相应的人体轮廓关键点标注信息各自对应的样本图像块中的位置的预定周边区域内，形成高斯响应，并根据所述高斯响应，形成至少一个人体轮廓关键点标注信息各自对应的人体轮廓关键点置信度图。
16.根据权利要求13所述的方法，其特征在于，所述以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习包括：
针对一人体轮廓关键点置信度图，从所述置信度图中选取满足预定置信度要求的点，将该点在所述图像样本中的映射位置点，作为所述置信度图所对应的人体轮廓关键点；
以所述置信度图对应的人体轮廓关键点与所述图像样本的人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习。
17.根据权利要求1所述的方法，其特征在于，所述获取包括有人体的样本图像块的图像特征包括：
对所述图像样本进行人体检测；
将人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块；
利用待训练的第二神经网络获取所述样本图像块的图像特征。
18.根据权利要求17所述的方法，其特征在于，所述训练所述第一神经网络还包括：
以所述人体轮廓关键点预测结果与所述人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的输入神经网络以及待训练的第二神经网络进行监督学习。
19.根据权利要求1至7中任一项所述的方法，其特征在于，所述图像样本带有的人体轮廓关键点标注信息的设置过程还包括：
根据第一集合和/或第二集合中的两个人体轮廓关键点之间的连线上的N1个分点，形成第三集合中的人体轮廓关键点标注信息；
其中，N1为大于1的整数。
20.根据权利要求18所述的方法，其特征在于，所述根据已设置的第一集合中的人体轮廓关键点标注信息和所述人体骨架关键点，设置辅助线包括：
根据所述人体骨架关键点确定通过臂根内轮廓关键点且与上臂方向垂直的第一辅助线；
所述根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息，包括：
根据所述第一辅助线与上臂外轮廓交点，形成第二集合中臂根外轮廓关键点的标注信息。
21.根据权利要求18所述的方法，其特征在于，所述根据已设置的第一集合中的人体轮廓关键点标注信息和所述人体骨架关键点，设置辅助线，包括：
设置经过裆部关键点且与人体骨架关键点形成的大腿方向垂直的第二辅助线；
所述根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息，包括：
根据所述第二辅助线与大腿外轮廓交点，形成第二集合中的大腿根部外侧轮廓关键点的标注信息。
22.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：
根据所述人体轮廓关键点，对所述图像块进行增强现实AR效果的渲染处理。
23.根据权利要求22所述的方法，其特征在于，所述根据所述人体轮廓关键点，对所述图像块进行AR效果的渲染处理包括：
确定所述图像块的人体轮廓关键点与贴纸素材的位置关系；
根据所述位置关系，基于所述贴纸素材，对所述图像块进行AR效果的渲染处理。
24.一种图像处理方法，其特征在于，包括：
采用如权利要求1-23中任一项所述的方法检测包括有人体的图像块的人体轮廓关键点，其中，所述人体轮廓关键点用于表示人体的外部轮廓；
根据所述人体轮廓关键点对所述图像块进行增强现实AR效果的渲染处理。
25.根据权利要求24所述的方法，其特征在于，所述根据所述人体轮廓关键点对所述图像块进行AR效果的渲染处理，包括：
确定所述图像块的人体轮廓关键点与贴纸素材的位置关系；
根据所述位置关系，基于所述贴纸素材，对所述图像块进行AR效果的渲染处理。
26.根据权利要求24至25中任一项所述的方法，其特征在于，所述根据所述人体轮廓关键点对所述图像块进行AR效果的渲染处理，包括：
调用用于创建贴纸句柄的第一接口函数创建贴纸句柄；
调用用于读取贴纸素材的第二接口函数将贴纸素材压缩包读入内存并进行解析；
调用用于渲染贴纸素材的第三接口函数根据解析结果确定所述图像块的人体轮廓关键点与贴纸素材的位置关系，并基于所述贴纸句柄根据所述解析结果和所述位置关系在所述图像块上将读入内存的贴纸素材包进行AR效果的渲染。
27.根据权利要求26所述的方法，其特征在于，所述解析结果包括以下一种或多种：贴纸素材关联的人体轮廓关键点，贴纸素材的播放触发条件，贴纸素材的播放状态参数。
28.根据权利要求26所述的方法，其特征在于，所述方法还包括：渲染完成后，销毁所述贴纸句柄。
29.一种神经网络的训练方法，其特征在于，包括：
获取包括有人体的样本图像块的图像特征；
经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；
以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习；
其中，所述人体轮廓关键点标注信息的设置过程包括：
获取图像样本的人体骨架关键点；所述图像样本包括所述样本图像块；
根据已设置的第一集合中的人体轮廓关键点标注信息和所述人体骨架关键点，设置辅助线；
根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息。
30.根据权利要求29所述的方法，其特征在于，所述获取包括有人体的样本图像块的图像特征包括：
从训练数据集中获取图像样本；
获取图像样本中的包含有人体的样本图像块的图像特征。
31.根据权利要求29所述的方法，其特征在于，所述经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果包括：
经所述第一神经网络根据所述图像特征形成与至少一个体轮廓关键点分别对应的至少一个人体轮廓关键点响应图。
32.根据权利要求31所述的方法，其特征在于，所述人体轮廓关键点响应图包括：人体轮廓关键点置信度图。
33.根据权利要求32所述的方法，其特征在于，所述以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习包括：
针对至少一个人体轮廓关键点标注信息，分别生成人体轮廓关键点置信度图；
以所述待训练的第一神经网络输出的人体轮廓关键点置信度图与所述生成的人体轮廓关键点置信度图之间的差异，为指导信息，对所述待训练的第一神经网络进行监督学习。
34.根据权利要求33所述的方法，其特征在于，所述针对至少一个人体轮廓关键点标注信息，分别生成人体轮廓关键点置信度图包括：
针对至少一个人体轮廓关键点标注信息，分别在相应的人体轮廓关键点标注信息各自对应的样本图像块中的位置的预定周边区域内，形成高斯响应，并根据所述高斯响应，形成至少一个人体轮廓关键点标注信息各自对应的人体轮廓关键点置信度图。
35.根据权利要求32所述的方法，其特征在于，所述以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习包括：
针对一人体轮廓关键点置信度图，从所述置信度图中选取满足预定置信度要求的点，将该点在所述图像样本中的映射位置点，作为所述置信度图所对应的人体轮廓关键点；
以所述置信度图对应的人体轮廓关键点与所述图像样本的人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习。
36.根据权利要求29所述的方法，其特征在于，所述获取包括有人体的样本图像块的图像特征包括：
对所述图像样本进行人体检测；
将人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块；
利用待训练的第二神经网络获取所述样本图像块的图像特征。
37.根据权利要求36所述的方法，其特征在于，所述训练所述第一神经网络还包括：
以所述人体轮廓关键点预测结果与所述人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的输入神经网络以及待训练的第二神经网络进行监督学习。
38.根据权利要求29至37中任一项所述的方法，其特征在于，所述人体轮廓关键点标注信息的设置过程还包括：
根据第一集合和/或第二集合中的两个人体轮廓关键点之间的连线上的N1个分点，形成第三集合中的人体轮廓关键点标注信息；
其中，N1为大于1的整数。
39.根据权利要求29至37中任一项所述的方法，其特征在于，所述根据已设置的第一集合中的人体轮廓关键点标注信息和所述人体骨架关键点，设置辅助线包括：
根据所述人体骨架关键点确定通过臂根内轮廓关键点且与上臂方向垂直的第一辅助线；
所述根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息，包括：
根据所述第一辅助线与上臂外轮廓交点，形成第二集合中臂根外轮廓关键点的标注信息。
40.根据权利要求29至37中任一项所述的方法，其特征在于，所述根据已设置的第一集合中的人体轮廓关键点标注信息和所述人体骨架关键点，设置辅助线，包括：
设置经过裆部关键点且与人体骨架关键点形成的大腿方向垂直的第二辅助线；
所述根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息，包括：
根据所述第二辅助线与大腿外轮廓交点，形成第二集合中的大腿根部外侧轮廓关键点的标注信息。
41.一种人体轮廓关键点检测装置，其特征在于，包括：
获取图像特征模块，用于获取包括有人体的图像块的图像特征；
获取预测结果模块，用于经第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；其中，所述第一神经网络基于包括有人体轮廓关键点标注信息的训练图像集训练得到，所述训练图像集包括图像样本；其中，所述图像样本带有的人体轮廓关键点标注信息基于以下方式设置：获取所述图像样本的人体骨架关键点；根据已设置的第一集合中的人体轮廓关键点标注信息和所述人体骨架关键点，设置辅助线；根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息；
获得轮廓关键点模块，用于根据所述人体轮廓关键点预测结果，获得所述图像块中的人体轮廓关键点；其中，所述人体轮廓关键点用于表示人体的外部轮廓。
42.根据权利要求41所述的装置，其特征在于，所述获取图像特征模块对待处理图像进行人体检测；并根据人体检测结果获取所述待处理图像中包括有人体的所述图像块。
43.根据权利要求42所述的装置，其特征在于，
所述图像块为所述待处理图像；或者，
所述图像块为所述待处理图像中包括人体的局部图像，或者，
所述图像块为基于所述待处理图像中包括人体的局部图像处理而得的图像块。
44.根据权利要求41所述的装置，其特征在于，
所述获取图像特征模块，利用人体检测器对所述待处理图像进行人体检测，以获得人体外接框的中心位置以及人体尺度因子；
其中，所述人体外接框的中心位置以及人体尺度因子用于确定人体外接框在待处理图像中的位置。
45.根据权利要求41所述的装置，其特征在于，所述获取预测结果模块，经所述第一神经网络根据所述图像特征，形成与至少一个体轮廓关键点分别对应的至少一个人体轮廓关键点响应图。
46.根据权利要求45所述的装置，其特征在于，所述人体轮廓关键点响应图包括：人体轮廓关键点置信度图。
47.根据权利要求46所述的装置，其特征在于，所述获得轮廓关键点模块，针对一人体轮廓关键点置信度图，从所述置信度图中选取一满足预定置信度要求的点，将该点在所述图像块中的映射位置点，作为所述置信度图所对应的人体轮廓关键点。
48.根据权利要求41至47中任一项所述的装置，其特征在于，所述人体轮廓关键点包括：头部轮廓关键点、手臂轮廓关键点、手部轮廓关键点、肩部轮廓关键点、腿部轮廓关键点、腰部轮廓关键点和/或脚部轮廓关键点。
49.根据权利要求48所述的装置，其特征在于，
所述头部轮廓关键点包括以下一种或多种：头顶关键点、鼻尖关键点以及下巴关键点；和/或，
所述手臂轮廓关键点包括以下一种或多种：手腕轮廓关键点、胳膊肘轮廓关键点、臂根轮廓关键点、位于手腕轮廓关键点与胳膊肘轮廓关键点之间的中点位置处的下臂轮廓中点关键点、以及位于胳膊肘轮廓关键点与臂根轮廓关键点之间的中点位置处的上臂中点关键点；和/或
所述手部轮廓关键点包括以下一种或多种：手尖关键点以及手掌中点关键点；和/或
所述肩部轮廓关键点包括以下一种或多种：位于肩部与头部交汇位置处的肩头交汇关键点以及位于臂根轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点；和/或
所述腿部轮廓关键点包括以下一种或多种：裆部关键点、膝盖轮廓关键点、脚踝轮廓关键点、大腿根部外侧轮廓关键点、位于膝盖轮廓关键点与脚踝轮廓关键点之间的中点位置处的小腿轮廓中点关键点、位于膝盖轮廓关键点与裆部关键点之间的中点位置处的大腿内轮廓中点关键点、以及位于膝盖轮廓关键点与大腿根部外侧轮廓关键点之间的中点位置处的大腿外轮廓中点关键点；和/或
所述腰部轮廓关键点包括以下一种或多种：将大腿根部外侧轮廓关键点与臂根轮廓关键点之间N等分，所产生的N个等分点；其中，所述N大于1；和/或
所述脚部轮廓关键点包括以下一种或多种：脚尖关键点以及足跟关键点。
50.根据权利要求41至47中任一项所述的装置，其特征在于，所述装置还包括：
神经网络的训练装置，用于利用包括有人体轮廓关键点标注信息的训练图像集，对所述第一神经网络进行训练。
51.一种图像处理装置，其特征在于，包括：
人体轮廓关键点检测装置，用于检测包括有人体的图像块的人体轮廓关键点，其中，所述人体轮廓关键点用于表示人体的外部轮廓；所述人体轮廓关键点检测装置采用如权利要求41-50中任一项所述的装置进行所述人体轮廓关键点的检测；
渲染模块，用于根据所述人体轮廓关键点对所述图像块进行AR效果的渲染处理。
52.根据权利要求51所述的装置，其特征在于，所述渲染模块确定所述图像块的人体轮廓关键点与贴纸素材的位置关系；并根据所述位置关系，基于所述贴纸素材，对所述图像块进行AR效果的渲染处理。
53.根据权利要求51至52中任一项所述的装置，其特征在于，所述渲染模块，调用用于创建贴纸句柄的第一接口函数创建贴纸句柄；调用用于读取贴纸素材的第二接口函数将贴纸素材压缩包读入内存并进行解析；调用用于渲染贴纸素材的第三接口函数根据解析结果确定所述图像块的人体轮廓关键点与贴纸素材的位置关系，并基于所述贴纸句柄根据所述解析结果和所述位置关系在所述图像块上将读入内存的贴纸素材包进行AR效果的渲染。
54.根据权利要求53所述的装置，其特征在于，所述解析结果包括以下一种或多种：贴纸素材关联的人体轮廓关键点，贴纸素材的播放触发条件，贴纸素材的播放状态参数。
55.根据权利要求53所述的装置，其特征在于，所述渲染模块在渲染完成后，销毁所述贴纸句柄。
56.一种神经网络的训练装置，其特征在于，包括：
第一模块，用于获取包括有人体的样本图像块的图像特征；
第二模块，用于经待训练的第一神经网络根据所述图像特征获取所述人体的人体轮廓关键点预测结果；
第三模块，用于以所述人体轮廓关键点预测结果与人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的第一神经网络进行监督学习；
第一标注模块，用于获取图像样本的人体骨架关键点，所述图像样本包括所述样本图像块，根据已设置的第一集合中的人体轮廓关键点标注信息和所述人体骨架关键点，设置辅助线，并根据从所述辅助线上的选取的点，形成第二集合中的人体轮廓关键点标注信息。
57.根据权利要求56所述的装置，其特征在于，所述第一模块包括：
检测子模块，用于对所述图像样本进行人体检测；
第一获取子模块，用于将人体检测结果以及图像样本提供给待训练的输入神经网络，以经由待训练的输入神经网络，获取具有预定大小的包含有人体的样本图像块；
第二获取子模块，用于利用待训练的第二神经网络获取所述样本图像块的图像特征。
58.根据权利要求57所述的装置，其特征在于，所述第三模块还用于：
以所述人体轮廓关键点预测结果与所述人体轮廓关键点标注信息之间的差异为指导信息，对所述待训练的输入神经网络以及待训练的第二神经网络进行监督学习。
59.根据权利要求56所述的装置，其特征在于，所述装置还包括：第二标注模块，用于：根据第一集合和/或第二集合中的两个人体轮廓关键点之间的连线上的N1个分点，形成第三集合中的人体轮廓关键点标注信息；其中，N1为大于1的整数。
60.根据权利要求56所述的装置，其特征在于，所述第一标注模块，根据所述人体骨架关键点确定通过臂根内轮廓关键点且与上臂方向垂直的第一辅助线，并根据所述第一辅助线与上臂外轮廓交点，形成第二集合中臂根外轮廓关键点的标注信息。
61.根据权利要求56至60中任一项所述的装置，其特征在于，所述第一标注模块，设置经过裆部关键点且与人体骨架关键点形成的大腿方向垂直的第二辅助线，并根据所述第二辅助线与大腿外轮廓交点，形成第二集合中的大腿根部外侧轮廓关键点的标注信息。
62.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-40中任一项所述的方法。
63.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-40中任一项所述的方法。
CN201810054352.3A 2018-01-19 2018-01-19 人体轮廓关键点检测方法、图像处理方法、装置及设备 Active CN110059522B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810054352.3A CN110059522B (zh) 2018-01-19 2018-01-19 人体轮廓关键点检测方法、图像处理方法、装置及设备
JP2019572641A JP6967090B2 (ja) 2018-01-19 2019-01-08 人体輪郭キーポイントの検出方法、画像処理方法、装置及び機器
KR1020197038937A KR102328349B1 (ko) 2018-01-19 2019-01-08 인체 윤곽 키 포인트 검출 방법, 이미지 처리 방법, 장치 및 기기
PCT/CN2019/070725 WO2019141104A1 (zh) 2018-01-19 2019-01-08 人体轮廓关键点检测方法、图像处理方法、装置及设备
SG11201911684RA SG11201911684RA (en) 2018-01-19 2019-01-08 Body contour key point detection methods, image processing methods, apparatuses, and devices
US16/454,021 US11113560B2 (en) 2018-01-19 2019-06-26 Body contour key point detection methods, apparatuses, and devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810054352.3A CN110059522B (zh) 2018-01-19 2018-01-19 人体轮廓关键点检测方法、图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110059522A CN110059522A (zh) 2019-07-26
CN110059522B true CN110059522B (zh) 2021-06-25

Family

ID=67302015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810054352.3A Active CN110059522B (zh) 2018-01-19 2018-01-19 人体轮廓关键点检测方法、图像处理方法、装置及设备

Country Status (6)

Country Link
US (1) US11113560B2 (zh)
JP (1) JP6967090B2 (zh)
KR (1) KR102328349B1 (zh)
CN (1) CN110059522B (zh)
SG (1) SG11201911684RA (zh)
WO (1) WO2019141104A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US11113838B2 (en) * 2019-03-26 2021-09-07 Nec Corporation Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
CN110428390B (zh) * 2019-07-18 2022-08-26 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN110852162B (zh) * 2019-09-29 2020-10-23 深圳云天励飞技术有限公司 一种人体完整度数据标注方法、装置及终端设备
US10842415B1 (en) * 2019-10-25 2020-11-24 Plethy, Inc. Devices, systems, and methods for monitoring and assessing gait, stability, and/or balance of a user
CN110852257B (zh) * 2019-11-08 2023-02-10 深圳数联天下智能科技有限公司 一种人脸关键点的检测方法、装置及存储介质
US11156830B2 (en) * 2019-11-14 2021-10-26 Facebook Technologies, Llc Co-located pose estimation in a shared artificial reality environment
CN111259822A (zh) * 2020-01-19 2020-06-09 杭州微洱网络科技有限公司 针对电商图像中模特脖颈关键点的检测方法
CN111476097A (zh) * 2020-03-06 2020-07-31 平安科技（深圳）有限公司 人体姿态评估方法、装置、计算机设备及存储介质
CN111368787A (zh) * 2020-03-17 2020-07-03 浙江大学 视频处理方法及装置、设备和计算机可读存储介质
CN111582258B (zh) * 2020-03-31 2024-03-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及可读存储介质
CN111539357B (zh) * 2020-04-28 2024-01-23 睿魔智能科技（深圳）有限公司 人体识别模型及其训练方法、系统、存储介质及设备
CN111724901A (zh) * 2020-06-19 2020-09-29 中山大学 一种基于视觉的结构体参数预测方法、系统、装置及存储介质
CN111860199B (zh) * 2020-06-28 2022-09-27 上海芯翌智能科技有限公司 图像中关键点的检测方法及设备
CN112084981B (zh) * 2020-09-15 2023-06-02 华侨大学 一种基于神经网络定制服装的方法
CN113743177A (zh) * 2021-02-09 2021-12-03 北京沃东天骏信息技术有限公司 关键点检测方法、系统、智能终端和存储介质
CN113469221A (zh) * 2021-06-09 2021-10-01 浙江大华技术股份有限公司 身份识别模型的训练方法和身份识别方法以及相关设备
CN113627409B (zh) * 2021-10-13 2022-03-15 南通力人健身器材有限公司 一种健身动作识别监控方法及系统
US11562504B1 (en) * 2022-01-26 2023-01-24 Goodsize Inc. System, apparatus and method for predicting lens attribute
CN114519666B (zh) * 2022-02-18 2023-09-19 广州方硅信息技术有限公司 直播图像矫正方法、装置、设备及存储介质
US20240013464A1 (en) * 2022-07-11 2024-01-11 Samsung Electronics Co., Ltd. Multimodal disentanglement for generating virtual human avatars

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190522A (ja) * 1996-01-09 1997-07-22 Taito Corp 画像合成処理方法およびその装置
JP3996555B2 (ja) * 2002-10-01 2007-10-24 独立行政法人科学技術振興機構 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP2005339288A (ja) * 2004-05-27 2005-12-08 Toshiba Corp 画像処理装置及びその方法
KR20120009710A (ko) * 2010-07-20 2012-02-02 에스케이플래닛 주식회사 얼굴 인식 기반의 가상 체험 서버 및 그 서비스 방법
JP4784709B1 (ja) * 2011-03-10 2011-10-05 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
JP4998637B1 (ja) * 2011-06-07 2012-08-15 オムロン株式会社 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
CN104537608A (zh) * 2014-12-31 2015-04-22 深圳市中兴移动通信有限公司 一种图像处理的方法及其装置
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
CN106021365A (zh) * 2016-05-11 2016-10-12 上海迪目信息科技有限公司 高维空间点超球覆盖视频序列标注的系统和方法
CN106203376B (zh) * 2016-07-19 2020-04-10 北京旷视科技有限公司 人脸关键点定位方法及装置
CN106570480B (zh) * 2016-11-07 2019-04-19 南京邮电大学 一种基于姿势识别的人体动作分类方法
CN106845400B (zh) * 2017-01-19 2020-04-10 南京开为网络科技有限公司 一种基于人脸关键点跟踪实现特效而产生的品牌展示方法
CN107092917B (zh) * 2017-03-24 2020-06-02 北京大学 一种基于流形学习的汉字笔画自动提取方法
CN107219925B (zh) * 2017-05-27 2021-02-26 成都通甲优博科技有限责任公司 姿势检测方法、装置及服务器
US10957115B2 (en) * 2017-07-05 2021-03-23 Trendage, Inc. Wearable item visualizer
CN107492108A (zh) * 2017-08-18 2017-12-19 成都通甲优博科技有限责任公司 一种基于深度学习的骨架线提取算法、系统及存储介质
CN109960986A (zh) * 2017-12-25 2019-07-02 北京市商汤科技开发有限公司 人脸姿态分析方法、装置、设备、存储介质以及程序
WO2019127539A1 (en) * 2017-12-29 2019-07-04 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for determining region of interest in medical imaging
CN108830783B (zh) * 2018-05-31 2021-07-02 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108985259B (zh) * 2018-08-03 2022-03-18 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN110942479B (zh) * 2018-09-25 2023-06-02 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
US11036975B2 (en) * 2018-12-14 2021-06-15 Microsoft Technology Licensing, Llc Human pose estimation
CN111626082A (zh) * 2019-02-28 2020-09-04 佳能株式会社 检测装置和方法及图像处理装置和系统

Also Published As

Publication number Publication date
CN110059522A (zh) 2019-07-26
SG11201911684RA (en) 2020-01-30
US20190318194A1 (en) 2019-10-17
WO2019141104A1 (zh) 2019-07-25
JP6967090B2 (ja) 2021-11-17
KR20200020739A (ko) 2020-02-26
JP2020525953A (ja) 2020-08-27
KR102328349B1 (ko) 2021-11-18
US11113560B2 (en) 2021-09-07

Similar Documents

Publication Publication Date Title
CN110059522B (zh) 人体轮廓关键点检测方法、图像处理方法、装置及设备
US20210406960A1 (en) Joint-based item recognition
KR102346320B1 (ko) 고속 3d 모델 피팅 및 인체 측정법
CN111626218B (zh) 基于人工智能的图像生成方法、装置、设备及存储介质
CN108229559B (zh) 服饰检测方法、装置、电子设备、程序和介质
EP2718902B1 (en) Generation of avatar reflecting player appearance
KR20220066366A (ko) 예측적 개인별 3차원 신체 모델
CN107729838A (zh) 一种基于深度学习的头部姿态估算方法
US11908083B2 (en) Deforming custom mesh based on body mesh
US11663792B2 (en) Body fitted accessory with physics simulation
US10395404B2 (en) Image processing device for composite images, image processing system and storage medium
KR20140004230A (ko) 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체
CN109614925A (zh) 服饰属性识别方法和装置、电子设备、存储介质
WO2023088277A1 (zh) 虚拟穿戴方法、装置、设备、存储介质及程序产品
CN114723888B (zh) 三维发丝模型生成方法、装置、设备、存储介质及产品
KR20170002097A (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
CN109858402B (zh) 一种图像检测方法、装置、终端以及存储介质
CN114677572A (zh) 对象描述参数的生成方法、深度学习模型的训练方法
CN117132690A (zh) 一种图像生成方法及相关装置
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
WO2023035725A1 (zh) 虚拟道具展示方法及装置
CN110543826A (zh) 用于可穿戴产品虚拟佩戴的图像处理方法及装置
CN116385829B (zh) 姿态描述信息生成方法、模型的训练方法和装置
CN112915535B (zh) 一种游戏数据处理方法以及相关设备
US20240087266A1 (en) Deforming real-world object using image warping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant