CN110633599A - 处理人体图像的方法、装置、设备和计算机存储介质 - Google Patents

处理人体图像的方法、装置、设备和计算机存储介质 Download PDF

Info

Publication number
CN110633599A
CN110633599A CN201810643506.2A CN201810643506A CN110633599A CN 110633599 A CN110633599 A CN 110633599A CN 201810643506 A CN201810643506 A CN 201810643506A CN 110633599 A CN110633599 A CN 110633599A
Authority
CN
China
Prior art keywords
human body
processing
image
key points
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810643506.2A
Other languages
English (en)
Other versions
CN110633599B (zh
Inventor
付彧
周润楠
覃威宁
张彤
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Unfamiliar Information Technology Co Ltd
Original Assignee
Beijing Unfamiliar Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Unfamiliar Information Technology Co Ltd filed Critical Beijing Unfamiliar Information Technology Co Ltd
Priority to CN201810643506.2A priority Critical patent/CN110633599B/zh
Publication of CN110633599A publication Critical patent/CN110633599A/zh
Application granted granted Critical
Publication of CN110633599B publication Critical patent/CN110633599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种处理人体图像的方法、装置、设备和计算机存储介质。该方法包括:获取目标图像;根据预先训练的处理人体图像残差网络模型,得出目标图像中的人体在处理前的关键点和处理后的关键点;按照目标图像中的人体在处理前的关键点和处理后的关键点,确定目标图像中人体的处理图像;其中,处理人体图像残差网络模型是根据多张样本图像和预先创建的残差神经网络模型得到的模型,样本图像是已标定样本图像中的人体在处理前的关键点和处理后的关键点的图像。根据本发明实施例提供的处理人体图像的方法、装置、设备和计算机存储介质,实现了对不同的人体图像进行个性化处理。

Description

处理人体图像的方法、装置、设备和计算机存储介质
技术领域
本发明涉及图像处理领域,尤其涉及一种处理人体图像的方法、装置、设备和计算机存储介质。
背景技术
基于对良好身体形态的需求,越来越多的人希望可以在照片或视频中调整自己的身材,也就是实现对人体图像的处理。
但是在目前的人体图像处理技术中,例如,对于人体图像中的人体瘦身技术,不论需要瘦身的身形如何,均是按照程序员所设定的固定比例进行瘦身,而不能针对不同身形的用户提供合适的瘦身效果。由于不同的人的身形各不相同,因此存在无法对人体图像进行智能的个性化处理的问题。
发明内容
本发明实施例提供了一种处理人体图像的方法、装置、设备和计算机存储介质,实现了对不同的人体图像进行个性化处理。
根据本发明实施例的一方面,提供一种处理人体图像的方法,该方法包括:
获取目标图像;
根据预先训练的处理人体图像残差网络模型,得出目标图像中的人体在处理前的关键点和处理后的关键点;
按照目标图像中的人体在处理前的关键点和处理后的关键点,确定目标图像中人体的处理图像;
其中,处理人体图像残差网络模型是根据多张样本图像和预先创建的残差神经网络模型得到的模型,样本图像是已标定样本图像中的人体在处理前的关键点和处理后的关键点的图像。
在一个实施例中,样本图像中的人体在处理后的关键点是根据预设的人体身材比例进行标注的关键点。
在一个实施例中,残差神经网络模型包括多个串联的残差单元;多个残差单元中每个残差单元包括一条主径、一条捷径和相加层;
相加层用于将主径的输出数据和捷径的输出数据进行相加;
主径包括多个卷积层和连接在多个卷积层中每个卷积层之后的激活层;
捷径包括1个卷积层和1个激活层。
在一个实施例中,残差神经网络模型包括4个串联的残差单元。
在一个实施例中,主径包括的多个卷积层包括1个卷积核为3乘3的卷积层和1个卷积核为1乘1的卷积层。
在一个实施例中,获取目标图像,包括:
获取目标图像,并利用目标检测算法对目标图像进行人体检测;
对人体检测后的目标图像进行预处理,使得处理人体图像残差网络模型正常工作。
在一个实施例中,按照目标图像中的人体在处理前的关键点和处理后的关键点,确定目标图像中人体的处理图像,包括:
对目标图像中的人体在处理前的关键点进行三角剖分得到处理前的三角面片,并对目标图像中的人体在处理后的关键点进行三角剖分得到处理后的三角面片;
将处理前的三角面片贴入处理后的三角面片,以获取目标图像中人体的处理图像。
根据本发明实施例的另一方面,提供一种处理人体图像的装置,该装置包括:
目标图像获取模块,用于获取目标图像;
关键点获取模块,用于根据预先训练的处理人体图像残差网络模型,得出目标图像中的人体在处理前的关键点和处理后的关键点;
处理图像确定模块,用于按照目标图像中的人体在处理前的关键点和处理后的关键点,确定目标图像中人体的处理图像;
其中,处理人体图像残差网络模型是根据多张样本图像和预先创建的残差神经网络模型得到的模型,样本图像是已标定样本图像中的人体在处理前的关键点和处理后的关键点的图像。
根据本发明实施例的再一方面,提供一种处理人体图像的设备,该设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现本发明实施例提供的处理人体图像的方法。
根据本发明实施例的再一方面,提供一种计算机存储介质,该计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现本发明实施例提供的处理人体图像的方法。
根据本发明实施例提供的处理人体图像的方法、装置、设备和计算机存储介质,通过利用预先训练的处理人体图像残差网络模型,得出获取的目标图像中的人体在处理前的关键点和处理后的关键点,并根据目标图像中的人体在处理前的关键点和处理后的关键点,确定目标图像中人体的处理图像,实现了对不同的人体图像进行个性化处理。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本发明一实施例提供的处理人体图像的方法的流程示意图;
图2示出本发明一实施例提供的处理人体图像的装置的结构示意图;
图3示出本发明一实施例提供的处理人体图像的设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图对本发明实施例提供的处理人体图像的方法进行详细说明。
图1示出根据本发明实施例提供的处理人体图像的方法的流程示意图。如图1所示,本发明实施例中的处理人体图像的方法100包括以下步骤:
S110,获取目标图像。
在本发明的实施例中,目标图像可以为从终端中获取的图像,或者为视频中的某一帧图像。由于本发明实施例提供的方法是为了实现人体图像的处理,因此目标图像中需要包括人体。
在本发明的实施例中,步骤S110包括以下步骤:
S1101,获取目标图像,并利用目标检测算法对目标图像进行人体检测。
在本发明的实施例中,人体检测是指对于任意一幅给定的图像,采用一定的策略对给定的图像进行搜索,以确定给定的图像中是否包含人体,如果给定的图像中包含人体,则给出人体的位置、大小等参数。
在本发明的实施例中,在获取目标图像中的人体在处理前的关键点和处理后的关键点之前,需要对目标图像进行人体检测,以获取目标图像中标注人体位置的人体框。
可选地,目标检测算法可以为基于卷积神经网络的目标区域快速生成网络。
S1102,对人体检测后的目标图像进行预处理,使得处理人体图像残差网络模型正常工作。
在本发明的实施例中,在获取目标图像的人体框后,将该图像输入预先训练的处理人体图像残差网络模型中,即可获取目标图像中的人体在处理前的关键点和处理后的关键点。为了保证包括人体框的目标图像输入处理人体图像残差网络模型后,可以使该模型正常工作,需要对该图像的尺寸进行预处理。作为一个示例,预处理后的包括人体框的目标图像的尺寸大小为300像素乘600像素。
S120,根据预先训练的处理人体图像残差网络模型,得出目标图像中的人体在处理前的关键点和处理后的关键点。
在本发明的实施例中,人体关键点为图像中的人体在处理前的关键点或处理后的关键点。人体关键点包括重要关键点,重要关键点包括头顶关键点、脖颈关键点、肩部关键点、肘部关键点、手腕关键点、手部关键点、腋下关键点、腰部关键点、臀部关键点、膝盖关键点、脚踝关键点、脚趾顶部关键点和两腿中心关键点。
可选的,人体关键点包括1个头顶关键点、2个脖颈关键点、2个肩部关键点、4个肘部关键点、4个手腕关键点、2个手部关键点、2个腋下关键点、2个腰部关键点、2个臀部关键点、4个膝盖关键点、4个脚踝关键点、2个脚趾顶部关键点和1个两腿中心关键点。
可选的,人体关键点的个数为68个。对于人体关键点中除重要关键点之外的关键点,可根据重要关键点的位置进行确定。例如,可根据二维平面内两个重要关键点在平面距离上的平分点作为一个关键点。
在本发明的实施例中,利用上述方法确定人体关键点的位置,可以体现身体各维度的运动,同时可以保证完成的腿部轮廓。
在本发明的实施例中,处理人体图像残差网络模型是根据多张样本图像和预先创建的残差神经网络模型得到的模型,样本图像是已标定样本图像中的人体在处理前的关键点和处理后的关键点的图像。
在本发明的实施例中,样本图像在选取时需要多样化,需要囊括各种不同性别下的不同身材的图像。另外,为了保证利用样本图像训练出的处理人体图像残差网络模型对人体关键点的预测的准确性,样本图像中应包括具有不同姿态和不同动作的人体,其中姿态可以包括正面、背面和/或侧面。另外,在选取样本图像时,应保证训练数据的均衡性。
在本发明的实施例中,在将样本图像进行训练之前,需要对样本图像进行预处理,以保证预处理后的样本图像的尺寸可以完全表征人体关键点的特性。作为一个示例,样本图像的尺寸被统一处理为128像素乘128像素。
在本发明的实施例中,对于样本图像中的人体在处理前的关键点通过手工对人体的最外层轮廓进行标注。
在本发明的实施例中,样本图像中的人体在处理后的关键点根据预设的人体身材比例进行标注。
首先,选取合适的人体身材比例。可选地,预设的人体身材比例如下:
人体上身和下身比例:以肚脐为界,上身和下身的比例应为5:8,符合“黄金分割”定律。
胸围:由腋下沿胸部的上方最丰满处测量胸围。腰围为身高的一半。
腰围:腰的最细部位。腰围较胸围小20厘米。
髋围:在体前耻骨平行于臀部最大部位。髋围较胸围大4厘米。
大腿围:在大腿的最上部位以及臀折线下。大腿围较腰围小10厘米。
小腿围:在小腿最丰满处。小腿围较大腿围小20厘米。
足颈围:在足颈的最细部位。足颈围较小腿围小10厘米。
上臂围:在肩关节与肘关节之间的中部。上臂围等于大腿围的一半。
颈围:在颈的中部最细处。颈围与小腿围相等。
肩宽:两肩峰之间的距离。肩宽等于胸围的一半减4厘米。
然后,根据上述预设的人体身材比例可以确定身高与胸围、腰围、髋围、大腿围、小腿围、足颈围、上臂围、颈围和肩宽之间的比例,利用该比例可生成样本图像中的人体在处理后的关键点在二维平面内的标注标准。
最后,作为一个示例,以身高为基准,例如首先确定样本图像中人体的身高对应的像素值,再利用上述标注标准(即身高与胸围、腰围、髋围、大腿围、小腿围、足颈围、上臂围、颈围和肩宽之间的比例),得出在预设的人体身材比例下胸围、腰围、髋围、大腿围、小腿围、足颈围、上臂围、颈围和肩宽等参数对应的像素值。然后根据得出的上述像素值即可以得出样本图像中的人体在处理后的关键点的位置,也就是样本图像中的人体在预设的人体身材比例下的关键点的位置,从而实现对样本图像中的人体在处理后的关键点的标注。
为了去除依据上述标注标准标定人体关键点时产生的误差,以提高准确性,将进一步利用人工矫正样本图像中的人体在处理后的关键点。
在本发明的实施例中,残差网络是一种理念,通过引入能够跳过一层或多层的捷径,解决了增加深度带来的退化问题,从而能够通过单纯地增加网络深度,来提高网络性能。
在本发明的实施例中,残差神经网络模型包括依次连接的数据输入层、一个卷积核为3乘3的卷积层、多个串联的残差单元和全连接层。
在本发明的实施例中,每个残差单元包括一条主径、一条捷径和相加层。其中,主径包括多个卷积层和连接在多个卷积层中每个卷积层之后的激活层,用于提取样本图像中的深层特征信息;捷径包括1个卷积层和1个激活层,用于与主径输出的数据的维度相匹配,以实现主径输出的样本图像的深层特征信息和捷径输出的样本图像的浅层特征信息能够通过相加层进行相加。
在本发明的实施例中,通过在每一个残差单元内引入残差结构,实现将浅层网络的特征信息和深层网络的特征信息进行相加,保证了特征信息的丰富性。
作为一个示例,残差单元包括一条主径、一条捷径和相加层。其中,主径包括依次相连的1个卷积核为3乘3的卷积层和1个卷积核为1乘1的卷积层,并且每个卷积层后面均连接一个激活层。捷径包括1个卷积层和1个激活层。
若残差单元的主径采用3乘3的卷积层和1乘1的卷积层的基本结构,为了保证最后一层特征图最低为4乘4大小,以及保证最后特征的丰富性,残差神经网络模型将包括4个串联的残差单元。
在本发明的实施例中,激活层可以为Relu函数。
在本发明的实施例中,将已标定样本图像中的人体在处理前的关键点和处理后的关键点的样本图像输入残差神经网络模型后,首先借助于多个卷积层对样本图像中的输入值进行计算,并获取输出结果;然后将输出结果和给定的预测值进行对比后计算残差;接着利用反向传播将计算出的残差往后传递,用于更新权重和偏置;最后进行调优迭代,得到收敛且满足精度需求的处理人体图像残差网络模型。
在本发明的实施例中,将目标图像输入处理人体图像残差网络模型,即可得到目标图像中的人体在处理前的关键点和处理后的关键点。作为一个示例,若目标图像中的人体在处理前的关键点和处理后的关键点的个数均为68,则将目标图像输入处理人体图像残差网络模型后,将输出136个点。由于每个点具有二维坐标,则将输出272维数据。
作为一个具体示例,若处理人体图像残差网络模型得到目标图像的中的人体在处理前的关键点的坐标分别为(x1,y1),(x2,y2),(x3,y3)……..(x68,y68),目标图像的中的人体在处理后的关键点的坐标分别为(x1’,y1’),(x2’,y2’),(x3’,y3’)……..(x68’,y68’),则目标图像输入处理人体图像残差网络模型之后输出的结果为(x1,x2…x68,y1,y2…y68,x1’,x2’…x68’,y1’,y2’…y68’)。
S130,按照目标图像中的人体在处理前的关键点和处理后的关键点,确定目标图像中人体的处理图像。
在本发明的实施例中,步骤S130包括以下步骤:
S1301,对目标图像中的人体在处理前的关键点进行三角剖分得到处理前的三角面片,并对目标图像中的人体在处理后的关键点进行三角剖分得到处理后的三角面片。
在本发明的实施例中,利用三角剖分技术,按照一定的顺序将所有的目标图像中的人体在处理前的关键点相连,将人体转化为由多个由处理前的三角面片组成的多边形平面图形。类似的,利用三角剖分技术,按照一定的顺序将将所有的目标图像中的人体在处理后的关键点相连,将人体转化为由多个由处理后的三角面片组成的多边形平面图形。作为一个示例,三角剖分技术可以为Delaunay三角剖分。对于三角剖分的方式,本发明实施例不做具体限制。
S1302,将处理前的三角面片贴入处理后的三角面片,以获取目标图像中人体的处理图像。
在本发明的实施例中,通过opengl或metal等渲染工具,将处理前的三角面片贴入处理后的三角面片,可以直接渲染出目标图像中人体的处理图像。
本发明实施例提供的处理人体图像的方法,通过利用预先训练的处理人体图像残差网络模型,可以得出目标图像中的人体在处理前的关键点和处理后的关键点,并根据目标图像中的人体在处理前的关键点和处理后的关键点获取目标图像中人体的处理图像,实现了对具有不同身形的人体图像进行个性化处理。
图2示出根据本发明实施例提供的处理人体图像的装置的结构示意图。如图2所示,本发明实施例中的处理人体图像的装置200包括:
目标图像获取模块210,用于获取目标图像。
关键点获取模块220,用于根据预先训练的处理人体图像残差网络模型,得出目标图像中的人体在处理前的关键点和处理后的关键点。
处理图像确定模块230,用于按照目标图像中的人体在处理前的关键点和处理后的关键点,确定目标图像中人体的处理图像。
其中,处理人体图像残差网络模型是根据多张样本图像和预先创建的残差神经网络模型得到的模型,样本图像是已标定样本图像中的人体在处理前的关键点和处理后的关键点的图像。
在本发明的实施例中,样本图像中的人体在处理后的关键点是根据预设的人体身材比例进行标注的关键点。
在本发明的实施例中,残差神经网络模型包括多个串联的残差单元;多个残差单元中每个残差单元包括一条主径、一条捷径和相加层;
相加层用于将主径的输出数据和捷径的输出数据进行相加;
主径包括多个卷积层和连接在多个卷积层中每个卷积层之后的激活层;
捷径包括1个卷积层和1个激活层。
在本发明的实施例中,残差神经网络模型包括4个串联的残差单元。
在本发明的实施例中,主径包括的多个卷积层包括1个卷积核为3乘3的卷积层和1个卷积核为1乘1的卷积层。
在本发明的实施例中,目标图像获取模块210,具体用于:
获取目标图像,并利用目标检测算法对目标图像进行人体检测;
对人体检测后的目标图像进行预处理,使得处理人体图像残差网络模型正常工作。
在本发明的实施例中,处理图像确定模块230,具体用于:
对目标图像中的人体在处理前的关键点进行三角剖分得到处理前的三角面片,并对目标图像中的人体在处理后的关键点进行三角剖分得到处理后的三角面片;
将处理前的三角面片贴入处理后的三角面片,以获取目标图像中人体的处理图像。
根据本发明实施例的处理人体图像的装置,通过利用已标定样本图像中的人体在处理前的关键点和处理后的关键点的图像和预先构建的残差神经网络训练处理人体图像残差网络模型,并利用该处理人体图像残差网络模型实现了对不同的人体图像进行个性化处理。
根据本发明实施例的处理人体图像的装置的其他细节与以上结合图1描述的根据本发明实施例的处理人体图像的方法类似,在此不再赘述。
结合图1至图2描述的根据本发明实施例的处理人体图像的方法和装置可以由处理人体图像设备来实现。图3是示出根据发明实施例的处理人体图像的设备的硬件结构300示意图。
如图3所示,本实施例中的处理人体图像的设备300包括:处理器301、存储器302、通信接口303和总线310,其中,处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
具体地,上述处理器301可以包括中央处理器(CPU),或者特定集成电路(ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器302可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器302可在处理人体图像设备300的内部或外部。在特定实施例中,存储器302是非易失性固态存储器。在特定实施例中,存储器302包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
通信接口303,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线310包括硬件、软件或两者,将处理人体图像的设备300的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线310可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
也就是说,图3所示的处理人体图像的设备300可以被实现为包括:处理器301、存储器302、通信接口303和总线310。处理器301、存储器302和通信接口303通过总线310连接并完成相互间的通信。存储器302用于存储程序代码;处理器301通过读取存储器302中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行本发明任一实施例中的处理人体图像的方法,从而实现结合图1至图2描述的处理人体图像的方法和装置。
本发明实施例还提供一种计算机存储介质,该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现本发明实施例提供的处理人体图像的方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种处理人体图像的方法,其特征在于,所述方法包括:
获取目标图像;
根据预先训练的处理人体图像残差网络模型,得出所述目标图像中的人体在处理前的关键点和处理后的关键点;
按照所述目标图像中的人体在处理前的关键点和处理后的关键点,确定所述目标图像中人体的处理图像;
其中,所述处理人体图像残差网络模型是根据多张样本图像和预先创建的残差神经网络模型得到的模型,所述样本图像是已标定所述样本图像中的人体在处理前的关键点和处理后的关键点的图像。
2.根据权利要求1所述的方法,其特征在于,所述样本图像中的人体在处理后的关键点是根据预设的人体身材比例进行标注的关键点。
3.根据权利要求1所述的方法,其特征在于,所述残差神经网络模型包括多个串联的残差单元;所述多个残差单元中每个残差单元包括一条主径、一条捷径和相加层;
所述相加层用于将所述主径的输出数据和所述捷径的输出数据进行相加;
所述主径包括多个卷积层和连接在所述多个卷积层中每个卷积层之后的激活层;
所述捷径包括1个卷积层和1个激活层。
4.根据权利要求3所述的方法,其特征在于,所述残差神经网络模型包括4个串联的所述残差单元。
5.根据权利要求3所述的方法,其特征在于,所述主径包括的多个卷积层包括1个卷积核为3乘3的卷积层和1个卷积核为1乘1的卷积层。
6.根据权利要求1所述的方法,其特征在于,所述获取目标图像,包括:
获取所述目标图像,并利用目标检测算法对所述目标图像进行人体检测;
对所述人体检测后的目标图像进行预处理,使得所述处理人体图像残差网络模型正常工作。
7.根据权利要求1所述的方法,其特征在于,所述按照所述目标图像中的人体在处理前的关键点和处理后的关键点,确定所述目标图像中人体的处理图像,包括:
对所述目标图像中的人体在处理前的关键点进行三角剖分得到处理前的三角面片,并对所述目标图像中的人体在处理后的关键点进行三角剖分得到处理后的三角面片;
将所述处理前的三角面片贴入所述处理后的三角面片,以获取所述目标图像中人体的处理图像。
8.一种处理人体图像的装置,其特征在于,所述装置包括:
目标图像获取模块,用于获取目标图像;
关键点获取模块,用于根据预先训练的处理人体图像残差网络模型,得出所述目标图像中的人体在处理前的关键点和处理后的关键点;
处理图像确定模块,用于按照所述目标图像中的人体在处理前的关键点和处理后的关键点,确定所述目标图像中人体的处理图像;
其中,所述处理人体图像残差网络模型是根据多张样本图像和预先创建的残差神经网络模型得到的模型,所述样本图像是已标定所述样本图像中的人体在处理前的关键点和处理后的关键点的图像。
9.一种处理人体图像的设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-7任意一项所述的处理人体图像的方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的处理人体图像的方法。
CN201810643506.2A 2018-06-21 2018-06-21 处理人体图像的方法、装置、设备和计算机存储介质 Active CN110633599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810643506.2A CN110633599B (zh) 2018-06-21 2018-06-21 处理人体图像的方法、装置、设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810643506.2A CN110633599B (zh) 2018-06-21 2018-06-21 处理人体图像的方法、装置、设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN110633599A true CN110633599A (zh) 2019-12-31
CN110633599B CN110633599B (zh) 2022-06-24

Family

ID=68966661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810643506.2A Active CN110633599B (zh) 2018-06-21 2018-06-21 处理人体图像的方法、装置、设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN110633599B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415382A (zh) * 2020-03-02 2020-07-14 北京字节跳动网络技术有限公司 图片中人体手臂美体处理方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709863A (zh) * 2016-12-28 2017-05-24 杭州趣维科技有限公司 一种基于gpu的高效2d矢量图形渲染方法
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN107609519A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种人脸特征点的定位方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709863A (zh) * 2016-12-28 2017-05-24 杭州趣维科技有限公司 一种基于gpu的高效2d矢量图形渲染方法
CN107527034A (zh) * 2017-08-28 2017-12-29 维沃移动通信有限公司 一种面部轮廓调整方法及移动终端
CN107609519A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种人脸特征点的定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL.: "Deep Residual Learning for Image Recognition", 《ARXIV》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415382A (zh) * 2020-03-02 2020-07-14 北京字节跳动网络技术有限公司 图片中人体手臂美体处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN110633599B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN109215070B (zh) 商品尺寸判定装置、商品尺寸判定方法及存储介质
US8824781B2 (en) Learning-based pose estimation from depth maps
US10610130B2 (en) Measuring limb range of motion
US20170193662A1 (en) System and method for auto-contouring in adaptive radiotherapy
CN111832383A (zh) 姿态关键点识别模型的训练方法、姿态识别方法及装置
CN109063584B (zh) 基于级联回归的面部特征点定位方法、装置、设备及介质
CN108334827B (zh) 一种基于智能鞋的步态身份认证方法及智能鞋
US20080260254A1 (en) Automatic 3-D Object Detection
CN107547598B (zh) 一种定位方法、服务器及终端
CN106199500A (zh) 指纹特征定位方法及装置
CN103679639B (zh) 基于非局部均值的图像去噪方法和装置
CN110633599B (zh) 处理人体图像的方法、装置、设备和计算机存储介质
CN111080658A (zh) 基于可形变配准和dcnn的宫颈mri图像分割方法
CN116747016A (zh) 智能手术机器人导航定位系统及方法
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
CN107295538B (zh) 定位可信度的计算方法及使用可信度的定位方法和定位仪
CN116994339B (zh) 一种基于图像处理的用于坐位体前屈测试的方法和系统
US10470688B2 (en) Measurement apparatus, method and non-transitory computer-readable recording medium
CN110059721A (zh) 户型图区域识别方法、装置、设备及计算机可读存储介质
CN111932568A (zh) 人体图像分割方法、人体图像分割模型的训练方法和装置
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
CN111369603B (zh) 点云配准技术的评估方法、装置、电子设备及可读存储介质
CN111738292B (zh) 点云数据的处理方法、装置、电子设备及可读存储介质
CN109242867A (zh) 一种基于模板的手骨自动分割方法
CN115345928A (zh) 关键点的获取方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant