CN111080754A - 一种头部肢体特征点连线的人物动画制作方法及装置 - Google Patents

Abstract

本申请实施例公开了一种头部肢体特征点连线的人物动画制作方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过获取人物视频，从人物视频中抽帧出多张人物图像，基于人脸识别算法提取和预先训练的人物特征点判断模型提取人物图像中的面部特征点坐标、面部特征点序号、头发肢体特征点坐标和头发肢体特征点序号，并进一步使用设定连接顺序将面部特征点坐标和头发肢体特征点坐标连接形成对应人物图像的简笔画，最终将简笔画按照图像时间帧顺序进行编码形成对应人物视频的动画。采用上述技术手段，通过人物面部特征点和头发肢体特征点提取并连接形成简笔画，基于简笔画实现人物动画的高效及简易制作，可以简化动画制作的繁琐流程。

Description

一种头部肢体特征点连线的人物动画制作方法及装置

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种头部肢体特征点连线的人物动画制作方法及装置。

背景技术

动画，是将一系列拥有细微变化、静止的画面以一定速率连续播放，因肉眼视觉残留效果而产生的一种画面动态变化效果的表现形式。目前，市面上制作动画的方法，主要以计算机为辅助，通过视频捕捉、铅笔稿画面浏览、镜头连续播放等核心环节来实现。

但是，动画制作方式需要制作人员具备专业的技能知识，技术门槛相对较高。其制作过程也相对复杂繁琐，制作动画的效率较低。此外，由于动画通常使用铅笔稿描绘，其画面轮廓精细，导致计算机在处理铅笔稿画面时数据计算处理的压力相对较大。

发明内容

本申请实施例提供一种头部肢体特征点连线的人物动画制作方法、装置、电子设备及存储介质，能够降低人物动画制作的技术难度，提高人物动画制作的时效性。

在第一方面，本申请实施例提供了一种头部肢体特征点连线的人物动画制作方法，包括：

获取人物视频，从所述人物视频中抽帧出多张人物图像，所述人物图像根据图像时间帧顺序排列；

基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，根据预设的人脸标号顺序对所述面部特征点坐标进行标号得到对应的面部特征点序号，并基于预先训练的人物特征点判断模型提取所述人物图像中对应的头发肢体特征点坐标和头发肢体特征点序号；

基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画；

将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画。

进一步的，所述人物特征点判断模型的训练流程包括：

获取训练样本，所述训练样本包含多个人物样本图像，每一人物样本图像均包含一一对应的图像像素点、对应人物头发肢体特征的头发肢体特征点坐标及头发肢体特征点序号；

基于神经网络结构搭建人物特征点判断模型，以图像像素点作为输入，头发肢体特征点坐标及头发肢体特征点序号作为输出，并基于所述训练样本训练所述人物特征点判断模型。

进一步的，所述基于所述训练样本训练所述人物特征点判断模型，包括：

将所述训练样本分为训练样本数据和测试样本数据；

基于所述训练样本数据训练人物特征点判断模型，直至训练次数达到第一设定阈值；

基于测试样本数据对所述人物特征点判断模型进行测试并验证准确率，根据准确率调整所述人物特征点判断模型，直至准确率达到第二设定阈值。

进一步的，所述训练样本中，对应人物样本图像的头发肢体特征点坐标按照设定标记规则进行标记，对应头发肢体特征点序号按照设定标号规则进行标号。

进一步的，所述基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，包括：

基于人脸识别算法得到所述人物图像中的人脸特征像素点；

根据预设选取顺序从所述人脸特征像素点中确定面部特征点，并确定所述面部特征点对应的面部特征点坐标。

进一步的，所述基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画，包括：

使用贝塞尔曲线将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画。

进一步的，所述基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画，包括：

根据所述人物图像包含的对应目标，分别将各个对应目标的面部特征点坐标和头发肢体特征点坐标连接形成所述简笔画，所述简笔画包含一个或多个对应目标的面部特征点坐标和头发肢体特征点坐标连接序列；

对应的，所述将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画，包括：

对应包含多个面部特征点坐标和头发肢体特征点坐标连接序列的所述简笔画，根据对应目标在所述人物图像上的方位按照设定编码顺序对各个所述面部特征点坐标和头发肢体特征点坐标连接序列进行编码。

在第二方面，本申请实施例提供了一种头部肢体特征点连线的人物动画制作装置，包括：

获取模块，用于获取人物视频，从所述人物视频中抽帧出多张人物图像，所述人物图像根据图像时间帧顺序排列；

提取模块，用于基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，根据预设的人脸标号顺序对所述面部特征点坐标进行标号得到对应的面部特征点序号，并基于预先训练的人物特征点判断模型提取所述人物图像中对应的头发肢体特征点坐标和头发肢体特征点序号；

连接模块，用于基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画；

编码模块，用于将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的头部肢体特征点连线的人物动画制作方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的头部肢体特征点连线的人物动画制作方法。

本申请实施例通过获取人物视频，从人物视频中抽帧出多张人物图像，基于人脸识别算法提取和预先训练的人物特征点判断模型提取人物图像中的面部特征点坐标、面部特征点序号、头发肢体特征点坐标和头发肢体特征点序号，并进一步使用设定连接顺序将面部特征点坐标和头发肢体特征点坐标连接形成对应人物图像的简笔画，最终将简笔画按照图像时间帧顺序进行编码形成对应人物视频的动画。采用上述技术手段，通过人物面部特征点和头发肢体特征点提取并连接形成简笔画，基于简笔画实现人物动画的高效及简易制作，以此来降低人物动画制作的技术难度，简化动画制作的繁琐流程。

附图说明

图1是本申请实施例一提供的一种头部肢体特征点连线的人物动画制作方法的流程图；

图2是本申请实施例一中的面部特征点坐标提取流程图；

图3是本申请实施例一中的人物特征点判断模型训练流程图；

图4是本申请实施例一中的训练样本训练流程图；

图5是本省请实施例二提供的一种头部肢体特征点连线的人物动画制作装置的结构示意图；

图6是本申请实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的一种头部肢体特征点连线的人物动画制作方法，旨在通过预先训练一个人物特征点判断模型，结合人脸识别算法以确定出人物图像的面部特征点坐标和头发肢体特征点坐标，并进一步根据设定的连接方式将这些面部特征点坐标和头发肢体特征点坐标连接形成简笔画，将简笔画按照视频图像的时间帧进行编码生成人物动画。简笔画是一种对作画对象的临摹仿写不作严格要求，把复杂形体概括成简约的点、线、面等基本模块的作画形式。其凭借简练与幽默感，广泛应用于生活的方方面面中。本申请实施例通过使用简笔画制作人物动画，降低动画制作的技术门槛，使得没有动画制作技术基础的用户也可以通过本申请实施例的头部肢体特征点连线的人物动画制作方法进行人物动画制作。参照传统的动画制作方式，对于二维动画，其动画画面需要依靠制作者一张一张地绘制出来，对人物表情要求展示出众，特别是夸张表情。而由于二维动画的制作存在艺术技能要求高、制片效率低的不足。而对于三维动画，虽然具备人力成本低、制片效率高、画面立体的优势，但同时也具备人物表情展示僵硬，画面结构复杂，计算机处理速度慢的不足。并且，无论是传统动画还是三维动画，其制作工序都较为复杂繁琐，且画面对象轮廓较为精细，完工时效长。基于此，提供本申请实施例的头部肢体特征点连线的人物动画制作方法，已解决传统动画制作方法高技术门槛、制作复杂且低效的技术问题。

实施例一：

图1给出了本申请实施例一提供的一种头部肢体特征点连线的人物动画制作方法的流程图，本实施例中提供的头部肢体特征点连线的人物动画制作方法可以由头部肢体特征点连线的人物动画制作设备执行，该头部肢体特征点连线的人物动画制作设备可以通过软件和/或硬件的方式实现，该头部肢体特征点连线的人物动画制作设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该头部肢体特征点连线的人物动画制作设备可以是电脑，手机，平板等智能终端设备。

下述以头部肢体特征点连线的人物动画制作设备为执行头部肢体特征点连线的人物动画制作方法的主体为例，进行描述。参照图1，该头部肢体特征点连线的人物动画制作方法具体包括：

S110、获取人物视频，从所述人物视频中抽帧出多张人物图像，所述人物图像根据图像时间帧顺序排列。

具体的，为了简化人物动画制作的流程，本申请实施例用于人物动画制作的素材主要为各种人物视频，以此来避免使用手工画稿进行动画制作的繁琐流程。人物视频可以是互联网上截取的视频，也可以是用户终端拍摄的人物视频。当进行人物动画制作时，以用户上传的视频作为头部肢体特征点连线的人物动画制作设备的输入，通过该头部肢体特征点连线的人物动画制作设备自动生成对应的人物视频的动画。

示例性的，当用户需要制作人物动画时，通过拍摄相关人物视频或者从互联网上下载相关人物视频等方式提供人物动画制作素材。该头部肢体特征点连线的人物动画制作设备获取到这一人物视频之后，对该人物视频进行预处理提取对应的人物图像。可以理解的是，由于一段人物视频中含有多帧视频图像，为了减少数据处理量，简化处理流程。对该人物视频采用抽帧的形式抽取出其中若干张静态的人物图像。其中，抽取到的人物图像根据原人物视频中的图像时间帧顺序进行排列，以便于后续在进行人物动画编码输出时，提供对应的简笔画排列顺序依据。需要说明的是，在进行人物视频抽帧时，根据实际需要设置视频帧抽取的间隔。根据动画的流畅度等需求，流畅度需求越高，则视频抽帧的间隔越短。当需要的动画流畅度最高时，则直接抽取人物视频中的所有视频帧。

S120、基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，根据预设的人脸标号顺序对所述面部特征点坐标进行标号得到对应的面部特征点序号，并基于预先训练的人物特征点判断模型提取所述人物图像中对应的头发肢体特征点坐标和头发肢体特征点序号。

具体的，根据上述步骤S110抽帧得到的人物图像，进行相关特征点坐标的提取，以用于进行对应人物图像的简笔画制作。需要说明的是，在进行人物特征点提取时，不仅仅对图像中的人物肢体进行特征点提取，还要提取图像中人物的面部特征点进行提取。其中，对应人物面部特征的面部特征点坐标通过人脸识别算法进行提取，并基于预先设置的人脸标号顺序得到面部特征点序号。参照图2，面部特征点坐标提取流程包括：

S1201、基于人脸识别算法得到所述人物图像中的人脸特征像素点；

S1202、根据预设选取顺序从所述人脸特征像素点中确定面部特征点，并确定所述面部特征点对应的面部特征点坐标。

示例性的，在获取人物图像后，利用人脸识别算法对人物图像中的对应人脸的人脸特征像素点进行识别检测，并根据预设选取顺序从识别到的人脸特征像素点选取部分关键点作为面部特征点，并获取面部特征点在人物图像中的坐标作为面部特征点坐标。其中，同一面部特征部位设置多个对应的关键点，将该面部特征的人脸特征像素点中边缘或在极限位置处的点作为关键点，例如设定左眉毛在最高点、最左点和最右点3个人脸特征像素点作为人物图像在左眉毛处的3个面部特征点。

具体的，本申请实施例的人脸识别算法是指通过边缘检测算法，找出由特征关键点聚类形成的多条抛物线，先确定是否存在人脸轮廓，若存在则确定是否存在人脸眉毛，接着确定鼻子、眼睛、嘴巴，从而得到人脸特征图；若人脸轮廓以及其他面部特征均检测确定完毕，则代表是人脸，否则视为非人脸。一般的，利用人脸识别算法对作画图像中提取的人脸特征像素点一般为68个，分别代表五官和人脸轮廓。其中人脸特征像素点中的关键点是指基于预设选取顺序对人脸特征像素点提取所得到的像素点。

需要说明的是，由于人脸特征图是一个比较细致全面的人脸轮廓图像，而本实例的是通过简笔画的形式对人物动画进行展现，无需对人物图像进行严格的临摹仿写，只需提取部分关键点作为面部特征点便可。其中，人脸特征像素点中关键点的预设选取顺序可根据预设的预设选取顺序表进行确定。通过关键点的确定进而得到对应的面部特征点，以此来实现面部特征点坐标的提取。示例性的，预设选取顺序表如下所示：

进一步的，在确定面部特征点及对应的面部特征点坐标后，根据预先设置的人脸标号顺序对各面部特征点进行标号，得到面部特征点序号。其中人脸标号顺序可根据实际情况进行确定，举例而言，可按照左眉毛、右眉毛、左眼、右眼、鼻子、嘴巴的先后顺序进行面部特征点的排序及标号。其中，面部特征点序号可记录在面部标号记录表中，面部标号记录表如下所示：

部位名称	固定序号特征点	固定序号	面部特征点序号
				左眉毛	当前部位最高点	16	16-17-18
右眉毛	当前部位最高点	19	19-20-21
				左眼	当前部位中间点	26	22-23-24-25-26
右眼	当前部位中间点	31	27-28-29-30-31
				鼻子	当前部位最低点	33	32-33-34-35
嘴巴	当前部位中间点	40	36-37-38-39-40

另一方面，本申请实施例还将人物图像输入人物特征点判断模型中，基于该人物特征点判断模型确定人物图像中对应的头发肢体特征点坐标和头发肢体作画特征点序号。在此之前，需要预先构建一个人物特征点判断模型，基于该人物特征点判断模型进行人物图像中对应人物的头发肢体特征点坐标的检测与提取。可以理解的是，由于上述已通过人脸识别算法确定了人物的面部特征点坐标。因此，本申请实施例的人物特征点判断模型只对应人物的头发及肢体进行特征点的检测与识别。

具体的，参照图3人物特征点判断模型的训练流程包括：

S121、获取训练样本，所述训练样本包含多个人物样本图像，每一人物样本图像均包含一一对应的图像像素点、对应人物头发肢体特征的头发肢体特征点坐标及头发肢体特征点序号；

S122、基于神经网络结构搭建人物特征点判断模型，以图像像素点作为输入，头发肢体特征点坐标及头发肢体特征点序号作为输出，并基于所述训练样本训练所述人物特征点判断模型。

示例性的，在进行训练样本的构建时，通过互联网下载得到足够数量(以满足人物特征点判断模型训练和测试的要求为准)的带有人物图案的图像，并将这些图像作为人物图像，然后对这些人物图像进行灰度处理，并基于灰度处理后的人物图像得到人物样本图像。其中，灰度处理是指将图像中每个像素只使用一个采样颜色进行表示，显示为从最暗黑色到最亮的白色的灰度，与纯黑白图像不同，在计算机图像领域中黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的颜色深度，通常灰度值范围表示为0到255，其中白色为255，黑色为0，灰度值越小颜色越深，灰度值越大颜色越趋于白色。

在获取人物图像后，对人物图像进行灰度处理从而获得经灰度处理后的人物图像，其中以人物图像为RGB彩色图像为例(R、G、B分别为红、绿、蓝三个基色分量，其共同决定了像素点颜色)，确定该人物图像每个像素点的R、G、B基色分量，依据下述公式确定每个像素点的灰度值Y：

Y＝0.3R+0.59G+0.11B

上述计算方式中，根据基色的重要性及其它人物作画参考指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，故绿色(G)的权值最高，取值0.59。需要说明的是，R、G、B对应的权值大小可适应性调整。在一些实施例中，进行灰度处理时还可采取分量值法、最大值法或平均值法求取图像每个像素点的灰度值。在确定人物图像每个像素点的灰度值后，可相应得出经灰度处理后的人物图像。可以理解的是，灰度处理并不会影响图像的纹理特征信息，而且各像素点只需一个灰度值便可表示，有效提高图像的处理效率。对人物图像进行灰度处理并得到灰度图像后，灰度图像中每个坐标点的像素值均用灰度值(0-255)进行表示，基于灰度图像中每个坐标点的灰度值的集合形成像素值矩阵，即像素值矩阵包含了对应人物图像的各个图像像素点。

对应训练样本除了确定上述图像像素点之外，还进一步进行对应人物头发肢体特征的头发肢体特征点坐标及头发肢体特征点序号标记。其中对应人物样本图像的头发肢体特征点坐标按照设定标记规则进行标记，对应头发肢体特征点序号按照设定标号规则进行标号。

具体的，在获取人物样本图像后，根据人物样本图像中人物的头发、姿态和肢体特征，对人物样本图像中的头发肢体特征点进行标记。例如，通过鼠标点击或对人物样本图像的触控点击操作选中人物样本图像中人物头发及各肢体对应的点，从而对头发肢体特征点进行选中，并获取所选中的点的坐标作为头发肢体特征点对应的头发肢体特征点坐标。并且，在标记头发肢体特征点时，结合设定标记规则进行标记，例如，人物需要标记的头发肢体部位分别有头发、左上肢、右上肢、左下肢、右下肢这5个位置，每个头发肢体部位设置3个特征点，首先是对应肢体部位在人物样本图像中的最高点或最低点，其次是对应肢体部位在人物样本图像中的最左点，再次是对应肢体部位在人物样本图像中的最右点。可以理解的是，设定标记规则可根据实际情况进行设置，在此不做赘述。

其中，设定标记规则可按以下头发肢体特征设置表进行确定：

具体的，在选中头发肢体特征点后，可在人物样本图像中进行标示，例如在标记过头发肢体特征点的位置上显示点击痕迹(如光圈)，或在标记人物样本图像的同时显示头发肢体特征点坐标记录表和/或头发肢体特征点记录表。

可选的，在人物图像中存在多个人物时，头发肢体特征点的标记顺序为逐个标记，即先标记一个人物再标记下一个人物，并且对属于不同人物的头发肢体特征点进行区分处理，例如在头发肢体特征点坐标记录表和/或头发肢体特征点记录表中对不同人物的头发肢体特征点进行标注。同时，在人物的某些头发肢体特征被遮挡或不存在人物图像中时，可对被遮挡或不存在人物样本图像中的头发肢体特征进行标注，对应头发肢体特征的记录位置可利用预设的默认值进行填充，并且后续不对该头发肢体特征分配头发肢体特征点序号。

在确定人物样本图像的头发肢体特征点和头发肢体特征点坐标后，结合预设的头发肢体标号规则对标记出的头发肢体特征点进行排序，并得到头发肢体特征点序号。可选的，可利用特征点记录表进行记录。可以理解的是，其中预设标号规则可根据实际情况进行设置，这里不多赘述。

在本实施例中，预设标号规则为：首先确定人物标记出的头发肢体特征点的总数，然后固定各头发肢体部位中某一特征点序号，最后基于固定序号的先后顺序对其余特征点自动标号。

例如，在人物图像中，标记出的头发肢体特征点的总数是15(5个头发肢体部位，每个头发肢体部位设置3个特征点)，对各头发肢体部位特征点中最高点或最低点设置固定序号，特征点记录表如下所示：

部位名称	固定序号特征点	固定序号	头发肢体特征点序号
				头发	当前部位最高点	1	1-2-3
左上肢	当前部位最高点或最低点	4	4-5-6
				右上肢	当前部位最高点或最低点	7	7-8-9
左下肢	当前部位最高点或最低点	10	10-11-12
				右下肢	当前部位最高点或最低点	13	13-14-15

在一些实施例中，还可同时在特征点记录表中记录人物样本图像中人脸特征点对应的面部特征点，其中面部特征点为根据预设选取顺序从人脸特征点中选取部分关键点，人脸特征点由人物图像经过人脸识别算法进行人脸识别得出，在此不多赘述。

进一步的，在确定人物样本图像的图像像素值矩阵、头发肢体特征点坐标和头发肢体特征点序号后，确定人物样本图像、图像像素点、头发肢体特征点坐标和头发肢体特征点序号之间的对应关系，并将这一对应关系进行保存，完成训练样本的准备。

之后，根据该训练样本，进行人物特征点判断模型的构建与训练。具体的，基于卷积神经网络结构，并以公式“y＝wx+b”的形式搭建该人物特征点判断模型。卷积神经网络结构对图像数据库大量的训练测试图像样本交替进行卷积和池化操作，逐渐提取图像的高层特征，对特征进行分类，完成判断识别；其高层特征是从大样本数据中学习，能应对一定程度的偏移、尺度变化以及形变，保证特征较强的可分性，对特征分类具有理想的检测效果，降低模型的复杂度。

其中，公式“y＝wx+b”常用于神经网络当中，x为输入，y为输出，w为数据线性分割直线斜率，b为数据线性分割直线偏移值，是由人物样本图像在头发肢体特征点处的像素值、头发肢体特征点坐标以及头发肢体特征点序号作为x、y值所构成的一条直线，实现数据分割，当w改变，该直线方向也随之改变；当b>0，该直线往左边移动，否则该直线往右边移动；也就是说，只要改变w、b值，就可以改变该直线的数据分割位置。

具体的，在进行模型训练时，基于人物样本图像、图像像素点、头发肢体特征点坐标和头发肢体特征点序号之间的对应关系，以人物样本图像的图像像素点作为输入，以头发肢体特征点坐标和头发肢体特征点序号为输出，基于该训练样本训练该人物特征点判断模型。

参照图4，训练样本的训练流程包括：

S1221、将所述训练样本分为训练样本数据和测试样本数据；

S1222、基于所述训练样本数据训练人物特征点判断模型，直至训练次数达到第一设定阈值；

S1223、基于测试样本数据对所述人物特征点判断模型进行测试并验证准确率，根据准确率调整所述人物特征点判断模型，直至准确率达到第二设定阈值。

具体的，训练样本数据用于训练人物特征点判断模型，测试样本数据用于测试人物特征点判断模型。例如，前者用于模型训练时使用的图像数据占据总数量的90％；后者用于模型测试使用的图像数据占据总数量的10％。具体的，在构建训练样本后，基于神经网络结构(如前馈神经网络结构、递归神经网络结构、卷积神经网络结构等)和训练样本搭建人物特征点判断模型。并进一步设定训练样本中各图像数据图像像素点的像素值(灰度值)作为输入，头发肢体特征点坐标和头发肢体特征点序号作为输出，把训练样本的图像数据传输给人物特征点判断模型反复训练。训练完成后的人物特征点判断模型即可用于接收输入的人物图像，并根据人物图像输出头发肢体特征点坐标和头发肢体特征点序号。进一步的，将训练样本数据传输给人物特征点判断模型进行反复训练，当训练次数达到第一阈值时，再把测试样本数据传输给人物特征点判断模型测试，在测试过程中不断对人物特征点判断模型进行微调，当测试的准确率达到第二阈值，则认为人物特征点判断模型可应用于现场识别。基于从假设空间中挑选参数最优的模型准则，根据模型预测值与图像实际值的误差不断进行模型相关参数的调整，调整过程中，误差越少，则模型越好，直至模型准确率达到设定第二阈值。参数调整时，可采用方差函数、损失函数等算法进行参数的调整。实际应用中，训练样本数据与模型反复训练所要达到的次数根据实际识别需求进行设置，本申请实施例将第一阈值设置为20万次；测试样本数据与模型反复测试所要达到的准确率，根据实际识别需求进行设置，本申请实施例将第二阈值设置为10％，以满足模型现场识别精度的要求。

更具体的，在模型训练时，基于公式“y＝wx+b”，神经网络中以人物样本图像在头发肢体特征点处的图像像素点作为输入x，以头发肢体特征点坐标以及头发肢体特征点序号作为输出y，将训练样本中的人物样本图像用于训练人物特征点判断模型，直至训练次数达到第一阈值(如20万次，可根据实际情况设定)，在训练停止后，可初步得到数据线性分割直线y＝wx+b中的w和b的值。

进一步的，在对人物特征点判断模型进行测试时，依据方差公式验证模型的准确率，并根据测准确率调整人物特征点判断模型，直至准确率达到第二阈值。

其中，方差公式是指损失函数，其用于量化预测与真实之间的一致性，方差值越少，预测与真实越接近。方差公式具体为：

其中，C代表损失函数(测试方差)，x代表训练样本中用于测试的人物样本图像，y代表实际值(即训练样本用于测试的头发肢体特征点的实际坐标和头发肢体特征点的实际序号，a代表输出值(即人物特征点判断模型对训练样本用于测试的人物样本图像中头发肢体特征点的预测坐标和头发肢体特征点的预测序号)，n代表训练样本中用于测试的人物样本图像的数量。

具体的，通过逐步加大w和b的值，结合方差公式，并利用测试样本数据进行测试，并将测试方差与第二阈值(本实施例以10％为例)进行比较，若测试方差大于第二阈值，则继续加大w和b的值，直至测试方差小于或等于第二阈值，并完成人物特征点判断模型的训练与测试。

最终，根据上述训练得到的人物特征点判断模型，将抽帧得到的人物图像逐个输入该人物特征点判断模型。人物特征点判断模型通过将人物图像转化为灰度图像，确定其中的图像像素点，将图像像素点输入该人物特征点判断模型即可识别得到对应人物图像中的头发肢体特征点坐标和头发肢体特征点序号。

S130、基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画。

根据上述步骤S120确定各个人物图像的面部特征点坐标、面部特征点序号、头发肢体特征点坐标和头发肢体特征点序号之后，即可按照设定的连接顺序进行面部特征点坐标和头发肢体特征点坐标的连接。在连接各个特征点坐标时，通过贝塞尔曲线连接特征点坐标，贝塞尔曲线是由线段与节点组成，节点是可拖动的支点，线段像可伸缩的皮筋，一般矢量图形软件或较成熟位图软件均具备该功能，是应用于二维图形应用程序的数学曲线，本实例采用贝塞尔曲线连接特征点坐标得到的人物图像简笔画更加平滑，提高了作画效果。

示例性的，基于上述得到的面部标号记录表和特征点记录表，按照左眉毛→左眼→右眉毛→右眼→鼻子→嘴巴→头发→右上肢→右下肢→左下肢→左上肢的预设连接顺序对面部特征点序号以及头发肢体特征点序号进行排序，基于上述面部特征点序号以及头发肢体特征点序号的排序结果，可得到对应的面部特征点序号及头发肢体特征点序号两者间总的序号排列顺序，序号排列顺序为：16-17-18-22-23-24-25-26-19-20-21-27-28-29-30-31-32-33-34-35-36-37-38-39-40-1-2-3-7-8-9-13-14-15-10-11-12-4-5-6。

进一步的，在总的特征点序号连接顺序后，根据特征点序号连接顺序使用贝塞尔曲线连接各个特征点坐标，最终得到对应人物图像的简笔画。需要说明的是，由于人物图像可能包含多个目标(即多个人物)的情况。则在进行简笔画连接时，根据人物图像包含的对应目标，将各个对应目标的特征点坐标分别连接形成简笔画，即简笔画中对应每一个目标形成相应的面部特征点坐标和头发肢体特征点坐标连接序列。

S140、将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画。

最终，对应每一个人物图像通过特征点坐标连接形成对应的简笔画，将这些简笔画进行编码形成动画形式即可输出给用户。其中，对应每一个简笔画，若简笔画中只包含一个对应目标，即该简笔画只有一个面部特征点坐标和头发肢体特征点坐标连接序列，则直接对该面部特征点坐标和头发肢体特征点坐标连接序列进行编码输出。若简笔画中对应包含了多个面部特征点坐标和头发肢体特征点坐标连接序列，则根据对应目标在人物图像上的方位按照设定编码顺序对各个面部特征点坐标和头发肢体特征点坐标连接序列进行编码。本申请实施例中，若一张人物图像存在多组面部特征点坐标和头发肢体特征点坐标连接序列，则系统基于人物图像中对应目标所在方位，按照从左到右，从上到下的先后顺序把面部特征点坐标和头发肢体特征点坐标连接序列写入内部编码中。

需要说明的是，在进行简笔画编码时，需要按照此前简笔画对应的人物图像的图像时间帧顺序进行编码，比确保动画输出时与原人物视频输出的顺序对应，避免简笔画排序错乱影响动画效果。

上述，通过获取人物视频，从人物视频中抽帧出多张人物图像，基于人脸识别算法提取和预先训练的人物特征点判断模型提取人物图像中的面部特征点坐标、面部特征点序号、头发肢体特征点坐标和头发肢体特征点序号，并进一步使用设定连接顺序将面部特征点坐标和头发肢体特征点坐标连接形成对应人物图像的简笔画，最终将简笔画按照图像时间帧顺序进行编码形成对应人物视频的动画。采用上述技术手段，通过人物面部特征点和头发肢体特征点提取并连接形成简笔画，基于简笔画实现人物动画的高效及简易制作，以此来降低人物动画制作的技术难度，简化动画制作的繁琐流程。

实施例二：

在上述实施例的基础上，图5为本申请实施例二提供的一种头部肢体特征点连线的人物动画制作装置的结构示意图。参考图5，本实施例提供的头部肢体特征点连线的人物动画制作装置具体包括：获取模块21、提取模块22、连接模块23和编码模块24。

其中，获取模块21用于获取人物视频，从所述人物视频中抽帧出多张人物图像，所述人物图像根据图像时间帧顺序排列；

提取模块22用于基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，根据预设的人脸标号顺序对所述面部特征点坐标进行标号得到对应的面部特征点序号，并基于预先训练的人物特征点判断模型提取所述人物图像中对应的头发肢体特征点坐标和头发肢体特征点序号；

连接模块23用于基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画；

编码模块24用于将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画。

上述，通过获取人物视频，从人物视频中抽帧出多张人物图像，基于人脸识别算法提取和预先训练的人物特征点判断模型提取人物图像中的面部特征点坐标、面部特征点序号、头发肢体特征点坐标和头发肢体特征点序号，并进一步使用设定连接顺序将面部特征点坐标和头发肢体特征点坐标连接形成对应人物图像的简笔画，最终将简笔画按照图像时间帧顺序进行编码形成对应人物视频的动画。采用上述技术手段，通过人物面部特征点和头发肢体特征点提取并连接形成简笔画，基于简笔画实现人物动画的高效及简易制作，以此来降低人物动画制作的技术难度，简化动画制作的繁琐流程。

具体的，提取模块22包括：

样本获取单元，用于获取训练样本，所述训练样本包含多个人物样本图像，每一人物样本图像均包含一一对应的图像像素点、对应人物头发肢体特征的头发肢体特征点坐标及头发肢体特征点序号；

模型训练单元，用于基于神经网络结构搭建人物特征点判断模型，以图像像素点作为输入，头发肢体特征点坐标及头发肢体特征点序号作为输出，并基于所述训练样本训练所述人物特征点判断模型。

具体的，提取模块22还包括：

识别单元，用于基于人脸识别算法得到所述人物图像中的人脸特征像素点；

确定单元，用于根据预设选取顺序从所述人脸特征像素点中确定面部特征点，并确定所述面部特征点对应的面部特征点坐标。

本申请实施例二提供的头部肢体特征点连线的人物动画制作装置可以用于执行上述实施例一提供的头部肢体特征点连线的人物动画制作方法，具备相应的功能和有益效果。

实施例三：

本申请实施例三提供了一种电子设备，参照图6，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的头部肢体特征点连线的人物动画制作方法对应的程序指令/模块(例如，头部肢体特征点连线的人物动画制作装置中的获取模块、提取模块、连接模块和编码模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的头部肢体特征点连线的人物动画制作方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例一提供的头部肢体特征点连线的人物动画制作方法，具备相应的功能和有益效果。

实施例四：

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种头部肢体特征点连线的人物动画制作方法，该头部肢体特征点连线的人物动画制作方法包括：获取人物视频，从所述人物视频中抽帧出多张人物图像，所述人物图像根据图像时间帧顺序排列；基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，根据预设的人脸标号顺序对所述面部特征点坐标进行标号得到对应的面部特征点序号，并基于预先训练的人物特征点判断模型提取所述人物图像中对应的头发肢体特征点坐标和头发肢体特征点序号；基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画；将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的头部肢体特征点连线的人物动画制作方法，还可以执行本申请任意实施例所提供的头部肢体特征点连线的人物动画制作方法中的相关操作。

上述实施例中提供的头部肢体特征点连线的人物动画制作装置、存储介质及电子设备可执行本申请任意实施例所提供的头部肢体特征点连线的人物动画制作方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的头部肢体特征点连线的人物动画制作方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种头部肢体特征点连线的人物动画制作方法，其特征在于，包括：

获取人物视频，从所述人物视频中抽帧出多张人物图像，所述人物图像根据图像时间帧顺序排列；

基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，根据预设的人脸标号顺序对所述面部特征点坐标进行标号得到对应的面部特征点序号，并基于预先训练的人物特征点判断模型提取所述人物图像中对应的头发肢体特征点坐标和头发肢体特征点序号；

基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画；

将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画。

2.根据权利要求1所述的头部肢体特征点连线的人物动画制作方法，其特征在于，所述人物特征点判断模型的训练流程包括：

获取训练样本，所述训练样本包含多个人物样本图像，每一人物样本图像均包含一一对应的图像像素点、对应人物头发肢体特征的头发肢体特征点坐标及头发肢体特征点序号；

基于神经网络结构搭建人物特征点判断模型，以图像像素点作为输入，头发肢体特征点坐标及头发肢体特征点序号作为输出，并基于所述训练样本训练所述人物特征点判断模型。

3.根据权利要求2所述的头部肢体特征点连线的人物动画制作方法，其特征在于，所述基于所述训练样本训练所述人物特征点判断模型，包括：

将所述训练样本分为训练样本数据和测试样本数据；

基于所述训练样本数据训练人物特征点判断模型，直至训练次数达到第一设定阈值；

基于测试样本数据对所述人物特征点判断模型进行测试并验证准确率，根据准确率调整所述人物特征点判断模型，直至准确率达到第二设定阈值。

4.根据权利要求2所述的头部肢体特征点连线的人物动画制作方法，其特征在于，所述训练样本中，对应人物样本图像的头发肢体特征点坐标按照设定标记规则进行标记，对应头发肢体特征点序号按照设定标号规则进行标号。

5.根据权利要求1所述的头部肢体特征点连线的人物动画制作方法，其特征在于，所述基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，包括：

基于人脸识别算法得到所述人物图像中的人脸特征像素点；

根据预设选取顺序从所述人脸特征像素点中确定面部特征点，并确定所述面部特征点对应的面部特征点坐标。

6.根据权利要求1所述的头部肢体特征点连线的人物动画制作方法，其特征在于，所述基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画，包括：

使用贝塞尔曲线将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画。

7.根据权利要求1所述的头部肢体特征点连线的人物动画制作方法，其特征在于，所述基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画，包括：

根据所述人物图像包含的对应目标，分别将各个对应目标的面部特征点坐标和头发肢体特征点坐标连接形成所述简笔画，所述简笔画包含一个或多个对应目标的面部特征点坐标和头发肢体特征点坐标连接序列；

对应的，所述将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画，包括：

对应包含多个面部特征点坐标和头发肢体特征点坐标连接序列的所述简笔画，根据对应目标在所述人物图像上的方位按照设定编码顺序对各个所述面部特征点坐标和头发肢体特征点坐标连接序列进行编码。

8.一种头部肢体特征点连线的人物动画制作装置，其特征在于，包括：

获取模块，用于获取人物视频，从所述人物视频中抽帧出多张人物图像，所述人物图像根据图像时间帧顺序排列；

提取模块，用于基于人脸识别算法提取所述人物图像中对应的面部特征点坐标，根据预设的人脸标号顺序对所述面部特征点坐标进行标号得到对应的面部特征点序号，并基于预先训练的人物特征点判断模型提取所述人物图像中对应的头发肢体特征点坐标和头发肢体特征点序号；

连接模块，用于基于所述面部特征点坐标、所述面部特征点序号、所述头发肢体特征点坐标和所述头发肢体特征点序号使用设定连接顺序将所述面部特征点坐标和所述头发肢体特征点坐标连接形成对应所述人物图像的简笔画；

编码模块，用于将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述人物视频的动画。

9.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的头部肢体特征点连线的人物动画制作方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的头部肢体特征点连线的人物动画制作方法。

Images