CN111028325B - 一种肢体特征点连线的动物动画制作方法及装置 - Google Patents
一种肢体特征点连线的动物动画制作方法及装置 Download PDFInfo
- Publication number
- CN111028325B CN111028325B CN201911289261.9A CN201911289261A CN111028325B CN 111028325 B CN111028325 B CN 111028325B CN 201911289261 A CN201911289261 A CN 201911289261A CN 111028325 B CN111028325 B CN 111028325B
- Authority
- CN
- China
- Prior art keywords
- animal
- image
- feature point
- limb
- animation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种肢体特征点连线的动物动画制作方法、装置、电子设备及存储介质。本申请实施例提供的技术方案,通过获取动物视频,从动物视频中抽帧出多张动物图像,将各个动物图像输入预先训练的动物肢体特征点判断模型,得到各个动物图像中对应目标的图像特征点坐标及特征点序号,并进一步将图像特征点坐标按照设定连接顺序连接形成简笔画,将简笔画按照图像时间帧顺序进行编码最终形成对应动物视频的动画。采用上述技术手段,通过预先训练的动物肢体特征点判断模型及设定的简笔画作画方式实现动画的高效及简易制作,以此来降低动画制作的技术门槛,简化动画制作流程,优化用户的动画制作体验。
Description
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种肢体特征点连线的动物动画制作方法及装置。
背景技术
动画,是将一系列拥有细微变化、静止的画面以一定速率连续播放,因肉眼视觉残留效果而产生的一种画面动态变化效果的表现形式。目前,市面上制作动画的方法,主要以计算机为辅助,通过视频捕捉、铅笔稿画面浏览、镜头连续播放等核心环节来实现。
但是,动画制作方式需要制作人员具备专业的技能知识,技术门槛相对较高。其制作过程也相对复杂繁琐,制作动画的效率较低。此外,由于动画通常使用铅笔稿描绘,其画面轮廓精细,导致计算机在处理铅笔稿画面时数据计算处理的压力相对较大。
发明内容
本申请实施例提供一种肢体特征点连线的动物动画制作方法、装置、电子设备及存储介质,能够降低动画制作的技术难度,简化动画制作流程,提供高效、简易的动画制作方式。
在第一方面,本申请实施例提供了一种肢体特征点连线的动物动画制作方法,包括:
获取动物视频,从所述动物视频中抽帧出多张动物图像,所述动物图像根据图像时间帧顺序排列;
将各个所述动物图像输入预先训练的动物肢体特征点判断模型,输出各个所述动物图像中对应目标的图像特征点坐标及特征点序号;
基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画;
将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画。
进一步的,所述基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画,包括:
使用贝塞尔曲线将所述图像特征点坐标连接形成对应所述动物图像的简笔画。
进一步的,所述基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述图像的简笔画,还包括:
根据所述动物图像包含的对应目标,将各个对应目标的图像特征点坐标分别连接形成所述简笔画,所述简笔画包含一个或多个对应目标的图像特征点坐标连接序列。
进一步的,所述将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画,包括:
对应包含多个图像特征点坐标连接序列的所述简笔画,根据对应目标在所述动物图像上的方位按照设定编码顺序对各个所述图像特征点坐标连接序列进行编码。
进一步的,所述动物肢体特征点判断模型的训练过程包括:
获取训练样本,所述训练样本包含各类动物的图像数据,每一图像数据均包含一一对应的图像像素点、动物肢体特征点的图像特征点坐标及特征点序号信息;
基于神经网络结构搭建动物肢体特征点判断模型,以图像像素点作为输入,图像特征点坐标及特征点序号作为输出,并基于所述训练样本训练动物肢体特征点判断模型。
进一步的,所述基于所述训练样本训练动物肢体特征点判断模型,包括:
将所述训练样本分为训练样本数据和测试样本数据;
基于所述训练样本数据训练动物肢体特征点判断模型,直至训练次数达到第一设定阈值;
基于测试样本数据对所述动物肢体特征点判断模型进行测试并验证准确率,并根据准确率调整所述动物肢体特征点判断模型,直至准确率达到第二设定阈值。
进一步的,所述训练样本中,对应动物肢体的图像特征点坐标按照设定标记规则进行标记,对应动物肢体的特征点序号按照设定标号规则进行标号。
在第二方面,本申请实施例提供了一种肢体特征点连线的动物动画制作装置,包括:
获取模块,用于获取动物视频,从所述动物视频中抽帧出多张动物图像,所述动物图像根据图像时间帧顺序排列;
判断模块,用于将各个所述动物图像输入预先训练的动物肢体特征点判断模型,输出各个所述动物图像中对应目标的图像特征点坐标及特征点序号;
连接模块,用于基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画;
编码模块,用于将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画。
在第三方面,本申请实施例提供了一种电子设备,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的肢体特征点连线的动物动画制作方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的肢体特征点连线的动物动画制作方法。
本申请实施例通过获取动物视频,从动物视频中抽帧出多张动物图像,将各个动物图像输入预先训练的动物肢体特征点判断模型,得到各个动物图像中对应目标的图像特征点坐标及特征点序号,并进一步将图像特征点坐标按照设定连接顺序连接形成简笔画,将简笔画按照图像时间帧顺序进行编码最终形成对应动物视频的动画。采用上述技术手段,通过预先训练的动物肢体特征点判断模型及设定的简笔画作画方式实现动画的高效及简易制作,以此来降低动画制作的技术门槛,简化动画制作流程,优化用户的动画制作体验。
附图说明
图1是本申请实施例一提供的一种肢体特征点连线的动物动画制作方法的流程图;
图2是本申请实施例一中的动物肢体特征点判断模型的训练流程图;
图3是本申请实施例一中的训练样本训练流程图。
图4是本申请实施例一中的简笔画示意图;
图5是本申请实施例二提供的一种肢体特征点连线的动物动画制作装置的结构示意图;
图6是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的肢体特征点连线的动物动画制作方法,旨在通过预先训练一个动物肢体特征点判断模型,根据该模型来识别动物图像的中对应动物肢体的图像特征点坐标,并进一步根据设定的连接方式将图像特征点坐标连接形成简笔画,将简笔画按照视频图像的时间帧进行编码生成动画。由于动画制作过程中采用图像特征点坐标确定并连线的方式,并以简笔画的形式作为动画的每一帧图像数据。使得其制作方式相对较为简便,动画制作难度相对较低。参照传统的动画制作方式,其在进行动画制作时,首先需要制作人员画出铅笔稿,基于铅笔稿还要进行视频捕捉和铅笔稿画面扫描等繁琐流程。铅笔稿的制作需要动画制作人员手动完成,整个流程需要花费巨大的时间及人力成本。并且,在制作铅笔稿的时候还要求制作人员具备一定的作画能力,这使得动画制作的技术门槛进一步抬高。另一方面,传统的动画制作软件约束条件较多,其普及难度相对较大(如:flash软件其元件内部不能连续变化,仅能依靠精灵选项变化画面)。此外,铅笔稿画面的轮廓较为精细,会进一步降低动画制作效率,并使计算机数据处理压力增大。基于此,提供本申请实施例的肢体特征点连线的动物动画制作方法,已解决传统动画制作方法高技术门槛、复杂且低效的技术问题。
实施例一:
图1给出了本申请实施例一提供的一种肢体特征点连线的动物动画制作方法的流程图,本实施例中提供的肢体特征点连线的动物动画制作方法可以由肢体特征点连线的动物动画制作设备执行,该肢体特征点连线的动物动画制作设备可以通过软件和/或硬件的方式实现,该肢体特征点连线的动物动画制作设备可以是两个或多个物理实体构成,也可以是一个物理实体构成。一般而言,该肢体特征点连线的动物动画制作设备可以是电脑,手机,平板等智能终端设备。
下述以该肢体特征点连线的动物动画制作设备为执行肢体特征点连线的动物动画制作方法的主体为例,进行描述。参照图1,该肢体特征点连线的动物动画制作方法具体包括:
S110、获取动物视频,从所述动物视频中抽帧出多张动物图像,所述动物图像根据图像时间帧顺序排列。
具体的,为了简化动画制作的流程,本申请实施例用于动画制作的素材主要为动物视频,以此来避免使用铅笔稿进行动画制作的繁琐流程。动物视频可以是互联网上截取的视频,也可以是用户终端拍摄的动物视频。当进行动画制作时,以用户上传的视频作为该肢体特征点连线的动物动画制作设备的输入,通过该肢体特征点连线的动物动画制作设备自动生成对应的动物视频的动画。
示例性的,当用户需要制作动画时,通过拍摄相关动物视频或者从互联网上下载相关动物视频等方式提供动画制作素材。该肢体特征点连线的动物动画制作设备获取到这一动物视频之后,对该动画视频进行预处理提取对应的动物图像。可以理解的是,由于一段动物视频中含有多帧视频图像,为了减少数据处理量,简化处理流程。对该动物视频采用抽帧的形式抽取出其中若干张静态的动物图像。其中,抽取到的动物图像根据原动物视频中的图像时间帧顺序进行排列,以便于后续在进行动画编码输出时,提供对应的简笔画排列顺序依据。需要说明的是,在进行动物视频抽帧时,根据实际需要设置视频帧抽取的间隔。根据动画的流畅度等需求,流畅度需求越高,则视频抽帧的间隔越短。当需要的动画流畅度最高时,则直接抽取动物视频中的所有视频帧。
S120、将各个所述动物图像输入预先训练的动物肢体特征点判断模型,输出各个所述动物图像中对应目标的图像特征点坐标及特征点序号。
基于上述抽帧得到的动物图像,通过提取动物图像中的图像特征点坐标以便于进行对应动物肢体的简笔画制作。图像特征点坐标通过预先训练的动物肢体特征点判断模型进行提取。其中,动物肢体特征点判断模型的训练流程包括:
S121、获取训练样本,所述训练样本包含各类动物的图像数据,每一图像数据均包含一一对应的图像像素点、动物肢体的图像特征点坐标及特征点序号信息;
S122、基于神经网络结构搭建动物肢体特征点判断模型,以图像像素点作为输入,图像特征点坐标及特征点序号作为输出,并基于所述训练样本训练动物肢体特征点判断模型。
示例性的,在进行动物肢体特征点判断模型训练时,通过互联网在一个或多个网站中下载得到足够数量(以满足动物肢体特征点判断模型训练和测试的要求为准)的带有动物图案的图像数据,并将这些图像数据作为动物图像,然后对这些动物图像进行灰度处理,并基于灰度处理后的动物图像得到训练样本。其中,灰度处理是指使图像中每个像素只使用一个采样颜色进行表示,显示为从最暗黑色到最亮的白色的灰度,与纯黑白图像不同,在计算机图像领域中黑白图像只有黑白两种颜色,灰度图像在黑色与白色之间还有许多级的颜色深度,通常灰度值范围表示为0到255,其中白色为255,黑色为0,灰度值越小颜色越深,灰度值越大颜色越趋于白色。
在获取动物图像后,对动物图像进行灰度处理从而获得经灰度处理后的动物图像,其中以动物图像为RGB彩色图像为例(R、G、B分别为红、绿、蓝三个基色分量,其共同决定了像素点颜色),确定该动物图像每个像素点的R、G、B基色分量,依据下述公式确定每个像素点的灰度值Y:
Y=0.3R+0.59G+0.11B
上述计算方式中,根据基色的重要性,将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高,对蓝色敏感最低,故绿色(G)的权值最高,取值0.59。需要说明的是,R、G、B对应的权值大小可适应性调整。在另一个实施例中,在进行灰度处理时可采取分量值法、最大值法或平均值法求取图像每个像素点的灰度值。在确定动物图像每个像素点的灰度值后,可相应得出经灰度处理后的动物图像。可以理解的是,灰度处理并不会影响图像的纹理特征信息,而且各像素点只需一个灰度值便可表示,有效提高图像的处理效率。
对动物图像进行灰度处理并得到灰度图像后,灰度图像中每个坐标点的像素值均用灰度值(0-255)进行表示,基于灰度图像中每个坐标点的灰度值的集合形成像素值矩阵,并将该像素值矩阵对应训练样本保存,像素值矩阵即包含了各个图像像素点。
进一步的,在训练样本中,还对应动物肢体的图像特征点坐标按照设定标记规则进行标记,对应动物肢体的特征点序号按照设定标号规则进行标号。其中,在获取动物图像后,根据动物图像中动物的姿态和肢体特征,对动物图像中的肢体特征点进行标记,以肢体特征点作为图像特征点坐标。例如,通过鼠标点击或对动物图像的触控点击操作选中动物图像中动物各肢体对应的点,从而对肢体特征点进行选中,并获取所选中的点的坐标作为肢体特征点对应的图像特征点坐标。并且在标记图像特征点坐标时,可结合预定的标记规则进行标记,例如,一只动物需要标记的肢体部位分别有左耳、右耳、左眼、右眼、左鼻孔、右鼻孔、嘴巴、左前肢、右前肢、左后肢、右后肢以及尾巴这12个位置,每个肢体部位设置3个特征点,首先是对应肢体部位在动物图像中的最高点或最低点,其次是对应肢体部位在动物图像中的最左点,再次是对应肢体部位在动物图像中的最右点。可以理解的是,预先设定的标记规则可根据实际情况进行设置,每个肢体部位标记的特征点数量根据动画图像细节的需求设定。可选的,在选中图像特征点坐标后,可在动物图像中进行标示,例如在标记过图像特征点坐标的位置上显示点击痕迹(如光圈),或在标记动物图像的同时显示图像特征点坐标记录表。
需要说明的是,在动物图像中可能存在多只动物的情况,则图像特征点坐标和特征点序号的标记需要对应动物图像中各个目标(即各个动物)分别进行标记。图像特征点坐标的标记顺序为逐只标记,即先标记一只动物再标记下一只动物,并且对属于不同动物的图像特征点坐标进行区分处理,例如在图像特征点坐标记录表中对不同动物的图像特征点进行标注。同时,在动物的某些肢体特征被遮挡或不存在动物图像中时,可对被遮挡或不存在动物图像中的肢体特征进行标注,对应肢体特征的记录位置利用预设的默认值进行填充,并且后续不对该肢体特征分配特征点序号。
具体的,在确定动物图像中动物肢体的图像特征点坐标后,结合预设的标号规则对标记出的图像特征点坐标进行排序,并得到对应图像特征点坐标的特征点序号。可选的,可利用图像特征点坐标记录表进行记录。可以理解的是,其预设标号规则可根据实际情况进行设置。
在本实施例中,预设标号规则为:首先确定一只动物标记出的图像特征点坐标的总数,然后固定各肢体部位中某一特征点序号,最后基于固定序号的先后顺序对其余特征点自动标号。
例如,在动物图像中,标记出的图像特征点坐标的总数是36(12个肢体部位,每个肢体部位设置3个特征点),对各肢体部位图像特征点坐标中的最高点或最低点设置固定序号,图像特征点坐标记录表如下所示:
肢体部位名称 | 最高点或最低点的固定序号 | 特征点序号 |
左耳 | 1 | 1-2-3 |
右耳 | 4 | 4-5-6 |
左眼 | 7 | 7-8-9 |
右眼 | 10 | 10-11-12 |
左鼻孔 | 13 | 13-14-15 |
右鼻孔 | 16 | 16-17-18 |
嘴巴 | 19 | 19-20-21 |
左前肢 | 22 | 22-23-24 |
左后肢 | 25 | 25-26-27 |
右前肢 | 28 | 28-29-30 |
右后肢 | 31 | 31-32-33 |
尾巴 | 34 | 34-35-36 |
在确定动物图像像素值矩阵、图像特征点坐标及特征点序号后,确定动物图像中图像像素点、动物肢体的图像特征点坐标及特征点序号信息的对应关系,将这一对应关系的动物图像进行保存,形成最终的动物肢体特征点判断模型训练样本。
之后,基于该训练样本,通过基于神经网络结构搭建动物肢体特征点判断模型,并以图像像素点作为输入,图像特征点坐标及特征点序号作为输出,并基于这一训练样本训练动物肢体特征点判断模型。其中,参照图3,基于训练样本的训练流程包括:
S1221、将所述训练样本分为训练样本数据和测试样本数据;
S1222、基于所述训练样本数据训练动物肢体特征点判断模型,直至训练次数达到第一设定阈值;
S1223、基于测试样本数据对所述动物肢体特征点判断模型进行测试并验证准确率,并根据准确率调整所述动物肢体特征点判断模型,直至准确率达到第二设定阈值。
在确定训练样本的图像像素点、图像特征点坐标和特征点序号后,可将训练样本分为两部分,一部分作为训练样本数据,一部分作为测试样本数据。并将这两部分样本数据分开保存或通过标记的方式进行区分。其中训练样本数据用于训练动物肢体特征点判断模型,测试样本数据用于测试动物肢体特征点判断模型。例如,前者用于模型训练时使用的图像数据占据总数量的90%;后者用于模型测试使用的图像数据占据总数量的10%。具体的,在构建训练样本后,基于神经网络结构(如前馈神经网络结构、递归神经网络结构、卷积神经网络结构等)和训练样本搭建动物肢体特征点判断模型。并进一步设定训练样本中各图像数据图像像素点的像素值(灰度值)作为输入,图像特征点坐标和特征点序号作为输出,把训练样本的图像数据传输给动物肢体特征点判断模型反复训练。训练完成后的动物肢体特征点判断模型即可用于接收输入的动物图像,并根据动物图像输出图像特征点坐标和肢体特征点序号。
更具体的,将训练样本数据传输给动物肢体特征点判断模型进行反复训练,当训练次数达到第一阈值时,再把测试样本数据传输给动物肢体特征点判断模型测试,在测试过程中不断对动物肢体特征点判断模型进行微调,当测试的准确率达到第二阈值,则认为动物肢体特征点判断模型可应用于现场识别。基于从假设空间中挑选参数最优的模型准则,根据模型预测值与图像实际值的误差不断进行模型相关参数的调整,调整过程中,误差越少,则模型越好,直至模型准确率达到设定第二阈值。参数调整时,可采用方差函数、损失函数等算法进行参数的调整。实际应用中,训练样本数据与模型反复训练所要达到的次数根据实际识别需求进行设置,本申请实施例将第一阈值设置为20万次;测试样本数据与模型反复测试所要达到的准确率,根据实际识别需求进行设置,本申请实施例将第二阈值设置为80%,以满足模型现场识别精度的要求。
最终,根据上述训练得到的动物肢体特征点判断模型,将抽帧得到的动物图像逐个输入该动物肢体特征点判断模型。动物肢体特征点判断模型通过将动物图像转化为灰度图像,确定其中的图像像素点,将图像像素点输入该动物肢体特征点判断模型即可识别得到对应动物图像中动物肢体的图像特征点坐标及特征点序号。
S130、基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画。
在确定图像特征点坐标和特征点序号后,图像特征点坐标和特征点序号按照预设的连接顺序对特征点序号的进行排序,并按照特征点序号重新排列的顺序进行图像特征点坐标的连接形成对应简笔画。在连接图像特征点坐标时,通过贝塞尔曲线连接图像特征点坐标,贝塞尔曲线是由线段与节点组成,节点是可拖动的支点,线段像可伸缩的皮筋,一般矢量图形软件或较成熟位图软件均具备该功能,是应用于二维图形应用程序的数学曲线,本实例采用贝塞尔曲线连接图像特征点坐标得到的动物图像简笔画更加平滑,提高了作画效果。
参照图4,提供本申请实施例的简笔画示意图。假设动物图像中的动物为一头牛,其图像特征点坐标和特征点序号如上述特征点记录表所示,图像特征点坐标可根据图像特征点坐标和特征点坐标的对应关系得出。在确定图像特征点坐标和特征点序号后,以最左端的图像特征点坐标为起点,以最右端的图像特征点坐标为终点,预设的连接顺序为左前肢→右鼻孔→左鼻孔→嘴巴→左眼→右眼→左耳→右耳→右前肢→左后肢→右后肢→尾巴,按照预设的连接顺序确定图像特征点坐标序号的先后顺序为预设连接顺序所指示的方向,通过预设连接顺序得出图4特征点序号的连接顺序,即可基于该特征点序号的连接顺序进行连接形成对应的简笔画。其中,对应动物肢体的特征点序号排列如下:“22-23-24-16-17-18-13-14-15-19-20-21-7-8-9-10-11-12-1-2-3-4-5-6-28-29-30-25-26-27-31-32-33-34-35-36”。
进一步的,在确定特征点序号连接顺序后,根据该特征点序号使用贝塞尔曲线连接各个图像特征点坐标,最终得到对应动物图像的简笔画。需要说明的是,由于动物图像可能包含多个目标(即多个动物)的情况。则在进行简笔画连接时,根据动物图像包含的对应目标,将各个对应目标的图像特征点坐标分别连接形成简笔画,即简笔画中对应每一个目标形成相应的图像特征点坐标连接序列。在通过动物肢体特征点判断模型识别图像特征点坐标时,可对应动物图像中的不同动物对图像特征点坐标分别进行标识,以便于后续图像特征点坐标连接的时候进行区分。
S140、将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画。
最终,对应每一个动物图像通过图像特征点坐标连接形成对应的简笔画,将这些简笔画进行编码形成动画形式即可输出给用户。其中,对应每一个简笔画,若简笔画中只包含一个对应目标,即该简笔画只有一个图像特征点坐标连接序列,则直接对该图像特征点坐标连接序列进行编码输出。若简笔画中对应包含了多个图像特征点坐标连接序列,则根据对应目标在动物图像上的方位按照设定编码顺序对各个图像特征点坐标连接序列进行编码。本申请实施例中,若一张图像存在多组图像特征点坐标连接序列,则系统基于图像动物所在方位,按照从左到右,从上到下的先后顺序把特征点连接序列写入内部编码中。
需要说明的是,在进行简笔画编码时,需要按照此前简笔画对应的动物图像的图像时间帧顺序进行编码,比确保动画输出时与原动物视频输出的顺序对应,避免简笔画排序错乱影响动画效果。
上述,通过获取动物视频,从动物视频中抽帧出多张动物图像,将各个动物图像输入预先训练的动物肢体特征点判断模型,得到各个动物图像中对应目标的图像特征点坐标及特征点序号,并进一步将图像特征点坐标按照设定连接顺序连接形成简笔画,将简笔画按照图像时间帧顺序进行编码最终形成对应动物视频的动画。采用上述技术手段,通过预先训练的动物肢体特征点判断模型及设定的简笔画作画方式实现动画的高效及简易制作,以此来降低动画制作的技术门槛,简化动画制作流程,优化用户的动画制作体验。
实施例二:
在上述实施例的基础上,图5为本申请实施例二提供的一种肢体特征点连线的动物动画制作装置的结构示意图。参考图5,本实施例提供的肢体特征点连线的动物动画制作装置具体包括:获取模块21、判断模块22、连接模块23和编码模块24。
其中,获取模块21,用于获取动物视频,从所述动物视频中抽帧出多张动物图像,所述动物图像根据图像时间帧顺序排列;
判断模块22,用于将各个所述动物图像输入预先训练的动物肢体特征点判断模型,输出各个所述动物图像中对应目标的图像特征点坐标及特征点序号;
连接模块23,用于基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画;
编码模块24,用于将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画。
上述,通过获取动物视频,从动物视频中抽帧出多张动物图像,将各个动物图像输入预先训练的动物肢体特征点判断模型,得到各个动物图像中对应目标的图像特征点坐标及特征点序号,并进一步将图像特征点坐标按照设定连接顺序连接形成简笔画,将简笔画按照图像时间帧顺序进行编码最终形成对应动物视频的动画。采用上述技术手段,通过预先训练的动物肢体特征点判断模型及设定的简笔画作画方式实现动画的高效及简易制作,以此来降低动画制作的技术门槛,简化动画制作流程,优化用户的动画制作体验。
具体的,判断模块22包括:
获取单元,用于获取训练样本,所述训练样本包含各类动物的图像数据,每一图像数据均包含一一对应的图像像素点、动物肢体的图像特征点坐标及特征点序号信息;
训练单元,用于基于神经网络结构搭建动物肢体特征点判断模型,以图像像素点作为输入,图像特征点坐标及特征点序号作为输出,并基于所述训练样本训练动物肢体特征点判断模型。
本申请实施例二提供的肢体特征点连线的动物动画制作装置可以用于执行上述实施例一提供的肢体特征点连线的动物动画制作方法,具备相应的功能和有益效果。
实施例三:
本申请实施例三提供了一种电子设备,参照图6,该电子设备包括:处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个,该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。
存储器32作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意实施例所述的肢体特征点连线的动物动画制作方法对应的程序指令/模块(例如,肢体特征点连线的动物动画制作装置中的获取模块、判断模块、连接模块和编码模块)。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块33用于进行数据传输。
处理器通过运行存储在存储器中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的肢体特征点连线的动物动画制作方法。
输入装置34可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
上述提供的电子设备可用于执行上述实施例一提供的肢体特征点连线的动物动画制作方法,具备相应的功能和有益效果。
实施例四:
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种肢体特征点连线的动物动画制作方法,该肢体特征点连线的动物动画制作方法包括:获取动物视频,从所述动物视频中抽帧出多张动物图像,所述动物图像根据图像时间帧顺序排列;将各个所述动物图像输入预先训练的动物肢体特征点判断模型,输出各个所述动物图像中对应目标的图像特征点坐标及特征点序号;基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画;将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的肢体特征点连线的动物动画制作方法,还可以执行本申请任意实施例所提供的肢体特征点连线的动物动画制作方法中的相关操作。
上述实施例中提供的肢体特征点连线的动物动画制作装置、存储介质及电子设备可执行本申请任意实施例所提供的肢体特征点连线的动物动画制作方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的肢体特征点连线的动物动画制作方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。
Claims (9)
1.一种肢体特征点连线的动物动画制作方法,其特征在于,包括:
获取动物视频,从所述动物视频中抽帧出多张动物图像,所述动物图像根据图像时间帧顺序排列;
将各个所述动物图像输入预先训练的动物肢体特征点判断模型,输出各个所述动物图像中对应目标的图像特征点坐标及特征点序号;
基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画;其中,包括根据所述动物图像包含的对应目标,将各个对应目标的图像特征点坐标分别连接形成所述简笔画,所述简笔画包含一个或多个对应目标的图像特征点坐标连接序列;
将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画。
2.根据权利要求1所述的肢体特征点连线的动物动画制作方法,其特征在于,所述基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画,包括:
使用贝塞尔曲线将所述图像特征点坐标连接形成对应所述动物图像的简笔画。
3.根据权利要求1所述的肢体特征点连线的动物动画制作方法,其特征在于,所述将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画,包括:
对应包含多个图像特征点坐标连接序列的所述简笔画,根据对应目标在所述动物图像上的方位按照设定编码顺序对各个所述图像特征点坐标连接序列进行编码。
4.根据权利要求1所述的肢体特征点连线的动物动画制作方法,其特征在于,所述动物肢体特征点判断模型的训练过程包括:
获取训练样本,所述训练样本包含各类动物的图像数据,每一图像数据均包含一一对应的图像像素点、动物肢体特征点的图像特征点坐标及特征点序号信息;
基于神经网络结构搭建动物肢体特征点判断模型,以图像像素点作为输入,图像特征点坐标及特征点序号作为输出,并基于所述训练样本训练动物肢体特征点判断模型。
5.根据权利要求4所述的肢体特征点连线的动物动画制作方法,其特征在于,所述基于所述训练样本训练动物肢体特征点判断模型,包括:
将所述训练样本分为训练样本数据和测试样本数据;
基于所述训练样本数据训练动物肢体特征点判断模型,直至训练次数达到第一设定阈值;
基于测试样本数据对所述动物肢体特征点判断模型进行测试并验证准确率,并根据准确率调整所述动物肢体特征点判断模型,直至准确率达到第二设定阈值。
6.根据权利要求4所述的肢体特征点连线的动物动画制作方法,其特征在于,所述训练样本中,对应动物肢体的图像特征点坐标按照设定标记规则进行标记,对应动物肢体的特征点序号按照设定标号规则进行标号。
7.一种肢体特征点连线的动物动画制作装置,其特征在于,包括:
获取模块,用于获取动物视频,从所述动物视频中抽帧出多张动物图像,所述动物图像根据图像时间帧顺序排列;
判断模块,用于将各个所述动物图像输入预先训练的动物肢体特征点判断模型,输出各个所述动物图像中对应目标的图像特征点坐标及特征点序号;
连接模块,用于基于所述图像特征点坐标及所述特征点序号按照设定连接顺序将所述图像特征点坐标连接形成对应所述动物图像的简笔画;其中,包括根据所述动物图像包含的对应目标,将各个对应目标的图像特征点坐标分别连接形成所述简笔画,所述简笔画包含一个或多个对应目标的图像特征点坐标连接序列;
编码模块,用于将所述简笔画按照所述图像时间帧顺序进行编码形成对应所述动物视频的动画。
8.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6任一所述的肢体特征点连线的动物动画制作方法。
9.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6任一所述的肢体特征点连线的动物动画制作方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911289261.9A CN111028325B (zh) | 2019-12-12 | 2019-12-12 | 一种肢体特征点连线的动物动画制作方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911289261.9A CN111028325B (zh) | 2019-12-12 | 2019-12-12 | 一种肢体特征点连线的动物动画制作方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111028325A CN111028325A (zh) | 2020-04-17 |
CN111028325B true CN111028325B (zh) | 2023-08-11 |
Family
ID=70210831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911289261.9A Active CN111028325B (zh) | 2019-12-12 | 2019-12-12 | 一种肢体特征点连线的动物动画制作方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111028325B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018049979A1 (zh) * | 2016-09-14 | 2018-03-22 | 厦门幻世网络科技有限公司 | 一种动画合成的方法及装置 |
CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
CN108764159A (zh) * | 2018-05-30 | 2018-11-06 | 北京农业信息技术研究中心 | 小样本条件下的动物面部识别方法和系统 |
CN109448088A (zh) * | 2018-10-22 | 2019-03-08 | 广州视源电子科技股份有限公司 | 渲染立体图形线框的方法、装置、计算机设备和存储介质 |
-
2019
- 2019-12-12 CN CN201911289261.9A patent/CN111028325B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018049979A1 (zh) * | 2016-09-14 | 2018-03-22 | 厦门幻世网络科技有限公司 | 一种动画合成的方法及装置 |
CN108596839A (zh) * | 2018-03-22 | 2018-09-28 | 中山大学 | 一种基于深度学习的人脸漫画生成方法及其装置 |
CN108764159A (zh) * | 2018-05-30 | 2018-11-06 | 北京农业信息技术研究中心 | 小样本条件下的动物面部识别方法和系统 |
CN109448088A (zh) * | 2018-10-22 | 2019-03-08 | 广州视源电子科技股份有限公司 | 渲染立体图形线框的方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111028325A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11386699B2 (en) | Image processing method, apparatus, storage medium, and electronic device | |
EP3542347B1 (en) | Fast fourier color constancy | |
CN106101561B (zh) | 摄像头对焦检测方法及装置 | |
CN107820020A (zh) | 拍摄参数的调整方法、装置、存储介质及移动终端 | |
CN108900769A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN110675328A (zh) | 基于条件生成对抗网络的低照度图像增强方法及装置 | |
CN110838084B (zh) | 一种图像的风格转移方法、装置、电子设备及存储介质 | |
CN110378945A (zh) | 深度图处理方法、装置和电子设备 | |
CN108806638B (zh) | 一种图像的显示方法及其装置 | |
CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
CN108734667B (zh) | 一种图像处理方法及系统 | |
CN113297937A (zh) | 一种图像处理方法、装置、设备及介质 | |
CN111080754B (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 | |
Liu et al. | Progressive complex illumination image appearance transfer based on CNN | |
CN110533740A (zh) | 一种图像着色方法、装置、系统及存储介质 | |
US11625816B2 (en) | Learning device, image generation device, learning method, image generation method, and program | |
CN113034412B (zh) | 视频处理方法及装置 | |
CN114125280A (zh) | 相机曝光控制方法、装置、设备、存储介质及程序产品 | |
CN112489144A (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
CN111028325B (zh) | 一种肢体特征点连线的动物动画制作方法及装置 | |
CN111275648B (zh) | 人脸图像处理方法、装置、设备及计算机可读存储介质 | |
CN114331927A (zh) | 一种图像处理方法、存储介质及终端设备 | |
CN112070181A (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
CN110782408A (zh) | 一种基于卷积神经网络的智能美型方法及系统 | |
CN111027492B (zh) | 一种肢体特征点连线的动物作画方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |