CN110874859A - 一种生成动画的方法和设备 - Google Patents

Abstract

本申请公开了一种生成动画的方法，包括：识别目标图像中图像元素的类别及图像元素的组成部分，确定对应类别的图像元素各个组成部分的运动模型；通过识别语音指令或屏幕触摸指令，确定图像元素的运动类型和运动轨迹；控制图像元素根据所述确定的运动模型和运动类型，沿着所述确定的运动轨迹运动，得到对应的动画。本申请还公开了一种对应的设备。应用本申请公开的技术方案，能够快速、便捷地生成符合个性化定制的动画。

Description

一种生成动画的方法和设备

技术领域

本申请涉及动态图片处理技术领域，特别涉及一种生成动画的方法和设备。

背景技术

动画或动图在我们的日常生活中比较常见。例如：老师在课堂上上课时，可能需要向同学们展示相关的内容，此时，可以通过一段动画来较为形象地展示。动画是指视频形式的动态图像，动图是指Gif等图像形式的动态图像，本文将动画和动图统称为动画。

现有的动画生成方式，需要用户采用专业的方法，手动去绘制每一帧图像，难度较大，且生成方式复杂，费时费力，缺少动画的简单快速生成的方法。

此外，现有的动画的编辑，需要专业的技能，用户只能使用已成形的动画作品，难以对已有的动画进行个性化定制。

发明内容

本申请提供了一种生成动画的方法和设备，以快速、便捷地生成符合个性化定制的动画。

本申请公开了一种生成动画的方法，包括：

识别目标图像中图像元素的类别及图像元素的组成部分，确定对应类别的图像元素各个组成部分的运动模型；

通过识别语音指令或屏幕触摸指令，确定图像元素的运动类型和运动轨迹；

控制图像元素根据所述确定的运动模型和运动类型，沿着所述确定的运动轨迹运动，得到对应的动画。

较佳的，所述屏幕触摸指令包括：通过触摸屏幕设置图像元素的运动轨迹。

较佳的，所述运动轨迹为基于坐标的图像元素运动轨迹。

较佳的，所述控制图像元素根据所述确定的运动模型和运动类型，沿着所述确定的运动轨迹运动，得到对应的动画包括：

根据所述运动类型和运动轨迹，计算对应的图像元素在目标运动时间内在各个时间点的坐标；

根据计算得到的图像元素的在各个时间点的坐标，根据不同的视频压缩算法，形成各个时间点的帧数据，并由帧数据最终处理成目标动画文件。

较佳的，所述图像元素的类别至少包括：

人物、动物、植物类和其他类，其中：

人物包括人物的整体或局部；

动物包括动物的整体或局部；

植物类至少包括大树、小草、花朵；

其他类至少包括太阳、月亮、白云。

本申请还公开了一种生成动画的设备，包括：信息输入单元、指令分析单元、图像元素和运动模型库、图像元素识别单元、运动轨迹生成单元和计算合成单元；其中：

图像元素和运动模型库，用于存储图像元素的模型和各种图像元素的运动模型；

信息输入单元，用于输入目标图像和用户指令；

图像元素识别单元，用于识别目标图像中图像元素的类别及图像元素的组成部分，确定对应类别的图像元素各个组成部分的运动模型；

指令分析单元，用于通过识别语音指令或屏幕触摸指令，确定图像元素的运动类型和运动轨迹；

运动轨迹生成单元，用于生成运动轨迹；

计算合成单元，用于控制图像元素根据所述确定的运动模型和运动类型，沿着所述确定的运动轨迹运动，得到对应的动画。

较佳的，所述指令分析单元，用于识别通过触摸屏幕设置的图像元素的运动轨迹。

较佳的，所述运动轨迹生成单元，用于生成基于坐标的图像元素运动轨迹。

较佳的，所述计算合成单元用于执行以下操作：

根据所述运动类型和运动轨迹，计算对应的图像元素在目标运动时间内在各个时间点的坐标；

根据计算得到的图像元素的在各个时间点的坐标，根据不同的视频压缩算法，形成各个时间点的帧数据，并由帧数据最终处理成目标动画文件。

较佳的，所述设备还包括交互单元，用于设备与用户的交互。

由上述技术方案可见，本申请公开的快速生成动画的方法和设备，通过识别目标图像中图像元素的类别及图像元素的组成部分，确定对应类别的图像元素各个组成部分的运动模型；并通过识别语音指令或屏幕触摸指令，确定图像元素的运动类型和运动轨迹；最后控制图像元素根据所述确定的运动模型和运动类型，沿着所述确定的运动轨迹运动，从而得到对应的动画，达到了快速、智能地生成动画的效果，提供了良好的用户体验。并且，本申请所提供的技术方案具有以下有益效果：

可应用于多种智能终端系统，手机，平板电脑，电视等；

可应用于多种用户场景，会议，教学，电子社交等等；

通过语音、屏幕触摸或文字指令的控制，使得使用十分方便，能够提供良好的用户体验。

附图说明

图1为本申请所提供的解决方案的功能单元示意图；

图2为本申请信息输入单元的模块组成示意图；

图3为本申请指令分析单元的模块组成示意图；

图4为本申请计算合成单元的模块组成示意图；

图5为本申请的系统处理流程图；

图6为本申请实施例一的示意图；

图7为本申请实施例二的示意图；

图8为本申请实施例三的示意图；

图9为本申请实施例四的示意图；

图10为本申请实施例五的示意图；

图11为本申请实施例六的示意图；

图12为本申请实施例七的示意图；

图13为本申请实施例八的示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

为解决现有技术所存在的问题，本申请提供一种生成动画的方法，该方法包括以下步骤：

步骤1：识别目标图像中图像元素的类别以及图像元素的各个组成部分，进而确定该类图像元素各个组成部分的运动模型。

步骤2：通过识别用户的语音指令，或识别屏幕触摸指令(即：用户在屏幕上通过触摸的方式设定运动轨迹)，得到对应的图像元素的运动类型和运动轨迹。

步骤3：控制图像元素根据确定的运动模型和运动类型，沿着确定的运动轨迹进行运动，进而生成动画。

本发明可将用户指定的多种图像元素和运动模型相整合，形成整体的动画。

对应于上述方法，本发明还公开了一种生成动画的设备，该设备所包含的功能单元如图1所示，具体包括：信息输入单元、指令分析单元、交互单元、图像元素和运动模型库、图像元素识别单元、运动轨迹生成单元和计算合成单元。下面结合图1详细说明各功能单元的数据流程。

一、信息输入单元

本单元主要用于接收用户输入的图像元素和指令，信息输入单元的模块组成示意图如图2所示，主要包括以下模块：

1)图像元素输入模块：

本模块用于接收用户输入的图像元素，输入方法可以是用户通过可触摸终端屏幕直接进行图像绘制，或是直接输入已有的或编辑后的图像元素(比如使用自拍像，或是已有的图片，或是通过抠图等方法编辑得到的图像元素)。

2)语音指令输入模块：

本模块用于通过终端录制用户的语音指令，并输入到系统进行后续分析和处理。

3)其他指令输入模块：

本模块用于接收用户输入的各种指令，指令的种类包括如下：

a)基于屏幕触摸控制的指令(比如设定运动轨迹等)；

b)菜单形式的指令；

c)文字形式的指令。

二、指令分析单元

本单元主要用于分析用户的各种指令，指令分析单元的模块组成示意图如图3所示，主要包括以下模块：

1)语音指令分析模块

本模块用于分析用户的语音命令，将语音命令转化为文本，并通过对文本的词法分析，判断用户的意图，得到用户命令中的目标图像元素、目标运动类型、目标运动轨迹等相关信息。

语音识别技术的目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。语音识别技术与说话人识别及说话人确认不同，说话人识别及说话人确认尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。

2)触摸指令分析模块

本模块用于分析用户的屏幕触摸指令，得到目标图像元素、目标运动类型、目标运动轨迹等相关信息。

3)文本指令分析模块

本模块用于分析用户通过指令输入单元输入的文本指令，并通过对文本指令的词法分析，判断用户的意图，得到用户命令中的目标图像元素、目标运动类型、目标运动轨迹等相关信息。

4)菜单指令分析模块

本模块用于分析用户输入的菜单选择，得到用户的相关选择信息。

三、交互单元

本单元用于系统和用户的交互，交互的方式包括：

1)语音交互：系统通过语音的方式，对用户的指令做出反馈，给出建议或选择。

2)菜单选择交互：系统通过文字菜单的方式，对用户的指令做出进一步反馈，给出建议或选择。

四、图像元素和运动模型库

本单元包括：

(1)各种图像元素模型库，存储有各种图像元素的原始数据，经过深度学习等算法学习得到的特征值等数据；

(2)各种图像元素的运动模型库，存储各种图像元素的运动类型和运动的特征轨迹值。

本发明定义的图像元素的类别包括：

人物(包括人物的整体或局部，比如人物五官表情、四肢关节等)；

动物(包括动物的整体或局部，比如狗尾巴、四肢关节等)；

植物类(包括大树、小草、花朵等)；

其他类(包括太阳、月亮、白云等)。

此外，本发明根据不同类别的图像元素，分别定义对应各个类别的运动模型。比如：

人物的运动模型可以包括走、跑、跳等；

动物的运动模型可以包括奔跑、鱼跃、摇尾等；

小草的运动模型可以包括随风摆动、慢慢长大等；

太阳的运动模型可以包括阳光普照、光晕等；

表情的运动模型可以包括微笑、啼哭、愤怒等；

同时，在上述定义的基础上，本申请还定义多个元素联合动画模型，比如：儿童骑车(包括儿童和自行车两部分的运动模型)。

五、图像元素识别单元

本单元用于根据图像元素模型库，对目标图像中的图像元素进行识别，最终确定目标图像元素的类型，并确定图像元素的各个组成部分的位置。

图像识别技术是指对图像进行对象识别，以识别各种不同模式的目标和对象的技术。

六、运动轨迹生成单元

本单元用于根据用户的输入，包括语音、屏幕触摸、文本、菜单等指令，分析用户指令中对运动类型和运动轨迹的描述，最终生成基于坐标的目标图像元素运动轨迹。

七、计算合成单元

本单元主要用于用户指令中的运动轨迹计算目标图像元素移动坐标，最终合成动画。计算合成单元的模块组成示意图如图4所示，主要包括以下模块：

1)移动坐标计算模块

本模块用于根据目标运动类型和目标运动轨迹，计算目标图像元素在目标运动时间内在各个时间点的坐标。

2)动画合成单元

本模块用于根据目标图像元素的动态坐标，根据不同的视频压缩算法，形成各个时间点的帧数据，并由帧数据最终处理成目标动画文件。

本发明的系统处理流程图如图5所示，包括以下步骤：

步骤201：接收用户输入的目标图像元素。

步骤202：将所述目标图像元素与图像元素数据库进行匹配，识别出目标图像元素的类型，以及各个子图像元素类型(即：目标图像元素的各个组成部分)。

步骤203：接收用户输入的指令，指令可以是语音指令、也可以屏幕触摸指令，还可以是文本指令或菜单指令。

步骤204：对用户的指令进行分析处理，若是语音或是本文指令，需经过特殊语义分析处理，最终得到用户的真实意图；若是屏幕触摸指令，则获取运动轨迹。

步骤205：若用户的指令不明确，需要用户进一步确认，则系统通过菜单或是语音或是文本的方式，与用户进行交互，得到用户的进一步指令，或相关选择和确认。

步骤206：若用户指令确认完毕，则转入步骤207，否则继续转入步骤205，进一步和用户进行交互。

步骤207：根据用户的指令，生成目标图像元素的运动轨迹。

步骤208：根据目标图像元素的动态坐标，采用不同的视频压缩算法，形成各个时间点的帧数据，并由帧数据最终处理成目标动画文件。

下面通过几个较佳实施例对本申请技术方案进行进一步举例说明。

实施例一：

本实施例对菜单指令控制–设置运动路线进行说明，参见图6：

步骤1：用户通过编辑图片的方式，在终端输入一只狗的图像，终端识别出图像类别，并识别出小狗的各个组成部分。

步骤2：用户选择“跑”的运动方式。

步骤3：选择运动方式后，终端提示用户设定运动轨迹，用户通过设定运动轨迹点的方式设定小狗的奔跑轨迹。

步骤4：终端按照用户指令，生成小狗按照指定路线奔跑的动画。

实施例二：语音控制–拍摄照片，生成动画，参见图7：

步骤1：用户通过自拍的方式，在手机终端上拍摄自己的照片，手机终端识别图像资源类型为“人脸”，并识别出五官等各个子元素。

步骤2：用户输入语音：“给一个大笑的表情”，手机终端分析用户的语音指令，识别出用户的意图，然后根据运动模型库的“大笑”的运动模型，自动计算并合成大笑的动画；

步骤3：用户通过手机拍摄一个人像照片，手机终端识别图像资源类型为“男孩”，并识别出人体各个等各个子元素；

步骤4：用户输入语音：“跳个舞吧”，手机终端分析用户的语音指令，识别出用户的意图，结合图像类型，然后根据运动模型库中的“跳舞”的默认运动模型，自动计算并合成跳舞的动画。

实施例三：

本实施例对语音控制–生成风景动画进行说明，参见图8：

步骤1：用户看见电视上的一张风景画，对电视发出语音指令，“让图运动起来”。

步骤2：电视终端对风景图片做图像识别，识别出其中的各个元素，比如“云朵”、“雪花”等。

步骤3：电视终端根据运动模型库中，各个元素对应的默认运动模式，计算并生成各个图像元素的运动轨迹，并最终合成一段动画播放给用户。

实施例四:

本实施例对语音控制–语音交互确认场景进行说明，参见图9：

步骤1：用户在终端上输入多个图像元素(终端可为电子写字板、智能电视或是其他终端)，其中有两只小狗和一棵树，图像元素可以是绘画生成、或是输入或编辑现有的图片生成，用户给终端下发语音指令：“让小狗向树奔跑”。

步骤2：终端通过图像识别，识别出终端上的多个目标图像类型，包括两只“小狗”(对两只小狗做编号区分处理)和“小树”，然后分析用户语音命令，发现用户命令中的元素“小狗”，目标元素不明确，终端识别出两只小狗，而后终端向用户发出语音交互请求：“请问是哪只狗，第一只还是第二只？”。

步骤3：用户收到终端的交互请求后，做出语音答复“第一只”。

步骤4：终端针对用户的再次语音指令做出分析，明确了运动的目的要素，然后根据运动模式库中的目的元素的运动模式，计算并生成图像元素的运动轨迹，并最终合成一段动画播放给用户。

实施例五：

本实施例对语音控制–生成组合动画进行说明，参见图10：

步骤1：教学场景，老师在终端上输入多个图像元素(终端为电子写字板，或是智能电视)，其中有的是自己绘画生成，有的是编辑现有的图片输入，老师问学生：“观察白板上的图画，根据图画讲一段故事”。

步骤2：学生根据白板的图画，对着白板讲出了自己的故事：“太阳照耀大地，小孩发现小马，然后骑着马跑向小树苗”。

步骤3：终端通过图像识别，识别出终端上的多个目标图像类型，包括“小孩”、“太阳”、“小马”和“小树”。

步骤4：终端分析学生的语音指令，得到各个目标元素的运动类型、运动轨迹和运动时间等信息，自动生成包括所有元素的整体动画，并展示在终端上(动画流程包括：太阳射出光晕效果，小孩跑向小马，然后骑上马背，小孩骑着小马向着小树的方向奔跑)。

实施例六：

本实施例对设置文字指令–组合动画生成进行说明，参见图11：

步骤1：用户在终端上输入多个图像元素，其中有的是自己绘画生成，有的是编辑现有的图片输入，然后在终端上圈定了目标图像元素。

步骤2：终端识别出目标图像中的多个子元素。

步骤3：用户针对目标图像元素输入动作文字指令。

步骤4：终端分析用户的文字指令，得到各个目标元素中各个子元素的运动类型、运动轨迹和运动时间等信息，自动生成包括所有子元素的整体动画，并展示在终端上。

实施例七：

本实施例对采用菜单指令控制目标图像元素的方案进行说明，参见图12：

步骤1：用户在终端屏幕上画了一个头像(终端为手机或平板电脑)。

步骤2：终端对图像进行识别，识别出图像整体类别，以及各个五官发组成部分。

步骤3：用户点击菜单中的运动方式条目，选择“哭泣”的类别。

步骤4：图像自动生成哭泣的动画，并展示给用户。

实施例八：

本实施例对菜单指令控制–多个连续动作指令进行说明，参见图13：

步骤1：用户将现有图片(头像)输入到终端屏幕上。

步骤2：终端识别出该图像的类别(例如：姚明的头像)，并向用户提供该头像相关联的可选动作类别。

步骤3：用户先后设定两种运动模式，“哭”和“笑”。

步骤4：终端按照用户的指令，生成先哭后笑的动画。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种生成动画的方法，其特征在于，包括：

识别目标图像中图像元素的类别及图像元素的组成部分，确定对应类别的图像元素各个组成部分的运动模型；

通过识别语音指令或屏幕触摸指令，确定图像元素的运动类型和运动轨迹；

控制图像元素根据所述确定的运动模型和运动类型，沿着所述确定的运动轨迹运动，得到对应的动画。

2.根据权利要求1所述的方法，其特征在于：

所述屏幕触摸指令包括：通过触摸屏幕设置图像元素的运动轨迹。

3.根据权利要求1所述的方法，其特征在于：

所述运动轨迹为基于坐标的图像元素运动轨迹。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述控制图像元素根据所述确定的运动模型和运动类型，沿着所述确定的运动轨迹运动，得到对应的动画包括：

根据所述运动类型和运动轨迹，计算对应的图像元素在目标运动时间内在各个时间点的坐标；

根据计算得到的图像元素的在各个时间点的坐标，根据不同的视频压缩算法，形成各个时间点的帧数据，并由帧数据最终处理成目标动画文件。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述图像元素的类别至少包括：

人物、动物、植物类和其他类，其中：

人物包括人物的整体或局部；

动物包括动物的整体或局部；

植物类至少包括大树、小草、花朵；

其他类至少包括太阳、月亮、白云。

6.一种生成动画的设备，其特征在于，包括：信息输入单元、指令分析单元、图像元素和运动模型库、图像元素识别单元、运动轨迹生成单元和计算合成单元；其中：

图像元素和运动模型库，用于存储图像元素的模型和各种图像元素的运动模型；

信息输入单元，用于输入目标图像和用户指令；

图像元素识别单元，用于识别目标图像中图像元素的类别及图像元素的组成部分，确定对应类别的图像元素各个组成部分的运动模型；

指令分析单元，用于通过识别语音指令或屏幕触摸指令，确定图像元素的运动类型和运动轨迹；

运动轨迹生成单元，用于生成运动轨迹；

计算合成单元，用于控制图像元素根据所述确定的运动模型和运动类型，沿着所述确定的运动轨迹运动，得到对应的动画。

7.根据权利要求6所述的设备，其特征在于：

所述指令分析单元，用于识别通过触摸屏幕设置的图像元素的运动轨迹。

8.根据权利要求6所述的设备，其特征在于：

所述运动轨迹生成单元，用于生成基于坐标的图像元素运动轨迹。

9.根据权利要求6至8任一项所述的设备，其特征在于，所述计算合成单元用于执行以下操作：

根据所述运动类型和运动轨迹，计算对应的图像元素在目标运动时间内在各个时间点的坐标；

根据计算得到的图像元素的在各个时间点的坐标，根据不同的视频压缩算法，形成各个时间点的帧数据，并由帧数据最终处理成目标动画文件。

10.根据权利要求6至8任一项所述的设备，其特征在于：

所述设备还包括交互单元，用于设备与用户的交互。

Images