CN104978758A - 基于用户创作的图像的动画视频生成方法和装置 - Google Patents

Abstract

本发明提供了一种基于用户创作的图像的动画视频生成方法和装置，该方法包括获取用户创作的图像及与所述图像对应的模型文件；根据模型文件和图像驱动并渲染模型文件中定义的模型，生成与该图像对应的动画视频。通过本发明，解决了相关技术中用户创作的图像无法在虚拟场景中动起来的问题，进而达到了提高用户体验的效果。

Description

基于用户创作的图像的动画视频生成方法和装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种基于用户创作的图像的动画视频生成方法和装置。

背景技术

儿童绘画仅仅是纸质或者手机电脑上的绘画,还不能让绘画的图片转化成3d物体，更无法让该绘画在3d场景中运动。这种将儿童绘画内容直接动态化显示的方法，以及将各种互动与儿童创意和自我创建世界结合的方法是一种创新的实现方式。

让儿童绘画的对象能在一个虚拟的场景中动起来,让所有参与的儿童能共同创建一个大家的虚拟社区,所有的虚拟社区具有社区运行的规则。这样小朋友们既能参与绘画,又能以自己的方式创建虚拟世界。这是相关技术中亟待解决的问题。

发明内容

本发明提供了一种基于用户创作的图像的动画视频生成方法和装置，以至少解决相关技术中用户创作的图像无法在虚拟场景中动起来的问题。

根据本发明的一个方面，提供了一种基于用户创作的图像的动画视频生成方法，包括：获取用户创作的图像及与所述图像对应的模型文件；根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的模型，生成与所述图像对应的动画视频。

优选地，根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的所述模型包括：解析所述图像获取所述图像的颜色数据；根据所述颜色数据和所述驱动数据驱动并渲染所述模型，生成与所述模型对应的模型实例。

优选地，根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的所述模型之前或同时，所述方法还包括：获取预先选择的场景模式及与所述场景模式对应的场景模型文件；根据所述场景模型文件驱动并渲染与所述图像对应的场景。

优选地，所述场景模型文件中还包括对应于所述模型的运动数据，所述运动轨迹数据用于定义所述模型实例在所述场景中的运动轨迹和/或运动速度中。

优选地，根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的所述模型，生成与所述图像对应的动画视频之后，所述方法还包括：实时播放所述动画视频，并播放所述用户预先录制的与所述图像对应的出场音，其中，所述出场音用于供所述用户识别与所述用户创作的图像对应的所述模型实例。

优选地，生成与所述图像对应的动画视频之后，所述方法还包括：接收所述用户的互动指令；根据所述互动指令控制所述动画视频中的模型实例，其中，所述模型实例是与所述图像对应的所述模型被驱动并渲染后生成的虚拟对象。

优选地，根据所述互动指令控制所述动画视频中的所述模型实例包括以下至少之一：在所述互动指令是表情指令的情况下，控制所述模型实例模仿所述用户的当前表情，或者，根据识别的情绪控制所述模型实例执行相应的动作，其中，所述情绪根据所述用户的表情识别；所述互动指令是语音指令的情况下，控制所述模型实例与所述用户进行语音交流，或者，驱动并渲染所述模型实例按照所述语音指令执行相应的动作；在所述互动指令是动作指令的情况下，控制所述模型实例模仿所述用户的当前动作，或者，驱动并渲染所述模型实例执行与所述动作指令相应的动作；在所述互动指令是文字指令的情况下，控制所述模型实例根据所述文字指令进行相应的动作；在所述互动指令是事件指令的情况下，控制所述模型实例或场景响应相应的事件；在所述互动指令是特效指令的情况下，控制所述模型实例的特效。

优选地，根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的模型，生成与所述图像对应的所述动画视频包括：采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据所述模型文件和所述图像驱动并渲染对应于所述多个摄像机视口的不同视角的所述模型实例，将渲染出的不同视角的所述模型实例合成多视口的所述动画视频；或，采用在不同的方位上复制多个所述模型实例的渲染方式，复制所述模型实例得到多个所述模型实例，将所述多个模型实例以不同的朝向部署在不同的方位上，根据所述模型文件和所述图像分别驱动并渲染所述多个模型实例，生成单视口的所述动画视频；或，采用渲染多个单视口单角色的渲染方式，根据所述模型文件和所述图像分别驱动并渲染出不同视角的多个所述模型实例，生成多个单视口单角色的所述动画视频。

优选地，将所述动画视频投影到全息设备上。

根据本发明的另一个方面，本发明还提供了一种基于用户创作的图像的动画视频生成装置，包括：获取模块，用于获取用户创作的图像及与所述图像对应的模型文件；图像渲染模块，根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的模型，生成与所述图像对应的动画视频。

优选地，所述图像渲染模块包括：纹理动态更新模块，用于解析所述图像获取所述图像的颜色数据；渲染模块，用于根据所述颜色数据和所述驱动数据驱动并渲染所述模型，生成与所述模型对应的模型实例。

优选地，所述图像渲染模块还包括：场景获取模块，用于获取预先选择的场景模式及与所述场景模式对应的场景模型文件；场景渲染模块，用于根据所述场景模型文件驱动并渲染与所述图像对应的场景。

优选地，所述图像渲染模块还包括：接收模块，用于接收所述用户的互动指令；控制模块，用于根据所述互动指令控制所述动画视频中的模型实例，其中，所述模型实例是与所述图像对应的所述模型被驱动并渲染后生成的虚拟对象。

通过本发明，采用获取用户创作的图像及与所述图像对应的模型文件；根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的模型，生成与所述图像对应的动画视频。解决了相关技术中用户创作的图像无法在虚拟场景中动起来的问题，进而达到了提高用户体验的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的基于用户创作的图像的动画视频生成方法的流程图；

图2是根据本发明实施例的基于用户创作的图像的动画视频生成装置的结构框图一；

图3是根据本发明优选实施例的基于用户创作的图像的动画视频生成装置的结构框图二；

图4是根据本发明优选实施例的基于用户创作的图像的动画视频生成方法的流程图；

图5是根据本发明实施例的图像生成端的处理方法的流程图；

图6是根据本发明实施例的服务器端的处理方法的流程图；

图7是根据本发明实施例的渲染端的处理方法的流程图；

图8是根据本发明实施例的用户控制端的处理方法的流程图；

图9是是根据本发明优选实施例的另一种基于用户创作的图像的动画视频生成方法的流程图；

图10是根据本发明实施例的基于用户创作的图像的动画视频生成系统的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种基于用户创作的图像的动画视频生成方法，图1是根据本发明实施例的基于用户创作的图像的动画视频生成方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，获取用户创作的图像及与该图像对应的模型文件；

在一个实施例中，模型文件中包括模型和用于驱动并渲染该模型的驱动数据和渲染数据。

步骤S104，根据模型文件和图像驱动并渲染该模型文件中定义的模型，生成与该图像对应的动画视频。

在一个实施例中，根据模型文件和图像驱动并渲染模型文件中定义的模型可以包括：解析图像获取该图像的颜色数据，其中，颜色数据是动态生成模型的纹理图；根据颜色数据和驱动数据驱动并渲染该模型，生成与该模型对应的模型实例。

在另一个实施例中，根据模型文件和图像驱动并渲染与该图像对应的模型之前或同时，该方法还包括：获取预先选择的场景模式及该场景模式对应的至少一个场景模型文件；根据获取的至少一个场景模型文件驱动并渲染场景。其中，场景模式可以包括以下至少之一：交通类场景，成长类场景，社区类场景，海洋类场景，动物类场景，植物类场景，社交类场景，森林类场景,沙漠类场景。场景模式不限于以上几种，可以根据实际需要，设计出其他不同的场景模式。其中，场景模型文件中还包括对应于所述模型的运动数据或者场景类中包含的规则，所述运动轨迹数据用于定义所述模型实例在所述场景中的运动轨迹和/或运动速度；所述场景规则数据用于定义场景中各种虚拟对象间的作用关系。

在又一个实施例中，生成与该图像对应的动画视频之后，该方法还包括：接收用户的互动指令；根据互动指令控制动画视频中的模型实例，其中，模型实例是与所述图像对应的所述模型被驱动并渲染后生成的虚拟对象。

在一个优选的实施例中，根据互动指令控制动画视频中的模型实例包括以下至少之一：在互动指令是表情指令的情况下，控制模型实例模仿用户的当前表情，或者，根据识别的情绪控制模型实例执行相应的动作，其中，情绪是根据用户的表情识别出来的；在互动指令是语音指令的情况下，控制模型实例与用户进行语音交流，或者，驱动并渲染模型实例按照语音指令执行相应的动作；在互动指令是动作指令的情况下，控制模型实例模仿用户的当前动作，或者，驱动并渲染模型实例执行与该动作指令相应的动作；在互动指令是文字指令的情况下，控制模型实例根据文字指令进行相应的动作；在互动指令是事件指令的情况下，控制模型实例或场景响应相应的事件；在互动指令是特效指令的情况下，控制模型实例的特效。

在一个优选的实施例中，该图像是该用户根据与该模型文件相应的预定义规则创作的，该模型是三维模型。

在另外一个优选的实施例中，在驱动并渲染与所述图像对应的所述模型，生成与所述图像对应的所述动画视频之后，所述方法还可以包括：实时播放所述动画视频，并播放所述用户预先录制的与所述图像对应的出场音。即，在渲染出与所述用户创作的图像对应的虚拟对象后，当该虚拟对象在动画视频中出场时，播放用户预先录制的出场音，以识别该用户的虚拟对象。

在又一个优选的实施例中，还可以在实时播放动画视频时，播放用户预先录制的与该图像对应的出场音，其中，出场音用于供用户识别与用户创作的图像对应的模型实例。

在又一个优选的实施例，可以通过以下三种方式中的任一种驱动并渲染模型实例生成动画视频：

方式一、采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据模型文件和图像驱动并渲染对应于多个摄像机视口的不同视角的模拟实例，并将渲染出的不同视角的模拟实例合成多视口的动画视频；

方式二、采用在不同的方位上复制多个模拟实例的渲染方式，复制模型实例得到多个模型实例，将多个模型实例以不同的朝向部署在不同的方位上，并根据模型文件和图像分别驱动并渲染多个模型实例，生成单视口的动画视频；

方式三、采用渲染多个单视口单角色的渲染方式，根据模型文件和用户创作的图像分别驱动并渲染出不同视角的多个模型实例，生成多个单视口单角色的动画视频。

其中，动画视频的视角数量可以为1至N中的任一自然数，优选地为3。

在生成动画视频后，还可以将该动画视频投影到全息设备上。当然，也可以通过显示器或电视等终端设备显示该动画视频。

通过上述步骤，解决了相关技术中用户创作的图像无法在虚拟场景中动起来的问题，进而达到了提高用户体验的效果。

在本实施例中还提供了一种基于用户创作的图像的动画视频生成装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的基于用户创作的图像的动画视频生成装置的结构框图一，如图2所示，该装置包括：

获取模块22，用于获取用户创作的图像及与该图像对应的模型文件；

图像渲染模块24，用于根据该模型文件和该图像驱动并渲染与该图像对应的模型，生成与该图像对应的动画视频。

图3是根据本发明优选实施例的基于用户创作的图像的动画视频生成装置的结构框图二，如图3所示，该装置包括图2所示的所有模块，并且，该图像渲染模块24可以包括：场景获取模块242，用于获取预先选择的场景模式及与该场景模式对应的至少一个场景模型文件；场景渲染模块244，用于根据该场景模式文件渲染与该图像对应的场景。

在一个优选的实施例中，该图像渲染模块24还可以包括：接收模块246，用于接收该用户的互动指令；控制模块248，用于根据该互动指令控制该动画视频中的模型实例，其中，该模型实例与该用户对应，是该模型被驱动渲染后生成的实例。

在另一个优选的实施例中，控制模块248根据互动指令控制动画视频中的模型实例可以包括以下至少之一：在互动指令是表情指令的情况下，控制模型实例模仿用户的当前表情，或者，根据识别的情绪控制模型实例执行相应的动作，其中，情绪是根据用户的表情识别出来的；在互动指令是语音指令的情况下，控制模型实例与用户进行语音交流，或者，驱动并渲染模型实例按照语音指令执行相应的动作；在互动指令是动作指令的情况下，控制模型实例模仿用户的当前动作，或者，驱动并渲染模型实例执行与该动作指令相应的动作；在互动指令是文字指令的情况下，控制模型实例根据文字指令进行相应的动作；在互动指令是事件指令的情况下，控制模型实例或场景响应相应的事件；在互动指令是特效指令的情况下，控制模型实例的特效。

在又一个优选的实施例中，该装置还可以包括纹理动态更新模块240，用于将该图像所形成的纹理图像动态更新到模型上；渲染模块241，用于根据该纹理数据和驱动数据驱动并渲染该模型，生成与该模型对应的模型实例。

在一个优选的实施例中，该装置可以通过以下三种方式中的任一种驱动并渲染模型实例生成动画视频：

方式一、采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据模型文件和图像驱动并渲染对应于多个摄像机视口的不同视角的模拟实例，并将渲染出的不同视角的模拟实例合成多视口的动画视频；

方式二、采用在不同的方位上复制多个模拟实例的渲染方式，复制模型实例得到多个模型实例，将多个模型实例以不同的朝向部署在不同的方位上，并根据模型文件和图像分别驱动并渲染多个模型实例，生成单视口的动画视频；

方式三、采用渲染多个单视口单角色的渲染方式，根据模型文件和用户创作的图像分别驱动并渲染出不同视角的多个模型实例，生成多个单视口单角色的动画视频。

其中，动画视频的视角数量可以为1至N中的任一自然数，优选地为3。

在生成动画视频后，该装置还可以将该动画视频投影到全息设备上。当然，也可以通过显示器或电视等终端设备显示该动画视频。

图4是根据本发明优选实施例的基于用户创作的图像的动画视频生成方法的流程图，如图4所示，该流程包括如下步骤：

步骤S402，图像生成端将获取的用户创作的图像上传到服务器；

步骤S404，服务器关联保存图像生成端上传的图像；

步骤S406，渲染端下载对应于该下载端的图像和模型文件，并根据图像和模型文件渲染该图像对应的模型生成动画视频。

下面将详细描述步骤S402至步骤S406的实现过程。

在一个实施例中，步骤S402的实现可以具体如下：

在图像生成端获取用户创作的图像之前，用户首先需要创作自己的图像。在本实施例中，可以有很多展示端。展示端指的是渲染端(动画视频生成装置)所在的一端，通常也是用户创作图像所在的一端。比如，在多个商场的儿童游乐区，可以分别设置一个展示端。在该展示端，多个儿童可以分别选择自己喜欢的着色用的模板，进行着色，创作自己的绘画作品。

在用户创作完图像之后，图像生成端便可以获取并上传用户创造的图像。图5是根据本发明实施例的图像生成端的处理方法的流程图，如图5所示，该方法包括以下步骤：

S502，打开图像生成端，比如手机或者连接扫描仪的客户端等，登录服务器并关联当前的渲染端。

图像生成端登陆服务器时，携带图像生成端所在的渲染端的信息。比如，在图像生成端是手机的情况下，可以通过手机的定位功能，确定手机的当前位置，从而确定手机所对应的渲染端。当然，在另外一个实施例中，该渲染端的信息也可以是预定义的或者通过渲染端上的二维码扫描得到。

S504，通过图像生成端获取用户创作的图像。

图像生成端获取用户创作的图像的方法可以有很多种，比如，在图像生成端是手机的情况下，可以通过手机拍照的功能直接拍摄用户创作的图像，或者，在图像生成端和一台扫描仪相连的情况下，可以通过扫描仪获取用户创作的图像。

图像生成端在获取用户创作的图像后，可以选择与用户着色模板对应的模板，这样，在上传图像的时候，可以同时上传模板ID。该模板ID用于在服务器端确定与该图像对应的模型文件。在另一个实施例中，也可以不选择与着色模板对应的模板，而直接上传该图像至服务器。服务器根据预定义的规则解析该图像，确定与该图像对应的模型文件，此时，该图像是用户根据预定义的规则创作的。在又一个实施例中，服务器也可以仅通过解析该图像，便确定与该图像对应的模型文件。

S506，图像生成端将所获取的图像经过色彩处理后上传至服务器。

在一个实施例中，图像生成端除了上传图像之外，还需要上传与该图像对应的模板ID，以及图像生成端所在的渲染端的ID，其中模板ID用于确定与该图像对应的模型文件。

在另外一个实施例中，还可以是服务器直接通过定位获取图像生成端所在的渲染端的ID，并通过分析上传的图像确定与该图像对应的模型文件。在这种情况下，图像生成端仅上传用户创作的图像即可。

在一个实施例中，步骤S404的实现可以具体如下：

图6是根据本发明实施例的服务器端的处理方法的流程图，如图6所示，该方法包括以下步骤：

S602，接收图像生成端发送的图像。

S604，关联存储所接收的图像。

服务器上存储有很多模型文件。这些模型文件来自于模型发布端。模型发布端将预先制作的模型文件按照特定的格式要求打包，并输入相关的信息，指定可以下载使用的渲染端。服务器可以定时从模型发布端下载模型文件，也可以接收模型发布端推送的模型文件，从而更新本地的模型文件。服务器上同时也存储有很多场景模型文件，场景模型文件也是从模型发布端获取的。

服务器接收到上传的图像之后，将其与模型文件进行关联。比如，根据与该图像对应的模板ID在多个模型文件中查找到与该图像对应的模型文件，并将该图像与所查找到的模型文件、及渲染端ID关联并保存起来。

S606，发送模型文件及相应的图像。

服务器在接收到渲染端的获取图像请求后，查找对应于该渲染端的至少一个图像，及与图像对应的模型文件，并将查找到的图像和模型文件发送给渲染端。当然，服务器也可以同时将场景模型文件发送给渲染端。

在一个实施例中，步骤S406的实现可以具体如下：

图7是根据本发明实施例的渲染端的处理方法的流程图，如图7所示，该方法包括以下步骤：

步骤S702，渲染端认证。

渲染端与服务器连接，向服务器发送鉴权认证。只有在通过服务器认证的情况下，渲染端才有权限获取图像和模型文件。

S704，渲染端获取用户创作的图像。

在通过认证之后，渲染端会根据当前选定的场景模式，下载其对应的场景模型文件、模型文件及用户创作的图像。每种类型的场景会有自己的特色，如交通类场景、成长类场景、社区类场景、海洋类场景、动物类场景等。比如，按照约定，大多数用户创作的图像是海洋类场景对应的图像，那么，当前待渲染的场景是海洋类场景，这时，渲染端从服务器下载海洋类场景的所有场景模型文件，以及用户创作的与海洋类场景对应的所有图像及与图像对应的模型文件。在另一个实施例中，渲染端自身也可以保存模型文件和场景模型文件，而不必要在下载图像的同时下载模型文件和场景模型文件，这样，可以缩短下载时间，从而提高用户体验。比如，渲染端可以在每日固定的时间点，比如早晨，用户尚未创作、没有图像需要驱动渲染的时候，与服务器通信，更新本地的模型文件和场景模型文件。

在另外一个实施例中，也有这种可能，根据预先的约定大多数用户创作的图像都是待渲染的海洋类场景相关的图像，比如，船、潜艇、海鸥，但也有可能有的用户创作的是森林类场景相关的图像，比如，蘑菇。这种情况下，为了保护儿童的创作天性，也可以在上传图像的时候，将其设置为与海洋类场景相关的图像。这样，在渲染的时候，虽然渲染的是海洋类场景，但也会按照用户的意愿，渲染出与海洋类场景并不相应的虚拟对象。当然，用户也可以选择等待渲染森林类场景时，再在森林场景中渲染其创作的与森林类场景相关的寻虚拟对象。

S706，实时模型创建。

渲染端根据场景模型文件进行场景渲染，同时，渲染端根据用户创作的图像及其对应的模型文件，驱动并渲染该图像对应的模型，将用户上传的图像素材转换成对应的3D模型，实现模型的动态效果。

具体地说，渲染端可以根据场景模型文件渲染场景。比如，如果场景模式是海洋模式，那么渲染出的可能是蓝色的海洋，海洋上方是白色的云朵，还有金色的太阳。同时，渲染端还要解析用户创作的图像，获取图像的颜色数据，并根据颜色数据和模型文件中定义的驱动数据驱动并渲染模型文件中的模型。比如，用户画的如果是一条棕色的带有白帆的小船，那么将用户创作的图像截取下来，贴到模型文件中的相应的小船模型上，并根据驱动数据驱动并渲染模型文件中的模型。这样得到的便是一个颜色和纹理都与用户创作的图像对应的一个模型实例。模型文件中的驱动数据可以驱动模型实例做肢体运动，比如帆随风飘动。渲染端还可以从场景模式文件中获取对应于模型的运动数据，该运动数据用于定义所述模型实例在所述场景中的运动轨迹和/或运动速度。

S708，模型音效控制。

用户在通过图像生成端上传其创作的图像时，可以录制一段自己特色的模型出场音，这样，在渲染端渲染该用户创作的图像对应的模型实例时，渲染端可以同时播放该图像对应的出场音，这样，用户很容易找到自己的模型实例。

另外，在其模型实例的运动过程中，用户还可以实时触发自己录制的声音。比如，假设用户绘制了小狗模型，并录制了自己的“汪汪”声，那么用户可以通过用户控制端控制该角色在运动的过程中发出“汪汪”的叫声。

S710，实时互动。

渲染端在渲染出场景及用户创作的图像对应的模型实例之后，渲染端还可以接收用户控制端的互动信息，控制与用户创作的图像对应的模型实例。

实时互动的具体流程可以包括如下步骤：

渲染端接收用户的互动指令，其中，该互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令，特效指令，事件指令。

检测互动指令的指令类型。在指令类型是表情指令的情况下，驱动并渲染与用户相应的模型实例模仿用户的当前表情，或者，根据识别的情绪控制模型实例执行相应的动作，其中，情绪识别是根据用户的当前表情进行的；在指令类型是语音指令的情况下，控制模型实例与用户进行语音交流，或者，驱动并渲染模型实例按照语音指令执行相应的动作；在指令类型是动作指令的情况下，驱动并渲染模型实例模仿用户的当前动作，或者，驱动并渲染模型实例执行与动作指令相应的动作；在指令类型是文字指令的情况下，驱动并渲染模型实例根据文字指令进行相应的动作。

另外，在渲染端还可以设置虚拟角色，通过虚拟角色与现场观众互动。

图8是根据本发明实施例的用户控制端的处理方法的流程图，在本实施例中，将图像生成端和用户控制端集成在一起，统称为用户控制端，在其他的实施例中，图像生成端和用户控制端也可以是两个不同的设备。如图8所示，该方法包括以下步骤：

步骤S802，获取用户创作的图像。

步骤S804，声效录制。

录制用户的一段声音作为声效，声效用于在与用户对应的模型实例入场引擎场景时即在渲染端渲染出与用户创造的图像对应的模型实例时，渲染端同时播放该段声效，作为出场音，以便用户识别。

步骤S806，上传图像和声音。

将用户创作的图像和录制的声音上传到服务器，并记录用户的信息和创建时间。

步骤S808，向渲染端发送互动指令。

该互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令，速度指令，特效指令，事件指令。其中，表情指令，用于根据检测的用户表情来控制与该用户对应的模型实例的表情运动；速度指令，用于控制与该用户对应的模型实例的运动速度。比如，在用户控制端是手机的情况下，用户运动时，可以通过感知手机陀螺仪的加速度来控制与该用户对应的模型实例的运动速度；加速、减速、停止等；轨迹指令：用于控制与该用户对应的模型实例的运动轨迹。比如，通过手机陀螺仪的感知来获取用户当前的旋转来控制与用户对应的模型实例的运动轨迹；语音指令，用于控制与该用户对应的模型实例的发出声音；事件指令，用于控制与该用户对应的模型实例或者场景响应不同的事件；特效指令,用于控制与该用户对应的模型实例的特效。模型实例不同可以具有不同的特效，比如，模型实例是海母，特效可以设置为发光；另外，还可以根据用户在场景中累计分值，具有更炫酷的特效。其中，速度指令和轨迹指令都是动作指令中的一种。

本发明实施例还提供了一种基于用户创作的图像的动画视频生成方法的流程图，图9是根据本发明优选实施例的另一种基于用户创作的图像的动画视频生成方法的流程图，如图9所示，该流程包括如下步骤：

步骤S902，图像生成端将获取的用户创作的图像发送给渲染端；

步骤S904，渲染端根据该图像确定相应的模型文件，并根据该图像和该模型文件渲染该图像对应的模型生成动画视频。

在本实施例中，不需要服务器的存在，模型文件和渲染场景所需的场景文件都保存在本地。甚至，图像生成端、控制渲染出的模式实例的用户控制端也可以集成在渲染端上。具体地渲染过程、控制过程如上实施例所述，此处不再赘述。

本发明实施例还提供了一种基于用户创作的图像的动画视频生成系统，图10是根据本发明实施例的基于用户创作的图像的动画视频生成系统的结构示意图，如图10所示，该系统包括用户控制端102，服务器104，渲染端106、模型发布端108。在本实施例中，图像生成端和用户控制端集成在一起，统称为用户控制端。

用户控制端102用于将获取的用户创作的图像上传到服务器104。

在用户控制端102获取用户创作的图像之前，用户首先需要创作自己的图像。在本实施例中，可以有很多展示端。展示端指的是渲染端106(动画视频生成装置)所在的一端，通常也是用户创作图像所在的一端。比如，在多个商场的儿童游乐区，可以分别设置一个展示端。在该展示端，多个儿童可以分别选择自己喜欢的着色用的模板，进行着色，创作自己的绘画作品。

用户控制端102拍摄用户创作的图像之后，登录服务器104，将图像上传到服务器104上。用户控制端102除了上传图像之外，还可以上传与该图像对应的模板ID，以及其所在的渲染端106的ID，其中模板ID用于确定与该图像对应的模型文件。服务器104也可以直接通过定位获取渲染端106的ID，并通过分析上传的图像确定与该图像对应的模型文件。在这种情况下，用户控制端102可以仅上传用户创作的图像。

用户控制端102还可以在渲染端106生成动画视频后向渲染端106发送互动指令。

该互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令，速度指令。其中，表情指令，用于根据检测的用户表情来控制与该用户对应的模型实例的表情运动；速度指令，用于控制与该用户对应的模型实例的运动速度。比如，在用户控制端102是手机的情况下，用户运动时，可以通过感知手机陀螺仪的加速度来控制与该用户对应的模型实例的运动速度；加速、减速、停止等；轨迹指令：用于控制与该用户对应的模型实例的运动轨迹。比如，通过手机陀螺仪的感知来获取用户当前的旋转来控制与用户对应的模型实例的运动轨迹；语音指令，用于控制与该用户对应的模型实例的发出声音；事件指令，用于控制与该用户对应的模型实例或者场景响应不同的事件；特效指令,用于控制与该用户对应的模型实例的特效。模型实例不同可以具有不同的特效，比如，模型实例是海母，特效可以设置为发光；另外，还可以根据用户在场景中累计分值，具有更炫酷的特效。其中，速度指令和轨迹指令都是动作指令中的一种。

服务器104关联保存用户控制端102上传的图像。

服务器104上存储有很多模型文件。这些模型文件来自于模型发布端108。模型发布端108将预先制作的模型文件按照特定的格式要求打包，并输入相关的信息，指定可以下载使用的渲染端106。服务器104可以定时从模型发布端108下载模型文件，也可以接收模型发布端108推送的模型文件，从而更新本地的模型文件。服务器104上同时也存储有很多场景模型文件，场景模型文件也是从模型发布端108获取的。

服务器104接收到上传的图像之后，将其与模型文件进行关联。比如，根据与该图像对应的模板ID在多个模型文件中查找到与该图像对应的模型文件，并将该图像与所查找到的模型文件、及渲染端ID关联并保存起来。

服务器104在接收到渲染端106的获取图像请求后，查找对应于该渲染端106的至少一个图像，及与图像对应的模型文件，并将查找到的图像和模型文件发送给渲染端106。当然，服务器104也可以同时将场景模型文件发送给渲染端106。

渲染端106与服务器104连接，向服务器104发送鉴权认证。只有在通过服务器104认证的情况下，渲染端106才有权限获取图像和模型文件。

在通过认证之后，渲染端106会根据当前选定的场景模式，下载其对应的场景模型文件、模型文件及用户创作的图像。在另一个实施例中，渲染端106自身也可以保存模型文件和场景模型文件，而不必要在下载图像的同时下载模型文件和场景模型文件，这样，可以缩短下载时间，从而提高用户体验。

渲染端106根据场景模型文件进行场景渲染，同时，渲染端106根据用户创作的图像及其对应的模型文件，驱动并渲染该图像对应的模型，将用户上传的图像素材转换成对应的3D模型，实现模型的动态效果。

具体地说，渲染端106可以根据场景模型文件渲染场景。比如，如果场景模式是海洋模式，那么渲染出的可能是蓝色的海洋，海洋上方是白色的云朵，还有金色的太阳。同时，渲染端106还要解析用户创作的图像，获取图像的颜色数据，并根据颜色数据和模型文件中定义的驱动数据驱动并渲染模型文件中的模型。比如，用户画的如果是一条棕色的带有白帆的小船，那么将用户创作的图像截取下来，贴到模型文件中的相应的小船模型上，并根据驱动数据驱动并渲染模型文件中的模型。这样得到的便是一个颜色和纹理都与用户创作的图像对应的一个模型实例。模型文件中的驱动数据可以驱动模型实例做肢体运动，比如帆随风飘动。渲染端106还可以从场景模式文件中获取对应于模型的运动数据，该运动数据用于定义所述模型实例在所述场景中的运动轨迹和/或运动速度。

渲染端106在渲染出场景及用户创作的图像对应的模型实例之后，渲染端106还可以接收用户控制端102的互动指令，控制与用户创作的图像对应的模型实例。该互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令，特效指令，事件指令。渲染端106检测互动指令的指令类型。在指令类型是表情指令的情况下，驱动并渲染与用户相应的模型实例模仿用户的当前表情，或者，根据识别的情绪控制模型实例执行相应的动作，其中，情绪识别是根据用户的当前表情进行的；在指令类型是语音指令的情况下，控制模型实例与用户进行语音交流，或者，驱动并渲染模型实例按照语音指令执行相应的动作；在指令类型是动作指令的情况下，驱动并渲染模型实例模仿用户的当前动作，或者，驱动并渲染模型实例执行与动作指令相应的动作；在指令类型是文字指令的情况下，驱动并渲染模型实例根据文字指令进行相应的动作。

本实施例具有以下有益效果：相关技术中，没有这种将儿童绘画内容直接动态化显示的方法，以及将各种互动与儿童创意和自我创建世界结合的方法和实现，本发明实现了这种创意，提高了用户体验。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于用户创作的图像的动画视频生成方法，其特征在于，包括：

获取用户创作的图像及与所述图像对应的模型文件；

根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的模型，生成与所述图像对应的动画视频。

2.根据权利要求1所述的方法，其特征在于，根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的所述模型包括：

解析所述图像获取所述图像的颜色数据；

根据所述颜色数据和所述驱动数据驱动并渲染所述模型，生成与所述模型对应的模型实例。

3.根据权利要求2所述的方法，其特征在于，根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的所述模型之前或同时，所述方法还包括：

获取预先选择的场景模式及与所述场景模式对应的场景模型文件；

根据所述场景模型文件驱动并渲染与所述图像对应的场景。

4.根据权利要求3所述的方法，其特征在于，所述场景模型文件中还包括对应于所述模型的运动数据，所述运动轨迹数据用于定义所述模型实例在所述场景中的运动轨迹和/或运动速度。

5.根据权利要求2所述的方法，其特征在于，根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的所述模型，生成与所述图像对应的动画视频之后，所述方法还包括：实时播放所述动画视频，并播放所述用户预先录制的与所述图像对应的出场音，其中，所述出场音用于供所述用户识别与所述用户创作的图像对应的所述模型实例。

6.根据权利要求1至5中任一项所述的方法，其特征在于，生成与所述图像对应的动画视频之后，所述方法还包括：

接收所述用户的互动指令；

根据所述互动指令控制所述动画视频中的模型实例，其中，所述模型实例是与所述图像对应的所述模型被驱动并渲染后生成的虚拟对象。

7.根据权利要求6所述的方法，其特征在于，根据所述互动指令控制所述动画视频中的所述模型实例包括以下至少之一：

在所述互动指令是表情指令的情况下，控制所述模型实例模仿所述用户的当前表情，或者，根据识别的情绪控制所述模型实例执行相应的动作，其中，所述情绪根据所述用户的表情识别；

在所述互动指令是语音指令的情况下，控制所述模型实例与所述用户进行语音交流，或者，驱动并渲染所述模型实例按照所述语音指令执行相应的动作；

在所述互动指令是动作指令的情况下，控制所述模型实例模仿所述用户的当前动作，或者，驱动并渲染所述模型实例执行与所述动作指令相应的动作；

在所述互动指令是文字指令的情况下，控制所述模型实例根据所述文字指令进行相应的动作；

在所述互动指令是事件指令的情况下，控制所述模型实例或场景响应相应的事件；

在所述互动指令是特效指令的情况下，控制所述模型实例的特效。

8.根据权利要求1至7中任一项所述的方法，其特征在于，将所述动画视频投影到全息设备上。

9.一种基于用户创作的图像的动画视频生成装置，其特征在于，包括：

获取模块，用于获取用户创作的图像及与所述图像对应的模型文件；

图像渲染模块，用于根据所述模型文件和所述图像驱动并渲染所述模型文件中定义的模型，生成与所述图像对应的动画视频。

10.根据权利要求9所述的动画视频生成装置，其特征在于，所述图像渲染模块包括：

纹理动态更新模块，用于解析所述图像获取所述图像的颜色数据；

渲染模块，用于根据所述颜色数据和所述驱动数据驱动并渲染所述模型，生成与所述模型对应的模型实例。

11.根据权利要求10所述的动画视频生成装置，其特征在于，所述图像渲染模块还包括：

场景获取模块，用于获取预先选择的场景模式及与所述场景模式对应的场景模型文件；

场景渲染模块，用于根据所述场景模型文件驱动并渲染与所述图像对应的场景。

12.根据权利要求9至11中任一项所述的动画视频生成装置，其特征在于，所述图像渲染模块还包括：

接收模块，用于接收所述用户的互动指令；

控制模块，用于根据所述互动指令控制所述动画视频中的模型实例，其中，所述模型实例是与所述图像对应的所述模型被驱动并渲染后生成的虚拟对象。