CN113240781A

CN113240781A - 基于语音驱动及图像识别的影视动画制作方法、系统

Info

Publication number: CN113240781A
Application number: CN202110548085.7A
Authority: CN
Inventors: 王会
Original assignee: Dongying Youbang Jianan Co ltd
Current assignee: Dongying Youbang Jianan Co ltd
Priority date: 2021-05-20
Filing date: 2021-05-20
Publication date: 2021-08-10

Abstract

本发明公开了一种基于语音驱动及图像识别的影视动画制作方法、系统，涉及影视制作技术领域。本发明包括获取素材：获取素材：获取作于驱动识别素材的声音、图片、视频；提取信息：提取素材计算获取声音、面部表情、肢体动作等数据资料；导入数据：将获得的数据导入到三维软件，与需要的三维模型角色建立连接，三维模型角色根据导入的数据做出相应的表情和动作，发出相应的声音；生成动画：保存三维模型角色变化的表情和动作，以及发出的声音，生成动画片段。本发明通过声音、图片、视频作为驱动识别素材，制作者可自行拍摄录制获得，降低素材获取的难度，通过提取声音、面部表情、肢体动作作为数据资料。

Description

基于语音驱动及图像识别的影视动画制作方法、系统

技术领域

本发明属于影视制作技术领域，特别是涉及一种基于语音驱动及图像识别的影视动画制作方法、系统。

背景技术

影视动画指的是动画电影，动画制作分为二维动画与三维动画技术，最有魅力并运用最广的当属三维动画，包括我们见到的动画制作大片，电视广告片头，建筑动画等都要运用三维动画技术，影视三维动画涉及影视特效创意、前期拍摄、影视3D动画、特效后期合成、影视剧特效动画等，

现有的三维动画的动画制作工作量巨大，周期长，关于语音驱动及图像识别的影视动画制作技术的运用较低，还是停留在得出简单的表情词语这个层面，得到的效果多为静态表情。

发明内容

本发明的目的在于提供一种基于语音驱动及图像识别的影视动画制作方法、系统，解决了现有的三维动画制作工作量巨大，周期长，语音驱动及图像识别的影视动画制作技术的运用较低的技术问题。

为达上述目的，本发明是通过以下技术方案实现的：

一种基于语音驱动及图像识别的影视动画制作方法，包括以下步骤：

获取素材：获取作于驱动识别素材的声音、图片、视频；

提取信息：提取素材计算获取声音、面部表情、肢体动作等数据资料；

导入数据：将获得的数据导入到三维软件，与需要的三维模型角色建立连接，三维模型角色根据导入的数据做出相应的表情和动作，发出相应的声音；

生成动画：保存三维模型角色变化的表情和动作，以及发出的声音，生成动画片段。

可选的，获取素材具体包括，通过截取或拍摄图片、视频片段作为素材，选定视频、图片素材内的个体作为肢体素材信息提取，通过截取或录制音频作为声音素材。

可选的，提取信息具体包括，提取声音、视频素材内的声音大小、音调高低和关键声音等信息，提取图片内选定角色的面部器官分布、面部表情、肢体摆放等信息，提取视频内选定角色的面部动作和肢体动作等信息。

可选的，导入数据具体包括，将声音素材数据导入到三维软件与三维模型角色建立连接后，三维软件将素材内的声音内容通过电脑合成该角色特定的音色，三维模型角色嘴部根据声音变化做出特定的变化，当声音素材具有特定的关键声音时，如笑声、哭声等时，三维模型角色会根据捕捉的关键声音的声音大小和音调高低做出相应程度的表情变化。

可选的，导入数据具体包括，将图片素材数据导入到三维软件与三维模型角色建立连接后，三维模型角色会根据面部数据调整面部器官位置和变化，根据肢体摆放数据调整躯体和四肢位置。

可选的，导入数据具体包括，将视频素材数据导入到三维软件与三维模型角色建立连接后，三维模型角色会根据视频素材中的声音数据发出具有该角色特定音色的声音，同时根据面部动作和肢体动作数据变化面部表情和改变肢体动作。

可选的，同时导入多组素材数据时，根据需求调整使用其中相关数据资料。

可选的，限制三维模型角色面部器官变化和位移幅度，设定面部器官之间的联系，设定三维模型角色头、躯干、四肢之间的约束关系。

可选的，生成动画具体包括，根据需要角度录制三维模型角色变化生成视频片段，用于影视动画制作材料。

一种基于语音驱动及图像识别的影视动画制作系统，该系统加载有如上任一项所述方法。

本发明的实施例具有以下有益效果：

本发明的一个实施例通过声音、图片、视频作为驱动识别素材，制作者可自行拍摄录制获得，降低素材获取的难度，通过提取声音、面部表情、肢体动作作为数据资料，使数据之间关联使用，增加动画角色的自然性，也可单独使用便于制作之根据需要调整，通过导入数据与三维模型角色建立连接，使三维模型角色根据数据内容做出相应动作，发出相应声音，降低影视动画的制作周期和工作量，通过生成动画片段获得影视动画制作的材料，使语音驱动及图像识别的影视动画制作技术得到极大的应用，便于获得具有表情动作变化的动态视频。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一实施例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

为了保持本发明实施例的以下说明清楚且简明，本发明省略了已知功能和已知部件的详细说明。

请参阅图1所示，在本实施例中提供了一种基于语音驱动及图像识别的影视动画制作方法，包括以下步骤：

获取素材：获取作于驱动识别素材的声音、图片、视频；

本实施例一个方面的应用为：通过网络查询下载或使用设备录制的方式获得需要的声音、图片、视频作为素材，对素材进行裁剪、剪辑留下需要的部分，使用系统计算提取素材内的信息整合，整合后的数据导入到三维软件内与三维模型角色建立连接，运行系统三维模型角色根据数据信息做出相应的动作与发出相应的声音，最后录制三维模型角色的动作和声音后作为影视动画制作材料使用。

通过声音、图片、视频作为驱动识别素材，制作者可自行拍摄录制获得，降低素材获取的难度，通过提取声音、面部表情、肢体动作作为数据资料，使数据之间关联使用，增加动画角色的自然性，也可单独使用便于制作之根据需要调整，通过导入数据与三维模型角色建立连接，使三维模型角色根据数据内容做出相应动作，发出相应声音，降低影视动画的制作周期和工作量，通过生成动画片段获得影视动画制作的材料，使语音驱动及图像识别的影视动画制作技术得到极大的应用，便于获得具有表情动作变化的动态视频。

如图1所示，本实施例的获取素材具体包括，通过截取或拍摄图片、视频片段作为素材，选定视频、图片素材内的个体作为肢体素材信息提取，通过截取或录制音频作为声音素材，便于素材的获得。

如图1所示，本实施例的提取信息具体包括，提取声音、视频素材内的声音大小、音调高低和关键声音等信息，提取图片内选定角色的面部器官分布、面部表情、肢体摆放等信息，提取视频内选定角色的面部动作和肢体动作等信息，当一张图片或一段视频中有多个角色时，需要框选锁定提取信息的角色。

如图1所示，本实施例的导入数据具体包括，将声音素材数据导入到三维软件与三维模型角色建立连接后，三维软件将素材内的声音内容通过电脑合成该角色特定的音色，三维模型角色嘴部根据声音变化做出特定的变化，当声音素材具有特定的关键声音时，如笑声、哭声等时，三维模型角色会根据捕捉的关键声音的声音大小和音调高低做出相应程度的表情变化，根据声音素材变换的表情，需提起定义三维模型角色表情，系统识别关键声音后调用数据库内的表情，多个表情拼接替换变化形成最终效果。

如图1所示，本实施例的导入数据具体包括，将图片素材数据导入到三维软件与三维模型角色建立连接后，三维模型角色会根据面部数据调整面部器官位置和变化，根据肢体摆放数据调整躯体和四肢位置，静态模型可用于商业海报、绘本、宣传册等制作。

如图1所示，本实施例的导入数据具体包括，将视频素材数据导入到三维软件与三维模型角色建立连接后，三维模型角色会根据视频素材中的声音数据发出具有该角色特定音色的声音，同时根据面部动作和肢体动作数据变化面部表情和改变肢体动作，截取片段数据信息保存，可作为素材数据运用在其他三维模型角色上使用。

如图1所示，本实施例的同时导入多组素材数据时，根据需求调整使用其中相关数据资料，数据分为三大类：动作、声音、表情，根据需要相互搭配使用，也可细分到具体器官和肢体以增加制作的可调性。

如图1所示，本实施例的限制三维模型角色面部器官变化和位移幅度，设定面部器官之间的联系，设定三维模型角色头、躯干、四肢之间的约束关系，降低面部走形和肢体不协调的概率。

如图1所示，本实施例的生成动画具体包括，根据需要角度录制三维模型角色变化生成视频片段，用于影视动画制作材料，根据剪辑需求变换录制角度，已到达较佳的观赏效果。

请参阅图1所示，在本实施例中提供了一种基于语音驱动及图像识别的影视动画制作系统，该系统加载有如上任一项所述方法。

上述实施例可以相互结合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。

在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

Claims

1.一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，包括以下步骤：

获取素材：获取作于驱动识别素材的声音、图片、视频；

2.如权利要求1所述的一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，获取素材具体包括，通过截取或拍摄图片、视频片段作为素材，选定视频、图片素材内的个体作为肢体素材信息提取，通过截取或录制音频作为声音素材。

3.如权利要求1所述的一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，提取信息具体包括，提取声音、视频素材内的声音大小、音调高低和关键声音等信息，提取图片内选定角色的面部器官分布、面部表情、肢体摆放等信息，提取视频内选定角色的面部动作和肢体动作等信息。

4.如权利要求2所述的一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，导入数据具体包括，将声音素材数据导入到三维软件与三维模型角色建立连接后，三维软件将素材内的声音内容通过电脑合成该角色特定的音色，三维模型角色嘴部根据声音变化做出特定的变化，当声音素材具有特定的关键声音时，如笑声、哭声等时，三维模型角色会根据捕捉的关键声音的声音大小和音调高低做出相应程度的表情变化。

5.如权利要求2所述的一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，导入数据具体包括，将图片素材数据导入到三维软件与三维模型角色建立连接后，三维模型角色会根据面部数据调整面部器官位置和变化，根据肢体摆放数据调整躯体和四肢位置。

6.如权利要求2所述的一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，导入数据具体包括，将视频素材数据导入到三维软件与三维模型角色建立连接后，三维模型角色会根据视频素材中的声音数据发出具有该角色特定音色的声音，同时根据面部动作和肢体动作数据变化面部表情和改变肢体动作。

7.如权利要求4-6任意一项所述的一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，同时导入多组素材数据时，根据需求调整使用其中相关数据资料。

8.如权利要求4-6任意一项所述的一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，限制三维模型角色面部器官变化和位移幅度，设定面部器官之间的联系，设定三维模型角色头、躯干、四肢之间的约束关系。

9.如权利要求1所述的一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，生成动画具体包括，根据需要角度录制三维模型角色变化生成视频片段，用于影视动画制作材料。

10.一种基于语音驱动及图像识别的影视动画制作系统，其特征在于，该系统加载有如权利要求1-9任一项所述方法。