CN113727039B - 视频生成方法、装置、电子设备及存储介质 - Google Patents

视频生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113727039B
CN113727039B CN202110862793.8A CN202110862793A CN113727039B CN 113727039 B CN113727039 B CN 113727039B CN 202110862793 A CN202110862793 A CN 202110862793A CN 113727039 B CN113727039 B CN 113727039B
Authority
CN
China
Prior art keywords
target
action
preset
actor
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110862793.8A
Other languages
English (en)
Other versions
CN113727039A (zh
Inventor
施侃乐
李雅子
郑文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110862793.8A priority Critical patent/CN113727039B/zh
Publication of CN113727039A publication Critical patent/CN113727039A/zh
Priority to PCT/CN2022/076700 priority patent/WO2023005194A1/zh
Application granted granted Critical
Publication of CN113727039B publication Critical patent/CN113727039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于一种视频生成方法、装置、电子设备及存储介质,该方法包括获取目标剧本的分镜剧本信息;确定分镜剧本信息对应的目标角色素材,以及目标角色素材对应的目标演员属性信息和目标动作属性信息;基于目标演员属性信息对应的预设动作素材、目标动作属性信息对应的目标标准动作素材和目标角色素材,生成目标视频;预设动作素材为从目标演员属性信息对应目标演员的动作视频中提取的动作素材,目标标准动作素材为标准动作素材中与目标动作属性信息匹配的动作素材,标准动作素材为从至少一个第一预设演员的标准动作视频中提取的动作素材。利用本公开实施例可以提升视频制作效率,降低视频制作成本。

Description

视频生成方法、装置、电子设备及存储介质
技术领域
本公开涉及视频处理技术领域,尤其涉及一种视频生成方法、装置、电子设备及存储介质。
背景技术
目前,影视作品等视频制作过程中,计算机技术逐步取代了许多原有的影视设备,相关技术中影视制作主要包括以下步骤:(1)首先找到合适的剧本;(2)组织拍摄团队,对剧本进行分镜设计,然后按镜头进行拍摄;(3)对所有镜头进行后期制作(包括剪辑和特效等)。上述相关技术中,针对每一视频,除了制作动画片以外,基本均需要进行单独的演员的实景拍摄。因此,相关技术的视频制作过程中,存在视频制作成本高,制作效率低等问题。
发明内容
本公开提供一种视频生成方法、装置、电子设备及存储介质,以至少解决相关技术中视频制作成本高,制作效率低的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种视频生成方法,包括:
获取目标剧本的分镜剧本信息;
确定所述分镜剧本信息对应的目标角色素材,以及所述目标角色素材对应的目标演员属性信息和目标动作属性信息;
基于所述目标演员属性信息对应的预设动作素材、所述目标动作属性信息对应的目标标准动作素材和所述目标角色素材,生成目标视频;
所述预设动作素材为从所述目标演员属性信息对应目标演员的动作视频中提取的动作素材,所述目标标准动作素材为标准动作素材中与所述目标动作属性信息匹配的动作素材,所述标准动作素材为从至少一个第一预设演员的标准动作视频中提取的动作素材。
可选的,所述基于所述目标演员属性信息对应的预设动作素材、所述目标动作属性信息对应的目标标准动作素材和所述目标角色素材,生成目标视频包括:
基于所述目标演员属性信息,从预设动作素材库中确定所述预设动作素材;
基于所述目标动作属性信息,从标准动作素材库中确定所述目标标准动作素材;
基于所述目标标准动作素材和所述预设动作素材,生成分镜角色素材;
根据所述分镜角色素材,生成所述目标视频。
可选的,所述基于所述目标标准动作素材和所述预设动作素材,生成分镜角色素材包括:
对所述目标标准动作素材与所述预设动作素材进行骨骼匹配,得到骨骼匹配结果;
基于所述骨骼匹配结果,从所述预设动作素材中确定与目标标准动作素材匹配的目标动作素材;
基于所述目标标准动作素材对目标动作素材进行动作校准,得到所述分镜角色素材。
可选的,所述方法还包括:
确定所述分镜剧本信息对应的目标场景素材;
所述根据所述分镜角色素材,生成所述目标视频包括:
根据所述分镜角色素材和所述目标场景素材,生成所述目标视频。
可选的,所述方法还包括:
获取多个第二预设演员各自在预设背景下拍摄的动作视频;
从每个第二预设演员的动作视频中,提取所述每个第二预设演员对应的骨骼序列图像;
将所述每个第二预设演员对应的骨骼序列图像,作为所述每个第二预设演员的动作素材;
基于所述多个第二预设演员的动作素材,生成所述预设动作素材库。
可选的,所述方法还包括:
获取所述至少一个第一预设演员在预设背景下拍摄的所述标准动作视频;
从所述标准动作视频中,提取任一第一预设演员对应的骨骼序列图像;
将所述任一第一预设演员对应的骨骼序列图像,作为所述任一第一预设演员的标准动作素材;
基于所述至少一个第一预设演员的标准动作素材生成所述标准动作素材库。
可选的,所述获取目标剧本的分镜剧本信息包括:
获取所述目标剧本的剧本内容信息;
对所述剧本内容信息进行语义识别,得到语义识别结果;
基于所述语义识别结果对所述目标剧本进行分镜处理,得到所述分镜剧本信息。
根据本公开实施例的第二方面,提供一种视频生成装置,包括:
分镜剧本信息获取模块,被配置为执行获取目标剧本的分镜剧本信息;
信息确定模块,被配置为执行确定所述分镜剧本信息对应的目标角色素材,以及所述目标角色素材对应的目标演员属性信息和目标动作属性信息;
目标视频生成模块,被配置为执行基于所述目标演员属性信息对应的预设动作素材、所述目标动作属性信息对应的目标标准动作素材和所述目标角色素材,生成目标视频;
所述预设动作素材为从所述目标演员属性信息对应目标演员的动作视频中提取的动作素材,所述目标标准动作素材为标准动作素材中与所述目标动作属性信息匹配的动作素材,所述标准动作素材为从至少一个第一预设演员的标准动作视频中提取的动作素材。
可选的,所述目标视频生成模块包括:
预设动作素材确定单元,被配置为执行基于所述目标演员属性信息,从预设动作素材库中确定所述预设动作素材;
目标标准动作素材确定单元,被配置为执行基于所述目标动作属性信息,从标准动作素材库中确定所述目标标准动作素材;
分镜角色素材生成单元,被配置为执行基于所述目标标准动作素材和所述预设动作素材,生成分镜角色素材;
目标视频生成单元,被配置为执行根据所述分镜角色素材,生成所述目标视频。
可选的,所述分镜角色素材生成单元包括:
骨骼匹配单元,被配置为执行对所述目标标准动作素材与所述预设动作素材进行骨骼匹配,得到骨骼匹配结果;
标动作素材确定单元,被配置为执行基于所述骨骼匹配结果,从所述预设动作素材中确定与目标标准动作素材匹配的目标动作素材;
动作校准单元,被配置为执行基于所述目标标准动作素材对目标动作素材进行动作校准,得到所述分镜角色素材。
可选的,所述装置还包括:
目标场景素材确定单元,被配置为执行确定所述分镜剧本信息对应的目标场景素材;
所述目标视频生成单元还被配置为执行根据所述分镜角色素材和所述目标场景素材,生成所述目标视频。
可选的,所述装置还包括:
动作视频获取模块,被配置为执行获取多个第二预设演员各自在预设背景下拍摄的动作视频;
第一骨骼序列图像提取模块,被配置为执行从每个第二预设演员的动作视频中,提取所述每个第二预设演员对应的骨骼序列图像;
动作素材确定模块,被配置为执行将所述每个第二预设演员对应的骨骼序列图像,作为所述每个第二预设演员的动作素材;
预设动作素材库生成模块,被配置为执行基于所述多个第二预设演员的动作素材,生成所述预设动作素材库。
可选的,所述装置还包括:
标准动作视频获取模块,被配置为执行获取所述至少一个第一预设演员在预设背景下拍摄的所述标准动作视频;
第二骨骼序列图像提取模块,被配置为执行从所述标准动作视频中,提取任一第一预设演员对应的骨骼序列图像;
标准动作素材确定模块,被配置为执行将所述任一第一预设演员对应的骨骼序列图像,作为所述任一第一预设演员的标准动作素材;
标准动作素材库生成模块,被配置为执行基于所述至少一个第一预设演员的标准动作素材生成所述标准动作素材库。
可选的,所述分镜剧本信息获取模块包括:
剧本内容信息获取单元,被配置为执行获取所述目标剧本的剧本内容信息;
语义识别单元,被配置为执行对所述剧本内容信息进行语义识别,得到语义识别结果;
分镜处理单元,被配置为执行基于所述语义识别结果对所述目标剧本进行分镜处理,得到所述分镜剧本信息。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一项所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。
根据本公开实施例的第五方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例的第一方面中任一所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过获取目标剧本的分镜剧本信息,并确定分镜剧本信息对应的目标角色素材,以及目标角色素材对应的目标演员属性信息和目标动作属性信息,然后,结合预先从目标演员属性信息对应的目标演员的动作视频中提取的预设动作素材,以及从至少一个第一预设演员的标准动作视频中提取的与目标动作属性信息匹配的目标标准动作素材,来生成目标视频,可以实现编剧、表演、制作这三个视频制作环节的解耦,且动作素材可以复用,无需每次视频制作都进行视频拍摄,大大提升了视频制作效率,同时也有效降低了视频制作成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图;
图2是根据一示例性实施例示出的一种视频生成方法的流程图;
图3是根据一示例性实施例示出的一种分镜编辑页面的示意图;
图4是根据一示例性实施例示出的一种分镜编辑页面的示意图;
图5是根据一示例性实施例示出的一种分镜编辑页面的示意图;
图6是根据一示例性实施例示出的一种分镜编辑页面的示意图;
图7是根据一示例性实施例示出的一种预先生成标准动作素材库的流程图;
图8是根据一示例性实施例示出的一种预先生成标准动作素材库的流程图;
图9是根据一示例性实施例示出的一种基于目标演员属性信息对应的预设动作素材、目标动作属性信息对应的目标标准动作素材和目标角色素材,生成目标视频的流程图;
图10是根据一示例性实施例示出的一种基于目标标准动作素材和预设动作素材,生成分镜角色素材的流程图;
图11是根据一示例性实施例示出的一种视频生成装置框图;
图12是根据一示例性实施例示出的一种用于视频生成的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
请参阅图1,图1是根据一示例性实施例示出的一种应用环境的示意图,如图1所示,该应用环境可以包括第一终端100、第二终端200、第三终端300、第四终端400和服务器500。
在一个可选的实施例中,第一终端100可以为剧本制作者对应的中终端,用于面向任一用户提供剧本的上传服务,相应的,剧本制作者可以基于第一终端100向服务器500发送创作好的剧本。第二终端200可以为拍摄标准动作视频的用户(至少一个第一预设演员)对应的终端,可以用于面向任一用户提供标准动作视频的上传服务,相应的,至少一个第一预设演员可以基于第二终端200向服务器500发送标准动作视频。第三终端300可以为第二预设演员对应的终端,可以面向任一用户提供动作视频(非标准动作视频)的上传服务,相应的,任一第二预设演员可以基于第三终端300向服务器500发送预设动作视频。第四终端400可以为任一导演对应的终端,用于面向任一用户提供基于剧本的视频创作服务。服务器500可以为上述第一终端100、第二终端200、第三终端300、第四终端400的后台服务器。
在一个具体的实施例中,上述第一终端100、第二终端200、第三终端300和第四终端400可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能可穿戴设备等类型的电子设备,也可以为运行于上述电子设备的软体,例如应用程序等。可选的,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
在一个可选的实施例中,上述服务器500可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
此外,需要说明的是,图1所示的仅仅是本公开提供的一种应用环境,在实际应用中,还可以包括其他应用环境,例如第一终端100、第二终端200、第三终端300、第四终端400可以分别对应不同的服务器,相应的,第一终端100、第二终端200、第三终端300对应的服务器可以将创作的剧本、标准动作视频和预设动作视频发送给第四终端400对应的服务器。
本说明书实施例中,上述第一终端100、第二终端200、第三终端300、第四终端400和服务器500可以通过有线或无线通信方式进行直接或间接地连接,本公开在此不做限制。
图2是根据一示例性实施例示出的一种视频生成方法的流程图,如图2所示,该视频生成方法用于第四终端中,包括以下步骤。
在步骤S201中,获取目标剧本的分镜剧本信息。
在一个具体的实施例中,上述目标剧本可以为第一终端预先提供的,可选的,平台通过主动推送的方式,将目标剧本推送给需要进行视频创作的用户对应的终端。可选的,需要进行视频创作的用户(例如导演)可以通过主动搜索的方式,来挑选出目标剧本。
在一个可选的实施例中,第四终端可以显示目标剧本对应的分镜编辑页面,该分镜编辑页面可以用于对目标剧本对应的分镜画面进行编辑配置,进而生成与目标剧本对应的目标视频。可选的,分镜编辑页面可以包括分镜画面展示区域,该分镜画面展示区域可以用于展示分镜画面,具体的,分镜画面展示区域的初始状态下为空白画板,可以通过在分镜画面展示区域中添加分镜素材来填充空白画板,进而形成分镜画面。相应的,分镜画面可以包括视频中每一帧对应的信息。具体的,每一帧对应的信息可以包括图像、音乐、台词等。
在实际应用中,目标剧本可以对应多个分镜剧本信息。在一个可选的实施例中,上述分镜编辑页面还包括分镜剧本展示区域,分镜剧本展示区域可以用于展示目标剧本对应的多个分镜剧本信息;具体的,每一分镜剧本信息可以对应一个分镜画面,相应的,由于目标剧本对应多个分镜画面,某一时刻的分镜画面展示区域展示的分镜画面可以为当前分镜画面。当前分镜画面可以为多个分镜剧本信息中任一分镜剧本信息对应的分镜画面。可选的,可以通过点击某一分镜剧本信息所在区域等方式,来选中某一分镜剧本信息,相应的,被选中的分镜剧本信息对应的分镜画面可以为当前分镜画面。在一个可选的实施例中,在显示目标剧本对应的分镜编辑页面之前,上述方法还可以包括:
显示剧本展示页面,剧本展示页面展示有至少一个剧本的剧本概要信息;
响应于基于任一剧本的剧本概要信息触发的剧本选择指令,对目标剧本进行分镜处理,得到多个分镜剧本信息,目标剧本为剧本选择指令对应的剧本。
在一个具体的实施例中,可以通过剧本展示页面,展示可供选择的至少一个剧本的剧本概要信息,具体的,剧本概要信息可以为能够描述剧本的主要信息,可选的,剧本概要信息可以包括剧本名、简介等。相应的,用户(导演)可以结合需求,通过点击某一剧本的剧本概要信息等操作,触发剧本选择指令。可选的,在剧本选择指令触发后,可以对目标剧本进行分镜处理,得到多个分镜剧本信息,进而将页面跳转至分镜编辑页面。
上述实施例中,通过剧本展示页面将可供选择的至少一个剧本的剧本概要信息展示给用户,可以便于用户直观按需选取目标剧本,且在选中目标剧本之后,对目标剧本进行分镜处理,得到多个分镜剧本信息,进而便于后续用户在分镜编辑页面,结合每个分镜剧本信息进行分镜编辑。
在一个可选的实施例中,上述获取目标剧本的分镜剧本信息可以包括:
获取目标剧本的剧本内容信息;
对剧本内容信息进行语义识别,得到语义识别结果;
基于语义识别结果对目标剧本进行分镜处理,得到分镜剧本信息。
在一个具体的实施例中,可以基于语义识别技术,对目标剧本的剧本内容信息进行语义识别,并基于语义识别结果,对目标剧本进行分镜处理。具体的,语义识别结果可以为识别出的多个语义对应的多个剧本内容信息,相应的,可以将每一语义对应的剧本内容信息作为分镜剧本信息。
上述实施例中,通过对目标剧本进行语义识别,可以实现对目标剧本的自动分镜,大大提升剧本分镜的效率。
在一个可选的实施例中,上述获取目标剧本的分镜剧本信息可以包括:
在剧本展示页面展示目标剧本的剧本内容信息;
响应于基于剧本内容信息触发的分镜指令,获取多个分镜剧本信息。
在一个可选的实施例中,可以结合预设分割符对剧本内容信息,进行分镜处理,具体的,可以结合需求,在相邻两个分镜剧本信息间插入预设分割符,并设置好全部预设分割符之后,通过预设的按钮等控件,触发分镜指令;相应的,可以结合触发分镜指令时,剧本内容信息中的预设分割符,来提取出多个分镜剧本信息。具体的,预设分割符可以结合实际应用预先设置。
在另一个可选的实施例中,可以通过依次选中每一分镜剧本信息的方式,触发分镜指令,进而得到多个分镜剧本信息。
上述实施例中,通过在剧本展示页面展示剧本内容信息,提供由用户按需触发分镜指令,实现分镜处理的方案,可以大大提升分镜处理的精准性和合理性。
在步骤S203中,确定分镜剧本信息对应的目标角色素材,以及目标角色素材对应的目标演员属性信息和目标动作属性信息。
在一个可选的实施例中,可以由用户基于第四终端提供的分镜编辑页面来确定目标角色素材,以及目标角色素材对应的目标演员属性信息和目标动作属性信息。相应的,上述确定分镜剧本信息对应的目标角色素材,以及目标角色素材对应的目标演员属性信息和目标动作属性信息可以包括:
响应于角色素材添加指令,在分镜画面展示区域展示角色素材添加指令对应的目标角色素材;以及在分镜编辑页面展示目标角色素材对应的角色属性的配置操作信息;
响应于基于配置操作信息触发的属性配置指令,在分镜编辑页面展示目标角色素材对应的目标演员属性信息和目标动作属性信息。
在一个可选的实施例中,分镜编辑页面还可以包括分镜素材展示区域和角色素材配置区域,分镜素材展示区域可以展示有用于构建分镜画面的分镜素材。在一个可选的实施例中,分镜素材可以包括角色素材,相应的,分镜素材展示区域展示有至少一个角色素材;具体的,角色素材可以为人、动物等构成分镜画面的主要剧情(分镜剧本信息对应主要剧情)的对象的图像。可选的,角色素材也可以为上述对象(角色)的线框轮廓。在一个具体的实施例中,以人为角色为例,角色素材可以包括但不限于年轻女性、年轻男性、儿童女性、儿童男性、中年女性、中年男性等。
在一个具体的实施例中,角色素材配置区域可以用于展示目标角色素材对应的角色属性的配置操作信息。具体的,配置操作信息可以用于触发对目标角色素材对应角色属性进行配置。具体的,角色属性可以包括演员属性信息和动作属性信息。
在一个具体的实施例中,在分镜编辑页面中还包括用于展示构建分镜画面的分镜素材的情况下,上述响应于角色素材添加指令,在分镜画面展示区域展示角色素材添加指令对应的目标角色素材;以及在分镜编辑页面展示目标角色素材对应的角色属性的配置操作信息可以包括:
响应于基于任一角色素材触发的角色素材添加指令,在分镜画面展示区域展示目标角色素材;以及在角色素材配置区域展示目标角色素材对应的角色属性的配置操作信息。
在一个具体的实施例中,可以通过将角色素材拖拽到分镜画面展示区域的操作,来触发角色素材添加指令,也可以通过点击角色素材等操作,来触发角色素材添加指令。
在一个具体的实施例中,如图3所示,图3是根据一示例性实施例示出的一种分镜编辑页面的示意图。具体的,图3中301对应的区域为分镜画面展示区域,302对应的区域为分镜素材展示区域,303对应的区域为角色素材配置区域。
进一步的,在角色素材添加指令触发后,可以在分镜画面展示区域展示目标角色素材;以及在角色素材配置区域展示目标角色素材对应的角色属性的配置操作信息,具体的,如图4所示,图4是根据一示例性实施例示出的一种分镜编辑页面的示意图。可选的,401对应的信息可以为角色属性的配置操作信息。
在一个具体的实施例中,一个分镜画面可以对应一个或多个目标角色素材,可选的,在一个分镜画面对应的多个目标角色素材的情况下,可以依次进行目标角色素材的添加。
在一个具体的实施例中,可以在将角色素材添加到分镜画面展示区域后,角色素材在分镜画面展示区域中的位置信息,可以为后该角色素材在后续的分镜画面中的位置信息。
上述实施例中,通过分镜素材展示区域展示至少一个角色素材,用户通过对角素材的挑选就可以实现角色素材的添加,可以大大提升角色素材添加操作的便利性,进而提升分镜画面的编辑效率。
此外,需要说明的是,上述添加角色素材的实施例仅仅是一种示例,在实际应用中,还可以通过其他方式,来进行角色素材的添加,例如分镜编辑页面没有分镜素材展示区域,但设置有用于展示分镜素材的绘制工具的区域,相应的,可以通过在分镜画面展示区域绘制角色素材的等操作,触发上述角色素材添加指令,进而进行角色素材的添加。
在一个具体的实施例中,目标动作属性信息可以为表征角色在对应的分镜画面中的动作的信息。可选的,在角色素材添加指令被触发后,通过对配置操作信息执行相应的操作,以触发在分镜编辑页面展示目标动作属性信息的文本输入框,相应的,可以在文本输入框中,输入目标动作属性信息,例如动作关键词等。在一个具体的实施例中,如图5所示,图5是根据一示例性实施例提供的一种分镜编辑页面的示意图。
可选的,在角色素材添加指令被触发后,通过对配置操作信息执行相应的操作,以触发在分镜编辑页面展示设置有多个标准动作选项的筛选框,相应的,可以通过选中至少一个标准动作选项的方式,来确定目标动作属性信息。在一个具体的实施例中,多个标准动作选项可以包括但不限于“跑步”、“敬礼”、“向左看”和“向右看”等动作信息。
在一个具体的实施例中,目标演员属性信息可以为扮演角色的演员的信息,具体的,目标演员属性信息可以包括但不限于演员名字、年龄,衣着等信息。可选的,演员的选择,可以通过在分镜编辑页面中展示可选择演员的基本信息的方式,以供用户按需进行选择。在一个具体的实施例中,可以通过弹窗的方式将可选择演员的基本信息展示在分镜编辑页面。在一个具体的实施例中,如图6所示,图6是根据一示例性实施例提供的一种分镜编辑页面的示意图。
在步骤S205中,基于目标演员属性信息对应的预设动作素材、目标动作属性信息对应的目标标准动作素材和目标角色素材,生成目标视频。
在一个具体的实施例中,上述预设动作素材可以为从目标演员属性信息对应目标演员的动作视频中提取的动作素材,上述目标标准动作素材可以为标准动作素材中与目标动作属性信息匹配的动作素材,上述标准动作素材可以为从至少一个第一预设演员的标准动作视频中提取的动作素材。
在一个具体的实施例中,目标视频可以为影视作品,也可以为具有一定故事情节的短视频等。
在一个可选的实施例中,上述方法还可以包括预先生成标准动作素材库的步骤,具体的,如图7所示,预先生成标准动作素材库的步骤可以包括:
在步骤S701中,获取至少一个第一预设演员在预设背景下拍摄的标准动作视频;
在步骤S703中,从标准动作视频中,提取任一第一预设演员对应的骨骼序列图像;
在步骤S705中,将任一第一预设演员对应的骨骼序列图像,作为任一第一预设演员的标准动作素材;
在步骤S707中,基于至少一个第一预设演员的标准动作素材生成标准动作素材库。
在一个具体的实施例中,第一预设演员可以为拍摄标准动作视频的演员。可选的,在至少一个第一预设演员为多个第一预设演员的情况下,多个第一预设演员可以拍摄不同标准动作对应的标准动作视频。具体的,标准动作视频中提取的标准动作素材可以用于对非标准动作素材(非第一预设演员拍摄的标准动作视频中提取的动作素材)进行校正。具体的,预设背景可以包括但不限于用于视频抠图制作的绿色幕布、蓝色幕布、红色幕布或其他颜色的适宜于抠图的背景。具体的,骨骼序列图像可以为与某一标准动作对应的多个骨骼图像,具体的,骨骼图像可以为包括演员做相应动作时,关键部位关键点的图像。具体的,可以提取标准动作视频中的每一帧图像,结合预先训练好的骨骼图像提取网络,从每一帧图像中提取相应的第一预设演员的关键部位关键点的位置信息,并基于该位置信息从相应的帧图像中提取骨骼图像,得到上述骨骼序列图像。具体的,骨骼图像提取网络可以为预先基于标注有样本演员关键部位关键点的位置信息的样本帧图像,对预设神经网络进行训练得到的,样本帧图像可以为样本演员在预设背景下拍摄的动作视频中提取的帧图像。
在一个可选的实施例中,基于至少一个第一预设演员的标准动作素材生成标准动作素材库可以包括建立每一标准动作素材与对应的标准动作的动作关键文本信息间的第一对应关系,基于至少一个第一预设演员的标准动作素材和第一对应关系,构建标准动作素材库。
上述实施例中,通过从至少一个第一预设演员在预设背景下拍摄的标准动作视频中提取的标准动作素材,来生成标准动作素材库,可以保证在视频制作过程中,复用标准动作素材,对选定演员的动作素材进行校正,进而大大提升视频制作质量和效率。
在一个可选的实施例中,上述方法还可以包括预先生成预设动作素材库的步骤,具体的,如图8所示,预先生成预设动作素材库的步骤可以包括:
在步骤S801中,获取多个第二预设演员各自在预设背景下拍摄的动作视频;
在步骤S803中,从每个第二预设演员的动作视频中,提取每个第二预设演员对应的骨骼序列图像;
在步骤S805中,将每个第二预设演员对应的骨骼序列图像,作为每个第二预设演员的动作素材;
在步骤S807中,基于多个第二预设演员的动作素材,生成预设动作素材库。
在一个具体的实施例中,任一第二预设演员可以为任一具有表演能力的用户。具体的,从每个第二预设演员的动作视频中,提取每个第二预设演员对应的骨骼序列图像的具体细化步骤可以参见上述从标准动作视频中,提取任一第一预设演员对应的骨骼序列图像的相关细化,在此不再赘述。
在一个可选的实施例中,基于多个第二预设演员的动作素材,生成预设动作素材库可以包括建立每一第二预设演员的动作素材和该第二预设演员的演员属性信息间的第二对应关系,基于多个第二预设演员的动作素材和第二对应关系,构建上述预设动作素材库。
上述实施例中,通过从多个第二预设演员在预设背景下拍摄的动作视频中提取的动作素材,来生成预设动作素材库,可以保证在视频制作过程中,实现动作素材的复用,无需每次视频制作都进行视频拍摄,大大提升了视频制作效率,同时也有效降低了视频制作成本。
在一个可选的实施例中,如图9所示,上述基于目标演员属性信息对应的预设动作素材、目标动作属性信息对应的目标标准动作素材和目标角色素材,生成目标视频可以包括以下步骤:
在步骤S901中,基于目标演员属性信息,从预设动作素材库中确定预设动作素材;
在步骤S903中,基于目标动作属性信息,从标准动作素材库中确定目标标准动作素材;
在步骤S905中,基于目标标准动作素材和预设动作素材,生成分镜角色素材;
在步骤S907中,根据分镜角色素材,生成目标视频。
在一个具体的实施例中,预设动作素材库包括多个第二预设演员的动作素材和该第二预设演员的演员属性信息间的第二对应关系;相应的,可以基于第二对应关系确定目标演员属性信息对应的预设动作素材。
在一个具体的实施例中,目标动作属性信息可以对应一个或多个标准动作素材,可以基于一个或多个标准动作素材生成目标标准动作素材。可选的,例如:目标动作属性信息“跑步过程中敬礼”可以对应标准动作素材“跑步”和“敬礼”,相应的,目标标准动作酸菜可以包括标准动作素材“跑步”和标准动作素材“敬礼”;例如目标动作属性信息“左右摇头”可以对应标准动作素材“向左看”,并根据对称操作衍生出标准动作素材“向右看”,并由标准动作素材“向左看”和标准动作素材“向右看”组合成目标动作属性信息“左右摇头”对应的目标标准动作素材。例如目标动作属性信息“快走”可以对应标准动作素材“走路”,相应的,可以通过对标准动作素材“走路”的幅度、位置等进行修改,生成“快走”对应的目标标准动作素材。
在一个具体的实施例中,标准动作素材库中每一标准动作素材对应一个动作关键文本信息(关键词),可选的,可以基于对目标动作属性信息的语义识别,从标准动作素材库中确定目标动作属性信息对应的标准动作素材。
在一个具体的实施例中,一个演员对应的预设动作素材中可以包括大量动作对应的素材,相应的,如图10所示,上述基于目标标准动作素材和预设动作素材,生成分镜角色素材可以包括以下步骤:
在步骤S1001中,对目标标准动作素材与预设动作素材进行骨骼匹配,得到骨骼匹配结果;
在步骤S1003中,基于骨骼匹配结果,从预设动作素材中确定与目标标准动作素材匹配的目标动作素材;
在步骤S1005中,基于目标标准动作素材对目标动作素材进行动作校准,得到分镜角色素材。
在一个具体的实施例中,上述骨骼匹配过程中,可以包括但不限于提取标准动作素材和预设动作素材中骨骼点(关键部位的关键点)的距离分布图,结合骨骼点的距离分布图间的相似度(骨骼匹配结果)来选取目标动作素材。
在一个具体的实施例中,上述动作校准过程中,可以包括但不限于结合拉普拉斯算法等对目标动作素材中骨骼点进行网格变换,以映射到标准动作素材对应的骨骼点,得到分镜角色素材。
上述实施例中,结合目标标准动作素材与预设动作素材间的骨骼匹配结果,可以从目标演员的大量动作素材中,精准的筛选出与目标动作属性信息对应的目标动作素材,并结合目标标准动作素材对目标动作素材进行动作校准,得到构建分镜画面的分镜角色素材,可以有效提升视频的制作质量。
在一个具体的实施例中,上述根据分镜角色素材,生成目标视频可以包括基于每一分镜角色素材和对应的第一展示位置信息生成相应的分镜画面,并按照多个分镜画面对应的时序信息,将分镜画面进行合成,得到目标视频。
在一个具体的实施例中,第一展示位置信息可以为目标角色素材在分镜画面展示区域中的位置信息。
上述实施例中,结合目标演员属性信息从预设动作素材库中获取目标演员的预设动作素材,以及结合目标动作属性信息从标准动作素材库中获取目标标准动作素材,可以实现动作素材的复用,无需每次视频制作都进行视频拍摄,大大提升了视频制作效率,同时也有效降低了视频制作成本。
在一个可选的实施例中,为了丰富分镜画面,分镜素材还可以包括场景素材,相应的,分镜素材展示区域还可以展示有至少一个场景素材。具体的,场景素材可以包括背景场景素材和前景场景素材,背景场景素材可以为分镜画面对应的整体背景图像,背景场景素材的尺寸大小与分镜画面对应的尺寸大小一致,前景场景素材可以为分镜剧本对应剧情所需的场景对象的图像或线框轮廓,例如一张桌子的图像。
在一个可选的实施例中,上述方法还可以包括:
确定分镜剧本信息对应的目标场景素材;
相应的,上述根据分镜角色素材,生成目标视频可以包括:
根据分镜角色素材和目标场景素材,生成目标视频。
在一个可选的实施例中,上述确定分镜剧本信息对应的目标场景素材可以包括:响应于基于任一场景素材触发的场景素材添加指令,在分镜画面展示区域展示场景素材添加指令对应的目标场景素材;
在一个具体的实施例中,可以通过将场景素材拖拽到分镜画面展示区域的操作,来触发场景素材添加指令,也可以通过点击场景素材等操作,来触发场景素材添加指令。
在一个具体的实施例中,一个分镜画面可以对应一个或多个场景素材,可选的,背景场景图像可以为一个,前景场景图像可以为一个或多个。
可选的,在一个分镜画面对应的多个目标场景素材的情况下,可以依次进行目标场景素材的添加。
在一个可选的实施例中,在进行场景素材添加的过程中,也可以仅添加前景场景素材或背景场景素材。
上述根据分镜角色素材和目标场景素材,生成目标视频可以包括括基于每一分镜角色素材、对应的第一展示位置信息、对应的目标场景素材,以及对应的第二展示位置信息生成相应的分镜画面,并按照多个分镜画面对应的时序信息,将分镜画面进行合成,得到目标视频。
在一个具体的实施例中,在目标场景素材包括前景场景素材的情况下,第二展示位置信息可以包括前景场景素材在分镜画面展示区域的位置信息。在目标场景素材包括背景场景素材的情况下,第二展示位置信息可以包括背景场景素材在分镜画面展示区域的位置信息,一般的,背景场景素材分布在整个分镜画面展示区域。
在一个具体的实施例中,可以在将场景素材中的前景场景素材添加到分镜画面展示区域后,前景场景素材在分镜画面展示区域中的位置信息可以为该前景场景素材在后续的分镜画面中的位置信息。
上述实施例中,在生成目标视频的过程中,还添加了场景素材,可以大大丰富分镜画面,进而提升视频质量。
在一个可选的实施例中,上述分镜编辑页面还可以包括其他素材对应的其他配置区域,其他素材可以为用于构建分镜画面所需信息中除角色素材、场景素材以外的其他素材,具体的,其他素材可以包括但不限于台词、背景音乐等,相应的,可以基于其他配置区域触发的配置指令,以进行其他素材的配置。
相应的,上述根据分镜角色素材和目标场景素材,生成目标视频可以包括:根据分镜角色素材、目标场景素材和其他素材,生成目标视频;具体的,根据分镜角色素材、目标场景素材和其他素材,生成目标视频可以包括基于每一分镜角色素材、第一展示位置信息、目标场景素、第二展示位置信息和其他素材生成相应的分镜画面,并按照多个分镜画面对应的时序信息,将分镜画面进行合成,得到目标视频。
在另一个可选的实施例中,上述基于目标演员属性信息对应的预设动作素材、目标动作属性信息对应的目标标准动作素材和目标角色素材,生成目标视频可以包括将目标演员属性信息、目标动作属性信息和目标角色素材发送给服务器,以便服务器基于目标演员属性信息,从预设动作素材库中确定预设动作素材;以及基于目标动作属性信息,从标准动作素材库中确定目标标准动作素材;以及基于目标标准动作素材和预设动作素材,生成分镜角色素材;以及根据分镜角色素材,生成目标视频。
可选的,在还需要结合目标场景素材、其他素材来构建分镜画面的情况下,上述基于目标演员属性信息对应的预设动作素材、目标动作属性信息对应的目标标准动作素材和目标角色素材,生成目标视频还可以包括将目标演员属性信息、目标动作属性信息、目标角色素材、目标场景素材、其他素材发送给服务器,以便服务器基于目标演员属性信息,从预设动作素材库中确定预设动作素材;以及基于目标动作属性信息,从标准动作素材库中确定目标标准动作素材;以及基于目标标准动作素材和预设动作素材,生成分镜角色素材;以及根据分镜角色素材、目标场景素材和其他素材,生成目标视频。
在一个可选的实施例中,服务器在生成目标视频之后,可以发送给第四终端,以便用户进行目标视频的查看,可选的,在目标视频生成之后,或用户查看目标视频,并确认进行目标视频的发布之后,可以将目标视频发布到相应的展示平台。
由以上本说明书实施例提供的技术方案可见,本说明书中通过获取目标剧本的分镜剧本信息,并确定分镜剧本信息对应的目标角色素材,以及目标角色素材对应的目标演员属性信息和目标动作属性信息,然后,结合预先从目标演员属性信息对应的目标演员的动作视频中提取的预设动作素材,以及从至少一个第一预设演员的标准动作视频中提取的与目标动作属性信息匹配的目标标准动作素材,来生成目标视频,可以实现编剧、表演、制作这三个视频制作环节的解耦,且动作素材可以复用,无需每次视频制作都进行视频拍摄,大大提升了视频制作效率,同时也有效降低了视频制作成本。
图11是根据一示例性实施例示出的一种视频生成装置框图。参照图11,该装置包括:
分镜剧本信息获取模块1110,被配置为执行获取目标剧本的分镜剧本信息;
信息确定模块1120,被配置为执行确定分镜剧本信息对应的目标角色素材,以及目标角色素材对应的目标演员属性信息和目标动作属性信息;
目标视频生成模块1130,被配置为执行基于目标演员属性信息对应的预设动作素材、目标动作属性信息对应的目标标准动作素材和目标角色素材,生成目标视频;
预设动作素材为从目标演员属性信息对应目标演员的动作视频中提取的动作素材,目标标准动作素材为标准动作素材中与目标动作属性信息匹配的动作素材,标准动作素材为从至少一个第一预设演员的标准动作视频中提取的动作素材。
可选的,目标视频生成模块1130包括:
预设动作素材确定单元,被配置为执行基于目标演员属性信息,从预设动作素材库中确定预设动作素材;
目标标准动作素材确定单元,被配置为执行基于目标动作属性信息,从标准动作素材库中确定目标标准动作素材;
分镜角色素材生成单元,被配置为执行基于目标标准动作素材和预设动作素材,生成分镜角色素材;
目标视频生成单元,被配置为执行根据分镜角色素材,生成目标视频。
可选的,分镜角色素材生成单元包括:
骨骼匹配单元,被配置为执行对目标标准动作素材与预设动作素材进行骨骼匹配,得到骨骼匹配结果;
标动作素材确定单元,被配置为执行基于骨骼匹配结果,从预设动作素材中确定与目标标准动作素材匹配的目标动作素材;
动作校准单元,被配置为执行基于目标标准动作素材对目标动作素材进行动作校准,得到分镜角色素材。
可选的,上述装置还包括:
目标场景素材确定单元,被配置为执行确定分镜剧本信息对应的目标场景素材;
目标视频生成单元还被配置为执行根据分镜角色素材和目标场景素材,生成目标视频。
可选的,上述装置还包括:
动作视频获取模块,被配置为执行获取多个第二预设演员各自在预设背景下拍摄的动作视频;
第一骨骼序列图像提取模块,被配置为执行从每个第二预设演员的动作视频中,提取每个第二预设演员对应的骨骼序列图像;
动作素材确定模块,被配置为执行将每个第二预设演员对应的骨骼序列图像,作为每个第二预设演员的动作素材;
预设动作素材库生成模块,被配置为执行基于多个第二预设演员的动作素材,生成预设动作素材库。
可选的,上述装置还包括:
标准动作视频获取模块,被配置为执行获取至少一个第一预设演员在预设背景下拍摄的标准动作视频;
第二骨骼序列图像提取模块,被配置为执行从标准动作视频中,提取任一第一预设演员对应的骨骼序列图像;
标准动作素材确定模块,被配置为执行将任一第一预设演员对应的骨骼序列图像,作为任一第一预设演员的标准动作素材;
标准动作素材库生成模块,被配置为执行基于至少一个第一预设演员的标准动作素材生成标准动作素材库。
可选的,分镜剧本信息获取模块1110包括:
剧本内容信息获取单元,被配置为执行获取目标剧本的剧本内容信息;
语义识别单元,被配置为执行对剧本内容信息进行语义识别,得到语义识别结果;
分镜处理单元,被配置为执行基于语义识别结果对目标剧本进行分镜处理,得到分镜剧本信息。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种用于视频生成的电子设备的框图,该电子设备可以是终端,其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频生成方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的视频生成方法。
在示例性实施例中,还提供了一种计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的视频生成方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的视频生成方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种视频生成方法,其特征在于,包括:
获取目标剧本的分镜剧本信息;
响应于在分镜编辑页面触发的角色素材添加指令,在分镜画面展示区域,展示所述角色素材添加指令对应的目标角色素材;以及在所述分镜编辑页面展示所述目标角色素材对应的角色属性的配置操作信息;所述分镜画面展示区域为所述分镜编辑页面中所述分镜剧本信息对应的画面展示区域;
响应于基于所述配置操作信息触发的属性配置指令,在所述分镜编辑页面展示所述目标角色素材对应的目标演员属性信息和目标动作属性信息;
基于所述目标演员属性信息对应的预设动作素材、所述目标动作属性信息对应的目标标准动作素材和所述目标角色素材,生成目标视频;所述基于所述目标演员属性信息对应的预设动作素材、所述目标动作属性信息对应的目标标准动作素材和所述目标角色素材,生成目标视频包括:对所述目标标准动作素材与所述预设动作素材进行骨骼匹配,得到骨骼匹配结果;基于所述骨骼匹配结果,从所述预设动作素材中确定与所述目标标准动作素材匹配的目标动作素材;基于所述目标标准动作素材对所述目标动作素材进行动作校准,得到分镜角色素材;根据所述分镜角色素材,生成所述目标视频;
所述预设动作素材为从所述目标演员属性信息对应目标演员的动作视频中提取的动作素材,所述目标标准动作素材为标准动作素材中与所述目标动作属性信息匹配的动作素材,所述标准动作素材为从至少一个第一预设演员的标准动作视频中提取的动作素材。
2.根据权利要求1所述的视频生成方法,其特征在于,所述基于所述目标演员属性信息对应的预设动作素材、所述目标动作属性信息对应的目标标准动作素材和所述目标角色素材,生成目标视频还包括:
基于所述目标演员属性信息,从预设动作素材库中确定所述预设动作素材;
基于所述目标动作属性信息,从标准动作素材库中确定所述目标标准动作素材。
3.根据权利要求1所述的视频生成方法,其特征在于,所述方法还包括:
确定所述分镜剧本信息对应的目标场景素材;
所述根据所述分镜角色素材,生成所述目标视频包括:
根据所述分镜角色素材和所述目标场景素材,生成所述目标视频。
4.根据权利要求1至3任一所述的视频生成方法,其特征在于,所述方法还包括:
获取多个第二预设演员各自在预设背景下拍摄的动作视频;
从每个第二预设演员的动作视频中,提取所述每个第二预设演员对应的骨骼序列图像;
将所述每个第二预设演员对应的骨骼序列图像,作为所述每个第二预设演员的动作素材;
基于所述多个第二预设演员的动作素材,生成所述预设动作素材库。
5.根据权利要求1至3任一所述的视频生成方法,其特征在于,所述方法还包括:
获取所述至少一个第一预设演员在预设背景下拍摄的所述标准动作视频;
从所述标准动作视频中,提取任一第一预设演员对应的骨骼序列图像;
将所述任一第一预设演员对应的骨骼序列图像,作为所述任一第一预设演员的标准动作素材;
基于所述至少一个第一预设演员的标准动作素材生成所述标准动作素材库。
6.根据权利要求1至3任一所述的视频生成方法,其特征在于,所述获取目标剧本的分镜剧本信息包括:
获取所述目标剧本的剧本内容信息;
对所述剧本内容信息进行语义识别,得到语义识别结果;
基于所述语义识别结果对所述目标剧本进行分镜处理,得到所述分镜剧本信息。
7.一种视频生成装置,其特征在于,包括:
分镜剧本信息获取模块,被配置为执行获取目标剧本的分镜剧本信息;
信息确定模块,被配置为执行响应于在分镜编辑页面触发的角色素材添加指令,在分镜画面展示区域,展示所述角色素材添加指令对应的目标角色素材;以及在所述分镜编辑页面展示所述目标角色素材对应的角色属性的配置操作信息;所述分镜画面展示区域为所述分镜编辑页面中所述分镜剧本信息对应的画面展示区域;响应于基于所述配置操作信息触发的属性配置指令,在所述分镜编辑页面展示所述目标角色素材对应的目标演员属性信息和目标动作属性信息;
目标视频生成模块,所述目标视频生成模块包括:骨骼匹配单元,被配置为执行对所述目标动作属性信息对应的目标标准动作素材与所述目标演员属性信息对应的预设动作素材进行骨骼匹配,得到骨骼匹配结果;标动作素材确定单元,被配置为执行基于所述骨骼匹配结果,从所述预设动作素材中确定与所述目标标准动作素材匹配的目标动作素材;动作校准单元,被配置为执行基于所述目标标准动作素材对所述目标动作素材进行动作校准,得到分镜角色素材;目标视频生成单元,被配置为执行根据所述分镜角色素材,生成目标视频;
所述预设动作素材为从所述目标演员属性信息对应目标演员的动作视频中提取的动作素材,所述目标标准动作素材为标准动作素材中与所述目标动作属性信息匹配的动作素材,所述标准动作素材为从至少一个第一预设演员的标准动作视频中提取的动作素材。
8.根据权利要求7所述的视频生成装置,其特征在于,所述目标视频生成模块还包括:
预设动作素材确定单元,被配置为执行基于所述目标演员属性信息,从预设动作素材库中确定所述预设动作素材;
目标标准动作素材确定单元,被配置为执行基于所述目标动作属性信息,从标准动作素材库中确定所述目标标准动作素材。
9.根据权利要求7所述的视频生成装置,其特征在于,所述装置还包括:
目标场景素材确定单元,被配置为执行确定所述分镜剧本信息对应的目标场景素材;
所述目标视频生成单元还被配置为执行根据所述分镜角色素材和所述目标场景素材,生成所述目标视频。
10.根据权利要求7至9任一所述的视频生成装置,其特征在于,所述装置还包括:
动作视频获取模块,被配置为执行获取多个第二预设演员各自在预设背景下拍摄的动作视频;
第一骨骼序列图像提取模块,被配置为执行从每个第二预设演员的动作视频中,提取所述每个第二预设演员对应的骨骼序列图像;
动作素材确定模块,被配置为执行将所述每个第二预设演员对应的骨骼序列图像,作为所述每个第二预设演员的动作素材;
预设动作素材库生成模块,被配置为执行基于所述多个第二预设演员的动作素材,生成所述预设动作素材库。
11.根据权利要求7至9任一所述的视频生成装置,其特征在于,所述装置还包括:
标准动作视频获取模块,被配置为执行获取所述至少一个第一预设演员在预设背景下拍摄的所述标准动作视频;
第二骨骼序列图像提取模块,被配置为执行从所述标准动作视频中,提取任一第一预设演员对应的骨骼序列图像;
标准动作素材确定模块,被配置为执行将所述任一第一预设演员对应的骨骼序列图像,作为所述任一第一预设演员的标准动作素材;
标准动作素材库生成模块,被配置为执行基于所述至少一个第一预设演员的标准动作素材生成所述标准动作素材库。
12.根据权利要求7至9任一所述的视频生成装置,其特征在于,所述分镜剧本信息获取模块包括:
剧本内容信息获取单元,被配置为执行获取所述目标剧本的剧本内容信息;
语义识别单元,被配置为执行对所述剧本内容信息进行语义识别,得到语义识别结果;
分镜处理单元,被配置为执行基于所述语义识别结果对所述目标剧本进行分镜处理,得到所述分镜剧本信息。
13.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的视频生成方法。
14.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的视频生成方法。
CN202110862793.8A 2021-07-29 2021-07-29 视频生成方法、装置、电子设备及存储介质 Active CN113727039B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110862793.8A CN113727039B (zh) 2021-07-29 2021-07-29 视频生成方法、装置、电子设备及存储介质
PCT/CN2022/076700 WO2023005194A1 (zh) 2021-07-29 2022-02-17 视频生成方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862793.8A CN113727039B (zh) 2021-07-29 2021-07-29 视频生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113727039A CN113727039A (zh) 2021-11-30
CN113727039B true CN113727039B (zh) 2022-12-27

Family

ID=78674340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862793.8A Active CN113727039B (zh) 2021-07-29 2021-07-29 视频生成方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113727039B (zh)
WO (1) WO2023005194A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727039B (zh) * 2021-07-29 2022-12-27 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN114567819B (zh) * 2022-02-23 2023-08-18 中国平安人寿保险股份有限公司 视频生成方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708596A (zh) * 2019-09-29 2020-01-17 北京达佳互联信息技术有限公司 生成视频的方法、装置、电子设备及可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184200A (zh) * 2010-12-13 2011-09-14 中国人民解放军国防科学技术大学 一种计算机辅助的动画图文分镜半自动生成方法
US20130151970A1 (en) * 2011-06-03 2013-06-13 Maha Achour System and Methods for Distributed Multimedia Production
US8341525B1 (en) * 2011-06-03 2012-12-25 Starsvu Corporation System and methods for collaborative online multimedia production
EP2749021B1 (en) * 2011-07-29 2020-02-19 Cisco Technology, Inc. Method, computer- readable storage medium, and apparatus for modifying the layout used by a video composing unit to generate a composite video signal
US8988611B1 (en) * 2012-12-20 2015-03-24 Kevin Terry Private movie production system and method
CN107067450A (zh) * 2017-04-21 2017-08-18 福建中金在线信息科技有限公司 一种视频的制作方法和装置
CN108124187A (zh) * 2017-11-24 2018-06-05 互影科技(北京)有限公司 交互视频的生成方法及装置
CN108549655A (zh) * 2018-03-09 2018-09-18 阿里巴巴集团控股有限公司 一种影视作品的制作方法、装置及设备
US11210836B2 (en) * 2018-04-03 2021-12-28 Sri International Applying artificial intelligence to generate motion information
CN108989705B (zh) * 2018-08-31 2020-05-22 百度在线网络技术(北京)有限公司 一种虚拟形象的视频制作方法、装置和终端
US11288880B2 (en) * 2019-01-18 2022-03-29 Snap Inc. Template-based generation of personalized videos
JP7398265B2 (ja) * 2019-12-19 2023-12-14 司 志賀 映像編集システム及び映像編集方法
CN112734883A (zh) * 2021-01-25 2021-04-30 腾讯科技(深圳)有限公司 一种数据处理方法、装置、电子设备和存储介质
CN113727039B (zh) * 2021-07-29 2022-12-27 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110708596A (zh) * 2019-09-29 2020-01-17 北京达佳互联信息技术有限公司 生成视频的方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113727039A (zh) 2021-11-30
WO2023005194A1 (zh) 2023-02-02

Similar Documents

Publication Publication Date Title
TWI777162B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
CN111260545B (zh) 生成图像的方法和装置
WO2022001593A1 (zh) 视频生成方法、装置、存储介质及计算机设备
US11317139B2 (en) Control method and apparatus
CN108762505B (zh) 基于手势的虚拟对象控制方法、装置、存储介质和设备
CN106203286B (zh) 一种增强现实的内容获取方法、装置及移动终端
CN113727039B (zh) 视频生成方法、装置、电子设备及存储介质
CN110475140B (zh) 弹幕数据处理方法、装置、计算机可读存储介质和计算机设备
CN109345637B (zh) 基于增强现实的互动方法及装置
CN114003160B (zh) 数据可视化展示方法、装置、计算机设备和存储介质
US10217224B2 (en) Method and system for sharing-oriented personalized route planning via a customizable multimedia approach
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN113722638B (zh) 页面展示方法、装置、电子设备及存储介质
CN113849575B (zh) 数据处理方法、装置和系统
CN111651049B (zh) 交互方法、装置、计算机设备及存储介质
CN110431838B (zh) 提供人脸识别摄像机的动态内容的方法及系统
KR20190094879A (ko) 실외 증강현실 서비스를 위한 모듈식 콘텐츠 제작 방법 및 장치
CN114758041A (zh) 虚拟对象展示方法、装置、电子设备及存储介质
CN113822899A (zh) 图像处理方法、装置、计算机设备和存储介质
CN109800652A (zh) 文字翻译方法及装置
CN114546229B (zh) 信息处理方法、截屏方法及电子设备
CN116467020B (zh) 信息展示方法、装置、电子设备及存储介质
CN115037960B (zh) 互动视频的生成方法及装置
CN109934930A (zh) 一种基于用户精准位置的现实增强方法和系统
WO2023284469A1 (zh) 视频拍摄信息获取方法,及视频拍摄和处理指示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant