CN115801978A - 特效视频制作方法、装置、电子设备及可读存储介质 - Google Patents

特效视频制作方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115801978A
CN115801978A CN202211305657.XA CN202211305657A CN115801978A CN 115801978 A CN115801978 A CN 115801978A CN 202211305657 A CN202211305657 A CN 202211305657A CN 115801978 A CN115801978 A CN 115801978A
Authority
CN
China
Prior art keywords
special effect
target
video
video frame
effect material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211305657.XA
Other languages
English (en)
Inventor
芦晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202211305657.XA priority Critical patent/CN115801978A/zh
Publication of CN115801978A publication Critical patent/CN115801978A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种特效视频制作方法、装置、电子设备及可读存储介质,包括:获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;基于所述纹理信息,生成目标纹理贴图;根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。由于目标纹理贴图中包含待添加区域的纹理信息,因此渲染后的特效素材中包含的纹理信息与待添加区域中的纹理信息更加相近,得到的特效视频更加真实,并且可以提高制作特效视频的效率,降低特效视频的制作成本和返修成本。

Description

特效视频制作方法、装置、电子设备及可读存储介质
技术领域
本申请涉及特效制作技术领域,具体涉及一种特效视频制作方法、装置、电子设备及可读存储介质。
背景技术
随着科技发展,动画和电影等视频的制作中,为了提高影视效果,通常会在原始视频中,添加特效合成软件制作得到的特效。
在特效的制作过程中,特效渲染合成是一个必不可少同时也是最耗成本的一个过程,通常由人工合成包含纹理信息的二维特效素材,并将二维特效素材融合至原始视频中,以得到特效视频。
然而,目前的特效视频制作方法在合成二维特效素材时,通常依赖于人工经验设置纹理信息,因此得到的特效视频中,特效与原始视频之间在视觉效果上割裂感较强,得到的特效视频不真实。
发明内容
本申请提供一种特效视频制作方法、装置、电子设备及可读存储介质,旨在解决现有的特效视频制作方法所得到的特效视频中,特效与原始视频之间在视觉效果上割裂感较强,得到的特效视频不真实的问题。
第一方面,本申请提供一种特效视频制作方法,包括:
获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;
从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;
基于所述纹理信息,生成目标纹理贴图;
根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
第二方面,本申请提供一种特效视频制作装置,包括:
获取单元,用于获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;
提取单元,用于从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;
贴图生成单元,用于基于所述纹理信息,生成目标纹理贴图;
视频生成单元,用于根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
第三方面,本申请还提供一种电子设备,电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序,处理器调用存储器中的计算机程序时执行本申请提供的任一种特效视频制作方法中的步骤。
第四方面,本申请还提供一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现本申请提供的任一种特效视频制作方法中的步骤。
综上所述,本申请实施例提供的特效视频制作方法包括:获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;基于所述纹理信息,生成目标纹理贴图;根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
可见,本申请实施例提供的特效视频制作方法在制作特效视频时,由于目标纹理贴图中包含待添加区域的纹理信息,因此渲染后的特效素材中包含的纹理信息与待添加区域中的纹理信息更加相近,融合后得到的特效视频更加真实。此外,本方法无需人工为特效素材赋予纹理信息,而是可以根据待添加区域的纹理信息,自动生成特效素材的目标纹理贴图,并且无需重复为每个目标视频帧制作特效素材,而是可以通过对每个目标视频帧获取对应的目标纹理贴图的方法,对一个特效素材进行重复渲染,得到每个目标视频帧对应的渲染后的特效素材,一方面提高制作特效视频的效率,另一方面降低特效视频的制作成本和返修成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的特效视频制作方法的应用场景示意图;
图2是本申请实施例中提供的特效视频制作方法的一种流程示意图;
图3是本申请实施例中提供的三维特效素材的一种示意图;
图4是本申请实施例中提供的目标视频帧,以及目标视频帧中的待添加区域的一种示意图;
图5是本申请实施例中提供的添加了特效的目标视频帧的一种示意图;
图6是本申请实施例中提供的得到特效动画帧的一种流程示意图;
图7是本申请实施例中提供的控制虚拟相机拍摄特效视频帧的一种示意图;
图8是本申请实施例中提供的获取纹理信息的一种流程示意图;
图9是本申请实施例中提供的获取目标图像的一种流程示意图;
图10是本申请实施例中提供的特效视频制作装置的一个实施例结构示意图;
图11是本申请实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的过程进行详细阐述,以避免不必要的细节使本申请实施例的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请实施例所公开的原理和特征的最广范围相一致。
本申请实施例提供一种特效视频制作方法、装置、电子设备和可读存储介质。其中,该特效视频制作装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
本申请实施例特效视频制作方法的执行主体可以为本申请实施例提供的特效视频制作装置,或者集成了该特效视频制作装置的服务器设备、物理主机或者特效制作人员设备(User Equipment,UE)等不同类型的电子设备,其中,特效视频制作装置可以采用硬件或者软件的方式实现,UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant,PDA)等终端设备。
该电子设备可以采用单独运行的工作方式,或者也可以采用设备集群的工作方式。
参见图1,图1是本申请实施例所提供的特效视频制作系统的场景示意图。其中,该特效视频制作系统可以包括电子设备100,电子设备100中集成有特效视频制作装置。
另外,如图1所示,该特效视频制作系统还可以包括存储器200,用于存储数据,如存储文本数据。
需要说明的是,图1所示的特效视频制作系统的场景示意图仅仅是一个示例,本申请实施例描述的特效视频制作系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着特效视频制作系统的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。
下面,开始介绍本申请实施例提供的特效视频制作方法,本申请实施例中以电子设备作为执行主体,为了简化与便于描述,后续方法实施例中将省略该执行主体,该特效视频制作包括:获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;基于所述纹理信息,生成目标纹理贴图;根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
参照图2,图2是本申请实施例提供的特效视频制作方法的一种流程示意图。需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。该特效视频制作方法具体可以包括以下步骤201-步骤204,需要说明的是,本方法基于特效合成软件实现,例如,可以基于NUKE实现,其中:
201、获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材。
待制作的场景视频是指待添加特效的原始视频。在一些实施例中,本方法可以应用于电影制作等真实视频拍摄的场景,制作得到包含特效的电影视频,此时,场景视频可以是指待添加特效的原始电影视频。例如,当特效制作人员需要在原始电影视频中增加爆炸特效,以得到包含爆炸特效的目标电影视频时,场景视频是指未添加爆炸特效时的原始电影视频。在另一些实施例中,本方法还可以应用于动画制作等虚拟视频制作的场景,例如场景视频可以是指待添加特效的原始动画视频,具体不再举例进行说明。
其中,场景视频可以由特效制作人员上传至电子设备,或者,电子设备也可以定时从通信连接的云端数据库中读取预存的视频,将其作为场景视频,在云端数据库中,存储有特效制作人员预先上传的待添加特效的视频。
目标视频帧是指场景视频中待添加特效的视频帧。例如,当特效制作人员需要在原始电影视频的视频帧中,选择时间戳为1分钟-5分钟之间的视频帧,将其作为添加爆炸特效的视频帧时,目标视频帧是指时间戳为1分钟-5分钟之间的视频帧,在对目标视频帧添加爆炸特效,得到目标电影视频后,目标电影视频中时间戳为1分钟-5分钟之间的视频帧将会包含爆炸特效。
其中,特效制作人员可以预先在场景视频中标记待添加特效的目标视频帧,当执行步骤201时,电子设备可以通过读取标记的方式,确定场景视频帧中的目标视频帧。
特效素材可以理解为未赋予纹理信息的,用于特效制作的素材,特效素材包含了待添加特效的形状等信息。特效素材可以为二维的素材,也可以为三维的素材。示例性地,当特效素材为二维的素材时,特效素材可以为未赋予纹理信息,用于特效制作的图像。例如当特效素材用于制作爆炸特效时,特效素材可以为未赋予纹理信息的,包含爆炸时的飞石相对位置信息、飞石形状信息的图像。在另一些实施例中,当特效素材为三维的素材时,特效素材可以为未赋予纹理信息,用于特效制作的三维模型。为了方便理解,参考图3中的三维模型,图3中示出了一种爆炸特效对应的特效素材300,可见,在特效素材300中包含了爆炸时的飞石形状信息,以及飞石相对位置信息。
其中,特效素材可以由特效制作人员通过maya或者houdini等DCC(DigitalContent Creation,数字内容创作)制作软件预先模拟解算制后,存储在预设的素材库中,同时特效制作人员预先将特效素材的信息与目标视频帧关联,当执行步骤201时,电子设备可以读取与目标视频帧关联的特效素材信息,并从预设的素材库中获取目标视频帧中待添加的特效素材,预设的素材库可以是指特效合成软件的后台数据库。
可以理解的,当场景视频中待添加的特效有多种时,步骤201中的特效素材有多个,并且各特效素材对应的目标视频帧可以相同,也可以不相同。例如,当特效制作人员需要在原始电影视频中添加第一类爆炸特效和第二类爆炸特效,并且第一类爆炸特效对应的视频帧时间戳为1分钟-5分钟,第二类爆炸特效对应的视频帧时间戳为3分钟-6分钟时,步骤201中的特效素材包括第一类爆炸特效对应的第一特效素材,以及第二类爆炸特效对应的第二特效素材,其中第一特效素材对应的目标视频帧为时间戳为1分钟-5分钟的第一视频帧,第二特效素材对应的目标视频帧为3分钟-6分钟的第二视频帧。
下文中为了方便理解,若未作特别声明,则认为场景视频中待添加的特效仅有一种,即步骤201中的特效素材仅有一个,但不能理解为对本申请实施例的限制。
202、从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息。
待添加区域是指目标视频帧中待添加特效的帧区域。为了方便理解,参考图4,图4中示出了目标视频帧400,若特效制作人员需要在目标视频帧400中的区域401添加特效,则目标视频帧400内特效素材对应的待添加区域是指区域401,若目标视频帧400中待添加的特效素材为图3中的特效素材300,则对目标视频帧添加特效后,可以得到图5中添加了特效的目标视频帧500,图5中的区域501为图4中区域401在添加了特效的目标视频帧500中对应的区域,并且区域501中包含了特效素材300的信息。需要说明的是,此处的例子由于仅为了说明待添加区域,省略了对特效素材300的渲染步骤,在特效视频制作中,还需要对特效素材300进行渲染后,再添加至目标视频帧400,才可以得到添加了特效的目标视频帧500,渲染的说明具体可见下文,此处不进行赘述。
在一些实施例中,目标视频帧内特效素材对应的待添加区域可以有多个。继续以图4为例,若特效制作人员需要在目标视频帧400中的区域401、区域402和区域403中添加特效,则目标视频帧400内特效素材对应的待添加区域是指区域401、区域402和区域403,此时对目标视频帧添加特效后,可以得到图5中添加了特效的目标视频帧500,图5中的区域501、区域502和区域503分别为图4中区域401、区域402和区域403在添加了特效的目标视频帧500中对应的区域,并且区域501、区域502和区域503中均包含了特效素材300的信息。
在本申请实施例中,纹理信息可以是指待添加区域中像素点的像素值信息。
在一些实施例中,电子设备可以将场景视频、目标视频帧、特效素材和待添加区域的信息输入特效合成软件,通过特效合成软件中的帧冻结功能,对目标视频帧内特效素材对应的待添加区域进行帧冻结处理,以裁剪得到待添加区域对应的第一图像,然后提取第一图像中像素点的像素值信息,以得到纹理信息。
203、基于所述纹理信息,生成目标纹理贴图。
目标纹理贴图是用于对特效素材进行渲染的纹理贴图,在目标纹理贴图中,包含了待添加区域中的纹理信息。
当特效素材为二维素材时,目标纹理贴图中包含了特效素材中每个像素点的像素值信息。
当特效素材为三维素材时,目标纹理贴图可以是指包含待添加区域中的纹理信息的UV贴图。示例性地,电子设备可以对特效素材进行解算处理,得到特效素材的形态、位置等相关数据信息,并基于上述相关数据信息,生成特效素材的初始的平面UV贴图,并从特效合成软件的后台数据库中,读取得到预设的纹理映射关系,通过预设的纹理映射关系将纹理信息映射至初始的平面UV贴图中,得到目标纹理贴图。即步骤“基于所述纹理信息,生成目标纹理贴图”,包括:
根据预设的纹理映射关系,将所述纹理信息映射至所述特效素材对应的初始纹理贴图中,得到目标纹理贴图,其中,所述初始纹理贴图通过对所述特效素材进行解算处理后得到。
其中,初始纹理贴图可以是指初始的平面UV贴图,在初始纹理贴图中,还未包含特效素材的待渲染纹理信息。由于初始纹理贴图中的各像素点分别与特效素材中的各点对应,因此通过预设的纹理映射关系,可以将待添加区域中的像素值信息映射至初始纹理贴图中,即将待添加区域中的像素值信息与特效素材中的各点一一对应,得到包含特效素材的待渲染纹理信息的目标纹理贴图。进而根据目标纹理贴图对特效素材进行渲染后,即可使特效素材的表面渲染上待添加区域中的纹理信息。
示例性地,可以通过以下的式子(1)-式子(3)计算得到初始纹理贴图中的RGB值,并结合解算后得到的形态、位置等相关数据信息得到初始纹理贴图:
R=(x+b)/Width式子(1)
G=(y+c)/Height式子(2)
B=0式子(3)
其中,R是指初始纹理贴图中R通道的像素值,x是指以初始纹理贴图的左下角为零点O,以初始纹理贴图的宽度方向为X轴正方形,以初始纹理贴图的高度方向为Y轴正方形,构建贴图坐标系XOY后,像素点在贴图坐标系XOY中的X坐标值,b是指预设的第一偏置值,Width是指初始纹理贴图的宽度值,G是指初始纹理贴图中G通道的像素值,y是指像素点在贴图坐标系XOY中的Y坐标值,c是指预设的第二偏置值,Height是指初始纹理贴图的高度值。R是指初始纹理贴图中B通道的像素值。
通过上述式子(1)和式子(2),可以计算得到初始纹理贴图中的UV信息,根据UV信息和上述形态、位置等相关数据信息,即可得到包含特效素材的UV信息的初始纹理贴图。
预设的纹理映射关系可以由特效制作人员预先设置好,存储在特效合成软件的后台数据库中,当执行步骤203时,从该后台数据库中直接读取得到预设的纹理映射关系。示例性地,预设的纹理映射关系可以是指:将待添加区域对应的第一图像中,每个位置像素点的像素值映射至初始纹理贴图中相同位置的像素点。
204、根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
渲染后的特效素材是指添加了纹理信息之后的特效素材。
特效视频是指对场景视频添加特效之后的视频。
由于三维的特效素材相比二维的特效素材自定义程度更高,能够调整的细节更多,因此在一些实施例中,为了提高特效的真实性,可以采用三维的特效素材进行特效视频制作,此时为了将渲染后的特效素材与目标视频帧融合,可以采用拍摄特效动画帧,并将特效动画帧与目标视频帧融合的方法,得到特效视频。
示例性地,电子设备可以通过虚拟相机拍摄渲染后的特效素材,得到特效动画帧,并根据待添加区域,融合特效动画帧和目标视频帧,得到特效视频。在执行步骤204时,电子设备可以根据目标纹理贴图对特效素材进行渲染,得到渲染后的特效素材,并将预设的相机姿态参数设置为虚拟相机的姿态参数,控制虚拟相机对渲染后的特效素材进行拍摄,得到特效动画帧,其中,每张特效动画帧的时间戳与每张特效动画帧对应的目标视频帧的时间戳相同。为了方便理解,以下具体举一例进行说明:假设特效制作人员需要在场景视频中添加爆炸特效,并且待添加爆炸特效的目标视频帧包括视频帧1、视频帧2和视频帧3,并且视频帧1、视频帧2和视频帧3的时间戳分别为时间戳1、时间戳2和时间戳3。在本例子中,电子设备首先分别确定视频帧1、视频帧2和视频帧3中的待添加区域1、待添加区域2和待添加区域3,然后分别提取得到待添加区域1、待添加区域2和待添加区域3中的纹理信息1、纹理信息2和纹理信息3,并将纹理信息1映射至初始纹理贴图中,得到目标纹理贴图1,将纹理信息2映射至初始纹理贴图中,得到目标纹理贴图2,将纹理信息3映射至初始纹理贴图中,得到目标纹理贴图3,然后依次根据目标纹理贴图1、目标纹理贴图2和目标纹理贴图3,对爆炸特效对应的特效素材进行渲染,得到渲染后的特效素材1、渲染后的特效素材2和渲染后的特效素材3,并将预设的相机姿态参数设置为虚拟相机的姿态参数,控制虚拟相机分别对渲染后的特效素材1、渲染后的特效素材2和渲染后的特效素材3进行拍摄,得到特效动画帧1、特效动画帧2和特效动画帧3,特效动画帧1、特效动画帧2和特效动画帧3的时间戳分别为时间戳1、时间戳2和时间戳3。
可见,通过上述方法,在制作特效视频时,无需重复为每个目标视频帧制作特效素材,而是可以通过对每个目标视频帧获取对应的目标纹理贴图的方法,对一个特效素材进行重复渲染,得到每个目标视频帧对应的渲染后的特效素材,并且无需人工为特效素材赋予纹理信息,一方面提高特效视频时的效率,另一方面降低特效视频的制作成本和返修成本。此外,由于目标纹理贴图中包含待添加区域的纹理信息,因此渲染后的特效素材的纹理信息与待添加区域中的纹理信息更加相近,得到的特效视频更加真实。
得到特效动画帧后,可以将特效动画帧与目标视频帧按照时间戳配对,并将配对的特效动画帧融合至与目标视频帧的待添加区域中,以得到添加了特效的目标视频帧,并将所有添加了特效的目标视频帧,以及场景视频中除目标视频帧之外的其他视频帧,按照时间戳进行排序,以得到特效视频。例如,在上述例子中,将特效动画帧1、特效动画帧2和特效动画帧3分别与目标视频帧1、目标视频帧2和目标视频帧3配对,并将特效动画帧1融合至目标视频帧1的待添加区域中,得到添加了特效的目标视频帧1,将特效动画帧2融合至目标视频帧2的待添加区域中,得到添加了特效的目标视频帧2,将特效动画帧3融合至目标视频帧3的待添加区域中,得到添加了特效的目标视频帧3,并将添加了特效的目标视频帧1-添加了特效的目标视频帧3,以及场景视频中除目标视频帧1、目标视频帧2和目标视频帧3之外的其他视频帧,按照时间戳进行排序,得到特效视频。
即步骤“根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频”,包括:
(1.1)根据所述目标纹理贴图,对所述特效素材进行渲染,得到渲染后的特效素材。
首先需要说明的,在步骤(1.1)-步骤(1.3)中,特效素材,以及渲染后的特效素材均是指三维的素材。
示例性地,当特效合成软件为NUKE时,可以通过NUKE中的stmap节点将目标纹理贴图中的纹理信息赋予特效素材,即根据目标纹理贴图对特效素材进行渲染,以得到渲染后的特效素材。可以理解的,渲染后的特效素材表面包含了待添加区域的纹理信息。
(1.2)对所述渲染后的特效素材进行拍摄,得到特效动画。
示例性地,将预设的相机姿态参数设置为虚拟相机的姿态参数,控制虚拟相机对渲染后的特效素材进行拍摄,得到动画帧,以及由各动画帧按照时间戳排列构成的特效动画。
其中,预设的相机姿态参数可以为一个固定的参数,可以由特效制作人员根据实际场景需求预先设置好,存储在特效合成软件的后台数据库中,当执行步骤(1.2)时,电子设备可以从该后台数据库中直接读取得到。示例性地,相机姿态参数可以包括特效合成软件对应的软件坐标系中,虚拟相机进行拍摄时的相机坐标,以及拍摄方向。即在本申请实施例中,虚拟相机以固定的相机坐标和拍摄方向,对渲染后的特效素材进行拍摄,得到动画帧,以及由各动画帧按照时间戳排列构成的特效动画。
(1.3)将所述特效动画帧融合至所述目标视频帧的待添加区域中,得到特效视频。
融合得到特效视频的方法可以参考上文的说明,具体不进行赘述。
在一些实施例中,为了减少视觉上渲染后的特效素材与目标视频帧之间的割裂感,还可以对特效视频中的特效添加位置进行边缘羽化处理。此时,步骤“根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频”之后,还包括:
对所述特效视频中的特效添加位置进行边缘羽化处理,得到目标视频。
特效添加位置是指特效视频的添加了特效的目标视频帧中,待添加区域对应的区域。参考图5,图5中的区域501即为特效添加位置。
在一些实施例中,电子设备可以通过特效合成软件中的预设节点,对特效视频中的特效添加位置进行羽化处理。例如特效合成软件为NUKE时,可以通过NUKE中的root节点进行边缘羽化处理,得到目标视频。
得到目标视频后,可以将目标视频输出至目标终端。其中,目标终端可以是指智能手机、个人电脑等用于播放视频的终端。
综上所述,本申请实施例提供的特效视频制作方法包括:获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;基于所述纹理信息,生成目标纹理贴图;根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
可见,本申请实施例提供的特效视频制作方法在制作特效视频时,由于目标纹理贴图中包含待添加区域的纹理信息,因此渲染后的特效素材中包含的纹理信息与待添加区域中的纹理信息更加相近,融合后得到的特效视频更加真实。而在传统方法中,通常由人工合成包含纹理信息的二维特效素材,并融合二维特效素材与场景视频,以得到特效视频,因此二维特效素材与目标视频帧之间纹理信息的匹配难度较大,在视觉效果上割裂感较强,特效视频的真实性较低。
此外,本方法无需人工为特效素材赋予纹理信息,而是可以根据待添加区域的纹理信息,自动生成特效素材的目标纹理贴图,并且无需重复为每个目标视频帧制作特效素材,而是可以通过对每个目标视频帧获取对应的目标纹理贴图的方法,对一个特效素材进行重复渲染,得到每个目标视频帧对应的渲染后的特效素材,一方面提高制作渲染后的特效素材的效率,另一方面降低特效视频的制作成本和返修成本。
在一些实施例中,为了提高特效视频的真实性,可以根据目标视频帧对应的相机姿态参数,实时调整虚拟相机的姿态参数,在特效中添加场景视频中的镜头晃动信息,提高特效视频的真实性。参考图6,此时,步骤“对所述渲染后的特效素材进行拍摄,得到特效动画帧”,包括:
601、获取所述目标视频帧对应的相机姿态参数。
目标视频帧对应的相机姿态参数是指在特效合成软件对应的软件坐标系中,虚拟相机拍摄目标视频帧时采用的姿态参数。示例性地,当本方法应用于虚拟视频制作的场景,例如场景视频为通过DCC制作软件制作的动画视频时,可以查询动画视频的DCC源文件,得到目标视频帧对应的相机姿态参数。
在另一些实施例中,当本方法应用于真实视频拍摄的场景时,无法通过查询DCC源文件的方法得到目标视频帧对应的相机姿态参数。此时,可以根据像素点的位置变化信息,计算得到目标视频帧对应的相机姿态参数,以在特效中添加场景视频中的镜头晃动信息,提高特效视频的真实性。此时,步骤“获取所述视频帧对应的相机姿态参数”可以通过以下方法执行,但是不能理解为对反向跟踪运算的限制,即还可以通过其他的方法实现反向跟踪运算:
(2.1)获取所述场景视频中所述目标视频帧对应的参考视频帧。
参考视频帧可以是指与目标视频相邻的场景视频帧,其中,相邻的判断基准可以根据实际场景的需求进行确定,例如,可以将时间戳与目标视频帧的时间戳之间时间差的绝对值小于等于预设时间阈值的场景视频帧作为与目标视频相邻的场景视频帧。为了方便理解,以下具体举一个例子进行说明:假设场景视频的场景视频帧的拍摄间隔为1秒,即场景视频帧的时间戳分别为:0秒、1秒、2秒……T-1秒、T秒,并且目标视频帧的时间戳为m秒,m<T,预设时间阈值为1秒,则可以将时间戳为m-1秒,以及时间戳为m+1秒的场景视频帧作为与目标视频相邻的场景视频帧,即将时间戳为m-1秒,以及时间戳为m+1秒的场景视频帧作为目标视频帧对应的参考视频帧。又例如,在上述例子中预设时间阈值为2秒时,可以将时间戳为m-2秒、m-1秒、m+1秒,以及m+2秒的场景视频帧作为目标视频帧对应的参考视频帧,具体不再举例进行说明。
(2.2)统计得到所述目标视频帧和所述参考视频帧之间像素点的位置变化信息。
位置变化信息可以是指畸变矩阵(Distortion coefficients)。电子设备可以从目标视频帧的像素点中,确定至少N个目标像素点,并追踪这N个目标像素点在参考视频帧中的位置,根据这N个目标像素点在参考视频帧中的位置,以及在目标视频帧中的位置,统计得到位置变化信息。其中,N的数值可以根据实际场景的需求进行调整。
(2.3)根据所述位置变化信息,计算得到所述目标视频帧对应的相机姿态参数。
示例性地,电子设备可以根据预设的外参数矩阵(Extrinsics)和预设的内参数矩阵(Intrinsics),以及位置变化信息,计算得到目标视频帧对应的相机姿态参数,具体的计算过程可以参考常用的相机标定(camera calibration)方法不进行赘述。
602、将所述相机姿态参数作为预设的虚拟相机的姿态参数,通过所述虚拟相机对所述渲染后的特效素材进行拍摄,得到特效动画帧。
将虚拟相机拍摄目标视频帧时采用的姿态参数作为虚拟相机拍摄特效动画帧时采用的姿态参数,可以使特效的镜头晃动信息与场景视频的镜头晃动信息匹配,提高特效视频的真实性。而在传统的方法中,由于采用人工合成二维特效素材的方法,因此二维特效素材与目标视频帧之间的透视关系难以确定,因此导致生成的特效视频不如本方法中生成的特效视频真实。为了方便理解,参考图7,图7中示出了虚拟相机分别以相机姿态参数1、相机姿态参数2和相机姿态参数3拍摄立方体701,得到的目标视频帧1、目标视频帧2和目标视频帧3,以及分别以相机姿态参数1、相机姿态参数2和相机姿态参数3对渲染后的圆柱形特效素材702拍摄所得到的特效动画帧1、特效动画帧2和特效动画帧3。在图7的场景中,通过不断改变相机姿态参数,以使场景视频中目标视频帧1、目标视频帧2和目标视频帧3构成的目标视频片段中,立方体701在视觉上产生晃动感。当采用本方法拍摄得到特效动画帧时,电子设备分别采用相机姿态参数1、相机姿态参数2和相机姿态参数3拍摄渲染后的圆柱形特效素材702,得到特效动画帧1、特效动画帧2和特效动画帧3,因此将特效动画帧1、特效动画帧2和特效动画帧3分别与目标视频帧1、目标视频帧2和目标视频帧3融合,得到添加了特效的目标视频帧1、添加了特效的目标视频帧2和添加了特效的目标视频帧3(未在图7中示出)时,添加了特效的目标视频帧1、添加了特效的目标视频帧2和添加了特效的目标视频帧3中同样可以呈现球形特效素材702的晃动感。
在一些实施例中,考虑到初始纹理贴图的尺寸可能与待添加区域对应的第一图像(第一图像的说明可参考步骤202)的尺寸不匹配,导致进行纹理信息映射后,目标纹理贴图中的部分像素点无法得到待添加区域中的纹理信息。因此可以在对待添加区域进行帧冻结,得到第一图像后,对第一图像进行尺寸调整,得到宽高比和面积均与初始纹理贴图相同的,即尺寸与初始纹理贴图的尺寸相匹配的目标图像,提取目标图像中的像素值信息,以得到纹理信息。参考图8,此时,步骤“从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息”,包括:
801、对所述目标视频帧内所述特效素材对应的待添加区域进行裁剪,得到第一图像。
电子设备可以通过帧冻结的方式,对待添加区域进行裁剪,得到第一图像,具体参考步骤203,此处不进行赘述。
802、获取所述特效素材对应的初始纹理贴图,以及所述初始纹理贴图的第一尺寸信息。
获取初始纹理贴图的方法可以参考步骤203中的说明,具体不进行赘述。
初始纹理贴图的第一尺寸信息可以包括初始纹理贴图的宽度和高度。
803、根据所述第一尺寸信息,对所述第一图像进行尺寸调整,得到目标图像。
目标图像是指宽高比和面积均与初始纹理贴图相同的图像。
示例性地,电子设备在执行步骤803时,获取第一图像的第二尺寸信息,并提取第一尺寸信息中的第一宽度和第一高度,以及第二尺寸信息中的第二宽度和第二高度,计算第一宽度和第二宽度之间的宽度差,得到拉伸宽度,以及第一高度和第二高度之间的高度差,得到拉伸高度,根据拉伸宽度和拉伸高度。对第一图像进行拉伸处理,以得到宽高比和面积均与初始纹理贴图相同的目标图像,保证进行纹理信息映射后,目标纹理贴图中的像素点均得到待添加区域中的纹理信息。例如,可以通过特效合成软件中的预设节点进行拉伸处理。例如当特效合成软件为NUKE时,可以通过NUKE中的cornerpin2D节点进行拉伸处理。
804、提取所述目标图像中各像素点的像素值信息,将所述像素值信息设定为纹理信息。
然而,步骤801-步骤804的方法虽然可以得到宽高比和面积均与所述初始纹理贴图相同的目标图像,但是拉伸后容易导致目标图像的分辨率较低,目标图像中的纹理信息细节不丰富,导致特效视频不真实。因此,可以结合拉伸操作和平铺操作,在保证纹理信息细节足够丰富的情况下,得到宽高比和面积均与所述初始纹理贴图相同的目标图像。此时,步骤“根据所述第一尺寸信息,对所述第一图像进行尺寸调整,得到宽高比和面积均与所述初始纹理贴图相同的目标图像”,包括:
(3.1)根据所述第一尺寸信息,以及所述第一图像的第二尺寸信息,确定拉伸参数。
其中,拉伸参数用于将第一图像的宽高比调整至与初始纹理贴图的宽高比相同,即根据拉伸参数对第一图像进行拉伸后,可以得到宽高比与初始纹理贴图的宽高比相同的拉伸后图像。
可以理解的,第一图像的第二尺寸信息中,包括第一图像的宽度和高度。
电子设备在执行步骤(3.1)时,可以根据第一尺寸信息中的第一宽度和第一高度,计算得到初始纹理贴图的第一宽高比,并基于第一宽高比,计算得到将第一图像的宽高比调整至第一宽高比所需要的参数,将这些参数作为拉伸参数。例如第一宽高比为1:1,并且第一图像的宽度为5厘米,第一图像的高度为10厘米时,可以将第一图像的宽度拉伸至15厘米,将第一图像的高度拉伸至15厘米,以将第一图像的宽高比调整至第一宽高比,此时,拉伸参数包括宽度方向上所需要的拉伸量10厘米,以及高度方向上所需要的拉伸量5厘米。
(3.2)根据所述拉伸参数,对所述第一图像进行拉伸处理,得到第二图像。
根据拉伸参数进行拉伸后,即可得到宽高比与初始纹理贴图相同的第二图像。
(3.3)若所述第二图像的面积小于所述初始纹理贴图的面积,则对所述第二图像进行平铺处理,得到形状和面积均与所述初始纹理贴图相同的目标图像。
由于第二图像的面积仍然可能与初始纹理贴图的面积不相同,因此若直接提取第二图像中的像素值信息,以得到纹理信息,仍然可能导致进行纹理信息映射后,目标纹理贴图中的部分像素点无法得到待添加区域中的纹理信息。因此为了避免该情况,可以将第二图像的面积与初始纹理贴图的面积进行对比,若第二图像的面积小于初始纹理贴图的面积,则对第二图像进行平铺,以得到形状和面积均与初始纹理贴图相同的目标图像。
其中,平铺是指将相同的图像依次排列,以得到新的图像的处理方式。
为了尽量减少拉伸量,在一些实施例中,电子设备还可以根据第一尺寸信息,以及第二尺寸信息,计算得到最小拉伸量,并根据最小拉伸量对第一图像进行拉伸,得到第二图像后,再对第二图像进行平铺,进而可以在得到目标图像的过程中,减少分辨率的下降程度,尽可能降低纹理信息细节的减少程度。参考图9,此时,步骤“根据所述第一尺寸信息,以及所述第一图像的第二尺寸信息,确定拉伸参数”,包括:
901、根据所述第一尺寸信息中的第一宽度和第一高度,确定第一宽高比,并根据所述第一图像的第二尺寸信息中的第二宽度和第二高度,确定第二宽高比。
第二宽度和第二高度分别是指第一图像的宽度和高度。
电子设备可以计算第一宽度和第一高度之间的比值,以得到第一宽高比,并计算第二宽度和第二高度之间的比值,以得到第二宽高比。
902、根据所述第一宽高比和第二宽高比,从所述第二宽度和所述第二高度中确定待调整尺寸和基准尺寸,并根据所述第一宽高比和所述基准尺寸,确定所述待调整尺寸对应的拉伸目标尺寸。
待调整尺寸是指第二宽度和第二高度中,需要进行调整的尺寸,基准尺寸是指第二宽度和第二高度中,无需进行调整的尺寸。例如当待调整尺寸为第二宽度时,基准尺寸是指第二高度,当调整尺寸为第二高度时,基准尺寸是指第二宽度。
待调整尺寸对应的拉伸目标尺寸是指对待调整尺寸进行调整时的目标尺寸。
为了方便理解,下面以具体的一种场景对步骤902进行说明:假设第一宽高比为1:1,第二宽高比为1:3,则为了得到宽高比与初始纹理贴图相同,即,使拉伸后的图像的宽高比为1:1,需要对第二宽度进行拉伸,因此将第二宽度作为待调整尺寸,将第二高度作为基准尺寸。
之后,根据第一宽高比1:1,以及基准尺寸,即可得到使拉伸后的图像的宽高比为1:1,所需要的拉伸目标尺寸。例如第二高度为10厘米时,拉伸目标尺寸为宽度10厘米。
903、根据所述拉伸目标尺寸和所述待调整尺寸,计算得到最小拉伸量,并将所述最小拉伸量作为拉伸参数。
通过计算拉伸目标尺寸和待调整尺寸之间的差值,即可得到最小拉伸量。例如拉伸目标尺寸为宽度10厘米,待调整尺寸为宽度8厘米时,最小拉伸量为:宽度2厘米。
可见,通过步骤901-步骤903的方法,可以以最小的拉伸量,将第一图像的宽高比调整至初始纹理贴图的宽高比,在尽可能降低纹理信息细节的减少程度的前提下,使目标纹理贴图中的所有像素点均得到待添加区域中的纹理信息。
为了方便理解,下面介绍一种特效视频制作方法的具体流程,在下面的流程中,采用NUKE作为特效合成软件:
(A)特效制作人员通过maya或者houdini等DCC制作软件,预先制作特效素材,并将特效素材,以及特效素材解算后包含特效素材的形态、位置等相关数据信息存储为abc缓存文件,并将abc缓存文件导出至预设的素材数据库中。同时,特效制作人员对场景视频的目标视频帧进行标记,并将目标视频帧、特效素材和待添加区域之间的信息关联。
(B)电子设备接收到待制作的场景视频,获取其中的目标视频帧、视频帧中待添加的特效素材,以及特效素材在目标视频帧内对应的待添加区域。
(C)通过NUKE中的帧冻结操作,对待添加区域进行裁剪,得到第一图像,并读取得到特效素材的abc缓存文件,基于abc缓存文件中的形态、位置等相关数据信息,以及上文中式子(1)-式子(3)计算得到的UV信息,生成特效素材的初始纹理贴图。
(D)通过cornerpin2D节点,基于初始纹理贴图的尺寸,对第一图像进行拉伸和平铺处理,得到宽高比和面积均与初始纹理贴图的目标图像,并提取目标图像中的像素值信息,将像素值信息作为待添加区域的纹理信息。
(E)通过预设的纹理映射关系,将纹理信息映射至初始纹理贴图中,得到目标纹理贴图。例如,可以将目标图像中每个位置像素点的像素值映射至初始纹理贴图中对应位置的像素点,以得到目标纹理贴图。
(F)通过stmap节点,根据目标纹理贴图和特效素材,运算得到渲染后的特效素材。
(G)通过查询DCC源文件,或者获取目标视频帧与参考视频帧之间位置变化信息的方法,确定各目标视频帧对应的相机姿态参数,并将各目标视频帧对应的相机姿态参数设定为拍摄各目标视频帧对应的特效动画帧时,虚拟相机的姿态参数,控制虚拟相机对渲染后的特效素材进行拍摄,得到各目标视频帧对应的特效动画帧。
(H)将每个特效动画帧融合至对应目标视频帧的待添加区域中,得到各添加了特效的目标视频帧,并将各添加了特效的目标视频帧,以及场景视频帧中除目标视频帧之外的其他视频帧按照时间戳顺序进行排列,以得到特效视频。
(I)通过root节点,对特效视频中的特效添加区域进行边缘羽化处理,得到目标视频,并将目标视频输出至目标终端。
为了更好实施本申请实施例中特效视频制作方法,在特效视频制作方法基础之上,本申请实施例中还提供一种特效视频制作装置,如图10所示,为本申请实施例中特效视频制作装置的一个实施例结构示意图,该特效视频制作装置1000包括:
获取单元1001,用于获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;
提取单元1002,用于从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;
贴图生成单元1003,用于基于所述纹理信息,生成目标纹理贴图;
视频生成单元1004,用于根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
在本申请一种可能的实现方式中,视频生成单元1004还用于:
根据所述目标纹理贴图,对所述特效素材进行渲染,得到渲染后的特效素材;
对所述渲染后的特效素材进行拍摄,得到特效动画帧;
将所述特效动画帧融合至所述目标视频帧的待添加区域中,得到特效视频。
在本申请一种可能的实现方式中,视频生成单元1004还用于:
获取所述目标视频帧对应的相机姿态参数;
将所述相机姿态参数作为预设的虚拟相机的姿态参数,通过所述虚拟相机对所述渲染后的特效素材进行拍摄,得到特效动画帧。
在本申请一种可能的实现方式中,视频生成单元1004还用于:
获取所述场景视频中所述目标视频帧对应的参考视频帧;
统计得到所述目标视频帧和所述参考视频帧之间像素点的位置变化信息;
根据所述位置变化信息,计算得到所述目标视频帧对应的相机姿态参数。
在本申请一种可能的实现方式中,提取单元1002还用于:
对所述目标视频帧内所述特效素材对应的待添加区域进行裁剪,得到第一图像;
获取所述特效素材对应的初始纹理贴图,以及所述初始纹理贴图的第一尺寸信息;
根据所述第一尺寸信息,对所述第一图像进行尺寸调整,得到目标图像,其中,所述目标图像的宽高比和面积均与所述初始纹理贴图相同;
提取所述目标图像中各像素点的像素值信息,将所述像素值信息设定为纹理信息。
在本申请一种可能的实现方式中,提取单元1002还用于:
根据所述第一尺寸信息,以及所述第一图像的第二尺寸信息,确定拉伸参数,其中,所述拉伸参数用于将所述第一图像的宽高比调整至与所述初始纹理贴图的宽高比相同;
根据所述拉伸参数,对所述第一图像进行拉伸处理,得到第二图像;
若所述第二图像的面积小于所述初始纹理贴图的面积,则对所述第二图像进行平铺处理,得到形状和面积均与所述初始纹理贴图相同的目标图像。
在本申请一种可能的实现方式中,提取单元1002还用于:
根据所述第一尺寸信息中的第一宽度和第一高度,确定第一宽高比,并根据所述第一图像的第二尺寸信息中的第二宽度和第二高度,确定第二宽高比;
根据所述第一宽高比和第二宽高比,从所述第二宽度和所述第二高度中确定待调整尺寸和基准尺寸,并根据所述第一宽高比和所述基准尺寸,确定所述待调整尺寸对应的拉伸目标尺寸;
根据所述拉伸目标尺寸和所述待调整尺寸,计算得到最小拉伸量,并将所述最小拉伸量作为拉伸参数。
在本申请一种可能的实现方式中,贴图生成单元1003还用于:
根据预设的纹理映射关系,将所述纹理信息映射至所述特效素材对应的初始纹理贴图中,得到目标纹理贴图。
在本申请一种可能的实现方式中,视频生成单元1004还用于:
对所述特效视频中的特效添加位置进行边缘羽化处理,得到目标视频。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
由于该特效视频制作装置可以执行任意实施例中特效视频制作方法中的步骤,因此,可以实现本申请任意实施例中特效视频制作方法所能实现的有益效果,详见前面的说明,在此不再赘述。
此外,为了更好实施本申请实施例中特效视频制作方法,在特效视频制作方法基础之上,本申请实施例还提供一种电子设备,参阅图11,图11示出了本申请实施例电子设备的一种结构示意图,具体的,本申请实施例提供的电子设备包括处理器1101,处理器1101用于执行存储器1102中存储的计算机程序时实现任意实施例中特效视频制作方法的各步骤;或者,处理器1101用于执行存储器1102中存储的计算机程序时实现如图10对应实施例中各模块的功能。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器1102中,并由处理器1101执行,以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
电子设备可包括,但不仅限于处理器1101、存储器1102。本领域技术人员可以理解,示意仅仅是电子设备的示例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
处理器1101可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
存储器1102可用于存储计算机程序和/或模块,处理器1101通过运行或执行存储在存储器1102内的计算机程序和/或模块,以及调用存储在存储器1102内的数据,实现计算机装置的各种功能。存储器1102可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的特效视频制作装置、电子设备及其相应模块的具体工作过程,可以参考任意实施例中特效视频制作方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种可读存储介质,可读存储介质上存储有计算机程序,该计算机程序被处理器执行时执行本申请任意实施例中特效视频制作方法中的步骤,具体操作可参考任意实施例中特效视频制作方法的说明,在此不再赘述。
其中,该可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
由于该可读存储介质中所存储的指令,可以执行本申请任意实施例中特效视频制作方法中的步骤,因此,可以实现本申请任意实施例中特效视频制作方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请实施例所提供的一种特效视频制作方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种特效视频制作方法,其特征在于,包括:
获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;
从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;
基于所述纹理信息,生成目标纹理贴图;
根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
2.根据权利要求1所述的特效视频制作方法,其特征在于,所述根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频,包括:
根据所述目标纹理贴图,对所述特效素材进行渲染,得到渲染后的特效素材;
对所述渲染后的特效素材进行拍摄,得到特效动画帧;
将所述特效动画帧融合至所述目标视频帧的待添加区域中,得到特效视频。
3.根据权利要求2所述的特效视频制作方法,其特征在于,所述对所述渲染后的特效素材进行拍摄,得到特效动画帧,包括:
获取所述目标视频帧对应的相机姿态参数;
将所述相机姿态参数作为预设的虚拟相机的姿态参数,通过所述虚拟相机对所述渲染后的特效素材进行拍摄,得到特效动画帧。
4.根据权利要求3所述的特效视频制作方法,其特征在于,所述获取所述视频帧对应的相机姿态参数,包括:
获取所述场景视频中所述目标视频帧对应的参考视频帧;
统计得到所述目标视频帧和所述参考视频帧之间像素点的位置变化信息;
根据所述位置变化信息,计算得到所述目标视频帧对应的相机姿态参数。
5.根据权利要求1所述的特效视频制作方法,其特征在于,所述从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息,包括:
对所述目标视频帧内所述特效素材对应的待添加区域进行裁剪,得到第一图像;
获取所述特效素材对应的初始纹理贴图,以及所述初始纹理贴图的第一尺寸信息;
根据所述第一尺寸信息,对所述第一图像进行尺寸调整,得到目标图像,其中,所述目标图像的宽高比和面积均与所述初始纹理贴图相同;
提取所述目标图像中各像素点的像素值信息,将所述像素值信息设定为纹理信息。
6.根据权利要求5所述的特效视频制作方法,其特征在于,所述根据所述第一尺寸信息,对所述第一图像进行尺寸调整,得到目标图像,包括:
根据所述第一尺寸信息,以及所述第一图像的第二尺寸信息,确定拉伸参数,其中,所述拉伸参数用于将所述第一图像的宽高比调整至与所述初始纹理贴图的宽高比相同;
根据所述拉伸参数,对所述第一图像进行拉伸处理,得到第二图像;
若所述第二图像的面积小于所述初始纹理贴图的面积,则对所述第二图像进行平铺处理,得到形状和面积均与所述初始纹理贴图相同的目标图像。
7.根据权利要求6所述的特效视频制作方法,其特征在于,所述根据所述第一尺寸信息,以及所述第一图像的第二尺寸信息,确定拉伸参数,包括:
根据所述第一尺寸信息中的第一宽度和第一高度,确定第一宽高比,并根据所述第一图像的第二尺寸信息中的第二宽度和第二高度,确定第二宽高比;
根据所述第一宽高比和第二宽高比,从所述第二宽度和所述第二高度中确定待调整尺寸和基准尺寸,并根据所述第一宽高比和所述基准尺寸,确定所述待调整尺寸对应的拉伸目标尺寸;
根据所述拉伸目标尺寸和所述待调整尺寸,计算得到最小拉伸量,并将所述最小拉伸量作为拉伸参数。
8.根据权利要求1所述的特效视频制作方法,其特征在于,所述基于所述纹理信息,生成目标纹理贴图,包括:
根据预设的纹理映射关系,将所述纹理信息映射至所述特效素材对应的初始纹理贴图中,得到目标纹理贴图。
9.根据权利要求1-8任一项所述的特效视频制作方法,其特征在于,所述根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频之后,还包括:
对所述特效视频中的特效添加位置进行边缘羽化处理,得到目标视频。
10.一种特效视频制作装置,其特征在于,包括:
获取单元,用于获取待制作的场景视频,以及所述场景视频的目标视频帧中待添加的特效素材;
提取单元,用于从所述目标视频帧内所述特效素材对应的待添加区域中,提取得到纹理信息;
贴图生成单元,用于基于所述纹理信息,生成目标纹理贴图;
视频生成单元,用于根据所述目标纹理贴图对所述特效素材进行渲染,得到渲染后的特效素材,并根据所述待添加区域,融合所述渲染后的特效素材和所述目标视频帧,得到特效视频。
11.一种电子设备,其特征在于,所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的特效视频制作方法中的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至9任一项所述的特效视频制作方法中的步骤。
CN202211305657.XA 2022-10-24 2022-10-24 特效视频制作方法、装置、电子设备及可读存储介质 Pending CN115801978A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211305657.XA CN115801978A (zh) 2022-10-24 2022-10-24 特效视频制作方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211305657.XA CN115801978A (zh) 2022-10-24 2022-10-24 特效视频制作方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115801978A true CN115801978A (zh) 2023-03-14

Family

ID=85433626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211305657.XA Pending CN115801978A (zh) 2022-10-24 2022-10-24 特效视频制作方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115801978A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116017054A (zh) * 2023-03-24 2023-04-25 北京天图万境科技有限公司 一种用于多复合交互处理的方法及装置
CN117726722A (zh) * 2023-04-20 2024-03-19 书行科技(北京)有限公司 视频图像的特效生成方法、装置、设备和可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116017054A (zh) * 2023-03-24 2023-04-25 北京天图万境科技有限公司 一种用于多复合交互处理的方法及装置
CN116017054B (zh) * 2023-03-24 2023-06-16 北京天图万境科技有限公司 一种用于多复合交互处理的方法及装置
CN117726722A (zh) * 2023-04-20 2024-03-19 书行科技(北京)有限公司 视频图像的特效生成方法、装置、设备和可读存储介质

Similar Documents

Publication Publication Date Title
US10659685B2 (en) Control of viewing angles for 360-degree video playback
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
CN115801978A (zh) 特效视频制作方法、装置、电子设备及可读存储介质
US9445072B2 (en) Synthesizing views based on image domain warping
JP6894962B2 (ja) 自由視点映像用画像データのキャプチャ方法及び装置、プログラム
US20230291884A1 (en) Methods for controlling scene, camera and viewing parameters for altering perception of 3d imagery
CN103426163A (zh) 用于渲染受影响的像素的系统和方法
CN107430788A (zh) 虚拟三维空间生成方法、影像系统、其控制方法以及计算机装置中能读取的记录介质
CA2599483A1 (en) Automatic scene modeling for the 3d camera and 3d video
CN110288534B (zh) 图像处理方法、装置、电子设备以及存储介质
BR112012005477B1 (pt) Inserções virtuais em vídeio 3d
JP2003284093A (ja) 立体画像処理方法および装置
US20210134060A1 (en) Storage medium, and method and system for simulating photogrphy in virtual reality scene
CN106780759A (zh) 基于图片构建场景立体全景图的方法、装置及vr系统
CN110717962B (zh) 动态照片生成方法、装置、拍照设备及存储介质
CN116168076A (zh) 一种图像处理方法、装置、设备及存储介质
WO2005088966A1 (fr) Procede de substitution pour la modification d&#39;un programme tv numerique
CN112511815B (zh) 图像或视频生成方法及装置
JP2003284095A (ja) 立体画像処理方法および装置
CN115830210A (zh) 虚拟对象的渲染方法、装置、电子设备及存储介质
WO2018195892A1 (zh) 三维立体水印添加方法、装置及终端
CN114170077A (zh) 一种基于无人机的非线性图像拼接顺序获取方法及装置
US20200014901A1 (en) Information processing apparatus, control method therefor and computer-readable medium
KR20220156906A (ko) 이미지 디스플레이 방법, 장치, 기기 및 저장매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination