CN115100327B - 动画立体视频生成的方法、装置及电子设备 - Google Patents
动画立体视频生成的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN115100327B CN115100327B CN202211034767.7A CN202211034767A CN115100327B CN 115100327 B CN115100327 B CN 115100327B CN 202211034767 A CN202211034767 A CN 202211034767A CN 115100327 B CN115100327 B CN 115100327B
- Authority
- CN
- China
- Prior art keywords
- scene
- target
- information
- video
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供的一种动画立体视频生成的方法、装置及电子设备,包括,响应于针对视频标签的选定操作,确定与视频标签对应的至少一个立体场景的视频场景信息,以及与至少一个立体场景中的每个立体场景对应的虚拟相机参数信息;将至少一个立体场景中的每个立体场景作为目标立体场景,基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹;对目标视频场景信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频。本申请的动画立体视频在制作过程中仅需根据制作人员选定出的视频标签快速制作出理想的动画立体视频,大大提高了动画立体视频制作效率和视频质量。
Description
技术领域
本发明实施例涉及立体视频技术领域,尤其涉及一种动画立体视频生成的方法、装置及电子设备。
背景技术
目前,市面上的动画立体视频制作软件,需要制作人员通过手动打点,将点串联起来形成运镜轨迹,然后还需要制作人员手动调整虚拟相机的相机参数,这种制作方式,使得制作效率低下的同时还很考验制作人员的专业水平和审美,很多时候视频效果都不尽人意。
发明内容
鉴于此,本发明实施例提供一种动画立体视频生成的方法、装置及电子设备,能够有效提高动画立体视频制作效率和视频质量。
第一方面,本发明实施例提供一种动画立体视频生成的方法,其中,该方法包括:响应于针对视频标签的选定操作,确定与视频标签对应的至少一个立体场景的视频场景信息,以及与至少一个立体场景中的每个立体场景对应的虚拟相机参数信息;将至少一个立体场景中的每个立体场景作为目标立体场景,针对目标立体场景均执行以下操作:基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹;对目标视频场景信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频。
上述确定与视频标签对应的至少一个立体场景的视频场景信息,以及与至少一个立体场景中的每个立体场景对应的虚拟相机参数信息的步骤,包括:从视频标签中查找至少一个视频场景标签,以及与至少一个视频场景标签中的每个视频场景标签对应的摄像风格标签;从预存视频场景信息库中查找与至少一个视频场景标签中的每个视频场景标签匹配的特定视频场景标签对应的视频场景信息;其中,预存视频场景库中存储有多个不同的视频场景信息,每个视频场景信息配置有对应的特定视频场景标签;从预存虚拟相机参数信息库中查找与摄像风格标签匹配的特定摄像风格标签对应的虚拟相机参数信息;其中,预存虚拟相机参数信息库中存储有多个不同的虚拟相机参数信息,每个虚拟相机参数信息配置有对应的特定摄像风格标签。
上述在基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹之前,该方法还包括:如果目标立体场景中存在模型对象,基于模型对象对应的模型信息和目标视频场景信息确定目标立体场景中的虚拟相机的第二运镜轨迹;对模型信息、目标视频场景信息、第二运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第二动画立体视频;如果目标立体场景中不存在模型对象,执行基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹的步骤。
上述方法还包括:如果从视频标签中查找到至少一个模型标签,从预存模型信息库中查找与至少一个模型标签中的每个模型标签匹配的特定模型标签对应的模型信息;其中,预存模型信息库中存储有多个不同的模型信息,每个模型信息配置有对应的特定视频场景标签;从至少一个模型信息中的每个模型信息中提取出模型坐标信息;从目标视频场景信息中提取出目标立体场景的多个顶点的目标空间坐标信息;基于多个目标空间坐标信息确定目标立体场景所在的空间位置范围;如果至少一个模型坐标信息处于空间位置范围内,目标立体场景中存在模型对象;如果从视频标签中未查找到至少一个模型标签或至少一个模型坐标信息均不处于空间位置范围内,目标立体场景中不存在模型对象。
上述基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹的步骤,包括:基于目标空间坐标信息确定目标立体场景的目标平面坐标信息,以及运镜起始点在目标平面坐标信息的起始点平面坐标信息;按照预设运镜步长和预设运镜方向在目标平面坐标信息中确定多个运镜路线点的点平面坐标信息;基于起始点平面坐标信息和点平面坐标信息计算运镜起始点与各个运镜路线点的第一运镜距离;根据多个第一运镜距离确定目标立体场景中的虚拟相机的第一运镜轨迹。
上述基于模型对象对应的模型信息和目标视频场景信息确定目标立体场景中的虚拟相机的第二运镜轨迹的步骤,包括:基于模型坐标信息确定模型对象在目标平面坐标信息的对象平面坐标信息;基于起始点平面坐标信息和对象平面坐标信息计算运镜起始点与模型对象的第二运镜距离;根据第二运镜距离和多个第一运镜距离确定目标立体场景中的虚拟相机的第二运镜轨迹。
上述对目标视频场景信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频的步骤,包括:从目标视频场景信息中提取出第一灯光信息;对第一灯光信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频。
上述对模型信息、目标视频场景信息、第二运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第二动画立体视频的步骤,包括:从目标视频场景信息中提取出第二灯光信息;从模型信息中提取出模型尺寸信息和模型联动信息;其中,模型联动信息用于表征模型对象的运动信息;基于第二灯光信息、模型尺寸信息和模型坐标信息确定光影信息;对模型联动信息、第二灯光信息、光影信息、第二运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第二动画立体视频。
第二方面,本发明实施例提供一种动画立体视频生成的装置,其中,该装置包括:第一确定模块,用于响应于针对视频标签的选定操作,确定与视频标签对应的至少一个立体场景的视频场景信息,以及与至少一个立体场景中的每个立体场景对应的虚拟相机参数信息;执行模块,用于将至少一个立体场景中的每个立体场景作为目标立体场景,针对目标立体场景均执行以下操作:第二确定模块,用于基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹;渲染模块,用于对目标视频场景信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频。
第三方面,本发明实施例提供一种电子设备,其种,包括:处理器和存储器,处理器用于执行存储器中存储的动画立体视频生成程序,以实现上述的动画立体视频生成的方法。
本发明实施例提供的一种动画立体视频生成的方法、装置及电子设备,其中,响应于针对视频标签的选定操作,确定与视频标签对应的至少一个立体场景的视频场景信息,以及与至少一个立体场景中的每个立体场景对应的虚拟相机参数信息;将至少一个立体场景中的每个立体场景作为目标立体场景,针对目标立体场景均执行以下操作:基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹;对目标视频场景信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频。本申请的动画立体视频在制作过程中无需制作人员进行手动打点确定运镜轨迹,以及手动调整虚拟相机的虚拟相机参数信息,仅需根据制作人员选定出的视频标签快速制作出理想的动画立体视频,大大提高了动画立体视频制作效率和视频质量。
附图说明
图1为本实施例提供的一种动画立体视频生成的方法的流程图;
图2为本实施例提供的另一种动画立体视频生成的方法的流程图;
图3为本实施例提供的一种目标立体场景的平面结构图;
图4为本实施例提供的一种动画立体视频生成的装置的结构示意图;
图5为本实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本发明实施例的理解,下面将结合附图以具体实施例做进一步的解释说明,实施例并不构成对本发明实施例的限定。
本发明实施例提供一种动画立体视频生成的方法,该方法适用于安装有制作动画立体视频应用程序的终端上,参见图1所示的一种动画立体视频生成的方法的流程图,该方法具体包括如下步骤:
S102,响应于针对视频标签的选定操作,确定与视频标签对应的至少一个立体场景的视频场景信息,以及与至少一个立体场景中的每个立体场景对应的虚拟相机参数信息;
在实际使用时,视频标签是用来唯一标识视频场景信息和虚拟相机参数信息的,根据选定的视频标签不同确定出不同空间环境即立体场景下的视频场景信息和虚拟相机参数信息,在制作动画立体视频应用程序的制作界面上进行视频标签的选定操作,上述视频标签可在制作界面以文字形式或其他符号进行显示,在此不进行限定,当制作人员对视频标签执行点击操作或拖动操作时,视为对视频标签的选定操作。
根据制作需求制作人员可以任意选定视频标签,以确定出一个立体场景下的视频场景信息和虚拟相机参数信息或多个不同立体场景下对应的视频场景信息和虚拟相机参数信息,以生成包括一个立体场景或多个不同立体场景的动画立体视频。
上述虚拟相机参数信息包括色彩还原度、纹理还原度、去噪和焦距等信息,不同的虚拟相机参数信息渲染后得到的动画立体视频效果不同。
S104,将至少一个立体场景中的每个立体场景作为目标立体场景,针对目标立体场景均执行S106至S108的操作:
S106,基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹;
该第一运镜轨迹用于表征虚拟相机在目标立体场景中的行进路线,以展示目标立体场景的空间环境,在本实施例中,能够基于目标视频场景信息自动确定出虚拟相机的第一运镜轨迹,而无需制作人员手动打点构建运镜轨迹,因此加快了动画立体视频制作速度。
S108,对目标视频场景信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频。
为了输出制作人员所需的第一动画立体视频课利用渲染软件对上述目标视频场景信息、第一运镜轨迹和目标虚拟相机参数信息进行渲染,上述渲染过程同现有渲染过程,在此不进行赘述。
本发明实施例提供的一种动画立体视频生成的方法,无需制作人员进行手动打点确定运镜轨迹,以及手动调整虚拟相机的虚拟相机参数信息,仅需根据制作人员选定出的视频标签快速制作出理想的动画立体视频,大大提高了动画立体视频制作效率和视频质量。
本实施例提供了另一种动画立体视频生成的方法,该方法在上述实施例的基础上实现;如图2所示的另一种动画立体视频生成的方法的流程图,本实施例中的动画立体视频生成的方法包括如下步骤:
S202,响应于针对视频标签的选定操作,从视频标签中查找至少一个视频场景标签,以及与至少一个视频场景标签中的每个视频场景标签对应的摄像风格标签;
在本实施例中,视频标签包括视频场景标签和摄像风格标签,视频场景标签为视频场景信息的唯一标识信息,可理解为不同的视频场景标签对应不同的视频场景信息,其中,不同的视频场景信息对应不同空间环境的立体场景;同样地,摄像风格标签为虚拟相机参数信息的唯一标识信息,即不同的摄像风格标签对应不同的虚拟相机参数信息。
预先规定在选择视频场景标签后需要立即选择摄像风格标签,即每个视频场景信息对应一虚拟相机参数信息,在制作人员执行选定操作时,可以根据制作需求选取一个或多个视频场景标签和摄像风格标签,其中,选取的多个摄像风格标签可以相同,而选取的多个视频场景标签不能相同,目的是为了避免同一立体场景的重复选定。
S204,从预存视频场景信息库中查找与至少一个视频场景标签中的每个视频场景标签匹配的特定视频场景标签对应的视频场景信息;
其中,预存视频场景库中存储有多个不同的视频场景信息,每个视频场景信息配置有对应的特定视频场景标签;比如,预存视频场景信息库中存储有配置特定视频场景标签a的视频场景信息1,配置特定视频场景标签b的视频场景信息2和配置特定视频场景标签c的视频场景信息3,如果选定的视频场景标签为b,该视频场景标签b与特定视频场景标签b匹配成功,则视频场景信息2为查找到的视频场景信息。
S206,从预存虚拟相机参数信息库中查找与摄像风格标签匹配的特定摄像风格标签对应的虚拟相机参数信息;
其中,预存虚拟相机参数信息库中存储有多个不同的虚拟相机参数信息,每个虚拟相机参数信息配置有对应的特定摄像风格标签;比如,预存虚拟相机参数信息库中存储有配置特定摄像风格标签d的虚拟相机参数信息A,配置特定摄像风格标签e的虚拟相机参数信息B和配置特定摄像风格标签f的虚拟相机参数信息C,如果选定的摄像风格标签为e,该摄像风格标签e与特定摄像风格标签e匹配成功,则虚拟相机参数信息B为查找到的虚拟相机参数信息B。
以动画立体视频为全屋定制立体视频为例说明,在制作界面上显示的视频场景标签为客餐厅标签、厨房标签、卧室标签和卫生间标签,在显示的摄像风格标签为现代标签、复古标签、电影标签和写实标签,当需要制作客餐厅、厨房和卧室三个不同立体场景的动画立体视频时,制作人员可以依次选定:客餐厅标签、现代标签、厨房标签、写实标签、卧室标签、现代标签,以根据选定的标签确定从预存预存视频场景信息库和预存虚拟相机参数信息库中分别查找到客餐厅、厨房、卧室这三个不同立体场景下的视频场景信息和虚拟相机参数信息。
S208,将至少一个立体场景中的每个立体场景作为目标立体场景,针对目标立体场景均执行S210至S212或S214至S216操作:
如果选定多个视频场景标签,则按照视频场景标签的选定先后顺序分别将该标签对应的视频场景信息的立体场景作为目标立体场景,续接前例,由于视频场景标签的选定先后顺序为:客餐厅标签、厨房标签、卧室标签,因此,先将客餐厅作为目标立体场景进行客餐厅立体视频制作后,再将厨房作为目标立体场景进行厨房立体视频制作,最后将卧室作为目标立体场景进行卧室立体视频制作。
S210,如果目标立体场景中不存在模型对象,基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹;
该模型对象是指需要虚拟相机重点拍摄的三维建模模型,目标立体场景中是否存在上述模型对象可通过如下步骤进行判断:
步骤A1,如果从视频标签中查找到至少一个模型标签,从预存模型信息库中查找与至少一个模型标签中的每个模型标签匹配的特定模型标签对应的模型信息;其中,预存模型信息库中存储有多个不同的模型信息,每个模型信息配置有对应的特定视频场景标签;
上述视频标签还包括模型标签,该模型标签是模型对象对应的模型信息的唯一标识信息,能够根据该模型标签从预存模型信息库中查找到对应的模型信息。
续接前例,在制作界面上显示的模型标签为:定制柜标签、成品家具标签、地板标签、天花板标签、墙板标签、门窗标签,通过对模型标签进行点击操作或拖动操作以实现模型标签的选定。
步骤A2,从至少一个模型信息中的每个模型信息中提取出模型坐标信息;
由于模型对象是三维模型,所以提出到的模型对象的模型坐标信息为模型中心点的空间坐标信息。
步骤A3,从目标视频场景信息中提取出目标立体场景的多个顶点的目标空间坐标信息;
同样地,上述目标空间坐标信息为空间坐标信息。
步骤A4,基于多个目标空间坐标信息确定目标立体场景所在的空间位置范围;
上述目标空间坐标信息为目标立体场景中每个顶点的空间坐标信息,基于多个目标空间坐标信息确定目标立体场景所在的空间位置范围。
步骤A5,如果至少一个模型坐标信息处于目标空间坐标信息内,目标立体场景中存在模型对象;
续接前例,选取定制柜标签,则根据定制柜标签从预存模型信息库中查找到定制柜的模型信息后,从定制柜的模型信息中提取到的模型坐标信息为(1,4,3),如果客餐厅的空间位置范围为(0-3,2-4,2-5)、厨房的空间位置范围为(4-6,0-1,2-5)、卧室的空间位置范围为(7-10,5-7,2-5),则定制柜的模型坐标信息处于客餐厅的空间位置范围内,说明客餐厅存在定制柜,厨房和卧室不存在定制柜。
步骤A6,如果从视频标签中未查找到至少一个模型标签或至少一个模型坐标信息均不处于目标空间坐标信息内,目标立体场景中不存在模型对象。
从视频标签中未查找到至少一个模型标签,说明该目标立体场景中不需要重点拍摄模型,因此,确定目标立体场景中不存在模型对象。
上述第一运镜轨迹确定过程可由如下步骤实现:
步骤B1,基于目标空间坐标信息确定目标立体场景的目标平面坐标信息,以及运镜起始点在目标平面坐标信息的起始点平面坐标信息;
具体实现时,可将目标立体场景底部各个顶点对应的目标空间坐标信息中不包括竖轴方向的坐标信息确定为目标立体场景的底部各个顶点的目标平面坐标信息,通过各个顶点的目标平面坐标信息能够确定出目标立体场景底部平面的各个边长及面积。
运镜起始点为预设设置的虚拟相机在目标立体场景中的初始所在位置,如果以客餐厅为目标立体场景的话,则将入户门中心坐标位置作为运镜起始点,具体实现时,运镜起始点所在位置可以根据实际需要进行设置,在此不进行限定。
在确定出运镜起始点的空间中心点坐标信息后,将该空间中心点坐标信息不包括竖轴方向的坐标信息确定为运镜起始点在所述目标平面坐标信息的起始点平面坐标信息,比如,运镜起始点的空间中心点坐标信息为(2,2,1),则运镜起始点的目标平面坐标信息为(2,2)。
步骤B2,按照预设运镜步长和预设运镜方向在目标平面坐标信息中确定多个运镜路线点的点平面坐标信息;
具体实现时,从运镜起始点开始按照预设运镜步长和预设运镜方向确定运镜路线点,为了便于理解,图3示出了一种目标立体场景的平面结构图,图3中以客餐厅为目标立体场景为例进行说明,由于客餐厅的空间位置范围为(0-3,2-4,2-5)则客餐厅的平面范围为(0-3,2-4),运镜起始点p的目标平面坐标信息为(2,2),设定预设运镜步长为1,预设运镜方向为先往正上方移动后再往正左方移动,因此,从运镜起始点p开始先往正上方移动运镜步长1后,得到第一个运镜路线点p1,其点平面坐标信息为(2,3),再从运镜路线点p1开始往正左方移动运镜步长1后,得到第二个运镜路线点p2,其点平面坐标信息为(1,3)。
步骤B3,基于起始点平面坐标信息和点平面坐标信息计算运镜起始点与各个运镜路线点的第一运镜距离;
步骤B4,根据多个第一运镜距离确定目标立体场景中的虚拟相机的第一运镜轨迹。
将虚拟相机按照第一运镜距离由近向远经过各个运镜路线点得到的运动曲线确定为上述第一运镜轨迹。续接前例,通过步骤B3的计算能够得出运镜起始点p到运镜路线点p1的第一运镜距离要近于运镜起始点p到运镜路线点p2的第一运镜距离,因此,虚拟相机从运镜起始点p开始需要先经过运镜路线点p1后再经过运镜路线点p2,以完成目标立体场景的场景运镜。
S212,对目标视频场景信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频;
具体地,从目标视频场景信息中提取出第一灯光信息;对第一灯光信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频。
上述灯光信息包括灯光角度信号和灯光强度信息,在三维模型渲染时灯光信息是必要条件之一,没有灯光信息就无法实现渲染,上述渲染过程同现有渲染过程,在此不进行限定。
S214,如果目标立体场景中存在模型对象,基于模型对象对应的模型信息和目标视频场景信息确定目标立体场景中的虚拟相机的第二运镜轨迹;
第二运镜轨迹的确定过程可有如下步骤实现:
步骤C1,基于模型坐标信息确定模型对象在目标平面坐标信息的对象平面坐标信息;
可将模型坐标信息中不包括竖轴方向的坐标信息确定为模型对象在目标平面坐标信息的对象平面坐标信息。续接前例,定制柜的模型坐标信息为(1,4,3),则定制柜的对象平面坐标信息为(1,4)。
步骤C2,基于起始点平面坐标信息和对象平面坐标信息计算运镜起始点与模型对象的第二运镜距离;
步骤C3,根据第二运镜距离和多个第一运镜距离确定目标立体场景中的虚拟相机的第二运镜轨迹。
将虚拟相机按照第二运镜距离和第一运镜距离由近向远经过各个运镜路线点和模型对象得到的运动曲线确定为上述第二运镜轨迹;其中,多个第一运镜距离的计算过程同步骤B1至步骤B3的过程,在此不进行赘述。
续接前例,通过步骤C2的计算能够得出运镜起始点p到定制柜的第二运镜距离要远于运镜起始点p到p1的第一运镜距离和运镜起始点p到运镜路线点p2的第一运镜距离,因此,虚拟相机从运镜起始点p开始需要先经过运镜路线点p1后再经过运镜路线点p2最后经过定制柜,以完成目标立体场景的场景运镜。
S216,对模型信息、目标视频场景信息、第二运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第二动画立体视频。
具体渲染过程为:从目标视频场景信息中提取出第二灯光信息;从模型信息中提取出模型尺寸信息和模型联动信息;其中,模型联动信息用于表征模型对象的运动信息;基于第二灯光信息、模型尺寸信息和模型坐标信息确定光影信息;对模型联动信息、第二灯光信息、光影信息、第二运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第二动画立体视频。
由于,目标视频场景信息不变,所以第二灯光信息与第一灯光信息相同。上述模型联动信息可通过虚拟相机距离模型对象中心点的距离远近进行触发实现模型运行,比如,当虚拟相机距离定制柜中心点坐标5m处触发联动,虚拟相机推进联动柜门打开,虚拟相机拉远联动柜门关闭。不同模型对象的模型联动信息可以根据实际需要进行设置,在此不进行限定;由于上述渲染过程同现有渲染过程,在此不进行详述。
动画立体视频的视频效果大部分是受三个因素影响,即运镜轨迹、虚拟相机参数信息、模型联动信息,本实施例中将这三个因素对应多个既定参数设计为专业方案,然后按照制作人员的标签选择进行组合叠加。这种方法可以使任意一个无基础制作人员制作出专业级视频效果。
对应于上述方法实施例,本实施例提供了一种动画立体视频生成的装置,参见图4所示的一种动画立体视频生成的装置的结构示意图,该装置包括:
第一确定模块402,用于响应于针对视频标签的选定操作,确定与视频标签对应的至少一个立体场景的视频场景信息,以及与至少一个立体场景中的每个立体场景对应的虚拟相机参数信息;
执行模块404,用于将至少一个立体场景中的每个立体场景作为目标立体场景,针对目标立体场景均执行以下操作:
第二确定模块406,用于基于目标立体场景的目标视频场景信息确定目标立体场景中的虚拟相机的第一运镜轨迹;
渲染模块408,用于对目标视频场景信息、第一运镜轨迹和目标立体场景的目标虚拟相机参数信息进行渲染,生成目标立体场景对应的第一动画立体视频。
本发明实施例提供的一种动画立体视频生成的装置,能够在动画立体视频制作过程中无需制作人员进行手动打点确定运镜轨迹,以及手动调整虚拟相机的虚拟相机参数信息,仅需根据制作人员选定出的视频标签快速制作出理想的动画立体视频,大大提高了动画立体视频制作效率和视频质量。
图5为本发明实施例提供的一种电子设备的结构示意图,图5所示的电子设备500包括:至少一个处理器501、存储器502、至少一个网络接口504和其他用户接口503。电子设备500中的各个组件通过总线系统505耦合在一起。可理解,总线系统505用于实现这些组件之间的连接通信。总线系统505除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统505。
其中,用户接口503可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器502可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器 (Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器 (Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本文描述的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器502存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作系统5021和应用程序 5022。
其中,操作系统5021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序5022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序5022中。
在本发明实施例中,通过调用存储器502存储的程序或指令,具体的,可以是应用程序5022中存储的程序或指令,处理器501用于执行各方法实施例所提供的方法步骤。
上述本发明实施例揭示的方法可以应用于处理器501中,或者由处理器501实现。处理器501可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502,处理器501读取存储器502中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本实施例提供的电子设备可以是如图5中所示的电子设备,可执行如图1-2中动画立体视频生成的方法的所有步骤,进而实现图1-2所示动画立体视频生成的方法的技术效果,具体请参照图1-2相关描述,为简洁描述,在此不作赘述。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种动画立体视频生成的方法,其特征在于,所述方法包括:
响应于针对视频标签的选定操作,确定与所述视频标签对应的至少一个立体场景的视频场景信息,以及与所述至少一个立体场景中的每个立体场景对应的虚拟相机参数信息;
将所述至少一个立体场景中的每个立体场景作为目标立体场景,针对所述目标立体场景均执行以下操作:
基于所述目标立体场景的目标视频场景信息确定所述目标立体场景中的虚拟相机的第一运镜轨迹;
对所述目标视频场景信息、所述第一运镜轨迹和所述目标立体场景的目标虚拟相机参数信息进行渲染,生成所述目标立体场景对应的第一动画立体视频;
确定与所述视频标签对应的至少一个立体场景的视频场景信息,以及与所述至少一个立体场景中的每个立体场景对应的虚拟相机参数信息的步骤,包括:
从所述视频标签中查找至少一个视频场景标签,以及与所述至少一个视频场景标签中的每个视频场景标签对应的摄像风格标签;
从预存视频场景信息库中查找与所述至少一个视频场景标签中的每个视频场景标签匹配的特定视频场景标签对应的视频场景信息;其中,所述预存视频场景库中存储有多个不同的视频场景信息,每个所述视频场景信息配置有对应的特定视频场景标签;
从预存虚拟相机参数信息库中查找与所述摄像风格标签匹配的特定摄像风格标签对应的虚拟相机参数信息;其中,所述预存虚拟相机参数信息库中存储有多个不同的虚拟相机参数信息,每个所述虚拟相机参数信息配置有对应的特定摄像风格标签。
2.根据权利要求1所述的方法,其特征在于,在基于所述目标立体场景的目标视频场景信息确定所述目标立体场景中的虚拟相机的第一运镜轨迹之前,所述方法还包括:
如果所述目标立体场景中存在模型对象,基于所述模型对象对应的模型信息和所述目标视频场景信息确定所述目标立体场景中的虚拟相机的第二运镜轨迹;
对所述模型信息、所述目标视频场景信息、所述第二运镜轨迹和所述目标立体场景的目标虚拟相机参数信息进行渲染,生成所述目标立体场景对应的第二动画立体视频;
如果所述目标立体场景中不存在模型对象,执行基于所述目标立体场景的目标视频场景信息确定所述目标立体场景中的虚拟相机的第一运镜轨迹的步骤。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
如果从所述视频标签中查找到至少一个模型标签,从预存模型信息库中查找与所述至少一个模型标签中的每个模型标签匹配的特定模型标签对应的模型信息;其中,所述预存模型信息库中存储有多个不同的模型信息,每个所述模型信息配置有对应的特定视频场景标签;
从所述至少一个模型信息中的每个模型信息中提取出模型坐标信息;
从所述目标视频场景信息中提取出所述目标立体场景的多个顶点的目标空间坐标信息;
基于多个所述目标空间坐标信息确定所述目标立体场景所在的空间位置范围;
如果至少一个所述模型坐标信息处于所述空间位置范围内,所述目标立体场景中存在模型对象;
如果从所述视频标签中未查找到至少一个模型标签或至少一个所述模型坐标信息均不处于所述空间位置范围内,所述目标立体场景中不存在模型对象。
4.根据权利要求3所述的方法,其特征在于,基于所述目标立体场景的目标视频场景信息确定所述目标立体场景中的虚拟相机的第一运镜轨迹的步骤,包括:
基于所述目标空间坐标信息确定所述目标立体场景的目标平面坐标信息,以及运镜起始点在所述目标平面坐标信息的起始点平面坐标信息;
按照预设运镜步长和预设运镜方向在所述目标平面坐标信息中确定多个运镜路线点的点平面坐标信息;
基于所述起始点平面坐标信息和所述点平面坐标信息计算所述运镜起始点与各个所述运镜路线点的第一运镜距离;
根据多个所述第一运镜距离确定所述目标立体场景中的虚拟相机的第一运镜轨迹。
5.根据权利要求4所述的方法,其特征在于,基于所述模型对象对应的模型信息和所述目标视频场景信息确定所述目标立体场景中的虚拟相机的第二运镜轨迹的步骤,包括:
基于所述模型坐标信息确定所述模型对象在所述目标平面坐标信息的对象平面坐标信息;
基于所述起始点平面坐标信息和所述对象平面坐标信息计算运镜起始点与所述模型对象的第二运镜距离;
根据所述第二运镜距离和多个所述第一运镜距离确定所述目标立体场景中的虚拟相机的第二运镜轨迹。
6.根据权利要求1所述的方法,其特征在于,对所述目标视频场景信息、所述第一运镜轨迹和所述目标立体场景的目标虚拟相机参数信息进行渲染,生成所述目标立体场景对应的第一动画立体视频的步骤,包括:
从所述目标视频场景信息中提取出第一灯光信息;
对所述第一灯光信息、所述第一运镜轨迹和所述目标立体场景的目标虚拟相机参数信息进行渲染,生成所述目标立体场景对应的第一动画立体视频。
7.根据权利要求5所述的方法,其特征在于,对所述模型信息、所述目标视频场景信息、所述第二运镜轨迹和所述目标立体场景的目标虚拟相机参数信息进行渲染,生成所述目标立体场景对应的第二动画立体视频的步骤,包括:
从所述目标视频场景信息中提取出第二灯光信息;
从所述模型信息中提取出模型尺寸信息和模型联动信息;其中,所述模型联动信息用于表征所述模型对象的运动信息;
基于所述第二灯光信息、所述模型尺寸信息和所述模型坐标信息确定光影信息;
对所述模型联动信息、所述第二灯光信息、所述光影信息、所述第二运镜轨迹和所述目标立体场景的目标虚拟相机参数信息进行渲染,生成所述目标立体场景对应的第二动画立体视频。
8.一种动画立体视频生成的装置,其特征在于,所述装置包括:
第一确定模块,用于响应于针对视频标签的选定操作,确定与所述视频标签对应的至少一个立体场景的视频场景信息,以及与所述至少一个立体场景中的每个立体场景对应的虚拟相机参数信息;
执行模块,用于将所述至少一个立体场景中的每个立体场景作为目标立体场景,针对所述目标立体场景均执行以下操作:
第二确定模块,用于基于所述目标立体场景的目标视频场景信息确定所述目标立体场景中的虚拟相机的第一运镜轨迹;
渲染模块,用于对所述目标视频场景信息、所述第一运镜轨迹和所述目标立体场景的目标虚拟相机参数信息进行渲染,生成所述目标立体场景对应的第一动画立体视频;
所述第一确定模块,还用于从所述视频标签中查找至少一个视频场景标签,以及与所述至少一个视频场景标签中的每个视频场景标签对应的摄像风格标签;
从预存视频场景信息库中查找与所述至少一个视频场景标签中的每个视频场景标签匹配的特定视频场景标签对应的视频场景信息;其中,所述预存视频场景库中存储有多个不同的视频场景信息,每个所述视频场景信息配置有对应的特定视频场景标签;
从预存虚拟相机参数信息库中查找与所述摄像风格标签匹配的特定摄像风格标签对应的虚拟相机参数信息;其中,所述预存虚拟相机参数信息库中存储有多个不同的虚拟相机参数信息,每个所述虚拟相机参数信息配置有对应的特定摄像风格标签。
9.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的动画立体视频生成程序,以实现权利要求1~7中任一项所述的动画立体视频生成的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211034767.7A CN115100327B (zh) | 2022-08-26 | 2022-08-26 | 动画立体视频生成的方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211034767.7A CN115100327B (zh) | 2022-08-26 | 2022-08-26 | 动画立体视频生成的方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115100327A CN115100327A (zh) | 2022-09-23 |
CN115100327B true CN115100327B (zh) | 2022-12-02 |
Family
ID=83300357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211034767.7A Active CN115100327B (zh) | 2022-08-26 | 2022-08-26 | 动画立体视频生成的方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115100327B (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9652852B2 (en) * | 2013-09-24 | 2017-05-16 | Faro Technologies, Inc. | Automated generation of a three-dimensional scanner video |
CN109584353B (zh) * | 2018-10-22 | 2023-04-07 | 北京航空航天大学 | 一种基于单目视频重建三维人脸表情模型的方法 |
US10839594B2 (en) * | 2018-12-11 | 2020-11-17 | Canon Kabushiki Kaisha | Method, system and apparatus for capture of image data for free viewpoint video |
CN110033504A (zh) * | 2019-04-24 | 2019-07-19 | 山东青揽电子有限公司 | 一种3d动画制作系统及动画制作方法 |
US11295473B2 (en) * | 2019-12-18 | 2022-04-05 | Intel Corporation | Continuous local 3D reconstruction refinement in video |
CN111640181A (zh) * | 2020-05-14 | 2020-09-08 | 佳都新太科技股份有限公司 | 一种交互式视频投影方法、装置、设备及存储介质 |
CN111737518B (zh) * | 2020-06-16 | 2024-07-02 | 浙江大华技术股份有限公司 | 基于三维场景模型的图像展示方法、装置及电子设备 |
CN113160275B (zh) * | 2021-04-21 | 2022-11-08 | 河南大学 | 一种基于多个视频的自动目标跟踪和轨迹计算的方法 |
CN113660528B (zh) * | 2021-05-24 | 2023-08-25 | 杭州群核信息技术有限公司 | 一种视频合成方法、装置、电子设备和存储介质 |
-
2022
- 2022-08-26 CN CN202211034767.7A patent/CN115100327B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115100327A (zh) | 2022-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7096902B2 (ja) | 画像処理方法、装置、コンピュータプログラム及びコンピュータデバイス | |
US12051160B2 (en) | Tagging virtualized content | |
Jiang et al. | Configurable 3d scene synthesis and 2d image rendering with per-pixel ground truth using stochastic grammars | |
US8515982B1 (en) | Annotations for three-dimensional (3D) object data models | |
JP2016516241A (ja) | 拡張現実体験の様々な環境へのマッピング | |
US20160005209A1 (en) | Method and system for light transport path manipulation | |
US11991470B2 (en) | Simulated photographing special effect generation method and apparatus, device, and medium | |
CN114245099A (zh) | 视频生成方法、装置、电子设备以及存储介质 | |
Arpa et al. | High reliefs from 3D scenes | |
CN110110412A (zh) | 基于bim技术的户型全装修模拟展示方法及展示系统 | |
JP2019185776A (ja) | 室内空間の3次元地図生成方法及び装置 | |
CN115639981A (zh) | 一种基于3dgis的数字档案馆实现方法和系统 | |
CN107527277B (zh) | 一种基于移动端的智能窗帘装饰设计系统 | |
CN114511668A (zh) | 获取三维装修图像的方法、装置、设备及存储介质 | |
US11412194B2 (en) | Method and system for employing depth perception to alter projected images on various surfaces | |
Ren et al. | Data-driven digital lighting design for residential indoor spaces | |
CN115100327B (zh) | 动画立体视频生成的方法、装置及电子设备 | |
CN107845135B (zh) | 一种三维仿真模型及模型库的构建方法及装置 | |
CN114727090B (zh) | 实体空间扫描方法、装置、终端设备及存储介质 | |
CN115374520A (zh) | 基于虚拟场景的公共区域整体风格变换系统和方法 | |
US10521938B1 (en) | System and method for smoothing computer animation curves | |
Zhang et al. | Sceneviewer: Automating residential photography in virtual environments | |
JP2021082276A (ja) | アイテムの配置位置の決定方法、装置およびコンピュータ読み取り可能な記憶媒体 | |
Trivedi et al. | A Survey on Augmented Reality and its Applications in the field of Interior Design | |
EP4202683A1 (en) | Design development, representation and display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |