CN117651125A - 视频生成方法、装置、非易失性存储介质和计算机设备 - Google Patents
视频生成方法、装置、非易失性存储介质和计算机设备 Download PDFInfo
- Publication number
- CN117651125A CN117651125A CN202311658514.1A CN202311658514A CN117651125A CN 117651125 A CN117651125 A CN 117651125A CN 202311658514 A CN202311658514 A CN 202311658514A CN 117651125 A CN117651125 A CN 117651125A
- Authority
- CN
- China
- Prior art keywords
- pixels
- parallax
- frame images
- determining
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 108
- 238000004590 computer program Methods 0.000 claims 3
- 230000008569 process Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 230000001795 light effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种视频生成方法、装置、非易失性存储介质和计算机设备。其中,该方法包括:获取初始视频,其中,所述初始视频包括多张初始帧图像;分别根据所述多张初始帧图像,生成多张视差帧图像,其中,所述多张初始帧图像与所述多张视差帧图像一一对应,所述多张视差帧图像的视角不同;根据所述多张视差帧图像,生成所述初始视频对应的视差视频。本发明解决了由于相关技术中视差视频的生成过程需要进行前期拍摄和后期制作造成的视差视频生成效率较低的技术问题。
Description
技术领域
本发明涉及视频处理技术领域,具体而言,涉及一种视频生成方法、装置、非易失性存储介质和计算机设备。
背景技术
视差视频是、视差视频,是一种利用视差效果来创造立体感和深度感的特殊类型视频。类似于视差图片,视差视频通过在同一场景中捕捉多个角度或使用后期处理技术来创建立体效果。一般来说,生成视差视频需要使用专门的摄影设备,如立体摄像机或者通过使用两个摄像头并将它们合成为一个视频。此外,还需要使用特定的视频处理软件来处理和编辑这些视频,以创建出具有立体效果的最终视差视频。
传统方式下,在创建视差视频时需要投入大量时间和资源进行前期拍摄或后期制作,而且无法即时调整和预览结果。后期制作中,不同设备和操作系统对于专业软件或工具支持程度不同,跨平台使用受限。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视频生成方法、装置、非易失性存储介质和计算机设备,以至少解决由于相关技术中视差视频的生成过程需要进行前期拍摄和后期制作造成的视差视频生成效率较低的技术问题。
根据本发明实施例的一个方面,提供了一种视频生成方法,包括:获取初始视频,其中,所述初始视频包括多张初始帧图像;分别根据所述多张初始帧图像,生成多张视差帧图像,其中,所述多张初始帧图像与所述多张视差帧图像一一对应,所述多张视差帧图像的视角不同;根据所述多张视差帧图像,生成所述初始视频对应的视差视频。
可选地,所述分别根据所述多张初始帧图像,生成多张视差帧图像,包括:分别采用以下步骤根据所述多张初始帧图像中任意一张目标初始帧图像,生成所述目标初始帧图像对应的目标视差帧图像:确定所述目标初始帧图像包括的多个像素各自的颜色值;根据所述多个像素各自的颜色值,确定所述多个像素各自的亮度值;根据所述多个像素各自的亮度值,确定所述多个像素各自表示的物点的法线向量;根据所述多个像素各自表示的物点的法线向量,生成所述目标视差帧图像。
可选地,所述根据所述多个像素各自表示的物点的法线向量,生成所述目标视差帧图像,包括:获取光源位置和观察点位置;确定从所述光源位置指向所述观察点位置的方向向量;将所述多个像素各自表示的物点的法线向量分别与所述方向向量点乘,得到所述多个像素各自的颜色调整系数;根据所述多个像素各自的颜色值和所述多个像素各自的颜色调整系数,生成所述目标视差帧图像。
可选地,所述观察点位置通过如下步骤确定:根据所述多个像素各自的亮度值,确定所述多个像素各自表示的物点相对于拍摄所述目标初始帧图像的焦平面的距离;在所述多个像素中,确定表示的物点位于所述焦平面上的像素为目标像素;基于所述目标像素,确定所述观察点位置。
可选地,所述根据所述多个像素各自的亮度值,确定所述多个像素各自表示的物点的法线向量,包括:根据所述多个像素各自的亮度值,确定所述多个像素各自表示的物点相对于拍摄所述目标初始帧图像的焦平面的距离;建立三维坐标系,其中,所述三维坐标系中的z轴与所述目标初始帧图像所在的平面垂直,所述三维坐标系中的xOy平面为所述目标初始帧图像所在的平面;在所述三维坐标系中,分别确定所述多个像素各自的坐标,其中,所述多个像素各自的z轴坐标为所述多个像素各自表示的物点相对于拍摄所述目标初始帧图像的焦平面的距离;根据所述多个像素各自的坐标,确定所述多个像素各自表示的物点的法线向量。
可选地,所述根据所述多个像素各自的坐标,确定所述多个像素各自表示的物点的法线向量,包括:分别确定所述多个像素各自在第一方向上的第一相邻像素的x坐标,以及在所述第一方向的反方向上的第二相邻像素的x坐标,其中,所述第一方向与所述三维坐标系中的x轴方向平行;根据所述多个像素各自的第一相邻像素的x坐标,以及多个像素各自的第二相邻像素的x坐标,确定所述多个像素各自的法向量的x分量;分别确定所述多个像素各自在第二方向上的第三相邻像素的y坐标,以及在所述第二方向的反方向上的第四相邻像素的y坐标,其中,所述第一方向与所述三维坐标系中的y轴方向平行;根据所述多个像素各自的第三相邻像素的y坐标,以及多个像素各自的第四相邻像素的y坐标,确定所述多个像素各自的法向量的y分量;根据所述多个像素各自的法向量的x分量、所述多个像素各自的法向量的y分量,以及所述多个像素各自的z轴坐标,分别确定所述多个像素各自的法线向量。
可选地,采用Web图形库实现分别调整所述多张初始帧图像中像素的颜色值,得到所述多张视差帧图像。
根据本发明实施例的另一方面,还提供了一种视频生成装置,包括:获取模块,用于获取初始视频,其中,所述初始视频包括多张初始帧图像;第一生成模块,用于分别根据所述多张初始帧图像,生成多张视差帧图像,其中,所述多张初始帧图像与所述多张视差帧图像一一对应,所述多张视差帧图像的视角不同;第二生成模块,用于根据所述多张视差帧图像,生成所述初始视频对应的视差视频。
根据本发明实施例的又一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述中任意一项视频生成方法。
根据本发明实施例的再一方面,还提供了一种计算机设备,计算机设备包括处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项视频生成方法。
在本发明实施例中,通过获取初始视频,其中,初始视频包括多张初始帧图像;分别根据多张初始帧图像,生成多张视差帧图像,其中,多张初始帧图像与多张视差帧图像一一对应,多张视差帧图像的视角不同;根据多张视差帧图像,生成初始视频对应的视差视频,达到了对初始视频进行处理即可得到视差视频的目的,从而实现了提高生成视差视频的效率的技术效果,进而解决了由于相关技术中视差视频的生成过程需要进行前期拍摄和后期制作造成的视差视频生成效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了一种用于实现视频生成方法的计算机终端的硬件结构框图;
图2是根据本发明实施例提供的视频生成方法的流程示意图;
图3是根据本发明可选实施例提供的实施效果的示意图;
图4是根据本发明实施例提供的视频生成装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种视频生成的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现视频生成方法的计算机终端的硬件结构框图。如图1所示,计算机终端10可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的视频生成方法对应的程序指令/数据存储装置,处理器通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的视频生成方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10的用户界面进行交互。
图2是根据本发明实施例提供的视差视频方法的流程示意图,如图2所示,该方法包括如下步骤:
步骤S202,获取初始视频,其中,初始视频包括多张初始帧图像。
视频可以被视为由一系列图像组成的连续流,每个图像代表了视频中的一个特定时刻。因此,视频可以被分解为一组图像,并且图像可以被组合成视频。视频和图像都是由像素组成的,但视频是由时间轴连接起来的一系列图像,而图像是静止的单个帧。因此,视频可以被认为是动态的图像。
本步骤中,初始视频可以是生成视差视频的基础,初始视频中包括多张初始帧图像,本发明提供的方法可以基于普通的视频包括的多张初始帧图像生成对应的视差视频。
步骤S204,分别根据多张初始帧图像,生成多张视差帧图像,其中,多张初始帧图像与多张视差帧图像一一对应,多张视差帧图像的视角不同。
本步骤中,可以采用图像处理技术,生成多张初始帧图像对应的视差帧图像,具体地,可以改变初始帧图像的颜色,使得生成的视差帧图像看起来具有透视或三维效果。
步骤S206,根据多张视差帧图像,生成初始视频对应的视差视频。
本步骤中,可以将多张视差帧图像组合,生成初始视频对应的视差视频。
通过上述步骤,可以达到对初始视频进行处理即可得到视差视频的目的,从而实现了提高生成视差视频的效率的技术效果,进而解决了由于相关技术中视差视频的生成过程需要进行前期拍摄和后期制作造成的视差视频生成效率较低的技术问题。
作为一种可选的实施例,分别根据多张初始帧图像,生成多张视差帧图像,包括:分别采用以下步骤根据多张初始帧图像中任意一张目标初始帧图像,生成目标初始帧图像对应的目标视差帧图像:确定目标初始帧图像包括的多个像素各自的颜色值;根据多个像素各自的颜色值,确定多个像素各自的亮度值;根据多个像素各自的亮度值,确定多个像素各自表示的物点的法线向量;根据多个像素各自表示的物点的法线向量,生成目标视差帧图像。
可选地,对多张初始帧图像中任意一张图像都可以采用如下方式生成对应的视差帧图像:可以先通过目标初始帧图像中多个像素各自的颜色值,来确定多个像素各自的亮度值,然后根据多个像素各自的亮度值确定多个像素各自表示的物点的法线向量。在图像处理的过程中,可以为目标初始帧图像生成各自光影效果,来展现立体感和深度感。具体的,可以采用WebGL技术来实现,WebGL是一种用于在Web浏览器中进行高性能图形渲染的技术,它可以简化光影效果的实现,提供开发人员更直观、高效的工具和技术,从而减少复杂性和时间成本,并且利用WebGL的并行计算能力,可以显著提高生成视差图像和视频的性能,使其能够在大规模场景中运行而不降低帧率。
作为一种可选的实施例,根据多个像素各自表示的物点的法线向量,生成目标视差帧图像,包括:获取光源位置和观察点位置;确定从光源位置指向观察点位置的方向向量;将多个像素各自表示的物点的法线向量分别与方向向量点乘,得到多个像素各自的颜色调整系数;根据多个像素各自的颜色值和多个像素各自的颜色调整系数,生成目标视差帧图像。
可选地,为了能够使用户自由选定想要产生的光影效果,可以让用户自定义光源位置和观察点位置,进而根据用户自定义的光源位置生成光照效果,然后从用户设定的观察点位置观察该光照效果,生成对应的视差帧图像。由于在光的反射与光源所在位置以及物点所在平面的法向量相关,所以可以确定从光源位置指向观察点位置的方向向量为光线向量,将多个像素各自表示的物点的法线向量分别与方向向量点乘,得到多个像素各自的光照效果,也即多个像素各自的颜色调整系数,然后根据多个像素各自的颜色值和多个像素各自的颜色调整系数,调整多个像素各自的颜色,即可生成目标视差帧图像。图3是根据本发明可选实施例提供的实施效果的示意图,如图3所示,可以根据目标初始帧图像生成对应的法线向量图像,然后定义不同的光源位置和观察点位置,生成不同光影效果的目标视差帧图像。
作为一种可选的实施例,观察点位置通过如下步骤确定:根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;在多个像素中,确定表示的物点位于焦平面上的像素为目标像素;基于目标像素,确定观察点位置。
可选地,由于本发明中生成目标视差帧图像是为了生成一个完整的视差视频,观察点应该和初始视频的观察点位于同一个焦平面上,所以可以根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离,也即确定多个像素各自表示的物点各自的深度值,深度值越大,说明该物点在拍摄时离焦平面越远,响应地,图像中该物点对应的像素点的亮度会越低。进而可以在多个像素中,确定表示的物点位于焦平面上的像素为目标像素,并在目标像素中选择观察点的位置。
作为一种可选的实施例,根据多个像素各自的亮度值,确定多个像素各自表示的物点的法线向量,包括:根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;建立三维坐标系,其中,三维坐标系中的z轴与目标初始帧图像所在的平面垂直,三维坐标系中的xOy平面为目标初始帧图像所在的平面;在三维坐标系中,分别确定多个像素各自的坐标,其中,多个像素各自的z轴坐标为多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;根据多个像素各自的坐标,确定多个像素各自表示的物点的法线向量。
可选地,在确定法线向量时,可以基于目标初始帧图像简单建立一个三维坐标系,确定每个像素在三维坐标系中的坐标,然后根据每个像素周围的坐标以及自身的坐标,即可确定该像素对应的法线向量。其中,三维坐标系的z轴可以表示每个像素的深度值,也即像素表示的物点相对于拍摄目标初始帧图像的焦平面的距离。知道像素各自的坐标后,可以采用数学方法,确定多个像素各自表示的物点的法线向量。
作为一种可选的实施例,根据多个像素各自的坐标,确定多个像素各自表示的物点的法线向量,包括:分别确定多个像素各自在第一方向上的第一相邻像素的x坐标,以及在第一方向的反方向上的第二相邻像素的x坐标,其中,第一方向与三维坐标系中的x轴方向平行;根据多个像素各自的第一相邻像素的x坐标,以及多个像素各自的第二相邻像素的x坐标,确定多个像素各自的法向量的x分量;分别确定多个像素各自在第二方向上的第三相邻像素的y坐标,以及在第二方向的反方向上的第四相邻像素的y坐标,其中,第一方向与三维坐标系中的y轴方向平行;根据多个像素各自的第三相邻像素的y坐标,以及多个像素各自的第四相邻像素的y坐标,确定多个像素各自的法向量的y分量;根据多个像素各自的法向量的x分量、多个像素各自的法向量的y分量,以及多个像素各自的z轴坐标,分别确定多个像素各自的法线向量。
可选地,在生成法线向量时,可以分别确定位于每个像素的上、下、左、右方向上的四个像素,然后根据这四个像素之间的坐标以及中心像素本身的坐标,确定中心像素对应物点所在平面的法向量。具体地,假设上下方向与x轴方向平行,此时可以采用上方像素的x坐标与下方像素的x坐标之间的差作为法向量的x分量,需要说明的是,法向量的x分量是有方向性的;类似地,可以根据左右方向像素的y坐标确定法向量的y分量;可以将中心像素的z轴坐标确定为法向量的z分量,进而得到中心像素的法线向量。
作为一种可选的实施例,采用Web图形库实现分别调整多张初始帧图像中像素的颜色值,得到多张视差帧图像。
可选地,Web图形库(Web Graphics Library,简称WebGL)是一种用于在网页上进行图形渲染的JavaScript(一种脚本语言)应用程序接口,提供了一套强大的工具和函数,使开发者能够在网页中使用硬件加速的图形渲染功能。通过WebGL,开发者可以直接访问计算机或移动设备的GPU,以高性能地渲染各种视觉效果。本发明提供的方法可以采用Web图形库来实现。
作为一种具体的实施例,可以通过以下步骤,采用Web图形库实现将目标初始帧图像处理为目标视差帧图像:
S1、将目标初始帧图像导入Web图形库。
S2、定义函数texsample,用于从目标初始帧图像中采样多个像素各自的颜色。
S3、定义函数luminance,用于计算输入颜色向量的亮度。具体可以使用三个权重系数分别对颜色向量中的三个RGB分量进行加权求和,得到像素的亮度值。
S4、定义函数normal,用于计算法线向量。具体地,首先通过调用luminance(texsample(...))函数来获取四个方向上(左、右、下、上)相邻像素点处纹理颜色并计算其亮度。然后使用这些亮度值之间的差异来构建z分量。根据像素各自的位置关系构建法向量的x分量和y分量。
S5、定义了一个主函数main,用于生成最终的像素颜色。具体地,首先调用normal(fragCoord)函数获取像素各自的法线向量。定义了一个光源位置lp和观察点位置sp。其中光源位置固定在鼠标停留处,而观察点定义在任意一个与焦平面距离为0的像素点上。通过采样当前像素的颜色,并将其乘以法线向量与从光源指向观察点的单位方向之间的点积,得到最终颜色结果。如果点积大于预定阈值,直接使用法线向量作为该像素的颜色值。最后将结果输出,并设置透明度为不透明。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的视差视频方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例,还提供了一种用于实施上述视差视频方法的视差视频装置,图4是根据本发明实施例提供的视差视频装置的结构框图,如图4所示,该视差视频装置包括:获取模块42、第一生成模块44和第二生成模块46,下面对该视差视频装置进行说明。
获取模块42,用于获取初始视频,其中,初始视频包括多张初始帧图像。
第一生成模块44,与获取模块42连接,用于分别根据多张初始帧图像,生成多张视差帧图像,其中,多张初始帧图像与多张视差帧图像一一对应,多张视差帧图像的视角不同。
第二生成模块46,与第一生成模块44连接,用于根据多张视差帧图像,生成初始视频对应的视差视频。
可选地,分别根据多张初始帧图像,生成多张视差帧图像,包括:分别采用以下步骤根据多张初始帧图像中任意一张目标初始帧图像,生成目标初始帧图像对应的目标视差帧图像:确定目标初始帧图像包括的多个像素各自的颜色值;根据多个像素各自的颜色值,确定多个像素各自的亮度值;根据多个像素各自的亮度值,确定多个像素各自表示的物点的法线向量;根据多个像素各自表示的物点的法线向量,生成目标视差帧图像。
可选地,根据多个像素各自表示的物点的法线向量,生成目标视差帧图像,包括:获取光源位置和观察点位置;确定从光源位置指向观察点位置的方向向量;将多个像素各自表示的物点的法线向量分别与方向向量点乘,得到多个像素各自的颜色调整系数;根据多个像素各自的颜色值和多个像素各自的颜色调整系数,生成目标视差帧图像。
可选地,观察点位置通过如下步骤确定:根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;在多个像素中,确定表示的物点位于焦平面上的像素为目标像素;基于目标像素,确定观察点位置。
可选地,根据多个像素各自的亮度值,确定多个像素各自表示的物点的法线向量,包括:根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;建立三维坐标系,其中,三维坐标系中的z轴与目标初始帧图像所在的平面垂直,三维坐标系中的xOy平面为目标初始帧图像所在的平面;在三维坐标系中,分别确定多个像素各自的坐标,其中,多个像素各自的z轴坐标为多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;根据多个像素各自的坐标,确定多个像素各自表示的物点的法线向量。
可选地,根据多个像素各自的坐标,确定多个像素各自表示的物点的法线向量,包括:分别确定多个像素各自在第一方向上的第一相邻像素的x坐标,以及在第一方向的反方向上的第二相邻像素的x坐标,其中,第一方向与三维坐标系中的x轴方向平行;根据多个像素各自的第一相邻像素的x坐标,以及多个像素各自的第二相邻像素的x坐标,确定多个像素各自的法向量的x分量;分别确定多个像素各自在第二方向上的第三相邻像素的y坐标,以及在第二方向的反方向上的第四相邻像素的y坐标,其中,第一方向与三维坐标系中的y轴方向平行;根据多个像素各自的第三相邻像素的y坐标,以及多个像素各自的第四相邻像素的y坐标,确定多个像素各自的法向量的y分量;根据多个像素各自的法向量的x分量、多个像素各自的法向量的y分量,以及多个像素各自的z轴坐标,分别确定多个像素各自的法线向量。
此处需要说明的是,上述获取模块42、第一生成模块44和第二生成模块46对应于实施例中的步骤S202至步骤S206,多个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例提供的计算机终端10中。
本发明的实施例可以提供一种计算机设备,可选地,在本实施例中,上述计算机设备可以位于计算机网络的多个网络设备中的至少一个网络设备。该计算机设备包括存储器和处理器。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的视差视频方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的视差视频方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取初始视频,其中,初始视频包括多张初始帧图像;分别根据多张初始帧图像,生成多张视差帧图像,其中,多张初始帧图像与多张视差帧图像一一对应,多张视差帧图像的视角不同;根据多张视差帧图像,生成初始视频对应的视差视频。
可选地,上述处理器还可以执行如下步骤的程序代码:分别根据多张初始帧图像,生成多张视差帧图像,包括:分别采用以下步骤根据多张初始帧图像中任意一张目标初始帧图像,生成目标初始帧图像对应的目标视差帧图像:确定目标初始帧图像包括的多个像素各自的颜色值;根据多个像素各自的颜色值,确定多个像素各自的亮度值;根据多个像素各自的亮度值,确定多个像素各自表示的物点的法线向量;根据多个像素各自表示的物点的法线向量,生成目标视差帧图像。
可选地,上述处理器还可以执行如下步骤的程序代码:根据多个像素各自表示的物点的法线向量,生成目标视差帧图像,包括:获取光源位置和观察点位置;确定从光源位置指向观察点位置的方向向量;将多个像素各自表示的物点的法线向量分别与方向向量点乘,得到多个像素各自的颜色调整系数;根据多个像素各自的颜色值和多个像素各自的颜色调整系数,生成目标视差帧图像。
可选地,上述处理器还可以执行如下步骤的程序代码:观察点位置通过如下步骤确定:根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;在多个像素中,确定表示的物点位于焦平面上的像素为目标像素;基于目标像素,确定观察点位置。
可选地,上述处理器还可以执行如下步骤的程序代码:根据多个像素各自的亮度值,确定多个像素各自表示的物点的法线向量,包括:根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;建立三维坐标系,其中,三维坐标系中的z轴与目标初始帧图像所在的平面垂直,三维坐标系中的xOy平面为目标初始帧图像所在的平面;在三维坐标系中,分别确定多个像素各自的坐标,其中,多个像素各自的z轴坐标为多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;根据多个像素各自的坐标,确定多个像素各自表示的物点的法线向量。
可选地,上述处理器还可以执行如下步骤的程序代码:根据多个像素各自的坐标,确定多个像素各自表示的物点的法线向量,包括:分别确定多个像素各自在第一方向上的第一相邻像素的x坐标,以及在第一方向的反方向上的第二相邻像素的x坐标,其中,第一方向与三维坐标系中的x轴方向平行;根据多个像素各自的第一相邻像素的x坐标,以及多个像素各自的第二相邻像素的x坐标,确定多个像素各自的法向量的x分量;分别确定多个像素各自在第二方向上的第三相邻像素的y坐标,以及在第二方向的反方向上的第四相邻像素的y坐标,其中,第一方向与三维坐标系中的y轴方向平行;根据多个像素各自的第三相邻像素的y坐标,以及多个像素各自的第四相邻像素的y坐标,确定多个像素各自的法向量的y分量;根据多个像素各自的法向量的x分量、多个像素各自的法向量的y分量,以及多个像素各自的z轴坐标,分别确定多个像素各自的法线向量。
可选地,采用Web图形库实现分别调整多张初始帧图像中像素的颜色值,得到多张视差帧图像。
采用本发明实施例,提供了一种视频生成的方案。通过获取初始视频,其中,初始视频包括多张初始帧图像;分别根据多张初始帧图像,生成多张视差帧图像,其中,多张初始帧图像与多张视差帧图像一一对应,多张视差帧图像的视角不同;根据多张视差帧图像,生成初始视频对应的视差视频,达到了对初始视频进行处理即可得到视差视频的目的,从而实现了提高生成视差视频的效率的技术效果,进而解决了由于相关技术中视差视频的生成过程需要进行前期拍摄和后期制作造成的视差视频生成效率较低的技术问题。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一非易失性存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
本发明的实施例还提供了一种非易失性存储介质。可选地,在本实施例中,上述非易失性存储介质可以用于保存上述实施例所提供的视频生成方法所执行的程序代码。
可选地,在本实施例中,上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:获取初始视频,其中,初始视频包括多张初始帧图像;分别根据多张初始帧图像,生成多张视差帧图像,其中,多张初始帧图像与多张视差帧图像一一对应,多张视差帧图像的视角不同;根据多张视差帧图像,生成初始视频对应的视差视频。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:分别根据多张初始帧图像,生成多张视差帧图像,包括:分别采用以下步骤根据多张初始帧图像中任意一张目标初始帧图像,生成目标初始帧图像对应的目标视差帧图像:确定目标初始帧图像包括的多个像素各自的颜色值;根据多个像素各自的颜色值,确定多个像素各自的亮度值;根据多个像素各自的亮度值,确定多个像素各自表示的物点的法线向量;根据多个像素各自表示的物点的法线向量,生成目标视差帧图像。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:根据多个像素各自表示的物点的法线向量,生成目标视差帧图像,包括:获取光源位置和观察点位置;确定从光源位置指向观察点位置的方向向量;将多个像素各自表示的物点的法线向量分别与方向向量点乘,得到多个像素各自的颜色调整系数;根据多个像素各自的颜色值和多个像素各自的颜色调整系数,生成目标视差帧图像。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:观察点位置通过如下步骤确定:根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;在多个像素中,确定表示的物点位于焦平面上的像素为目标像素;基于目标像素,确定观察点位置。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:根据多个像素各自的亮度值,确定多个像素各自表示的物点的法线向量,包括:根据多个像素各自的亮度值,确定多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;建立三维坐标系,其中,三维坐标系中的z轴与目标初始帧图像所在的平面垂直,三维坐标系中的xOy平面为目标初始帧图像所在的平面;在三维坐标系中,分别确定多个像素各自的坐标,其中,多个像素各自的z轴坐标为多个像素各自表示的物点相对于拍摄目标初始帧图像的焦平面的距离;根据多个像素各自的坐标,确定多个像素各自表示的物点的法线向量。
可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:根据多个像素各自的坐标,确定多个像素各自表示的物点的法线向量,包括:分别确定多个像素各自在第一方向上的第一相邻像素的x坐标,以及在第一方向的反方向上的第二相邻像素的x坐标,其中,第一方向与三维坐标系中的x轴方向平行;根据多个像素各自的第一相邻像素的x坐标,以及多个像素各自的第二相邻像素的x坐标,确定多个像素各自的法向量的x分量;分别确定多个像素各自在第二方向上的第三相邻像素的y坐标,以及在第二方向的反方向上的第四相邻像素的y坐标,其中,第一方向与三维坐标系中的y轴方向平行;根据多个像素各自的第三相邻像素的y坐标,以及多个像素各自的第四相邻像素的y坐标,确定多个像素各自的法向量的y分量;根据多个像素各自的法向量的x分量、多个像素各自的法向量的y分量,以及多个像素各自的z轴坐标,分别确定多个像素各自的法线向量。
可选地,采用Web图形库实现分别调整多张初始帧图像中像素的颜色值,得到多张视差帧图像。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非易失性取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种视频生成方法,其特征在于,包括:
获取初始视频,其中,所述初始视频包括多张初始帧图像;
分别根据所述多张初始帧图像,生成多张视差帧图像,其中,所述多张初始帧图像与所述多张视差帧图像一一对应,所述多张视差帧图像的视角不同;
根据所述多张视差帧图像,生成所述初始视频对应的视差视频。
2.根据权利要求1所述的方法,其特征在于,所述分别根据所述多张初始帧图像,生成多张视差帧图像,包括:
分别采用以下步骤根据所述多张初始帧图像中任意一张目标初始帧图像,生成所述目标初始帧图像对应的目标视差帧图像:
确定所述目标初始帧图像包括的多个像素各自的颜色值;
根据所述多个像素各自的颜色值,确定所述多个像素各自的亮度值;
根据所述多个像素各自的亮度值,确定所述多个像素各自表示的物点的法线向量;
根据所述多个像素各自表示的物点的法线向量,生成所述目标视差帧图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述多个像素各自表示的物点的法线向量,生成所述目标视差帧图像,包括:
获取光源位置和观察点位置;
确定从所述光源位置指向所述观察点位置的方向向量;
将所述多个像素各自表示的物点的法线向量分别与所述方向向量点乘,得到所述多个像素各自的颜色调整系数;
根据所述多个像素各自的颜色值和所述多个像素各自的颜色调整系数,生成所述目标视差帧图像。
4.根据权利要求3所述的方法,其特征在于,所述观察点位置通过如下步骤确定:
根据所述多个像素各自的亮度值,确定所述多个像素各自表示的物点相对于拍摄所述目标初始帧图像的焦平面的距离;
在所述多个像素中,确定表示的物点位于所述焦平面上的像素为目标像素;
基于所述目标像素,确定所述观察点位置。
5.根据权利要求2所述的方法,其特征在于,所述根据所述多个像素各自的亮度值,确定所述多个像素各自表示的物点的法线向量,包括:
根据所述多个像素各自的亮度值,确定所述多个像素各自表示的物点相对于拍摄所述目标初始帧图像的焦平面的距离;
建立三维坐标系,其中,所述三维坐标系中的z轴与所述目标初始帧图像所在的平面垂直,所述三维坐标系中的xOy平面为所述目标初始帧图像所在的平面;
在所述三维坐标系中,分别确定所述多个像素各自的坐标,其中,所述多个像素各自的z轴坐标为所述多个像素各自表示的物点相对于拍摄所述目标初始帧图像的焦平面的距离;
根据所述多个像素各自的坐标,确定所述多个像素各自表示的物点的法线向量。
6.根据权利要求5所述的方法,其特征在于,所述根据所述多个像素各自的坐标,确定所述多个像素各自表示的物点的法线向量,包括:
分别确定所述多个像素各自在第一方向上的第一相邻像素的x坐标,以及在所述第一方向的反方向上的第二相邻像素的x坐标,其中,所述第一方向与所述三维坐标系中的x轴方向平行;
根据所述多个像素各自的第一相邻像素的x坐标,以及多个像素各自的第二相邻像素的x坐标,确定所述多个像素各自的法向量的x分量;
分别确定所述多个像素各自在第二方向上的第三相邻像素的y坐标,以及在所述第二方向的反方向上的第四相邻像素的y坐标,其中,所述第一方向与所述三维坐标系中的y轴方向平行;
根据所述多个像素各自的第三相邻像素的y坐标,以及多个像素各自的第四相邻像素的y坐标,确定所述多个像素各自的法向量的y分量;
根据所述多个像素各自的法向量的x分量、所述多个像素各自的法向量的y分量,以及所述多个像素各自的z轴坐标,分别确定所述多个像素各自的法线向量。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,采用Web图形库实现分别调整所述多张初始帧图像中像素的颜色值,得到所述多张视差帧图像。
8.一种视频生成装置,其特征在于,包括:
获取模块,用于获取初始视频,其中,所述初始视频包括多张初始帧图像;
第一生成模块,用于分别根据所述多张初始帧图像,生成多张视差帧图像,其中,所述多张初始帧图像与所述多张视差帧图像一一对应,所述多张视差帧图像的视角不同;
第二生成模块,用于根据所述多张视差帧图像,生成所述初始视频对应的视差视频。
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述视频生成方法。
10.一种计算机设备,其特征在于,包括:存储器和处理器,
所述存储器存储有计算机程序;
所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时使得所述处理器执行权利要求1至7中任意一项所述视频生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311658514.1A CN117651125A (zh) | 2023-12-05 | 2023-12-05 | 视频生成方法、装置、非易失性存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311658514.1A CN117651125A (zh) | 2023-12-05 | 2023-12-05 | 视频生成方法、装置、非易失性存储介质和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117651125A true CN117651125A (zh) | 2024-03-05 |
Family
ID=90043014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311658514.1A Pending CN117651125A (zh) | 2023-12-05 | 2023-12-05 | 视频生成方法、装置、非易失性存储介质和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117651125A (zh) |
-
2023
- 2023-12-05 CN CN202311658514.1A patent/CN117651125A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11756223B2 (en) | Depth-aware photo editing | |
US20110205226A1 (en) | Generation of occlusion data for image properties | |
CN113256781B (zh) | 虚拟场景的渲染和装置、存储介质及电子设备 | |
US11044398B2 (en) | Panoramic light field capture, processing, and display | |
CN109840946A (zh) | 虚拟对象显示方法及装置 | |
US10650488B2 (en) | Apparatus, method, and computer program code for producing composite image | |
CN116982086A (zh) | 先进立体渲染 | |
CN106227327A (zh) | 一种显示转换方法、装置及终端设备 | |
US20240037701A1 (en) | Image processing and rendering | |
CN117651125A (zh) | 视频生成方法、装置、非易失性存储介质和计算机设备 | |
CN110097527A (zh) | 视频拼接融合方法、装置、终端及存储介质 | |
CN106249857A (zh) | 一种显示转换方法、装置及终端设备 | |
CN114693894A (zh) | 一种虚拟世界中图片转换为积木块的方法、系统及装置 | |
KR20230022153A (ko) | 소프트 레이어링 및 깊이 인식 복원을 사용한 단일 이미지 3d 사진 | |
CN113298868B (zh) | 模型建立方法、装置、电子设备、介质及程序产品 | |
CN117911228A (zh) | 图像生成方法、装置、非易失性存储介质和计算机设备 | |
CN112835453B (zh) | 模拟人眼聚焦时界面效果的方法、设备和存储介质 | |
CN109800652A (zh) | 文字翻译方法及装置 | |
CN117197319B (zh) | 图像生成方法、装置、电子设备及存储介质 | |
US11677923B1 (en) | Method for image processing of image data for high-resolution images on a two-dimensional display wall | |
CN118052910A (zh) | 动画生成方法、装置、非易失性存储介质和计算机设备 | |
CN118279429A (zh) | 图像生成方法、装置、非易失性存储介质和计算机设备 | |
CN117611719A (zh) | 图像生成方法、装置、非易失性存储介质和计算机设备 | |
CN118052900A (zh) | 图像生成方法、装置、非易失性存储介质和计算机设备 | |
CN117953118A (zh) | 图像生成方法、装置、非易失性存储介质和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |