CN117729297A - 图像处理方法及装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法及装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117729297A CN117729297A CN202310317249.4A CN202310317249A CN117729297A CN 117729297 A CN117729297 A CN 117729297A CN 202310317249 A CN202310317249 A CN 202310317249A CN 117729297 A CN117729297 A CN 117729297A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- frame
- video frame
- target frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 230000007704 transition Effects 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 84
- 230000009467 reduction Effects 0.000 claims description 71
- 230000004927 fusion Effects 0.000 claims description 34
- 230000002596 correlated effect Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了一种图像处理方法及装置、电子设备及计算机可读存储介质。该方法包括:获取第一视频中的第一视频帧和第二视频中的第二视频帧;对所述第一视频帧进行缩小得到第一目标帧,所述第一目标帧包括相互平行的第一边和第二边,所述第一边的长度大于所述第二边的长度;对所述第二视频帧进行缩小得到第二目标帧;在所述第一边与目标显示区域的第五边共线,且所述第三边与所述目标显示区域的第六边共线,且所述第一目标帧和所述第二目标帧均位于所述目标显示区域内的情况下,基于所述目标显示区域得到第一视频和所述第二视频的转场视频中的第三目标帧,所述目标显示区域为所述转场视频的显示区域,所述第五边与所述第六边平行。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、电子设备及计算机可读存储介质。
背景技术
随着智能多媒体的发展,大家对视频的后期处理需求越来越强烈,其中包括将两段不同的视频剪辑到一段视频中。为提升不同视频的过渡效果,在将两段不同的视频剪辑到一段视频时通常需要为不同的视频生成转场视频,因此,如何生成转场视频具有非常重要的意义。
发明内容
本申请提供一种图像处理方法及装置、电子设备及计算机可读存储介质。
第一方面,提供了一种图像处理方法,所述方法包括:
获取第一视频中的第一视频帧和第二视频中的第二视频帧;
对所述第一视频帧进行缩小得到第一目标帧,所述第一目标帧包括相互平行的第一边和第二边,所述第一边的长度大于所述第二边的长度;
对所述第二视频帧进行缩小得到第二目标帧,所述第二目标帧包括相互平行的第三边和第四边,所述第三边的长度大于所述第四边的长度;
在所述第一边与目标显示区域的第五边共线,且所述第三边与所述目标显示区域的第六边共线,且所述第一目标帧和所述第二目标帧均位于所述目标显示区域内的情况下,基于所述目标显示区域得到第一视频和所述第二视频的转场视频中的第三目标帧,所述目标显示区域为所述转场视频的显示区域,所述第五边与所述第六边平行。
结合本申请任一实施方式,所述第一边与所述第一视频帧的目标轴垂直,所述目标轴为所述第一视频帧的像素坐标系的横轴或纵轴;
所述对所述第一视频帧进行缩小得到第一视频帧,包括:
确定所述第一视频帧中的目标像素与所述第一边在所述目标轴的方向上的距离;
根据所述距离确定所述目标像素的缩小系数,所述缩小系数与所述距离呈正相关;
根据所述缩小系数对所述第一视频帧进行缩小,得到所述第一目标帧。
结合本申请任一实施方式,在所述根据所述距离确定所述目标像素的缩小系数,所述缩小系数与所述距离呈正相关之前,所述方法还包括:
获取目标时间戳,所述目标时间戳为在根据所述第一视频帧和所述第二视频帧确定所述第一视频和所述第二视频的转场视频中的一帧的情况下,根据所述第一视频帧和所述第二视频帧生成的视频帧在所述转场视频中的时间戳;
所述根据所述距离确定所述目标像素的缩小系数,包括:
根据所述距离和所述目标时间戳确定所述目标像素的缩小系数,所述缩小系数与所述目标时间戳呈正相关。
结合本申请任一实施方式,所述根据所述缩小系数对所述第一视频帧进行缩小,得到所述第一目标帧,包括:
获取所述第一视频帧的锚点,所述第一视频帧的锚点位于所述第一边;
根据所述第一视频帧的锚点和所述缩小系数,对所述第一视频帧进行缩小,得到所述第一目标帧。
结合本申请任一实施方式,所述对所述第二视频帧进行缩小得到第二目标帧,包括:
对所述第二视频帧进行镜像得到第四目标帧;
对所述第四目标帧进行缩小得到所述第二目标帧。
结合本申请任一实施方式,所述基于所述目标显示区域得到第一视频和所述第二视频的转场视频中的第三目标帧,包括:
获取目标时间戳,所述目标时间戳为在根据所述第一视频帧和所述第二视频帧确定所述第一视频和所述第二视频的转场视频中的一帧的情况下,根据所述第一视频帧和所述第二视频帧生成的视频帧在所述转场视频中的时间戳;
在所述目标时间戳小于或等于参考时间戳的情况下,确定所述第一目标帧与所述第二目标帧的第一重合区域内显示所述第一目标帧的图像内容;
在所述目标时间戳大于所述参考时间戳的情况下,确定所述第一重合区域内显示所述第二目标帧的图像内容;
基于所述目标区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述基于所述目标区域内的图像得到所述第三目标帧,包括:
在所述目标区域内生成所述第一目标帧的第一倒影;
基于所述目标区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述基于所述目标区域内的图像得到所述第三目标帧,包括:
获取背景图像和所述第一倒影中的像素的融合权重,所述融合权重与所述倒影图像中的像素到所述第一目标帧的最小距离呈负相关;
根据所述融合权重,对所述目标区域内的所述第一倒影与所述背景图像进行融合,得到候选区域;
基于所述候选区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述基于所述候选区域内的图像得到所述第三目标帧,包括:
在所述候选区域内生成所述第二目标帧的第二倒影;
在所述目标时间戳小于或等于所述参考时间戳的情况下,确定所述第一倒影与所述第二倒影的第二重合区域内显示所述第一倒影的图像内容;
在所述目标时间戳大于所述参考时间戳的情况下,确定所述第二重合区域内显示所述第二倒影的图像内容;
将所述候选区域内的图像作为所述第三目标帧。
第二方面,提供了一种图像处理装置,所述装置包括:
获取单元,用于获取第一视频中的第一视频帧和第二视频中的第二视频帧;
缩小单元,用于对所述第一视频帧进行缩小得到第一目标帧,所述第一目标帧包括相互平行的第一边和第二边,所述第一边的长度大于所述第二边的长度;
所述缩小单元,还用于对所述第二视频帧进行缩小得到第二目标帧,所述第二目标帧包括相互平行的第三边和第四边,所述第三边的长度大于所述第四边的长度;
处理单元,用于在所述第一边与目标显示区域的第五边共线,且所述第三边与所述目标显示区域的第六边共线,且所述第一目标帧和所述第二目标帧均位于所述目标显示区域内的情况下,基于所述目标显示区域得到第一视频和所述第二视频的转场视频中的第三目标帧,所述目标显示区域为所述转场视频的显示区域,所述第五边与所述第六边平行。
结合本申请任一实施方式,所述第一边与所述第一视频帧的目标轴垂直,所述目标轴为所述第一视频帧的像素坐标系的横轴或纵轴;
所述缩小单元,用于:
确定所述第一视频帧中的目标像素与所述第一边在所述目标轴的方向上的距离;
根据所述距离确定所述目标像素的缩小系数,所述缩小系数与所述距离呈正相关;
根据所述缩小系数对所述第一视频帧进行缩小,得到所述第一目标帧。
结合本申请任一实施方式,所述获取单元,还用于获取目标时间戳,所述目标时间戳为在根据所述第一视频帧和所述第二视频帧确定所述第一视频和所述第二视频的转场视频中的一帧的情况下,根据所述第一视频帧和所述第二视频帧生成的视频帧在所述转场视频中的时间戳;
所述缩小单元,用于根据所述距离和所述目标时间戳确定所述目标像素的缩小系数,所述缩小系数与所述目标时间戳呈正相关。
结合本申请任一实施方式,所述缩小单元,用于:
获取所述第一视频帧的锚点,所述第一视频帧的锚点位于所述第一边;
根据所述第一视频帧的锚点和所述缩小系数,对所述第一视频帧进行缩小,得到所述第一目标帧。
结合本申请任一实施方式,所述缩小单元,用于:
对所述第二视频帧进行镜像得到第四目标帧;
对所述第四目标帧进行缩小得到所述第二目标帧。
结合本申请任一实施方式,所述处理单元,用于:
获取目标时间戳,所述目标时间戳为在根据所述第一视频帧和所述第二视频帧确定所述第一视频和所述第二视频的转场视频中的一帧的情况下,根据所述第一视频帧和所述第二视频帧生成的视频帧在所述转场视频中的时间戳;
在所述目标时间戳小于或等于参考时间戳的情况下,确定所述第一目标帧与所述第二目标帧的第一重合区域内显示所述第一目标帧的图像内容;
在所述目标时间戳大于所述参考时间戳的情况下,确定所述第一重合区域内显示所述第二目标帧的图像内容;
基于所述目标区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述处理单元,用于:
在所述目标区域内生成所述第一目标帧的第一倒影;
基于所述目标区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述处理单元,用于:
获取背景图像和所述第一倒影中的像素的融合权重,所述融合权重与所述倒影图像中的像素到所述第一目标帧的最小距离呈负相关;
根据所述融合权重,对所述目标区域内的所述第一倒影与所述背景图像进行融合,得到候选区域;
基于所述候选区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述处理单元,用于:
在所述候选区域内生成所述第二目标帧的第二倒影;
在所述目标时间戳小于或等于所述参考时间戳的情况下,确定所述第一倒影与所述第二倒影的第二重合区域内显示所述第一倒影的图像内容;
在所述目标时间戳大于所述参考时间戳的情况下,确定所述第二重合区域内显示所述第二倒影的图像内容;
将所述候选区域内的图像作为所述第三目标帧。
第三方面,提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任一实施方式。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任一实施方式。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一实施方式。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
在本申请中,图像处理装置在获取第一视频中的第一视频帧和第二视频中的第二视频帧后,对第一视频帧进行缩小得到形状为梯形的第一目标帧,对第二视频帧进行缩小得到形状为梯形的第二目标帧。然后在第一目标帧的第一边与目标显示区域的第五边共线,且第二目标帧的第二边与目标显示区域的第六边共线,且第一目标帧与第二目标帧均位于目标显示区域内的情况下,可呈现出通过将第一视频帧在目标显示区域内绕第五边旋转使尺寸缩小为第一目标帧,以及通过将第二视频帧在目标显示区域内绕第六边旋转使尺寸缩小为第二目标帧的效果。这样可通过缩小第一视频帧的尺寸和第二视频帧的尺寸,实现第一视频帧与第二视频帧的三维旋转效果。
因此,图像处理装置在第一边与目标显示区域的第五边重合共线,且第三边与目标显示区域的第六边共线重合,且第一目标帧和第二目标帧均位于目标显示区域内的情况下,基于目标显示区域得到转场视频中的第三目标帧,可使转场视频中的第三目标帧呈现上述三维旋转效果。因此以生成第三目标帧的方式生成转场视频中的所有视频帧,可使转场视频呈现上述三维旋转效果。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的一种第一目标帧的示意图;
图3为本申请实施例提供的一种第二目标帧的示意图;
图4为本申请实施例提供的一种在目标显示区域内显示图2所示的第一目标帧和图3所示的第二目标帧的示意图;
图5为本申请实施例提供的另一种第一目标帧的示意图;
图6为本申请实施例提供的又一种第一目标帧的示意图;
图7为本申请实施例提供的又一种第一目标帧的示意图;
图8为本申请实施例提供的另一种第二目标帧的示意图;
图9为本申请实施例提供的又一种第二目标帧的示意图;
图10为本申请实施例提供的一种将第一目标帧和第二目标帧显示在目标显示区域内的示意图;
图11为本申请实施例提供的另一种将第一目标帧和第二目标帧显示在目标显示区域内的示意图;
图12为本申请实施例提供的一种渐变素材的示意图;
图13为本申请实施例提供的一种为第一目标帧生成具有渐变效果的第一倒影以及为第二目标帧生成具有渐变效果的第二倒影的示意图;
图14示出了一种目标显示区域的示意图;
图15示出了又一种第一视频帧的示意图;
图16示出了转场视频中的一帧视频帧的示意图;
图17示出了转场视频中的另一帧视频帧的示意图;
图18示出了又一种第二视频帧的示意图;
图19为本申请实施例提供的一种图像处理装置的结构示意图;
图20为本申请实施例提供的一种电子设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例的执行主体为图像处理装置,其中,图像处理装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,图像处理装置可以是以下中的一种:计算机、服务器。
应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1,图1是本申请实施例提供的一种图像处理方法的流程示意图。
101、获取第一视频中的第一视频帧和第二视频中的第二视频帧。
本申请实施例中,第一视频和第二视频为不同的两个视频。第一视频帧为第一视频中的视频帧,第二视频帧为第二视频中的视频帧。可选的,第一视频帧为第一视频的最后一帧,第二视频帧为第二视频的第一帧。
在一种获取第一视频中的第一视频帧的实现方式中,图像处理装置接收用户通过输入组件输入的第一视频,将第一视频中的视频帧作为第一视频帧。可选的,输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取第一视频中的第一视频帧的实现方式中,图像处理装置接收终端发送的第一视频,将第一视频中的视频帧作为第一视频帧。可选的,终端可以是以下任意一种:手机、计算机、平板电脑、服务器。
在一种获取第二视频中的第二视频帧的实现方式中,图像处理装置接收用户通过输入组件输入的第二视频,将第二视频中的视频帧作为第二视频帧。
在另一种获取第二视频中的第二视频帧的实现方式中,图像处理装置接收终端发送的第二视频,将第二视频中的视频帧作为第二视频帧。
应理解,获取第一视频中的第一视频帧的步骤和获取第二视频中的第二视频帧的步骤,可以同时执行,也可以分开执行,本申请对此不作限定。
102、对上述第一视频帧进行缩小得到第一目标帧。
本申请实施例中,第一目标帧包括相互平行的第一边和第二边,其中,第一边的长度大于第二边的长度。例如,图2所示为一种第一目标帧的示意图,如图2所示,第一目标帧的四个顶点分别为A、B、C、D四个点,第一目标帧的四条边分别为:AB、BC、CD、DA,其中,BC与DA平行,且DA的长度比BC大。此时,第一边为DA,第二边为BC。
应理解,第一视频帧为形状为矩形,第一目标帧的形状为梯形,也就是说图像处理装置通过对第一视频帧进行缩小,将第一视频帧的形状由矩形变为梯形得到第一目标帧,即第一边为第一目标帧为下底,第二边为第一目标帧的上底。
103、对上述第二视频帧进行缩小得到第二目标帧。
本申请实施例中,第二目标帧包括相互平行的第三边和第四边,其中,第三边的长度大于第四边的长度,也就是说,第二目标帧的形状也为梯形,换句话说,第二视频帧为形状为矩形,图像处理装置通过对第二视频帧进行缩小,将第二视频帧的形状由矩形变为梯形得到第二目标帧,即第三边为第二目标帧为下底,第四边为第三目标帧的上底。例如,图3所示为一种第二目标帧的示意图,如图3所示,第二目标帧的四个顶点分别为E、F、G、H四个点,第二目标帧的四条边分别为:EF、FG、GH、HE,其中,HE与FG平行,且FG的长度比HE大。此时,第三边为FG,第二边为HE。
可选的,图像处理装置对第二视频帧进行镜像得到第四目标帧。对第四目标帧进行缩小得到第二目标帧,这样第二目标帧为第二视频帧的镜像图像。
104、在上述第一边与目标显示区域的第五边共线,且上述第三边与上述目标显示区域的第六边共线,且上述第一目标帧和上述第二目标帧均位于上述目标显示区域内的情况下,基于上述目标显示区域得到第一视频和上述第二视频的转场视频中的第三目标帧。
本申请实例中,目标显示区域为第一视频和第二视频的转场视频的显示区域,目标显示区域包括第五边和第六边,而且第五边和第六边平行。应理解,目标显示区域为矩形,第五边和第六边可以是目标显示区域内相互平行的任意两条边。
第一边与目标显示区域的第五边共线,且第三边与目标显示区域的第六边共线,且第一目标帧和上述第二目标帧均位于目标显示区域内,可呈现出第一视频帧在目标显示区域内绕第五边旋转将第一视频帧的尺寸缩小为第一目标帧,以及第二视频帧在目标显示区域内绕第六边旋转将第二视频帧的尺寸缩小为第二目标帧的效果。
例如,图4示出了一种在目标显示区域内显示图2所示的第一目标帧和图3所示的第二目标帧的示意图。如图4所示,目标显示区域的四个顶点分别为:J、K、M、N,第二目标帧的四条边分别为:JK、KM、MN、NJ,其中,NJ为第五边,KM为第六边。此时,AD与NJ共线,即第一边与第五边共线,FG与KM共线,即第三边与第六边共线,而且第一目标帧和第二目标帧均位于目标显示区域内。
本申请实施例中,第三目标帧为转场视频中的任意一帧。图像处理装置基于目标显示区域得到第一视频和第二视频的转场视频中的第三目标帧,可以是将目标显示区域作为第三目标帧。图像处理装置基于目标显示区域得到第一视频和第二视频的转场视频中的第三目标帧,也可以是在目标显示区域内除第一目标帧和第二目标帧之外的区域添加背景,得到第三目标帧。
本申请实施例中,图像处理装置在获取第一视频中的第一视频帧和第二视频中的第二视频帧后,对第一视频帧进行缩小得到形状为梯形的第一目标帧,对第二视频帧进行缩小得到形状为梯形的第二目标帧。然后在第一目标帧的第一边与目标显示区域的第五边共线,且第二目标帧的第二边与目标显示区域的第六边共线,且第一目标帧与第二目标帧均位于目标显示区域内的情况下,可呈现出通过将第一视频帧在目标显示区域内绕第五边旋转使尺寸缩小为第一目标帧,以及通过将第二视频帧在目标显示区域内绕第六边旋转使尺寸缩小为第二目标帧的效果。这样可通过缩小第一视频帧的尺寸和第二视频帧的尺寸,实现第一视频帧与第二视频帧的三维旋转效果。
因此,图像处理装置在第一边与目标显示区域的第五边重合共线,且第三边与目标显示区域的第六边共线重合,且第一目标帧和第二目标帧均位于目标显示区域内的情况下,基于目标显示区域得到转场视频中的第三目标帧,可使转场视频中的第三目标帧呈现上述三维旋转效果。因此以生成第三目标帧的方式生成转场视频中的所有视频帧,可使转场视频呈现上述三维旋转效果。
作为一种可选的实施方式,第一视频帧的像素坐标系的横轴或纵轴为目标轴,例如,目标轴为第一视频帧的像素坐标系的横轴,又例如,目标轴为第一视频帧的像素坐标系的纵轴。第一边与目标轴垂直,即在目标轴为横轴的情况下,第一边与纵轴共线,在目标轴为纵轴的情况下,第一边与横轴共线。
在该种实施方式中,图像处理装置在执行步骤102的过程中执行以下步骤:
201、确定上述第一视频帧中的目标像素与上述第一边在上述目标轴的方向上的距离。
本申请实施例中,目标像素为第一视频帧中的任意一个像素。例如,第一视频帧包括像素a和像素b,其中,像素a和像素b均为目标像素。
在目标轴为第一视频帧的像素坐标系的横轴的情况下,目标像素与第一边在目标轴的方向上的距离,即为目标像素与第一边在横轴方向上的距离,例如第一边的纵坐标为0,目标像素的纵坐标为3,那么目标像素与第一边在横轴方向上的距离为(3-0)=3。
在目标轴为第一视频帧的像素坐标系的纵轴的情况下,目标像素与第一边在目标轴的方向上的距离,即为目标像素与第一边在纵轴方向上的距离,例如第一边的横坐标为0,目标像素的横坐标为3,那么目标像素与第一边在纵轴方向上的距离为(3-0)=3。
202、根据上述距离确定上述目标像素的缩小系数。
本申请实施例中,缩小系数为:缩小前的尺寸/缩小后的尺寸。缩小系数与距离呈正相关,也就是说,第一视频帧中距离第一边越远的像素缩小系数越大,即缩小后的尺寸越小。可选的,缩小系数与距离呈线性关系,即第一视频帧中距离第一边越远的像素缩小系数越大,且目标像素的缩小系数随目标像素到第一边的距离的增大而线性增大。
203、根据上述缩小系数对上述第一视频帧进行缩小,得到上述第一目标帧。
应理解,图像处理装置通过执行步骤201和步骤202可确定第一视频帧中所有像素的缩放系数,在步骤203中,图像处理装置可根据各个像素的缩放系数分别对各个像素进行缩小。
在该种实施方式中,图像处理装置首先确定第一视频帧中的目标像素与第一边在目标轴的方向上的距离,然后在缩小系数与距离呈正相关的情况下,根据距离确定目标像素的缩小系数,最后根据缩小系数对第一视频帧进行缩小得到第一目标帧。这样,可将第一视频帧缩小为形状为梯形的第一目标帧。
作为一种可选的实施方式,图像处理装置可基于步骤201至步骤203所提供的对第一视频帧进行缩小得到第一目标帧的实现方式,对第二视频帧进行缩小得到第二目标帧的实现方式。具体的,第三边与第二视频帧的参考轴垂直,其中,参考轴为第二视频帧的像素坐标系的横轴或纵轴。图像处理装置确定第二视频帧中的参考像素与第三边在参考轴的方向上的参考距离,根据该参考距离确定参考像素的缩小系数,其中,参考像素的缩小系数与该参考距离呈正相关。根据参考像素的缩小系数对第二视频帧进行缩小,得到第二目标帧。
作为一种可选的实施方式,图像处理装置在执行步骤203之前,还执行以下步骤:
301、获取目标时间戳。
本申请实施例中,目标时间戳为在根据第一视频帧和第二视频帧确定第一视频和第二视频的转场视频中的一帧的情况下,根据第一视频帧和第二视频帧生成的视频帧在转场视频中的时间戳。例如,根据第一视频帧和第二视频帧生成的视频帧为第三目标帧,且第三目标帧在转场视频中的时间戳为t1,那么目标时间戳为t1。
在获取目标时间戳后,图像处理装置通过执行以下步骤确定目标像素的缩小系数:
302、根据上述距离和上述目标时间戳确定上述目标像素的缩小系数。
本实施例方式中,缩小系数与目标时间戳呈负正相关,换句话说,缩小系数与距离呈正相关,而且与目标时间戳呈正相关。
缩小系数与目标时间戳呈正相关,因此在转场视频中第一目标帧的尺寸随时间戳的增大而减小,即随着转场视频的播放,第一目标帧的尺寸越来越小。因为第一目标帧为第一视频帧在转场视频中的显示效果,所以随着转场视频的播放,第一视频帧的尺寸越来越小。
在该种实施方式中,图像处理装置在确定目标像素与第一边在目标轴的方向上的距离,以及获取目标时间戳后,可在目标像素的缩小系数与该距离和目标时间戳均呈正相关的情况下,根据距离和目标时间戳确定目标像素的缩小系数。
作为一种可选的实施方式,图像处理装置在获取目标时间戳以及确定参考距离后,根据目标时间戳和参考距离确定参考像素的缩小系数,其中,参考像素的缩小系数与参考距离呈正相关,且参考像素的缩小系数与目标时间戳呈负相关。
缩小系数与目标时间戳呈负相关,因此在转场视频中第二目标帧的尺寸随时间戳的增大而增大,即随着转场视频的播放,第二目标帧的尺寸越来越大。因为第二目标帧为第二视频帧在转场视频中的显示效果,所以随着转场视频的播放,第二视频帧的尺寸越来越大。这样,可使转场视频呈现出,第一视频帧越来越小且通过旋转慢慢从转场视频中出去,而第二视频帧越来越大且通过旋转慢慢进入转场视频中。
作为一种可选的实施方式,图像处理装置在执行步骤203的过程中执行以下步骤:
401、获取上述第一视频帧的锚点。
本申请实施例中,第一视频帧的锚点位于第一边。可选的,第一视频的锚点为第一边的中点。
402、根据上述第一视频帧的锚点和上述缩小系数,对上述第一视频帧进行缩小,得到上述第一目标帧。
在该种实施方式中,图像处理装置在获取第一视频帧的锚点以及确定第一视频帧中的像素的缩小系数后,根据第一视频帧的锚点和第一视频帧中的像素的缩小系数,对第一视频帧进行缩小,可使第一视频帧以第一视频帧的锚点为中心进行缩小,进而得到第一目标帧。
作为一种可选的实施方式,图像处理装置在获取第二视频帧的锚点以及确定第二视频帧中的像素的缩小系数后,根据第二视频帧的锚点和第二视频帧中的像素的缩小系数,对第二视频帧进行缩小,可使第二视频帧以第二视频帧的锚点为中心进行缩小,进而得到第二目标帧。第二视频帧的锚点位于第三边,可选的,第二视频的锚点为第三边的中点。
作为一种可选的实施方式,图像处理装置通过执行以下步骤,实现基于目标显示区域得到转场视频中的第三目标帧:
501、获取目标时间戳。
本步骤中的目标时间戳与步骤301中的目标时间戳相同,此处将不再赘述。
502、在上述目标时间戳小于或等于参考时间戳的情况下,确定上述第一目标帧与上述第二目标帧的第一重合区域内显示上述第一目标帧的图像内容。
503、在上述目标时间戳大于上述参考时间戳的情况下,确定上述第一重合区域内显示上述第二目标帧的图像内容。
本申请实施例中,参考时间戳大于或等于转场视频的最小时间戳,且参考时间戳小于或等于转场视频的最大时间戳。例如,转场视频的最小时间戳为0,转场视频的最大时间戳为10秒,那么参考时间戳为0至10秒中的任意一个时间。可选的,参考时间戳为转场视频的中间时间戳,例如,转场视频的最小时间戳为0,转场视频的最大时间戳为10秒,那么转场视频的中间时间戳为5秒,即参考时间戳为5秒。
第一视频和第二视频的转场视频用于从第一视频过渡到第二视频,具体而言,转场视频用于从第一视频的第一视频帧过渡到第二视频的第二视频帧,因此,转场视频需要呈现出该过渡过程,换句话说,转场视频的主体由第一视频切换为第二视频。本申请实施例中,参考时间戳为主体由第一视频切换为第二视频的时间戳。
本申请实施例中,第一重合区域为第一目标帧和第二目标帧在目标显示区域内的重合区域。考虑到第一目标帧和第二目标帧在目标显示区域内可能出现重合,因此需要确定第一重合区域的显示内容。如前文所述,参考时间戳为主体由第一视频切换为第二视频的时间戳,而第一目标帧显示的内容为第一视频帧的内容,第二目标帧为第二视频帧的内容。因此,图像处理装置在目标时间戳小于或等于参考时间戳的情况下,确定第一重合区域内显示第一目标帧的图像内容,在目标时间戳大于参考时间戳的情况下,确定第一重合区域内显示第二目标帧的图像内容。
例如,第一目标帧中的像素区域a位于第一重合区域内,第二目标帧中的像素区域b位于第二重合区域内。在目标时间戳小于或等于参考时间戳的情况下,确定第一重合区域内的显示内容为像素区域a,在目标时间戳大于参考时间戳的情况下,确定第一重合区域内的显示内容为像素区域b。
504、基于上述目标区域内的图像得到上述第三目标帧。
在一种可能实现的方式中,图像处理装置将目标区域内的图像作为第三目标帧。在另一种可能实现的方式中,图像处理装置在目标显示区域内除第一目标帧和第二目标帧之外的区域添加背景,得到第三目标帧。
在该种实施方式中,图像处理装置在获取目标时间戳的情况下,基于目标时间戳和参考时间戳确定第一目标帧和第二目标帧的第一重合区域所显示的内容。具体的,在目标时间戳小于或等于参考时间戳的情况下,确定第一目标帧与第二目标帧的第一重合区域内显示第一目标帧的图像内容,在目标时间戳大于参考时间戳的情况下,确定第一重合区域内显示第二目标帧的图像内容。这样,在基于目标区域内的图像得到转场视频中的第三目标帧的情况下,可使转场视频更好的呈现出从第一视频帧过渡到第二视频帧的效果。
作为一种可选的实施方式,图像处理装置在执行步骤504的过程中执行以下步骤:
601、在上述目标区域内生成上述第一目标帧的第一倒影。
602、基于上述目标区域内的图像得到上述第三目标帧。
本申请实施例中,第一倒影为第一目标帧的倒影。在该种实施方式中,图像处理装置通过在目标区域内生成第一目标帧的第一倒影,可提升目标区域中除第一目标帧和第二目标帧之外的区域的视觉效果。于是基于目标区域内的图像得到第三目标帧,可提升第三目标帧的视觉效果。
作为一种可选的实施方式,图像处理装置在目标区域内生成第一目标帧的第一倒影的情况下,还在目标区域内生成第二目标帧的第三倒影。然后再基于目标区域内的图像得到第三目标帧。
作为一种可选的实施方式,图像处理装置在执行步骤602的过程中执行以下步骤:
701、获取背景图像和上述第一倒影中的像素的融合权重。
本申请实施例中,背景图像为转场视频中除第一目标帧和第二目标帧之外的区域的图像内容。例如,背景图像为黑色背景,又例如,背景图像为白色背景。
本申请实施例中,第一倒影中的像素的融合权重与第一倒影中的像素到第一目标帧的最小距离呈负相关。应理解,第一倒影为像素区域,即第一倒影包括多个像素。若将第一倒影与第一目标帧的交界线称为目标线,那么第一倒影中的像素到目标线的距离即为第一倒影中的像素到第一目标帧的最小距离。也就是说,第一倒影中的像素到目标线的距离越近,该像素的融合权重越大。
702、根据上述融合权重,对上述目标区域内的第一倒影与上述背景图像进行融合,得到候选区域。
在步骤702中,图像处理装置根据第一倒影中的像素的融合权重,对目标区域内的第一倒影与背景图像进行加权融合,具体的,第一倒影中的像素的权重为通过步骤701所获取的融合权重,而背景图像的权重为1减去第一倒影中的像素的权重。例如,第一倒影包括像素a和像素b,通过步骤701获取的像素a的融合权重为0.7、像素b的融合权重为0.6,那么在将第一倒影与背景图像进行加权融合的过程中,像素a的权重为0.7,背景图像中与像素a融合的像素的权重为(1-0.7)=0.3,像素b的权重为0.6,背景图像中与像素a融合的像素的权重为(1-0.6)=0.4。
由于第一倒影中的像素的融合权重与第一倒影中的像素到第一目标帧的距离呈负相关,在通过步骤702得到的候选区域中,第一目标帧的倒影呈现渐变的效果,具体的,随着到第一目标帧的距离的增大,第一目标帧的倒影越来越浅,而背景越来越深。
703、基于上述候选区域内的图像得到上述第三目标帧。
图像处理装置基于候选区域内的图像得到第三目标帧,可使第三目标帧中的第一目标帧的倒影也呈现渐变的效果。
在该种实施方式中,图像处理装置在获取背景图像和第一倒影中的像素的融合权重后,根据第一倒影中的像素的融合权重,对目标区域内的第一倒影与背景图像进行加权融合得到后候选区域。这样再基于候选区域内的图像得到第三目标帧,可使第三目标帧中的第一目标帧的倒影也呈现渐变的效果。
作为一种可选的实施方式,图像处理装置在执行步骤703的过程中执行以下步骤:
801、在上述目标区域内生成上述第二目标帧的第二倒影。
可选的,图像处理装置在生成第二目标帧的第二倒影以及获取背景图像后,获取第二倒影中的像素的融合权重。第二倒影中的像素的融合权重与第二倒影中的像素到第二目标帧的最小距离呈负相关。应理解,第二倒影为像素区域,即第二倒影包括多个像素。若将第二倒影与第二目标帧的交界线称为参考线,那么第二倒影中的像素到参考线的距离即为第二倒影中的像素到第二目标帧的最小距离。也就是说,第二倒影中的像素到参考线的距离越近,该像素的融合权重越大。图像处理装置根据第二倒影中的像素的融合权重,对目标区域中的第二倒影与背景图像进行融合,以使第二倒影呈现渐变的效果。此时,在候选区域中,第二目标帧的倒影为第二倒影,而且第二倒影呈现渐变的效果,具体的,随着到第二目标帧的距离的增大,第二目标帧的倒影越来越浅,而背景越来越深。
802、在上述目标时间戳小于或等于上述参考时间戳的情况下,确定上述第一倒影与上述第二倒影的第二重合区域内显示上述第一倒影的图像内容。
803、在上述目标时间戳大于上述参考时间戳的情况下,确定上述第二重合区域内显示上述第二倒影的图像内容。
本申请实施例中,第二重合区域为第一目标帧的倒影(即第一倒影)和第二目标帧的倒影(即第二倒影)在目标显示区域内的重合区域。考虑到第一倒影和第二倒影在目标显示区域内可能出现重合,因此需要确定第二重合区域的显示内容。如前文所述,参考时间戳为主体由第一视频切换为第二视频的时间戳,而第一倒影为第一目标帧的倒影,第二倒影为第二目标帧的倒影,第一目标帧显示的内容则为第一视频帧的内容,第二目标帧为第二视频帧的内容。因此,图像处理装置在目标时间戳小于或等于参考时间戳的情况下,确定第二重合区域内显示第一倒影的图像内容,在目标时间戳大于参考时间戳的情况下,确定第二重合区域内显示第二倒影的图像内容。
例如,第一倒影中的像素区域c位于第二重合区域内,第二倒影中的像素区域d位于第二重合区域内。在目标时间戳小于或等于参考时间戳的情况下,确定第二重合区域内的显示内容为像素区域c,在目标时间戳大于参考时间戳的情况下,确定第二重合区域内的显示内容为像素区域d。
804、将上述目标区域内的图像作为上述第三目标帧。
在该种实施方式中,图像处理装置在生成第二目标帧的第二倒影以及获取目标时间戳的情况下,基于目标时间戳和参考时间戳确定第一倒影和第二倒影的第二重合区域所显示的内容。具体的,在目标时间戳小于或等于参考时间戳的情况下,确定第二重合区域内显示第一倒影的图像内容,在目标时间戳大于参考时间戳的情况下,确定第二重合区域内显示第二倒影的图像内容。这样,在基于目标区域内的图像得到转场视频中的第三目标帧的情况下,可使转场视频更好的呈现出从第一视频帧过渡到第二视频帧的效果。
基于本申请实施例提供的技术方案,本申请实施例还提供了一种可能的生成第一视频和第二视频的转场视频的实施方式。通过该种实施方式可基于第一视频的第一视频帧和第二视频的第二视频帧,生成转场视频中的任意一帧视频帧。
具体的,图像处理装置在获取第一视频帧和第二视频帧后,确定第一视频帧的锚点和第二视频帧的锚点。可选的,转场视频的目标显示区域的像素坐标系的横坐标范围和纵坐标范围均为0至1,第一视频帧的锚点在目标显示区域内的坐标为(0,0.5),第二视频帧的锚点在目标显示区域内的坐标为(1,0.5)。
图像处理装置获取目标时间戳,然后基于目标时间戳确定第一视频帧中的像素的缩小系数(该实现过程可参见步骤101、步骤102、步骤201、步骤202、步骤301、步骤302),最后根据第一视频帧中的像素的缩小系数和第一视频帧的锚点,对第一视频帧进行缩小得到第一目标帧(该实现过程可参见步骤203、步骤401、步骤402)。
可选的,图像处理装置通过如下代码实现对第一视频帧进行缩小得到第一目标帧:
float size=mix(1.0,depth,percentX);//size为固定参数,可取为1
float persp=perspective*progress;//persp为中间参数,perspective为固定参数,progress为目标时间戳
vec2 pfr=p-vec2(0.0,0.5);//以(0.0,0.5)为中心缩小
pfr*=vec2(size/(1.0-persp),size/(1.0-size*persp*p.x));//size/(1.0-persp)为横坐标的缩小系数,size/(1.0-size*persp*p.x)为纵坐标的缩小系数,根据缩小系数进行缩小
pfr=pfr+vec2(0.0,0.5);//以(0.0,0.5)为中心缩小
其中,当size为1时,第一视频帧中的像素的横坐标的缩小系数为1/(1.0-persp),第一视频帧中的像素的横坐标的缩小系数为1/(1.0-size×persp×p.x),p.x为像素的横坐标。
当perspective=0.2时,第一目标帧如图5所示,当perspective=0.6时,第一目标帧如图6所示。
可选的,通过调整size的大小,可控制第一目标帧的尺寸的大小。例如,通过调整size的大小,可得到图7所示的第一目标帧。
与对第一视频帧缩小得到第一目标帧的实现方式相同,图像处理装置获取目标时间戳,然后基于目标时间戳确定第二视频帧中的像素的缩小系数(该实现过程可参见步骤101、步骤102、步骤201、步骤202、步骤301、步骤302),最后根据第二视频帧中的像素的缩小系数和第二视频帧的锚点,对第二视频帧进行缩小得到第二目标帧(该实现过程可参见步骤203、步骤401、步骤402)。
可选的,图像处理装置通过如下代码实现对第二视频帧进行缩小得到第二目标帧:
size=mix(1.0,depth,1-progress);//size为固定参数,可取为1
persp=perspective*(1.0-progress);//persp为中间参数,perspective为固定参数,progress为目标时间戳,转场视频的时长为1秒
pto=p-vec2(1.0,0.5);//以(1.0,0.5)为中心缩小
pto*=vec2(size/(1.0-persp),size/(1.0-size*persp*(1.0-p.x)));//size/(1.0-persp)为横坐标的缩小系数,size/(1.0-size*persp*p.x)为纵坐标的缩小系数,根据缩小系数进行缩小
pto=pto+vec2(1.0,0.5);//以(1.0,0.5)为中心缩小
例如,图8所示为另一种第二目标帧的示意图。
可选的,通过调整size的大小,可控制第二目标帧的尺寸的大小。例如,通过调整size的大小,可得到图9所示的第二目标帧。
令参考时间戳为转场视频的中间时间戳,例如,在转场视频的时长为1秒的情况下,参考时间戳为0.5秒。在目标时间戳小于或等于参考时间戳的情况下,确定在第一重合区域内显示第一目标帧的图像内容,在目标时间戳大于参考时间戳的情况下,确定在第一重合区域内显示第二目标帧的图像内容。
可选的,在参考时间戳为0.5,转场视频的时长为1的情况下,图像处理装置通过执行以下代码确定第一重合区域的显示内容:
其中,boundMin=vec2(0.0),boundMax=vec2(1.0)。
可选的,在目标时间戳小于或等于参考时间戳的情况下,将第一目标帧和第二目标帧显示在目标显示区域内的示意图如图10所示。在目标时间戳大于参考时间戳的情况下,将第一目标帧与第二目标帧显示在目标显示区域内的示意图如图11所示。
在将第一目标帧和第二目标帧位于目标显示区域后,可继续生成第一目标帧的第一倒影和第二目标帧的第二倒影(该实现过程可参见步骤601、步骤602、步骤701、步骤702、步骤703、步骤801、步骤802、步骤803),由此可使第一倒影和第二倒影呈现渐变的效果,进而可更好的呈现出从第一视频帧过渡到第二视频帧的效果。
可选的,图像处理装置通过执行以下代码生成第一倒影和第二倒影:
可选的,图像处理装置通过获取渐变素材获取第一倒影中的像素的融合权重,其中,渐变素材包括第一倒影中的像素的融合权重。也可根据渐变素材获确定第二倒影中的像素的融合权重。例如,图12所示为渐变素材,渐变素材从上到小所对应的融合权重越来越小。
图13示出了为第一目标帧生成具有渐变效果的第一倒影以及为第二目标帧生成具有渐变效果的第二倒影的示意图。
在生成第一倒影和第二倒影后,图像处理装置继续确定第一倒影和第二倒影的第二重合区域的显示内容(该实现过程可参见步骤802、步骤803)。
可选的,图像处理装置通过执行以下代码确定第二重合区域的显示内容:
可选的,图14示出了一种目标显示区域的示意图,图14所示的目标显示区域为图像处理装置确定第二重合区域的显示内容后得到的。如图14所示,椭圆内的区域为第二重合区域。由于目标时间戳小于或等于参考时间戳,第二重合区域内所显示的内容为第一倒影的图像内容。
请参阅图15至图18,本申请实施例还提供了基于本申请实施例提供的技术方案生成的转场视频的示例。图15所示为第一视频帧,即在转场视频的开始所显示的是第一视频帧。图16所示为转场视频中的一帧视频帧,图17所示为转场视频中的另一帧视频帧,其中,图16所示的视频帧的时间戳小于或等于参考时间戳,图17所示的视频帧的时间戳大于参考时间戳。图18所示为第二视频帧,即在转场视频的最后所显示的是第二视频帧。通过图15至图18可知,通过该转场视频可从第一视频帧过渡到第二视频帧。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图19,图19为本申请实施例提供的一种图像处理装置1的结构示意图,该图像处理装置1包括:获取单元11、缩小单元12、处理单元13,具体的:
获取单元11,用于获取第一视频中的第一视频帧和第二视频中的第二视频帧;
缩小单元12,用于对所述第一视频帧进行缩小得到第一目标帧,所述第一目标帧包括相互平行的第一边和第二边,所述第一边的长度大于所述第二边的长度;
所述缩小单元12,还用于对所述第二视频帧进行缩小得到第二目标帧,所述第二目标帧包括相互平行的第三边和第四边,所述第三边的长度大于所述第四边的长度;
处理单元13,用于在所述第一边与目标显示区域的第五边共线,且所述第三边与所述目标显示区域的第六边共线,且所述第一目标帧和所述第二目标帧均位于所述目标显示区域内的情况下,基于所述目标显示区域得到第一视频和所述第二视频的转场视频中的第三目标帧,所述目标显示区域为所述转场视频的显示区域,所述第五边与所述第六边平行。
结合本申请任一实施方式,所述第一边与所述第一视频帧的目标轴垂直,所述目标轴为所述第一视频帧的像素坐标系的横轴或纵轴;
所述缩小单元12,用于:
确定所述第一视频帧中的目标像素与所述第一边在所述目标轴的方向上的距离;
根据所述距离确定所述目标像素的缩小系数,所述缩小系数与所述距离呈正相关;
根据所述缩小系数对所述第一视频帧进行缩小,得到所述第一目标帧。
结合本申请任一实施方式,所述获取单元11,还用于获取目标时间戳,所述目标时间戳为在根据所述第一视频帧和所述第二视频帧确定所述第一视频和所述第二视频的转场视频中的一帧的情况下,根据所述第一视频帧和所述第二视频帧生成的视频帧在所述转场视频中的时间戳;
所述缩小单元12,用于根据所述距离和所述目标时间戳确定所述目标像素的缩小系数,所述缩小系数与所述目标时间戳呈正相关。
结合本申请任一实施方式,所述缩小单元12,用于:
获取所述第一视频帧的锚点,所述第一视频帧的锚点位于所述第一边;
根据所述第一视频帧的锚点和所述缩小系数,对所述第一视频帧进行缩小,得到所述第一目标帧。
结合本申请任一实施方式,所述缩小单元12,用于:
对所述第二视频帧进行镜像得到第四目标帧;
对所述第四目标帧进行缩小得到所述第二目标帧。
结合本申请任一实施方式,所述处理单元13,用于:
获取目标时间戳,所述目标时间戳为在根据所述第一视频帧和所述第二视频帧确定所述第一视频和所述第二视频的转场视频中的一帧的情况下,根据所述第一视频帧和所述第二视频帧生成的视频帧在所述转场视频中的时间戳;
在所述目标时间戳小于或等于参考时间戳的情况下,确定所述第一目标帧与所述第二目标帧的第一重合区域内显示所述第一目标帧的图像内容;
在所述目标时间戳大于所述参考时间戳的情况下,确定所述第一重合区域内显示所述第二目标帧的图像内容;
基于所述目标区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述处理单元13,用于:
在所述目标区域内生成所述第一目标帧的第一倒影;
基于所述目标区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述处理单元13,用于:
获取背景图像和所述第一倒影中的像素的融合权重,所述融合权重与所述倒影图像中的像素到所述第一目标帧的最小距离呈负相关;
根据所述融合权重,对所述目标区域内的所述第一倒影与所述背景图像进行融合,得到候选区域;
基于所述候选区域内的图像得到所述第三目标帧。
结合本申请任一实施方式,所述处理单元13,用于:
在所述候选区域内生成所述第二目标帧的第二倒影;
在所述目标时间戳小于或等于所述参考时间戳的情况下,确定所述第一倒影与所述第二倒影的第二重合区域内显示所述第一倒影的图像内容;
在所述目标时间戳大于所述参考时间戳的情况下,确定所述第二重合区域内显示所述第二倒影的图像内容;
将所述候选区域内的图像作为所述第三目标帧。
本申请实施例中,图像处理装置在获取第一视频中的第一视频帧和第二视频中的第二视频帧后,对第一视频帧进行缩小得到形状为梯形的第一目标帧,对第二视频帧进行缩小得到形状为梯形的第二目标帧。然后在第一目标帧的第一边与目标显示区域的第五边共线,且第二目标帧的第二边与目标显示区域的第六边共线,且第一目标帧与第二目标帧均位于目标显示区域内的情况下,可呈现出通过将第一视频帧在目标显示区域内绕第五边旋转使尺寸缩小为第一目标帧,以及通过将第二视频帧在目标显示区域内绕第六边旋转使尺寸缩小为第二目标帧的效果。这样可通过缩小第一视频帧的尺寸和第二视频帧的尺寸,实现第一视频帧与第二视频帧的三维旋转效果。
因此,图像处理装置在第一边与目标显示区域的第五边重合共线,且第三边与目标显示区域的第六边共线重合,且第一目标帧和第二目标帧均位于目标显示区域内的情况下,基于目标显示区域得到转场视频中的第三目标帧,可使转场视频中的第三目标帧呈现上述三维旋转效果。因此以生成第三目标帧的方式生成转场视频中的所有视频帧,可使转场视频呈现上述三维旋转效果。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图20为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备2包括处理器21,存储器22。可选的,该电子设备2还包括输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以包括是一个或多个处理器,例如包括一个或多个中央处理器(central processing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。可选的,处理器21可以是多个CPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图20仅仅示出了一种电子设备的简化设计。在实际应用中,电子设备还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的电子设备都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
Claims (12)
1.一种图像处理方法,其特征在于,所述方法包括:
获取第一视频中的第一视频帧和第二视频中的第二视频帧;
对所述第一视频帧进行缩小得到第一目标帧,所述第一目标帧包括相互平行的第一边和第二边,所述第一边的长度大于所述第二边的长度;
对所述第二视频帧进行缩小得到第二目标帧,所述第二目标帧包括相互平行的第三边和第四边,所述第三边的长度大于所述第四边的长度;
在所述第一边与目标显示区域的第五边共线,且所述第三边与所述目标显示区域的第六边共线,且所述第一目标帧和所述第二目标帧均位于所述目标显示区域内的情况下,基于所述目标显示区域得到第一视频和所述第二视频的转场视频中的第三目标帧,所述目标显示区域为所述转场视频的显示区域,所述第五边与所述第六边平行。
2.根据权利要求1所述的方法,其特征在于,所述第一边与所述第一视频帧的目标轴垂直,所述目标轴为所述第一视频帧的像素坐标系的横轴或纵轴;
所述对所述第一视频帧进行缩小得到第一视频帧,包括:
确定所述第一视频帧中的目标像素与所述第一边在所述目标轴的方向上的距离;
根据所述距离确定所述目标像素的缩小系数,所述缩小系数与所述距离呈正相关;
根据所述缩小系数对所述第一视频帧进行缩小,得到所述第一目标帧。
3.根据权利要求2所述的方法,其特征在于,在所述根据所述距离确定所述目标像素的缩小系数,所述缩小系数与所述距离呈正相关之前,所述方法还包括:
获取目标时间戳,所述目标时间戳为在根据所述第一视频帧和所述第二视频帧确定所述第一视频和所述第二视频的转场视频中的一帧的情况下,根据所述第一视频帧和所述第二视频帧生成的视频帧在所述转场视频中的时间戳;
所述根据所述距离确定所述目标像素的缩小系数,包括:
根据所述距离和所述目标时间戳确定所述目标像素的缩小系数,所述缩小系数与所述目标时间戳呈正相关。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述缩小系数对所述第一视频帧进行缩小,得到所述第一目标帧,包括:
获取所述第一视频帧的锚点,所述第一视频帧的锚点位于所述第一边;
根据所述第一视频帧的锚点和所述缩小系数,对所述第一视频帧进行缩小,得到所述第一目标帧。
5.根据权利要求1至3中任意一项所述的方法,其特征在于,所述对所述第二视频帧进行缩小得到第二目标帧,包括:
对所述第二视频帧进行镜像得到第四目标帧;
对所述第四目标帧进行缩小得到所述第二目标帧。
6.根据权利要求1至3中任意一项所述的方法,其特征在于,所述基于所述目标显示区域得到第一视频和所述第二视频的转场视频中的第三目标帧,包括:
获取目标时间戳,所述目标时间戳为在根据所述第一视频帧和所述第二视频帧确定所述第一视频和所述第二视频的转场视频中的一帧的情况下,根据所述第一视频帧和所述第二视频帧生成的视频帧在所述转场视频中的时间戳;
在所述目标时间戳小于或等于参考时间戳的情况下,确定所述第一目标帧与所述第二目标帧的第一重合区域内显示所述第一目标帧的图像内容;
在所述目标时间戳大于所述参考时间戳的情况下,确定所述第一重合区域内显示所述第二目标帧的图像内容;
基于所述目标区域内的图像得到所述第三目标帧。
7.根据权利要求6所述的方法,其特征在于,所述基于所述目标区域内的图像得到所述第三目标帧,包括:
在所述目标区域内生成所述第一目标帧的第一倒影;
基于所述目标区域内的图像得到所述第三目标帧。
8.根据权利要求7所述的方法,其特征在于,所述基于所述目标区域内的图像得到所述第三目标帧,包括:
获取背景图像和所述第一倒影中的像素的融合权重,所述融合权重与所述倒影图像中的像素到所述第一目标帧的最小距离呈负相关;
根据所述融合权重,对所述目标区域内的所述第一倒影与所述背景图像进行融合,得到候选区域;
基于所述候选区域内的图像得到所述第三目标帧。
9.根据权利要求8所述的方法,其特征在于,所述基于所述候选区域内的图像得到所述第三目标帧,包括:
在所述候选区域内生成所述第二目标帧的第二倒影;
在所述目标时间戳小于或等于所述参考时间戳的情况下,确定所述第一倒影与所述第二倒影的第二重合区域内显示所述第一倒影的图像内容;
在所述目标时间戳大于所述参考时间戳的情况下,确定所述第二重合区域内显示所述第二倒影的图像内容;
将所述候选区域内的图像作为所述第三目标帧。
10.一种图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取第一视频中的第一视频帧和第二视频中的第二视频帧;
缩小单元,用于对所述第一视频帧进行缩小得到第一目标帧,所述第一目标帧包括相互平行的第一边和第二边,所述第一边的长度大于所述第二边的长度;
所述缩小单元,还用于对所述第二视频帧进行缩小得到第二目标帧,所述第二目标帧包括相互平行的第三边和第四边,所述第三边的长度大于所述第四边的长度;
处理单元,用于在所述第一边与目标显示区域的第五边共线,且所述第三边与所述目标显示区域的第六边共线,且所述第一目标帧和所述第二目标帧均位于所述目标显示区域内的情况下,基于所述目标显示区域得到第一视频和所述第二视频的转场视频中的第三目标帧,所述目标显示区域为所述转场视频的显示区域,所述第五边与所述第六边平行。
11.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至9中任意一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至9中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310317249.4A CN117729297A (zh) | 2023-03-28 | 2023-03-28 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310317249.4A CN117729297A (zh) | 2023-03-28 | 2023-03-28 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117729297A true CN117729297A (zh) | 2024-03-19 |
Family
ID=90202103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310317249.4A Pending CN117729297A (zh) | 2023-03-28 | 2023-03-28 | 图像处理方法及装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117729297A (zh) |
-
2023
- 2023-03-28 CN CN202310317249.4A patent/CN117729297A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101969527B (zh) | 内容感知的视频稳定 | |
US9772771B2 (en) | Image processing for introducing blurring effects to an image | |
US10235795B2 (en) | Methods of compressing a texture image and image data processing system and methods of generating a 360 degree panoramic video thereof | |
CN108939556B (zh) | 一种基于游戏平台的截图方法及装置 | |
CN109767466B (zh) | 画面渲染方法、装置、终端及对应的存储介质 | |
CN106445437A (zh) | 一种终端及其视角切换方法 | |
CN109767401B (zh) | 画面优化方法、装置、终端及对应的存储介质 | |
CN112017222A (zh) | 视频全景拼接与三维融合方法及装置 | |
CN105930464B (zh) | Web富媒体跨屏适配方法和装置 | |
CN112468796B (zh) | 注视点生成方法、系统及设备 | |
CN103702032A (zh) | 图像处理方法、装置和终端设备 | |
US11688100B1 (en) | Systems and methods for multi-sensor image enhancement | |
CN117221512A (zh) | 捕获和编辑动态深度图像的技术 | |
CN114245228A (zh) | 页面链接投放方法、装置及电子设备 | |
CN114531553B (zh) | 生成特效视频的方法、装置、电子设备及存储介质 | |
CN102006280A (zh) | 在线拼接全景影像的系统和方法 | |
CN107317960A (zh) | 视频图像获取方法及获取装置 | |
CN117729297A (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 | |
CN114710618A (zh) | 拼接图像的预览方法及装置、电子设备 | |
US9723216B2 (en) | Method and system for generating an image including optically zoomed and digitally zoomed regions | |
WO2020189341A1 (en) | Image display system, image distribution method, and program | |
CN113992679A (zh) | 一种汽车图像显示方法、系统及设备 | |
JPWO2017145483A1 (ja) | 画像処理装置、画像処理システム及びプログラム | |
CN115514895B (zh) | 图像防抖方法、装置、电子设备和计算机可读存储介质 | |
CN104754229B (zh) | 一种图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |