CN113489920A - 一种视频合成方法、装置及电子设备 - Google Patents
一种视频合成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113489920A CN113489920A CN202110732936.3A CN202110732936A CN113489920A CN 113489920 A CN113489920 A CN 113489920A CN 202110732936 A CN202110732936 A CN 202110732936A CN 113489920 A CN113489920 A CN 113489920A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- dimensional space
- target object
- scene graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 10
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 20
- 230000007704 transition Effects 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 description 12
- 239000000463 material Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
Abstract
本申请实施例公开了一种视频合成方法、装置及电子设备,该方法包括:获取第一图像,以及包括目标对象的第一视频;确定第一图像中的每个对象的景深信息;根据景深信息,构建第一图像的三维空间场景图;将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像;对三维空间融合图像进行动态处理,生成目标视频。根据本申请的实施例,能够快速简单的根据易于获取的第一图像和第一视频合成动态的目标视频。
Description
技术领域
本申请实施例涉及信息处理领域,尤其涉及一种视频合成方法、装置及电子设备。
背景技术
随着技术的不断发展,可以将目标对象合成至任意视频素材中,通常的实现方式是:先在背景幕布(如:绿幕)前拍摄目标对象,得到前景视频素材,然后再将目标对象合成至其它背景视频素材中。这种方式需要前景视频素材和背景视频素材都是视频,并且为了保证视频合成效果,对每个视频素材的拍摄要求都比较高。
由此,目前在素材有限的情况下,难以快速简单地合成视频。
发明内容
本申请实施例提供一种视频合成方法、装置及电子设备,能够解决在素材有限的情况下,难以快速简单地合成视频的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种视频合成方法,该方法可以包括:
获取第一图像,以及包括目标对象的第一视频,第一视频为目标对象在预设背景前拍摄得到;
确定第一图像中的每个对象的景深信息;
根据景深信息,构建第一图像的三维空间场景图;
将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像;
对三维空间融合图像进行动态处理,生成目标视频。
第二方面,本申请实施例提供了一种视频合成装置,该装置可以包括:
获取模块,用于获取第一图像,以及包括目标对象的第一视频,第一视频为目标对象在预设背景前拍摄得到;
确定模块,用于确定第一图像中的每个对象的景深信息;
构建模块,用于根据景深信息,构建第一图像的三维空间场景图;
融合模块,用于将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像;
动态模块,用于对三维空间融合图像进行动态处理,生成目标视频。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
本申请实施例中,通过获取第一图像,以及目标对象在预设背景前拍摄得到的第一视频;然后,根据基于第一图像确定的景深信息,构建第一图像的三维空间场景图,由此,可以通过对第一图像进行空间重建,实现第一图像的三维立体化;接着,将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像,这样能够将作为前景的目标对象与三维空间场景图结合起来;最后,对三维空间融合图像进行动态处理,生成目标视频,能够快速简单的根据易于获取的第一图像和第一视频合成动态的目标视频。
附图说明
从下面结合附图对本申请的具体实施方式的描述中可以更好地理解本申请其中,相同或相似的附图标记表示相同或相似的特征。
图1为本申请实施例提供的视频合成方法的一种应用场景示意图;
图2为本申请实施例提供的一种视频合成方法的流程图;
图3为本申请实施例提供的一种三维空间场景示意图;
图4为本申请实施例提供的一种合成目标视频示意图;
图5为本申请实施例提供的一种视频合成装置结构示意图;
图6为本申请实施例提供的一种电子设备的硬件结构示意图;
图7为本申请实施例提供的另一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的视频合成方法至少可以应用于下述应用场景中,下面进行说明。
如图1所示,现在如果想要合成视频,通常的实现方式是:先在背景幕布(如:绿幕)前拍摄目标对象,得到前景视频素材,然后再将目标对象合成至其它背景视频素材中,最后生成融合后的视频。这种方式,需要前景素材和背景素材都是视频,而且为了保证比较好的融合效果,对于单独视频素材的拍摄要求较高,需要前景视频素材和背景视频素材之间的联动性比较强,对普通用户来说,操作难度较高,创作局限性大。
针对相关技术出现的问题,本申请实施例提供一种视频合成方法、装置、电子设备及存储介质,能够解决在素材有限的情况下,难以快速简单地合成视频的问题。
本申请实施例提供的方法,除了可以应用到上述应用场景之外,还可以应用到任何难以快速简单地合成视频的场景中。
通过本申请实施例提供的方法,通过获取第一图像,以及目标对象在预设背景前拍摄得到的第一视频;然后,根据基于第一图像确定的景深信息,构建第一图像的三维空间场景图,由此,可以通过对第一图像进行空间重建,实现第一图像的三维立体化;接着,将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像,这样能够将作为前景的目标对象与三维空间场景图结合起来;最后,对三维空间融合图像进行动态处理,生成目标视频,能够快速简单的根据易于获取的第一图像和第一视频合成动态的目标视频。
基于上述应用场景,下面对本申请实施例提供的视频合成方法进行详细说明。
图2为本申请实施例提供的一种视频合成方法的流程图。
如图2所示,该视频合成方法可以包括步骤210-步骤250,该方法应用于视频合成装置,具体如下所示:
步骤210,获取第一图像,以及包括目标对象的第一视频。
步骤220,确定第一图像中的每个对象的景深信息。
步骤230,根据景深信息,构建第一图像的三维空间场景图。
步骤240,将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像。
步骤250,对三维空间融合图像进行动态处理,生成目标视频。
本申请提供的视频合成方法,通过获取第一图像,以及目标对象在预设背景前拍摄得到的第一视频;然后,根据基于第一图像确定的景深信息,构建第一图像的三维空间场景图,由此,可以通过对第一图像进行空间重建,实现第一图像的三维立体化;接着,将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像,这样能够将作为前景的目标对象与三维空间场景图结合起来;最后,对三维空间融合图像进行动态处理,生成目标视频,能够快速简单的根据易于获取的第一图像和第一视频合成动态的目标视频。
下面,对步骤210-步骤250的内容分别进行描述:
首先,涉及步骤210。
获取第一图像,以及包括目标对象的第一视频。
其中,上述涉及到的第一视频可以为目标对象在预设背景前拍摄得到。
为了进行视频合成,首先需要获取两个素材,前景视频素材为目标对象在预设背景前拍摄得到的视频素材,具体可以在电子设备预先设置一个绿幕拍照模式,在拍摄过程中可以实现对背景的自动扣除;另一个素材是第一图像,第一图像用于后续进行场景重构成,生成背景视频素材。
其中,预设背景可以为蓝幕或绿幕,蓝幕和绿幕都是拍摄特技镜头的背景幕布,演员在蓝幕、绿幕前表演,由摄影机拍摄下来,画面在电脑中处理,抠掉背景的蓝色或绿色,换上其他背景。蓝色是人类皮肤的补色,用蓝幕作背景应该是最容易实现抠像的,近年来特技拍摄更多采用绿幕,也许是绿幕使用的荧光绿色在电脑系统中更容易与前景分离,同时这种颜色较为明亮,不易产生黑边。
其次,涉及步骤220。
其中,步骤220中,具体可以包括以下步骤:
将第一图像输入至景深识别模型,确定景深信息,景深识别模型是根据样本图像及其对应的标注景深值训练得到的。
其中,上述涉及到的景深信息,是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。在聚焦完成后,在焦点前后的范围内都能形成清晰的像,这一前一后的距离范围,便叫做景深。
其中,上述涉及到的景深识别模型可以根据样本图像及其对应的标注景深值训练得到的,样本图像包含大量的不同场景和对应的景深信息,对通过对样本图像进行人工智能识别,计算出这张图片的预测景深值,再将预测景深值与标注景深值进行对比,根据比对结果对初始模型进行训练,直至初始模型满足预设训练停止条件,得到训练好的景深识别模型。
由此,通过将第一图像输入至景深识别模型,能够确定第一图像中的每个对象的景深信息,以用于构建第一图像的三维立体场景,能够实现图像的视频景深化。
接着,涉及步骤230。
根据景深信息,构建第一图像的三维空间场景图。
示例性地,如图3所示,可以根据景深信息,确定第一图像中的任一对象(即被摄物体)前后距离范围,然后就可以根据前后距离范围构建第一图像的三维空间场景图。
然后,涉及步骤240。
步骤240中,具体可以包括以下步骤:
接收对目标对象的第一输入;
响应于第一输入,调整目标对象在三维空间场景图中的第一显示参数,得到三维空间融合图像;
其中,第一显示参数包括下述中的至少一项:
目标对象在三维空间场景图中的位置,以及目标对象在三维空间场景图中的大小。
其中,上述涉及到的第一显示参数可以包括下述中的至少一项:
目标对象在三维空间场景图中的位置,以及目标对象在三维空间场景图中的大小。
通过响应于对目标对象的第一输入,调整目标对象在三维空间场景图中的第一显示参数,能够对目标对象进行手动的位置选择,还能调整目标对象和三维空间场景图的比例位置关系。由此,能够提升目标对象和三维空间场景图的融合效果。
最后,涉及步骤250。
在一种可能的实施例中,步骤250中,具体可以包括以下步骤:
利用模拟机位对三维空间融合图像进行视频采集,得到至少一个第二视频;
基于预设转场模板对至少一个第二视频进行合成,生成目标视频。
其中,为了说明模拟机位,下面对机位运动进行说明。
设定机位是拍摄视频的过程中首要而基本的工作,机位设置意味着拍摄距离、拍摄角度和拍摄方式的确立。观众看到的任何一幅视频画面都是有一定景别和角度的。拍摄者通过对景别和角度的设定,控制着观众在画面中观看到的事物和怎样观看这些事物。其中,拍摄方式是指摄影机拍摄时的状态,一个镜头的拍摄完成摄影机可以是运动的,静止的,或者动静结合的。
所谓机位运动可以包括:摄影机的推、拉、摇、移变化,这其中既包括摄影机本身的运动,也有摄影机镜头的景别和角度变化。利用景别变化、拍摄角度变化、以及摄影机的运动,可以在一个个视频镜头中灵活地展现情节、刻画人物。
模拟机位也同理,通过利用运动的模拟机位对三维空间融合图像进行视频采集,得到至少一个第二视频,这样,在第一视频中的目标对象与三维空间场景图融合得到三维空间融合图像之后,可以进行机位运动,让三维空间融合图像的空间场景图可以动起来,以完成图片场景视频化重构。
实例性地,如图4所示,通过利用模拟机位对三维空间融合图像进行视频采集,可以得到至少一个第二视频。然后可以基于预设转场模板对至少一个第二视频进行合成,生成目标视频。
其中,转场指的是段落与段落、场景与场景之间的过渡或转换。每个段落(构成视频的最小单位是镜头,一个个镜头连接在一起形成的是镜头序列)都具有某个单一的、相对完整的意思,如表现一个动作过程,表现一种相关关系,表现一种含义等等。它是视频中一个完整的叙事层次,就像戏剧中的幕,小说中的章节一样,一个个段落连接在一起,就形成了完整的视频。
其中,预设转场模板可以包括:特写转场、空镜头转场、翻转、淡入淡出等。预设转场模板可以将多个视频连接在一起,形成完整的视频。
由此,能够减少视频素材的局限性和专业性采集制作的难度,让普通用户在日常生活中也能更好的进行视频创作,可以通过第一图像生成动态场景并且和目标对象相结合,能够快速简单的根据易于获取的第一图像和第一视频合成动态的目标视频。
其中,上述涉及到基于预设转场模板对至少一个第二视频进行合成,生成目标视频的步骤中,具体可以包括以下步骤:
对至少一个第二视频进行合成,生成第三视频;
对第三视频的第二显示参数进行调节,得到第四视频;
对第四视频进行模拟光线处理,得到目标视频。
首先,基于预设转场模板对至少一个第二视频进行合成,生成第三视频;然后,对第三视频的第二显示参数进行调节,得到第四视频,最后,对整体调整好的第四视频进行模拟光线处理,进行光影统一,实现人物和背景都有真实的立体光影,最终得到一个效果比较好的图片重构视频场景的目标视频。
其中,上述涉及到对第三视频的第二显示参数进行调节,得到第四视频的步骤中,具体可以包括以下步骤:
调节第三视频的颜色参数以及亮度参数,得到第四视频。
其中,上述涉及到的第二显示参数,可以包括颜色参数以及亮度参数。
为了使整体色彩和谐,需要调节第三视频的颜色参数以及亮度参数,得到调节后的第三视频。
最后,根据调节后的目标对象和调节后的第三视频,合成第四视频,由此,可以得到整体色彩和亮度和谐的第四视频。
综上,在本申请实施例中,通过获取第一图像,以及目标对象在预设背景前拍摄得到的第一视频;然后,根据基于第一图像确定的景深信息,构建第一图像的三维空间场景图,由此,可以通过对第一图像进行空间重建,实现第一图像的三维立体化;接着,将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像,这样能够将作为前景的目标对象与三维空间场景图结合起来;最后,对三维空间融合图像进行动态处理,生成目标视频,能够快速简单的根据易于获取的第一图像和第一视频合成动态的目标视频。
需要说明的是,本申请实施例提供的视频合成方法,执行主体可以为视频合成装置,或者该视频合成装置中的用于执行加载视频合成方法的控制模块。本申请实施例中以视频合成装置执行加载视频合成方法为例,说明本申请实施例提供的视频合成方法。
另外,基于上述视频合成方法,本申请实施例还提供了一种视频合成装置,具体结合图5进行详细说明。
图5为本申请实施例提供的一种视频合成装置结构示意图。
如图5所示,该视频合成装置500可以包括:
获取模块510,用于获取第一图像,以及包括目标对象的第一视频。
确定模块520,用于确定第一图像中的每个对象的景深信息。
构建模块530,用于根据景深信息,构建第一图像的三维空间场景图。
融合模块540,用于将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像。
动态模块550,用于对三维空间融合图像进行动态处理,生成目标视频。
在一种可能的实施例中,动态模块550,包括:
采集模块,用于利用模拟机位对三维空间融合图像进行视频采集,得到至少一个第二视频。
合成模块,用于基于预设转场模板对至少一个第二视频进行合成,生成目标视频。
在一种可能的实施例中,融合模块540,包括:
接收模块,用于接收对目标对象的第一输入。
调整模块,用于响应于第一输入,调整目标对象在三维空间场景图中的第一显示参数,得到三维空间融合图像。
其中,第一显示参数包括下述中的至少一项:
目标对象在三维空间场景图中的位置,以及目标对象在三维空间场景图中的大小。
在一种可能的实施例中,合成模块,具体用于:对至少一个第二视频进行合成,生成第三视频。
相应地,合成模块,包括:
调节模块,用于对第三视频的第二显示参数进行调节,得到第四视频。
光线处理模块,用于对第四视频进行模拟光线处理,得到目标视频。
在一种可能的实施例中,调节模块,具体用于:调节第三视频的颜色参数以及亮度参数,得到第四视频。
在一种可能的实施例中,确定模块520,具体用于:将第一图像输入至景深识别模型,确定景深信息,景深识别模型是根据样本图像及其对应的标注景深值训练得到的。
综上,本申请实施例提供的视频合成装置,通过获取第一图像,以及动态对象在预设背景前拍摄得到的第一视频;然后,根据基于第一图像确定的景深信息,构建第一图像的三维空间场景图,由此,可以通过对第一图像进行空间重建,实现第一图像的三维立体化;接着,将第一视频中的动态对象与三维空间场景图融合,得到三维空间融合图像,这样能够将作为前景的动态对象与三维空间场景图结合起来;最后,对三维空间融合图像进行动态处理,生成目标视频,能够快速简单的根据易于获取的第一图像和第一视频合成动态的目标视频。
本申请实施例中的视频合成装置,可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的视频合成装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的视频合成装置能够实现图2-图4的方法实施例中视频合成装置实现的各个过程,为避免重复,这里不再赘述。
可选地,如图6所示,本申请实施例还提供一种电子设备600,包括处理器601,存储器602,存储在存储器602上并可在处理器601上运行的程序或指令,该程序或指令被处理器601执行时实现上述聊天群组的创建方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图7为本申请实施例提供的另一种电子设备的硬件结构示意图。
该电子设备700包括但不限于:射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710以及电源711等部件。其中,输入单元704可以包括图形处理器7041和麦克风7042;显示单元706可以包括显示面板7061;用户输入单元707可以包括触控面板7071以及其他输入设备7072;存储器709可以包括应用程序和操作系统。
本领域技术人员可以理解,电子设备700还可以包括给各个部件供电的电源(比如电池),电源711可以通过电源管理系统与处理器710逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
网络模块702,用于获取第一图像,以及包括目标对象的第一视频。
处理器710,用于确定第一图像中的每个对象的景深信息。
处理器710,用于根据景深信息,构建第一图像的三维空间场景图。
处理器710,用于将第一视频中的目标对象与三维空间场景图融合,得到三维空间融合图像。
处理器710,用于对三维空间融合图像进行动态处理,生成目标视频。
可选地,处理器710,还用于利用模拟机位对三维空间融合图像进行视频采集,得到至少一个第二视频。
处理器710,还用于基于预设转场模板对至少一个第二视频进行合成,生成目标视频。
可选地,用户输入单元707,还用于接收对目标对象的第一输入。
处理器710,还用于响应于第一输入,调整目标对象在三维空间场景图中的第一显示参数,得到三维空间融合图像。
其中,第一显示参数包括下述中的至少一项:
目标对象在三维空间场景图中的位置,以及目标对象在三维空间场景图中的大小。
可选地,处理器710,还用于对至少一个第二视频进行合成,生成第三视频。
处理器710,还用于对第三视频的第二显示参数进行调节,得到第四视频。
处理器710,还用于对第四视频进行模拟光线处理,得到目标视频。
可选地,处理器710,还用于调节第三视频的颜色参数以及亮度参数,得到第四视频。
可选地,处理器710,还用于将第一图像输入至景深识别模型,确定景深信息,景深识别模型是根据样本图像及其对应的标注景深值训练得到的。
本申请实施例中,通过获取第一图像,以及动态对象在预设背景前拍摄得到的第一视频;然后,根据基于第一图像确定的景深信息,构建第一图像的三维空间场景图,由此,可以通过对第一图像进行空间重建,实现第一图像的三维立体化;接着,将第一视频中的动态对象与三维空间场景图融合,得到三维空间融合图像,这样能够将作为前景的动态对象与三维空间场景图结合起来;最后,对三维空间融合图像进行动态处理,生成目标视频,能够快速简单的根据易于获取的第一图像和第一视频合成动态的目标视频。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述视频合成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述视频合成方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种视频合成方法,其特征在于,包括:
获取第一图像,以及包括目标对象的第一视频;
确定所述第一图像中的每个对象的景深信息;
根据所述景深信息,构建所述第一图像的三维空间场景图;
将所述第一视频中的所述目标对象与所述三维空间场景图融合,得到三维空间融合图像;
对所述三维空间融合图像进行动态处理,生成目标视频。
2.根据权利要求1所述的方法,其特征在于,所述对所述三维空间融合图像进行动态处理,生成目标视频,包括:
利用模拟机位对所述三维空间融合图像进行视频采集,得到至少一个第二视频;
基于预设转场模板对至少一个所述第二视频进行合成,生成所述目标视频。
3.根据权利要求1所述的方法,其特征在于,所述将所述第一视频中的所述目标对象与所述三维空间场景图融合,得到三维空间融合图像,包括:
接收对所述目标对象的第一输入;
响应于所述第一输入,调整所述目标对象在所述三维空间场景图中的第一显示参数,得到所述三维空间融合图像;
其中,所述第一显示参数包括下述中的至少一项:
所述目标对象在所述三维空间场景图中的位置,以及所述目标对象在所述三维空间场景图中的大小。
4.根据权利要求2所述的方法,其特征在于,所述基于预设转场模板对至少一个所述第二视频进行合成,生成所述目标视频,包括:
对所述至少一个所述第二视频进行合成,生成第三视频;
对所述第三视频的第二显示参数进行调节,得到第四视频;
对所述第四视频进行模拟光线处理,得到所述目标视频。
5.根据权利要求4所述的方法,其特征在于,所述对所述第三视频的第二显示参数进行调节,得到第四视频,包括:
调节所述第三视频的颜色参数以及亮度参数,得到所述第四视频。
6.根据权利要求1所述的方法,其特征在于,所述确定所述第一图像中的每个对象的景深信息,包括:
将所述第一图像输入至景深识别模型,确定所述景深信息,所述景深识别模型是根据样本图像及其对应的标注景深值训练得到的。
7.一种视频合成装置,其特征在于,包括:
获取模块,用于获取第一图像,以及包括目标对象的第一视频;
确定模块,用于确定所述第一图像中的每个对象的景深信息;
构建模块,用于根据所述景深信息,构建所述第一图像的三维空间场景图;
融合模块,用于将所述第一视频中的所述目标对象与所述三维空间场景图融合,得到三维空间融合图像;
动态模块,用于对所述三维空间融合图像进行动态处理,生成目标视频。
8.根据权利要求7所述的装置,其特征在于,所述动态模块,包括:
采集模块,用于利用模拟机位对所述三维空间融合图像进行视频采集,得到至少一个第二视频;
合成模块,用于基于预设转场模板对至少一个所述第二视频进行合成,生成所述目标视频。
9.根据权利要求7所述的装置,其特征在于,所述融合模块,包括:
接收模块,用于接收对所述目标对象的第一输入;
调整模块,用于响应于所述第一输入,调整所述目标对象在所述三维空间场景图中的第一显示参数,得到所述三维空间融合图像;
其中,所述第一显示参数包括下述中的至少一项:
所述目标对象在所述三维空间场景图中的位置,以及所述目标对象在所述三维空间场景图中的大小。
10.一种电子设备,所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-6任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110732936.3A CN113489920A (zh) | 2021-06-29 | 2021-06-29 | 一种视频合成方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110732936.3A CN113489920A (zh) | 2021-06-29 | 2021-06-29 | 一种视频合成方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113489920A true CN113489920A (zh) | 2021-10-08 |
Family
ID=77936781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110732936.3A Pending CN113489920A (zh) | 2021-06-29 | 2021-06-29 | 一种视频合成方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113489920A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114173059A (zh) * | 2021-12-09 | 2022-03-11 | 广州阿凡提电子科技有限公司 | 一种视频编辑系统、方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210453A (zh) * | 2016-08-09 | 2016-12-07 | 安徽喜悦信息科技有限公司 | 一种智能虚拟演播室系统 |
WO2018095317A1 (zh) * | 2016-11-28 | 2018-05-31 | 中兴通讯股份有限公司 | 视频数据处理方法、装置及设备 |
CN109639933A (zh) * | 2018-12-07 | 2019-04-16 | 北京美吉克科技发展有限公司 | 一种虚拟演播室360度全景节目制作的方法及系统 |
CN109660818A (zh) * | 2018-12-30 | 2019-04-19 | 广东彼雍德云教育科技有限公司 | 一种虚拟互动直播系统 |
-
2021
- 2021-06-29 CN CN202110732936.3A patent/CN113489920A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210453A (zh) * | 2016-08-09 | 2016-12-07 | 安徽喜悦信息科技有限公司 | 一种智能虚拟演播室系统 |
WO2018095317A1 (zh) * | 2016-11-28 | 2018-05-31 | 中兴通讯股份有限公司 | 视频数据处理方法、装置及设备 |
CN109639933A (zh) * | 2018-12-07 | 2019-04-16 | 北京美吉克科技发展有限公司 | 一种虚拟演播室360度全景节目制作的方法及系统 |
CN109660818A (zh) * | 2018-12-30 | 2019-04-19 | 广东彼雍德云教育科技有限公司 | 一种虚拟互动直播系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114173059A (zh) * | 2021-12-09 | 2022-03-11 | 广州阿凡提电子科技有限公司 | 一种视频编辑系统、方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111698390B (zh) | 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统 | |
CN110636353B (zh) | 一种显示设备 | |
CN111601039B (zh) | 视频拍摄方法、装置及电子设备 | |
CN108939556B (zh) | 一种基于游戏平台的截图方法及装置 | |
EP3166079A1 (en) | Augmented reality method and system based on wearable device | |
CN108668050B (zh) | 基于虚拟现实的视频拍摄方法和装置 | |
CN112637515A (zh) | 拍摄方法、装置和电子设备 | |
CN111953900B (zh) | 图片拍摄方法、装置和电子设备 | |
CN112492212A (zh) | 拍照方法、装置、电子设备及存储介质 | |
CN103945116A (zh) | 用于在具有相机的移动终端中处理图像的设备和方法 | |
CN105554366A (zh) | 一种多媒体拍摄处理方法、装置及智能终端 | |
CN112492215B (zh) | 拍摄控制方法、装置和电子设备 | |
CN112702531B (zh) | 拍摄方法、装置及电子设备 | |
CN113489920A (zh) | 一种视频合成方法、装置及电子设备 | |
CN112437232A (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN112839166A (zh) | 拍摄方法、装置及电子设备 | |
US20230274388A1 (en) | Photographing Method, and Electronic Device and Non-Transitory Readable Storage Medium | |
CN114025100B (zh) | 拍摄方法、装置、电子设备和可读存储介质 | |
CN112887624B (zh) | 一种拍摄方法、装置和电子设备 | |
CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
CN114241127A (zh) | 全景图像生成方法、装置、电子设备和介质 | |
CN112399092A (zh) | 拍摄方法、装置和电子设备 | |
CN112653841A (zh) | 拍摄方法、装置和电子设备 | |
CN111654623A (zh) | 拍照方法、装置和电子设备 | |
CN114827477B (zh) | 延时摄影的方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |