CN112954452A - 视频生成方法、装置、终端及存储介质 - Google Patents
视频生成方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN112954452A CN112954452A CN202110172622.2A CN202110172622A CN112954452A CN 112954452 A CN112954452 A CN 112954452A CN 202110172622 A CN202110172622 A CN 202110172622A CN 112954452 A CN112954452 A CN 112954452A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- fusion
- template
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 239000000463 material Substances 0.000 claims abstract description 185
- 230000004927 fusion Effects 0.000 claims abstract description 135
- 238000007499 fusion processing Methods 0.000 claims abstract description 37
- 238000004590 computer program Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Studio Circuits (AREA)
Abstract
本申请公开了一种视频生成方法、装置、终端及存储介质，属于计算机技术领域。所述方法包括：获取待生成视频所需的模板视频的编码数据和输入图像；对模板视频的编码数据进行解码，得到模板视频的多个模板图像帧；针对每个模板图像帧，分割得到一组对应的素材图像和融合图像；基于融合图像，对融合图像对应的素材图像和输入图像进行融合处理，生成融合图像帧；基于多个融合图像帧生成视频。本申请实施例提供的技术方案中，通过基于单个模板视频获取对应的素材图像和融合图像，再基于融合图像，将对应的素材图像与输入图像进行融合，而无需对素材图像和融合图像进行匹配处理，降低了融合过程的复杂度，提高了融合处理的同步精准度。
Description
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种视频生成方法、装置、终端及存储介质。
背景技术
随着计算机技术的发展，模板视频被大量用于视频的制作中，诸如短视频、广告视频、生活服务类视频、电商购物类视频等。
以短视频的制作为例，发明人在实现本申请的过程中发现，相关技术通过两个模板视频分别获取背景素材图像和背景融合图像，再将背景素材图像和背景融合图像进行一一匹配，最后通过背景融合图像将对应的背景素材图像和输入图像进行融合处理，从而得到短视频。其中，背景融合图像用于调整背景素材图像和输入图像的透明度，背景素材图像用于作为短视频的背景。
然而，相关技术在生成视频时不仅需要分别对两个模板视频进行解码处理，还需要对所获取的背景素材图像和背景融合图像进行一一匹配，融合过程复杂。
发明内容
本申请实施例提供了一种视频生成方法、装置、终端及存储介质，能够通过基于单个模板视频获取对应的素材图像和融合图像，再基于融合图像，将对应的素材图像与输入图像进行融合，而无需对素材图像和融合图像进行匹配处理，降低了融合过程的复杂度，提高了融合处理的同步精准度。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种视频生成方法，所述方法包括：
获取待生成视频所需的模板视频的编码数据和输入图像；
对所述模板视频的编码数据进行解码，得到所述模板视频的多个模板图像帧；
针对每个所述模板图像帧，分割得到一组对应的素材图像和融合图像；
基于所述融合图像，对所述融合图像对应的素材图像和所述输入图像进行融合处理，生成融合图像帧；
基于多个所述融合图像帧生成视频。
根据本申请实施例的一个方面，提供了一种视频生成装置，所述装置包括：
数据获取模块，用于获取待生成视频所需的模板视频的编码数据和输入图像；
图像帧获取模块，用于对所述模板视频的编码数据进行解码，得到所述模板视频的多个模板图像帧；
图像获取模块，用于针对每个所述模板图像帧，分割得到一组对应的素材图像和融合图像；
融合图像帧获取模块，用于基于所述融合图像，对所述融合图像对应的素材图像和所述输入图像进行融合处理，生成融合图像帧；
视频生成模块，用于基于多个所述融合图像帧生成视频。
根据本申请实施例的一个方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述视频生成方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述视频生成方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述视频生成方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过基于单个模板视频获取对应的素材图像和融合图像，再基于融合图像，将对应的素材图像与输入图像进行融合，实现了素材图像和融合图像的自动同步，而无需通过多个模板视频分别获取素材图像和融合图像，再对所获取的素材图像和融合图像进行匹配处理，从而降低了融合过程的复杂度，提高了融合处理的同步精准度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的方案实施环境的示意图；
图2是本申请实施例提供的视频生成方法的流程图；
图3和图4是本申请一个实施例提供的融合图像帧生成方法的示意图；
图5是本申请一个实施例提供的模板视频生成方法的流程图；
图6是本申请一个实施例提供的视频生成装置的框图；
图7是本申请一个实施例提供的终端的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以实现成为一个视频生成系统的架构。该方案实施环境可以包括：终端10和服务器20。
终端10是指用户所使用的终端设备。用户可以通过终端10制作视频。例如，终端10中可以安装运行目标应用程序的客户端，用户可以通过该客户端获取模板视频，进而基于模板视频和用户所选择的图像进行视频制作。上述目标应用程序可以是短视频应用程序、广告制作类应用程序以及任何具有视频制作功能的应用程序，本申请实施例对此不作限定。终端10可以是诸如手机、平板电脑、多媒体播放设备、PC(Personal Computer，个人计算机)、可穿戴设备等电子设备。
服务器20可以用于为终端10提供后台服务。例如，服务器20可以是上述目标应用程序的后台服务器，可用于为终端10中安装运行的目标应用程序的客户端提供后台服务，如视频查看、制作等服务。可选地，服务器20还可用于为客户端提供模板视频。服务器20可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。
终端10与服务器20之间可以通过网络进行通信。
请参考图2，其示出了本申请一个实施例提供的视频生成方法的流程图。该方法可应用于上文介绍的终端10中，如各步骤的执行主体可以是目标应用程序的客户端。该方法可以包括如下几个步骤(201～205)：
步骤201，获取待生成视频所需的模板视频的编码数据和输入图像。
在本申请实施例中，待生成视频是指一种以图像为主要显示内容，模板视频为辅助显示内容的视频。例如，该待生成视频可以是通过对模板视频和输入图像进行融合处理所得到的视频，且该视频可以具有动态效果。例如，在该视频中，模板视频作为输入图像的背景而显示，即在显示输入图像的同时，可以透过输入图像显示模板视频，如此使得该视频具有动态效果。可选地，上述待生成视频可应用于不同的场景中。例如，在生活场景中，可以通过该待生成视频记录生活写实、生活小技巧等；在教学场景中，可以通过该待生成视频记录教学内容、学习技巧等；在广告场景中，可以通过该待生成视频展示商品信息、商品活动、商品服务等，本申请实施例对此不作限定。
其中，模板视频是指用于作为模板的视频，可用于上述待生成视频的生成。模板视频包括多个模板图像帧，模板图像帧是指模板视频对应的视频图像帧。模板图像帧包括对应的第一图像区域和第二图像区域。第一图像区域的内容可用于作为模板图像帧的显示内容，第二图像区域的内容可用于调整第一图像区域的显示效果。例如，第一图像区域的内容可以是从电影、电视剧、自制视频等中获取。第二图像区域的内容可以由模板视频的制作者定义，可用于调整第一图像区域的内容和输入图像在待生成视频中的透明度、显示颜色等。
可选地，第一图像区域的尺寸和第二图像区域的尺寸相同。例如，在一个尺寸为A*B的模板图像帧中，若第一图像区域的尺寸为(A/2)*B，则第二图像区域的尺寸也为(A/2)*B。可选地，第一图像区域与第二图像区域可以是水平并排分布，也可以是垂直并列分布，本申请实施例对此不作限定。
可选地，不同的模板视频具有不同的显示形式和显示内容。例如，模板视频的显示内容可以是动画片段、合成视频片段、实景视频片段等。模板视频的显示形式可以使模板视频的显示内容以不同的透明度在待生成视频中显示，同时可以使输入图像以不同的透明度在待生成视频中显示。例如，通过模板视频的显示形式，可以使模板视频的显示内容的透明度为0，输入图像的透明度为1，则输入图像完全不透明，模板视频的显示内容完全透明。
可选地，输入图像可以是指用户输入的图片、照片、绘画等，也可以是指用户在终端10中选择的图像，本申请实施例对此不作限定。该输入图像的格式可以是PNG(PortableNetwork Graphics，便携式网络图形)、JPG(Joint Photographic Experts Group，联合图像专家组)等格式。
步骤202，对模板视频的编码数据进行解码，得到模板视频的多个模板图像帧。
模板图像帧可由模板视频的编码数据解码得到。该解码方式可以包括硬件解码和软件解码。硬件解码是指通过硬件对模板视频的编码数据进行解码。例如，通过GPU(Graphics Processing Unit，图形处理器)对模板视频的编码数据进行解码，从而可以降低CPU(Central Processing Unit，中央处理器)的工作负荷。软件解码是指通过软件本身占用的CPU对模板视频的编码数据进行解码，因此会增加CPU的工作负荷。其中，硬件解码的效率要高于软件解码的效率。
步骤203，针对每个模板图像帧，分割得到一组对应的素材图像和融合图像。
素材图像是指模板图像帧中的第一图像区域对应的图像，可用于作为输入图像的前景素材图像、背景素材图像等使用。融合图像是指模板图像帧中的第二图像区域对应的图像，可用于调整对应的素材图像和输入图像的显示效果，该显示效果可以包括透明度，显示颜色等效果。可选地，素材图像的尺寸与融合图像的尺寸相同。例如，素材图像的尺寸为(A/2)*B，则融合图像的尺寸也为(A/2)*B。
可选地，可以通过针对每个模板图像帧进行分割处理，得到一组对应的素材图像和融合图像。例如，基于第一图像区域的尺寸，从模板图像帧中分割出素材图像。基于第二图像区域的尺寸，从模板图像帧中分割出融合图像。
在一个示例中，一组对应的素材图像和融合图像的获取过程可以如下：获取素材图像在模板图像帧中的位置信息，以及融合图像在模板图像帧中的位置信息；基于位置信息对每个模板图像帧进行分割处理，得到一组对应的素材图像和融合图像。其中，位置信息可以是指素材图像或融合图像中各个像素点对应的位置信息。例如，参考图3，模板图像帧301包括一组对应的第一图像区域和第二图像区域。其中，模板图像帧的尺寸为2w*h，第一图像区域的尺寸为w*h，第二图像区域的尺寸也为w*h，第一图像区域位于第二图像区域的左侧。则(0～w)*h区域内的像素点为第一图像区域对应的像素点，(w～2w)*h区域内的像素点为第二图像区域对应的像素点。从模板图像帧301中提取(0～w)*h区域内的像素点，生成素材图像302，从模板图像帧301中提取(w～2w)*h区域内的像素点，生成融合图像303。
需要说明的是，解码得到的模板图像帧一般为YUV(一种颜色编码方法)格式，需要将模板图像帧从YUV格式转换为RGBA(Red-Green-Blue-Alpha，红色-绿色-蓝色-透明度参数)格式，再对模板图像帧进行分割处理，如此可以利用图像的透明度，通过融合图像对素材图像和输入图像进行融合处理。
步骤204，基于融合图像，对融合图像对应的素材图像和输入图像进行融合处理，生成融合图像帧。
融合图像帧是指待生成视频对应的图像帧，该融合图像帧的显示内容可以包括素材图像的内容和输入图像的内容。例如，参考图3，基于融合图像303，对素材图像302和输入图像304进行融合处理，生成融合图像帧305，融合图像帧305中包括素材图像302的内容和输入图像304的内容。
在一个示例中，融合图像帧的具体生成内容可以如下：基于融合图像，确定素材图像和输入图像分别对应的各个像素点的透明度；基于透明度，确定素材图像和输入图像分别对应的各个像素点的原色混合比例，原色混合比例用于确定像素点的显示颜色比例；基于素材图像和输入图像分别对应的各个像素点的透明度和原色混合比例，对素材图像和输入图像进行融合处理，生成融合图像帧。其中，透明度是指像素点的透明程度。透明度的值的分布区间为0～1，透明度的值与像素点的透明程度成负相关关系。
例如，融合图像中的各个像素点的R(Red，红色)值＝G(Green，绿色)值＝B(Blue，蓝色)值，即融合图像是一个纯色图像。融合图像中各个像素点的透明度参数(下文简称透明度参数序列)用于调整素材图像中对应位置的各个像素点的透明度，然后以剩余透明度参数(即1与透明度参数序列的差值)调整输入图像中对应位置的各个像素点的透明度。再通过素材图像中的各个像素点的调整后的透明度，确定素材图像中各个像素点在融合图像中的原色混合比例，通过输入图像中的各个像素点的调整后的透明度，确定输入图像中各个像素点在融合图像中的原色混合比例，进而融合生成融合图像帧。融合图像帧的生成过程可以整理为如下公式：
融合图像帧＝素材图像各个像素点的原色比例*透明度参数序列+输入图像各个像素点的原色比例*(1-透明度参数序列)，其中原色比例用于确定该像素点的显示颜色。
可选地，素材图像可以作为输入图像的背景进行融合处理，素材图像还可以作为输入图像的前景进行融合处理，本申请实施例对此不作限定。
步骤205，基于多个融合图像帧生成视频。
可选地，在模板视频的所有模板图像帧与输入图像融合成融合图像帧之后，依次对所有的融合图像帧进行编码处理，生成视频(即上述的待生成视频)。
在一个示例性实施例中，基于每个模板图像帧，可以得到不同组对应的素材图像和融合图像，该获取结果包括以下至少一项内容：
1、针对每个模板图像帧，分割得到一组对应的背景素材图像和背景融合图像，背景融合图像用于对背景素材图像和输入图像进行融合处理。
其中，背景素材图像用于作为输入图像的背景被融合，即背景素材图像在输入图像的下层进行显示。
2、针对每个模板图像帧，分割得到一组对应的前景素材图像和前景融合图像，前景融合图像用于对前景素材图像和输入图像进行融合处理。
其中，前景素材图像用于作为输入图像的前景被融合，即前景素材图像在输入图像的上层进行显示。
3、针对每个模板图像帧，分割得到一组对应的背景素材图像、前景素材图像、背景融合图像和前景融合图像；其中，背景融合图像用于对背景素材图像和输入图像进行融合处理，前景融合图像用于对前景素材图像和输入图像进行融合处理。
可选地，在该情况下，融合图像帧的获取过程可以如下：通过背景融合图像，对背景素材图像和输入图像进行融合处理，得到第一中间融合图像，再基于前景融合图像，对第一中间融合图像和前景素材图像进行融合处理，得到融合图像帧。例如，参考图4，对模板图像帧401进行分割处理，得到背景素材图像402、背景融合图像403、前景素材图像404和前景融合图像405。通过背景融合图像403，对背景素材图像402和输入图像406进行融合处理，得到第一中间融合图像407。再通过前景融合图像405，对第一中间融合图像407和前景素材图像404进行融合处理，得到融合图像帧408。
4、针对每个模板图像帧，分割得到至少一组对应的背景素材图像、前景素材图像和前背景融合图像；其中，前背景融合图像用于对背景素材图像和输入图像进行融合处理，以及用于对前景素材图像和输入图像进行融合处理。
可选地，在该情况下，融合图像帧的获取过程可以如下：基于前背景融合图像，对背景素材图像和输入图像进行融合处理，得到第二中间融合图像，再基于前背景融合图像，对第二中间融合图像和前景素材图像进行融合处理，得到融合图像帧。
综上所述，在本申请实施例提供的技术方案中，通过基于单个模板视频获取对应的素材图像和融合图像，再基于融合图像，将对应的素材图像与输入图像进行融合，实现了素材图像和融合图像的自动同步，而无需通过多个模板视频分别获取素材图像和融合图像，再对所获取的素材图像和融合图像进行匹配处理，从而降低了融合过程的复杂度，提高了融合处理的同步精准度。
另外，通过获取尺寸相同的素材图像和融合图像，可以降低素材图像和融合图像的位置信息的获取难度。同时，可以保证融合图像与素材图像之间的匹配度，从而提高了融合处理的效果。
另外，通过单个模板视频即可以得到融合图像帧所需的一组或多组对应的素材图像和融合图像(如对应的背景素材图像和背景融合图像、对应的前景素材图像和前景融合图像等等)，提高了融合内容的丰富性和可扩展性。此外，由于本申请无需通过多个模板视频来获取对应的素材图像和融合图像，在从服务器获取模板视频的编码资源的情况下，进一步减少了视频数据的传输流量。同时由于只需一个解码器对单个模板视频进行解码处理，而无需多个解码器，节省了解码器性能。
请参考图5，其示出了本申请一个实施例提供的模板视频生成方法的流程图。该方法可应用于上文介绍的服务器20中。该方法可以包括如下几个步骤(501～503)：
步骤501、获取素材图像视频和融合图像视频，素材图像视频中的图像帧用于生成素材图像，融合图像视频中的图像帧用于生成融合图像。
素材图像视频可以是任意的视频素材，诸如电影片段、电视剧片段、自制视频等视频素材。可选地，在短视频制作的场景中，该素材图像视频有一定的时长限制。素材图像视频的内容作为模板视频的显示内容被组合。
融合图像视频由模板视频的制作者制作或选择。融合图像视频中的每一个图像帧都用于调整对应素材图像视频中的图像帧的透明度。素材图像视频的内容作为模板视频的显示形式的控制信息被组合。
可选地，以素材图像视频的时长为基准，获取对应时长的融合图像视频，且所获取的素材图像视频与融合图像视频的尺寸相同。
步骤502、将素材图像视频和融合图像视频中的对应图像帧进行组合处理，得到模板视频的模板图像帧。
可选地，对素材图像视频和融合图像视频进行解码处理，得到素材图像视频的多个素材图像帧和融合图像视频的多个融合图像帧。基于单个素材图像帧和该素材图像帧对应的融合图像帧的尺寸，创建一个画布，该画布可以放置完整的素材图像帧和该素材图像帧对应的融合图像帧。考虑减少传输数据的情况下，一般素材图像帧和该素材图像帧对应的融合图像帧在并排或并列情况下的尺寸即为该画布的尺寸。例如，素材图像帧的尺寸为A*B，则画布的尺寸为2A*B或者A*2B。
将素材图像帧和该素材图像帧对应的融合图像帧并排或并列置于画布中，生成修改后的画布，再基于修改后的画布，提取画布中各个像素点对应的数据，该数据可以包括坐标信息、透明度信息、原色比例信息等，进而得到模板图像帧。
步骤503，基于多个模板图像帧得到模板视频。
可选地，模板图像帧可以是RGBA格式的。如此可以直接通过对多个模板图像帧进行硬件编码或者软件编码，得到模板视频。
在一个示例性实施例中，视频生成方法各步骤的执行主体可以是上文介绍的服务器20。该方法的具体内容可以如下：
获取视频融合请求，视频融合请求包括用户所选择的模板视频信息和输入图像信息。其中，模板视频信息用于获取对应的模板视频的编码数据。输入图像信息包括用户所选择的输入图像。
基于模板视频信息，获取模板视频的编码数据。对模板视频的编码数据进行解码处理，得到模板视频的多个模板图像帧。基于单个模板图像帧，得到一组对应的素材图像和融合图像。基于融合图像，对融合图像对应的素材图像和输入图像进行融合处理，生成融合图像帧。基于多个融合图像帧生成视频。
对所生成的视频进行编码操作，得到所生成的视频的编码数据，并将所生成的视频的编码数据发送给用户对应的客户端。
本申请实施例通过服务器生成视频，减轻了终端的运行压力。
综上所述，在本申请实施例提供的技术方案中，通过基于单个模板视频获取对应的素材图像和融合图像，再基于融合图像，将对应的素材图像与输入图像进行融合，实现了素材图像和融合图像的自动同步，而无需通过多个模板视频分别获取素材图像和融合图像，再对所获取的素材图像和融合图像进行匹配处理，从而降低了融合过程的复杂度，提高了融合处理的同步精准度。
另外，通过单个模板视频即可以得到融合图像帧所需的一组或多组对应的素材图像和融合图像，而无需通过多个模板视频来获取对应的素材图像和融合图像，从减少了视频数据的传输量，进而降低带宽的需求度。
另外，通过将对应的素材图像视频和融合图像视频进组合，形成模板视频，减少了模板视频对存储空间的需求。同时，为通过基于单个模板视频获取对应的素材图像和融合图像提供了可能。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图6，其示出了本申请一个实施例提供的视频生成装置的框图。该装置具有实现上述视频生成方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的终端，也可以设置在终端中。该装置600可以包括：数据获取模块601、图像帧获取模块602、图像获取模块603、融合图像帧获取模块604和视频生成模块605。
数据获取模块601，用于获取待生成视频所需的模板视频的编码数据和输入图像。
图像帧获取模块602，用于对所述模板视频的编码数据进行解码，得到所述模板视频的多个模板图像帧。
图像获取模块603，用于针对每个所述模板图像帧，分割得到一组对应的素材图像和融合图像。
融合图像帧获取模块604，用于基于所述融合图像，对所述融合图像对应的素材图像和所述输入图像进行融合处理，生成融合图像帧。
视频生成模块605，用于基于多个所述融合图像帧生成视频。
在一个示例性实施例中，所述图像获取模块603，用于：
获取所述素材图像在所述模板图像帧中的位置信息，以及所述融合图像在所述模板图像帧中的位置信息；
基于所述位置信息对每个所述模板图像帧进行分割处理，得到一组对应的素材图像和融合图像。
在一个示例性实施例中，所述素材图像的尺寸与所述融合图像的尺寸相同。
在一个示例性实施例中，所述融合图像帧获取模块604，用于：
基于所述融合图像，确定所述素材图像和所述输入图像分别对应的各个像素点的透明度；
基于所述透明度，确定所述素材图像和所述输入图像分别对应的各个像素点的原色混合比例，所述原色混合比例用于确定所述像素点的显示颜色比例；
基于所述素材图像和所述输入图像分别对应的各个像素点的透明度和原色混合比例，对所述素材图像和所述输入图像进行融合处理，生成所述融合图像帧。
在一个示例性实施例中，所述图像获取模块603，还用于：
针对每个所述模板图像帧，分割得到一组对应的背景素材图像和背景融合图像，所述背景融合图像用于对所述背景素材图像和所述输入图像进行融合处理；
或者，针对每个所述模板图像帧，分割得到一组对应的前景素材图像和前景融合图像，所述前景融合图像用于对所述前景素材图像和所述输入图像进行融合处理；
或者，针对每个所述模板图像帧，分割得到一组对应的背景素材图像、前景素材图像、背景融合图像和前景融合图像；其中，所述背景融合图像用于对所述背景素材图像和所述输入图像进行融合处理，所述前景融合图像用于对所述前景素材图像和所述输入图像进行融合处理；
或者，针对每个所述模板图像帧，分割得到至少一组对应的背景素材图像、前景素材图像和前背景融合图像；其中，所述前背景融合图像用于对所述背景素材图像和所述输入图像进行融合处理，以及用于对所述前景素材图像和所述输入图像进行融合处理。
在一个示例性实施例中，所述模板视频的生成过程如下：
获取素材图像视频和融合图像视频，所述素材图像视频中的图像帧用于生成所述素材图像，所述融合图像视频中的图像帧用于生成所述融合图像；
将所述素材图像视频和所述融合图像视频中的对应图像帧进行组合处理，得到所述模板视频的模板图像帧。
综上所述，在本申请实施例提供的技术方案中，通过基于单个模板视频获取对应的素材图像和融合图像，再基于融合图像，将对应的素材图像与输入图像进行融合，实现了素材图像和融合图像的自动同步，而无需通过多个模板视频分别获取素材图像和融合图像，再对所获取的素材图像和融合图像进行匹配处理，从而降低了融合过程的复杂度，提高了融合处理的同步精准度。
需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图7，其示出了本申请一个实施例提供的终端700的结构框图。该终端700可以是诸如手机、平板电脑、多媒体播放设备、PC、可穿戴设备等电子设备。该终端用于实施上述实施例中提供的视频生成方法。该终端可以是图1所示方案实施环境中的终端10。具体来讲：
通常，终端700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储计算机程序，所述计算机程序，且经配置以由一个或者一个以上处理器执行，以实现上述视频生成方法。
在一些示例性实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在一个示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被处理器执行时以实现上述视频生成方法。
可选地，该计算机可读存储介质可以包括：ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存储器)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在一个示例性实施例中，还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。终端的处理器从所述计算机可读存储介质中读取所述计算机指令，所述处理器执行所述计算机指令，使得所述终端执行上述视频生成方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种视频生成方法，其特征在于，所述方法包括：
获取待生成视频所需的模板视频的编码数据和输入图像；
对所述模板视频的编码数据进行解码，得到所述模板视频的多个模板图像帧；
针对每个所述模板图像帧，分割得到一组对应的素材图像和融合图像；
基于所述融合图像，对所述融合图像对应的素材图像和所述输入图像进行融合处理，生成融合图像帧；
基于多个所述融合图像帧生成视频。
2.根据权利要求1所述的方法，其特征在于，所述针对每个所述模板图像帧，分割得到一组对应的素材图像和融合图像，包括：
获取所述素材图像在所述模板图像帧中的位置信息，以及所述融合图像在所述模板图像帧中的位置信息；
基于所述位置信息对每个所述模板图像帧进行分割处理，得到一组对应的素材图像和融合图像。
3.根据权利要求1所述的方法，其特征在于，所述素材图像的尺寸与所述融合图像的尺寸相同。
4.根据权利要求1所述的方法，其特征在于，所述基于所述融合图像，对所述融合图像对应的素材图像和所述输入图像进行融合处理，生成融合图像帧，包括：
基于所述融合图像，确定所述素材图像和所述输入图像分别对应的各个像素点的透明度；
基于所述透明度，确定所述素材图像和所述输入图像分别对应的各个像素点的原色混合比例，所述原色混合比例用于确定所述像素点的显示颜色比例；
基于所述素材图像和所述输入图像分别对应的各个像素点的透明度和原色混合比例，对所述素材图像和所述输入图像进行融合处理，生成所述融合图像帧。
5.根据权利要求1所述的方法，其特征在于，所述针对每个所述模板图像帧，分割得到一组对应的素材图像和融合图像，包括：
针对每个所述模板图像帧，分割得到一组对应的背景素材图像和背景融合图像，所述背景融合图像用于对所述背景素材图像和所述输入图像进行融合处理；
或者，
针对每个所述模板图像帧，分割得到一组对应的前景素材图像和前景融合图像，所述前景融合图像用于对所述前景素材图像和所述输入图像进行融合处理；
或者，
针对每个所述模板图像帧，分割得到一组对应的背景素材图像、前景素材图像、背景融合图像和前景融合图像；其中，所述背景融合图像用于对所述背景素材图像和所述输入图像进行融合处理，所述前景融合图像用于对所述前景素材图像和所述输入图像进行融合处理；
或者，
针对每个所述模板图像帧，分割得到至少一组对应的背景素材图像、前景素材图像和前背景融合图像；其中，所述前背景融合图像用于对所述背景素材图像和所述输入图像进行融合处理，以及用于对所述前景素材图像和所述输入图像进行融合处理。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述模板视频的生成过程如下：
获取素材图像视频和融合图像视频，所述素材图像视频中的图像帧用于生成所述素材图像，所述融合图像视频中的图像帧用于生成所述融合图像；
将所述素材图像视频和所述融合图像视频中的对应图像帧进行组合处理，得到所述模板视频的模板图像帧。
7.一种视频生成装置，其特征在于，所述装置包括：
数据获取模块，用于获取待生成视频所需的模板视频的编码数据和输入图像；
图像帧获取模块，用于对所述模板视频的编码数据进行解码，得到所述模板视频的多个模板图像帧；
图像获取模块，用于针对每个所述模板图像帧，分割得到一组对应的素材图像和融合图像；
融合图像帧获取模块，用于基于所述融合图像，对所述融合图像对应的素材图像和所述输入图像进行融合处理，生成融合图像帧；
视频生成模块，用于基于多个所述融合图像帧生成视频。
8.根据权利要求7所述的装置，其特征在于，所述融合图像帧获取模块，用于：
基于所述融合图像，确定所述素材图像和所述输入图像分别对应的各个像素点的透明度；
基于所述透明度，确定所述素材图像和所述输入图像分别对应的各个像素点的原色混合比例，所述原色混合比例用于确定所述像素点的显示颜色比例；
基于所述素材图像和所述输入图像分别对应的各个像素点的透明度和原色混合比例，对所述素材图像和所述输入图像进行融合处理，生成所述融合图像帧。
9.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的视频生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至6任一项所述的视频生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110172622.2A CN112954452B (zh) | 2021-02-08 | 2021-02-08 | 视频生成方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110172622.2A CN112954452B (zh) | 2021-02-08 | 2021-02-08 | 视频生成方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112954452A true CN112954452A (zh) | 2021-06-11 |
| CN112954452B CN112954452B (zh) | 2023-07-18 |
Family
ID=76244197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110172622.2A Active CN112954452B (zh) | 2021-02-08 | 2021-02-08 | 视频生成方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112954452B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114630181A (zh) * | 2022-02-24 | 2022-06-14 | 深圳亿幕信息科技有限公司 | 一种视频处理方法、系统、电子设备及介质 |
| CN115633222A (zh) * | 2022-09-30 | 2023-01-20 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025919A1 (en) * | 2009-07-31 | 2011-02-03 | Vorontsov Mikhail A | Automated Video Data Fusion Method |
| CN104715451A (zh) * | 2015-03-11 | 2015-06-17 | 西安交通大学 | 一种基于颜色及透明度一致优化的图像无缝融合方法 |
| CN108933920A (zh) * | 2017-05-25 | 2018-12-04 | 中兴通讯股份有限公司 | 一种视频画面的输出、查看方法及装置 |
| CN110415318A (zh) * | 2019-07-26 | 2019-11-05 | 上海掌门科技有限公司 | 图像处理方法和装置 |
| CN110708596A (zh) * | 2019-09-29 | 2020-01-17 | 北京达佳互联信息技术有限公司 | 生成视频的方法、装置、电子设备及可读存储介质 |
| CN110971839A (zh) * | 2019-11-18 | 2020-04-07 | 咪咕动漫有限公司 | 视频融合方法、电子设备及存储介质 |
-
2021
- 2021-02-08 CN CN202110172622.2A patent/CN112954452B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025919A1 (en) * | 2009-07-31 | 2011-02-03 | Vorontsov Mikhail A | Automated Video Data Fusion Method |
| CN104715451A (zh) * | 2015-03-11 | 2015-06-17 | 西安交通大学 | 一种基于颜色及透明度一致优化的图像无缝融合方法 |
| CN108933920A (zh) * | 2017-05-25 | 2018-12-04 | 中兴通讯股份有限公司 | 一种视频画面的输出、查看方法及装置 |
| CN110415318A (zh) * | 2019-07-26 | 2019-11-05 | 上海掌门科技有限公司 | 图像处理方法和装置 |
| CN110708596A (zh) * | 2019-09-29 | 2020-01-17 | 北京达佳互联信息技术有限公司 | 生成视频的方法、装置、电子设备及可读存储介质 |
| CN110971839A (zh) * | 2019-11-18 | 2020-04-07 | 咪咕动漫有限公司 | 视频融合方法、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114630181A (zh) * | 2022-02-24 | 2022-06-14 | 深圳亿幕信息科技有限公司 | 一种视频处理方法、系统、电子设备及介质 |
| CN115633222A (zh) * | 2022-09-30 | 2023-01-20 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112954452B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10110936B2 (en) | Web-based live broadcast | |
| CN106611435B (zh) | 动画处理方法和装置 | |
| US10499035B2 (en) | Method and system of displaying a popping-screen | |
| CN113457160B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110070496B (zh) | 图像特效的生成方法、装置和硬件装置 | |
| CN112235604B (zh) | 渲染方法及装置、计算机可读存储介质、电子设备 | |
| CN112954452B (zh) | 视频生成方法、装置、终端及存储介质 | |
| CN112954450A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| US20220417486A1 (en) | Method and apparatus for processing three-dimensional video, readable storage medium and electronic device | |
| US11893770B2 (en) | Method for converting a picture into a video, device, and storage medium | |
| CN113625983B (zh) | 图像显示方法、装置、计算机设备及存储介质 | |
| CN114222185B (zh) | 视频播放方法、终端设备及存储介质 | |
| CN113411660B (zh) | 视频数据的处理方法、装置和电子设备 | |
| CN114697703A (zh) | 视频数据生成方法、装置、电子设备及存储介质 | |
| CN117896540A (zh) | 应用于直播系统的画质优化方法、装置、终端及存储介质 | |
| CN110582021B (zh) | 信息处理方法及装置、电子设备和存储介质 | |
| CN112269957A (zh) | 图片处理方法、装置、设备及存储介质 | |
| CN117336527A (zh) | 视频编辑的方法和装置 | |
| CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
| CN114820660A (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
| CN117808857B (zh) | 一种自监督360°深度估计方法、装置、设备及介质 | |
| WO2024051394A1 (zh) | 视频处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN116309974B (zh) | 一种动画场景渲染方法、系统、电子设备及介质 | |
| CN116527983A (zh) | 页面显示方法、装置、设备、存储介质及产品 | |
| CN116980637A (zh) | 直播数据的处理系统、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |