CN110830736B - 一种用于视频合成的方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例涉及一种用于视频合成的方法、电子设备和计算机可读存储介质。方法包括：获取来自第一视频且包括第一待嵌入区域的第一视频帧；获取来自待嵌入到第一视频的第二视频的第一待嵌入帧；获取蒙板处理视频的第一蒙板处理帧；以及基于特定于第一蒙板处理帧的融合配置信息，通过将第一蒙板处理帧作为蒙板来在第一待嵌入区域中将第一待嵌入帧融合到第一视频帧。以此方式，可以对不同视频逐帧灵活地进行合成，并且通过引入蒙板处理视频的方案来解决融合边缘处理，实现了嵌入的视频如同在合成视频中的前景和后景的遮挡效果。

Description

一种用于视频合成的方法、电子设备及计算机可读存储介质

技术领域

本发明总体上涉及图像处理领域，具体涉及一种用于视频合成的方法、电子设备及计算机可读存储介质。

背景技术

多媒体视频合成技术一直广泛应用在不同的行业中。尤其在新兴产业，随着车载大屏幕以及多摄像头的运用，多媒体视频合成技术在车载系统中将有重要的应用。当前视频合成技术通常是将两个不同的视频进行简单合成，无法灵活控制合成或嵌入的视频的位置、时间等，而且合成视频显现出不真实、生硬的拼接效果。

发明内容

针对上述问题，本发明的实施例提供一种用于视频合成的方法、电子设备及计算机可读存储介质，解决了视频合成的前景和后景的边缘遮挡效果，并实现灵活地对多个视频进行合成。

在本发明的第一方面，提供一种用于视频合成的方法。该方法包括：获取第一视频帧，第一视频帧来自第一视频且包括第一待嵌入区域；获取第一待嵌入帧，第一待嵌入帧来自待嵌入到第一视频的第二视频；获取蒙板处理视频的第一蒙板处理帧，第一蒙板处理帧基于第一待嵌入区域而得到；以及基于特定于第一蒙板处理帧的融合配置信息，通过将第一蒙板处理帧作为蒙板来在第一待嵌入区域中将第一待嵌入帧融合到第一视频帧。

在某些实施例中，第一视频帧包括第二待嵌入区域，第一蒙板处理帧附加地基于第二待嵌入区域而得到，方法还包括：获取第二视频的第二待嵌入帧；以及通过将第一蒙板处理帧作为蒙板来在第二待嵌入区域中将第二待嵌入帧融合到第一视频帧。

在某些实施例中，方法还包括：获取第一视频、第二视频和蒙板处理视频；以及将第一视频、第二视频和蒙板处理视频分别分解为包括第一视频帧的第一图像帧队列、包括第一待嵌入帧的第二图像帧队列和包括第一蒙板处理帧的第三图像帧队列。

在某些实施例中，方法还包括：获取配置文件，配置文件指示第二图像帧队列被融合到第一图像帧队列的时间信息和融合配置信息；解析配置文件；以及基于解析得到的时间信息和融合配置信息，通过将第三图像帧队列作为蒙板来将第二图像帧队列融合到第一图像帧队列，以得到合成图像队列。

在某些实施例中，将第二图像帧队列融合到第一图像帧队列包括：基于时间信息，分别从第一图像帧队列、第二图像帧队列和第三图像帧队列选取第一视频帧、第一待嵌入帧和第一蒙板处理帧。

在某些实施例中，方法还包括：提取第一视频的音频数据；以及将合成图像队列与音频数据合成，以得到合成视频。

在某些实施例中，融合格式信息包括特定于待嵌入区域的透明通道处理模式和待嵌入区域的位置信息，并且待嵌入区域具有不规则边缘。

在某些实施例中，配置文件基于数据交换格式而生成。

在本发明的第二方面，提供一种电子设备。该设备包括：处理器；以及存储有指令的存储器，指令在被处理器执行时促使设备执行动作，动作包括：获取第一视频帧，第一视频帧来自第一视频且包括第一待嵌入区域；获取第一待嵌入帧，第一待嵌入帧来自待嵌入到第一视频的第二视频；获取蒙板处理视频的第一蒙板处理帧，第一蒙板处理帧基于第一待嵌入区域而得到；以及基于特定于第一蒙板处理帧的融合配置信息，通过将第一蒙板处理帧作为蒙板来在第一待嵌入区域中将第一待嵌入帧融合到第一视频帧。

在某些实施例中，第一视频帧包括第二待嵌入区域，第一蒙板处理帧附加地基于第二待嵌入区域而得到，动作还包括：获取第二视频的第二待嵌入帧；以及通过将第一蒙板处理帧作为蒙板来在第二待嵌入区域中将第二待嵌入帧融合到第一视频帧。

在某些实施例中，动作还包括：获取第一视频、第二视频和蒙板处理视频；以及将第一视频、第二视频和蒙板处理视频分别分解为包括第一视频帧的第一图像帧队列、包括第一待嵌入帧的第二图像帧队列和包括第一蒙板处理帧的第三图像帧队列。

在某些实施例中，动作还包括：获取配置文件，配置文件指示第二图像帧队列被融合到第一图像帧队列的时间信息和融合配置信息；解析配置文件；以及基于解析得到的时间信息和融合配置信息，通过将第三图像帧队列作为蒙板来将第二图像帧队列融合到第一图像帧队列，以得到合成图像队列。

在某些实施例中，将第二图像帧队列融合到第一图像帧队列包括：基于时间信息，分别从第一图像帧队列、第二图像帧队列和第三图像帧队列选取第一视频帧、第一待嵌入帧和第一蒙板处理帧。

在某些实施例中，动作还包括：提取第一视频的音频数据；以及将合成图像队列与音频数据合成，以得到合成视频。

在某些实施例中，融合格式信息包括特定于待嵌入区域的透明通道处理模式和待嵌入区域的位置信息，并且待嵌入区域具有不规则边缘。

在某些实施例中，配置文件基于数据交换格式而生成。

在本发明的第三方面，提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明第一方面所描述的方法。

本发明的实施例提供的视频合成方案，解决了合成后嵌入的视频的时间、位置的控制问题，并且通过引入透明通道蒙板视频的方案来解决融合边缘处理，实现了嵌入的视频如同在合成视频中的前景和后景的遮挡效果。

附图说明

图1示出根据本发明的一个实施例的用于视频合成的方法的流程图；

图2示出根据本发明的一个示例的蒙板处理帧；

图3示出根据本发明的一个实施例的合成视频的过程的示意图；以及

图4示出适合实现本发明的实施例的电子设备的方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

如前所述，当前的视频合成技术无法实现合成过程的灵活性，并且没有考虑融合边缘的处理。通过对这些问题的研究，本发明实施例提出如下述的视频合成方法，可以有效解决上述问题。下面结合附图对本发明实施例作进一步描述。

图1示出了根据本发明的一个实施例的用于视频合成的方法100的示意框图。方法100可以在任何适宜的电子设备处实现，例如各种移动或固定终端设备，包括移动电话、平板电脑、车载系统终端、计算机、个人数字助理等等。

如图所示，在110，获取第一视频帧，该第一视频帧来自源视频(称为第一视频)且包括第一待嵌入区域。对于意图将其他视频合成到其中的源视频，其可以是任意长度、格式、显示大小的视频，并且可以被分解为若干图像帧。根据不同的应用场景，第一视频帧可以包括若干个待嵌入区域，在这些待嵌入区域中，可以融合来自某一视频的同一图像或多个图像，或者融合来自多个不同视频的不同图像。

在120，获取第一待嵌入帧，该第一待嵌入帧来自待嵌入到第一视频的第二视频。第二视频同样可以是任意长度、格式、显示大小的视频，并且可以被分解为若干图像帧，特别地，其也可以是仅包括一个图像帧的图像。

在130，获取蒙板处理视频的第一蒙板处理帧。该第一蒙板处理帧是基于第一待嵌入区域而得到的，换言之，该蒙板处理帧特定于源视频帧，与源视频帧具有相互对应关系。蒙板处理帧可以通过不同的透明通道设置而对待嵌入的图像帧和源图像帧进行融合图层处理，以达到自然的融合效果。

然后，在140，基于特定于第一蒙板处理帧的融合配置信息，通过将第一蒙板处理帧作为蒙板来在第一待嵌入区域中将第一待嵌入帧融合到第一视频帧。在一个实施例中，融合配置信息可以包括待嵌入区域的位置信息以及透明通道处理模式等。透明通道处理模式可以包括进行蒙板处理的颜色通道、灰阶值、图案等。在将待嵌入帧融合到源视频帧时，可以根据透明通道处理模式来灵活地应用蒙板处理帧。

在源视频帧(例如第一视频帧)具有多个待嵌入区域的实施例中，相应的蒙板处理帧是根据多个待嵌入区域得到的。对于每个待嵌入区域，蒙板处理帧的不同遮挡部分可以具有不同的透明通道处理模式，以此方式，可以实现对源视频帧里被嵌入的多个视频区域的不规则边缘实现前景和后景的遮挡效果。

作为示例，图2示出了与某一源视频帧相对应的蒙板处理帧200。该源视频帧具有两个待嵌入区域，蒙板处理帧200是基于这两个待嵌入区域而生成的，包括相应的区域210和220，其用来遮挡源视频帧和待嵌入的视频帧的不同图层。蒙板处理帧200可以具有相应的透明通道处理模式，例如颜色通道、灰阶值、图案等。在本实施例中，示出的蒙板处理帧200对于不同的区域210和220应用了不同的透明通道处理模式，这取决于要融合的图像。

可以理解，尽管基于特定的顺序描述了上述过程，但方法100并不限于上述顺序，不同的步骤可以并行执行、或者以相反的顺序执行，这些可行的方案均在本发明的保护范围之内。

图3示出了根据本发明的一个实施例的针对完整视频的处理过程300的示意框图。在310，获取素材，素材包括源视频311、蒙板处理视频312、待嵌入视频313以及配置文件314。配置文件314可以是以数据交换格式(例如JSON格式)生成的或者是可以被解析为数据交换格式的数据的形式生成的，其可以包含源视频的帧数、从哪一帧开始合成以及哪一帧结束合成、每一帧待嵌入的视频或图片的四个角的位置信息、每一帧待嵌入图片使用哪一种透明通道处理模式等信息。待嵌入视频313可以仅包含一帧图像(即仅嵌入一张图像)，其也可以是多个视频。获取的过程可以包括将这些素材文件加载到非易失性存储器中。

在320，分解或解析各种素材。分解源视频311为音频数据321和源视频图像帧队列322，分解蒙板处理视频312为蒙板处理帧队列323，分解待嵌入视频313为待嵌入帧队列324，并且解析配置文件314以得到视频合成所需的配置信息325。

在330，基于配置信息，选取各队列中的待处理帧。根据配置信息所指示的视频合成相关时间信息，例如源视频的帧数以及从哪一帧开始合成以及哪一帧结束合成等，可以确定各队列中帧的合成时序。以此方式，可以选取处待处理的第一视频帧331、第一蒙板处理帧332和第一待嵌入帧333。

然后，在340，基于配置信息，对选取的待处理帧进行合成，并得到合成的图像帧队列。此处可以根据如前所描述的方法100来对待处理帧进行合成操作，得到第一合成帧341，并重复步骤330，直到完成所有图像帧的合成，得到合成的图像帧队列342。

在350，合成新视频。在一个实施例中，可以将在320得到的音频数据321与合成的图像帧队列342进行处理，得到新视频351。

如上所描述的本发明实施例提供的合成方案解决了多个视频合成的前景和后景的不规则边缘遮挡效果的问题，适用于大屏合成视频或者短视频特效等场景。通过对应蒙板透明通道视频图片帧来作为蒙板实现处理待嵌入的图片帧展示的不规则区域(例如波浪形的相框边缘)，来嵌入到源视频的对应图片帧里去，从而实现完美融入，解决了嵌入后的前景和后景的不规则边缘遮挡效果。

此外，通过引入合成配置文件，可以实现控制待嵌入的小视频在源视频中播放时的位置移动、翻转拉伸等效果，以及从哪一个时间点开始嵌入小视频，到哪一个时间点结束嵌入等，提高了视频合成的灵活性。

图4示出了适合实现本发明的实施例的电子设备400的方框图。如图所示，设备400包括处理器410。处理器410控制设备400的操作和功能。例如，在某些实施例中，处理器410可以借助于与其耦合的存储器420中所存储的指令430来执行各种操作。存储器420可以是适用于本地技术环境的任何合适的类型，并且可以利用任何合适的数据存储技术来实现，包括但不限于基于半导体的存储器件、磁存储器件和系统、光存储器件和系统。尽管图4中仅仅示出了一个存储器单元，但是在设备400中可以有多个物理不同的存储器单元。

处理器410可以是适用于本地技术环境的任何合适的类型，并且可以包括但不限于通用计算机、专用计算机、微控制器、数字信号控制器(DSP)以及基于控制器的多核控制器架构中的一个或多个多个。设备400也可以包括多个处理器410。

当设备400充当移动智能设备、计算机等视频合成设备时，处理器410在执行指令430时促使设备400执行动作，以实现上文参考图1和图3描述的方法100和300。根据本发明的实施例，所述动作包括：获取第一视频帧，第一视频帧来自第一视频且包括第一待嵌入区域；获取第一待嵌入帧，第一待嵌入帧来自待嵌入到第一视频的第二视频；获取蒙板处理视频的第一蒙板处理帧，第一蒙板处理帧基于第一待嵌入区域而得到；以及基于特定于第一蒙板处理帧的融合配置信息，通过将第一蒙板处理帧作为蒙板来在第一待嵌入区域中将第一待嵌入帧融合到第一视频帧。

在某些实施例中，第一视频帧包括第二待嵌入区域，第一蒙板处理帧附加地基于第二待嵌入区域而得到，动作还包括：获取第二视频的第二待嵌入帧；以及通过将第一蒙板处理帧作为蒙板来在第二待嵌入区域中将第二待嵌入帧融合到第一视频帧。

在某些实施例中，动作还包括：获取第一视频、第二视频和蒙板处理视频；以及将第一视频、第二视频和蒙板处理视频分别分解为包括第一视频帧的第一图像帧队列、包括第一待嵌入帧的第二图像帧队列和包括第一蒙板处理帧的第三图像帧队列。

在某些实施例中，动作还包括：获取配置文件，配置文件指示第二图像帧队列被融合到第一图像帧队列的时间信息和融合配置信息；解析配置文件；以及基于解析得到的时间信息和融合配置信息，通过将第三图像帧队列作为蒙板来将第二图像帧队列融合到第一图像帧队列，以得到合成图像队列。

在某些实施例中，将第二图像帧队列融合到第一图像帧队列包括：基于时间信息，分别从第一图像帧队列、第二图像帧队列和第三图像帧队列选取第一视频帧、第一待嵌入帧和第一蒙板处理帧。

在某些实施例中，动作还包括：提取第一视频的音频数据；以及将合成图像队列与音频数据合成，以得到合成视频。

在某些实施例中，融合格式信息包括特定于待嵌入区域的透明通道处理模式和待嵌入区域的位置信息，待嵌入区域具有不规则边缘，并且配置文件基于数据交换格式而生成。

本发明的实施例还提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明所描述的方法。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于视频合成的方法，其特征在于，包括：

获取第一视频帧，所述第一视频帧来自第一视频且包括第一待嵌入区域；

获取第一待嵌入帧，所述第一待嵌入帧来自待嵌入到所述第一视频的第二视频；

获取蒙板处理视频的第一蒙板处理帧，所述第一蒙板处理帧基于所述第一待嵌入区域而得到；以及

基于特定于所述第一蒙板处理帧的融合配置信息，通过将所述第一蒙板处理帧作为蒙板来在所述第一待嵌入区域中将所述第一待嵌入帧融合到所述第一视频帧；

所述方法还包括：

获取所述第一视频、所述第二视频和所述蒙板处理视频；以及

将所述第一视频、所述第二视频和所述蒙板处理视频分别分解为包括所述第一视频帧的第一图像帧队列、包括所述第一待嵌入帧的第二图像帧队列和包括所述第一蒙板处理帧的第三图像帧队列；以及

所述方法还包括：

获取配置文件，所述配置文件指示所述第二图像帧队列被融合到所述第一图像帧队列的时间信息和所述融合配置信息，所述融合配置信息包括待嵌入区域的位置信息；其中，根据所述配置文件所指示的视频合成相关的所述时间信息，确定各队列中帧的合成时序，从而能够基于所述时间信息选取出所述第一视频帧、所述第一蒙板处理帧和所述第一待嵌入帧；

解析所述配置文件；以及

基于解析得到的所述时间信息和所述融合配置信息，通过将所述第三图像帧队列作为蒙板来将所述第二图像帧队列融合到所述第一图像帧队列，以得到合成图像队列。

2.根据权利要求1所述的方法，其特征在于，所述第一视频帧包括第二待嵌入区域，所述第一蒙板处理帧附加地基于所述第二待嵌入区域而得到，所述方法还包括：

获取所述第二视频的第二待嵌入帧；以及

通过将所述第一蒙板处理帧作为蒙板来在所述第二待嵌入区域中将所述第二待嵌入帧融合到所述第一视频帧。

3.根据权利要求1所述的方法，其特征在于，所述第一视频帧包括若干个待嵌入区域，所述若干个待嵌入区域包括所述第一待嵌入区域，其中，在所述若干个待嵌入区域中融合来自同一视频的同一图像或多个图像，或者融合来自多个不同视频的不同图像。

4.根据权利要求1所述的方法，其特征在于，所述第一蒙板处理帧对于不同的待嵌入区域能够应用不同的透明通道处理模式。

5.根据权利要求1所述的方法，其特征在于，将所述第二图像帧队列融合到所述第一图像帧队列包括：

基于所述时间信息，分别从所述第一图像帧队列、所述第二图像帧队列和所述第三图像帧队列选取所述第一视频帧、所述第一待嵌入帧和所述第一蒙板处理帧。

6.根据权利要求1所述的方法，其特征在于，还包括：

提取所述第一视频的音频数据；以及

将所述合成图像队列与所述音频数据合成，以得到合成视频。

7.根据权利要求1所述的方法，其特征在于，所述融合配置信息还包括特定于待嵌入区域的透明通道处理模式，并且所述待嵌入区域具有不规则边缘。

8.根据权利要求1所述的方法，其特征在于，所述配置文件基于数据交换格式而生成。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储有指令的存储器，所述指令在被所述处理器执行时促使所述设备执行动作，所述动作包括：

获取第一视频帧，所述第一视频帧来自第一视频且包括第一待嵌入区域；

获取第一待嵌入帧，所述第一待嵌入帧来自待嵌入到所述第一视频的第二视频；

获取蒙板处理视频的第一蒙板处理帧，所述第一蒙板处理帧基于所述第一待嵌入区域而得到；以及

基于特定于所述第一蒙板处理帧的融合配置信息，通过将所述第一蒙板处理帧作为蒙板来在所述第一待嵌入区域中将所述第一待嵌入帧融合到所述第一视频帧，其中所述融合配置信息通过解析配置文件获取，所述配置文件还包括指示第二视频融合到第一视频的时间信息；

所述动作还包括：

获取所述第一视频、所述第二视频和所述蒙板处理视频；以及

将所述第一视频、所述第二视频和所述蒙板处理视频分别分解为包括所述第一视频帧的第一图像帧队列、包括所述第一待嵌入帧的第二图像帧队列和包括所述第一蒙板处理帧的第三图像帧队列；以及

所述动作还包括：

获取配置文件，所述配置文件指示所述第二图像帧队列被融合到所述第一图像帧队列的时间信息和所述融合配置信息，所述融合配置信息包括待嵌入区域的位置信息；其中，根据所述配置文件所指示的视频合成相关的所述时间信息，确定各队列中帧的合成时序，从而能够基于所述时间信息选取出所述第一视频帧、所述第一蒙板处理帧和所述第一待嵌入帧；

解析所述配置文件；以及

基于解析得到的所述时间信息和所述融合配置信息，通过将所述第三图像帧队列作为蒙板来将所述第二图像帧队列融合到所述第一图像帧队列，以得到合成图像队列。

10.一种计算机可读存储介质，其特征在于，其存储有机器可读的指令，所述指令在由所述机器执行时使得所述机器执行根据权利要求1-8中任一项所述的方法。

Images