CN110855905A

CN110855905A - 视频处理方法、装置和电子设备

Info

Publication number: CN110855905A
Application number: CN201911201184.7A
Authority: CN
Inventors: 马丽
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2020-02-28
Anticipated expiration: 2039-11-29
Also published as: CN110855905B

Abstract

本申请公开了一种视频处理方法、装置和电子设备，该方法包括：获取待融合的两个视频，该两个视频中图像的视觉效果特征不同；确定这两个视频中的主视频和辅视频；融合该辅视频和该主视频；在融合该辅视频和该主视频的过程中，通过调整该辅视频中图像的视频效果特征，控制融合后的视频中属于该辅视频的图像部分所呈现出的视觉效果特征与该主视频的视觉效果特征相同。本申请的方案可以提高融合后的视频的图像质量。

Description

视频处理方法、装置和电子设备

技术领域

本申请涉及图像处理技术领域，更具体地说，涉及一种视频处理方法、装置和电子设备。

背景技术

视频融合是指将两份或者多份视频融合到一起。

然而，现有的视频融合过程中仅仅是将一个视频的图像拼接到另一个视频的最后一帧图像之后，实现视频的拼接；或者是，将一个视频中的图像与另一个视频的图像简单拼接，这样，融合后的视频中图像之间的拼接痕迹较为明显，使得融合后的视频的质量较差。

发明内容

本申请的目的是提供一种视频处理方法、装置和电子设备，以提高融合后的视频的图像质量。

为实现上述目的，本申请提供了如下技术方案：

一种视频处理方法，包括：

获取待融合的两个视频，所述两个视频中图像的视觉效果特征不同；

确定所述两个视频中的主视频和辅视频；

融合所述辅视频和所述主视频；

在融合所述辅视频和所述主视频的过程中，通过调整所述辅视频中图像的视频效果特征，控制融合后的视频中属于所述辅视频的图像部分所呈现出的视觉效果特征与所述主视频的视觉效果特征相同。

在一种可能的实现方式中，该方法还可以包括：

在融合所述辅视频和所述主视频的过程中，从所述主视频的音频和所述辅视频的音频中，依次确定融合后的视频中各视频分段的主音频，弱化所述主音频之外的音频。

在又一种可能的实现方式中，所述确定所述两个视频中的主视频和辅视频，包括：

依据所述两个视频各自对应的视觉效果特征，分别确定所述两个视频的视频质量；

将所述两个视频中视频质量高的视频确定为主视频，并将所述两个视频中视频质量低的视频确定为辅视频。

在又一种可能的实现方式中，所述通过调整所述辅视频中图像的视频效果特征，控制融合后的视频中属于所述辅视频的图像部分所呈现出的视觉效果特征与所述主视频的视觉效果特征相同，包括：

获得所述主视频中图像的视觉效果特征所对应的特征参数集，所述特征参数集包括：影响所述主视频中图像的视觉效果特征的至少一种特征参数值；

依据所述特征参数集中的所述特征参数值，调整所述辅视频中与视觉效果特征相关的特征参数的取值。

在又一种可能的实现方式中，所述融合所述辅视频和所述主视频，包括：

确定所述辅视频中待融合的对象；

识别所述辅视频的各帧图像中所述对象的轮廓区域；

将所述辅视频的各帧图像中所述目标对象的轮廓区域分别融合到所述主视频的各帧图像中。

在又一种可能的实现方式中，所述确定所述辅视频中待融合的对象，包括：

确定所述辅视频中待融合的动态对象；

所述识别所述辅视频的各帧图像中所述对象的轮廓区域，包括：

根据所述辅助视频中相邻帧图像之间差异信息，定位出所述辅视频中各帧图像中包含所述动态对象的区域范围；

从所述辅视频的各帧图像对应的所述动态对象的区域范围中，识别出的所述辅视频的各帧图像中所述动态对象的轮廓区域。

又一方面，本申请还提供了一种视频处理装置，包括：

视频获取单元，用于获取待融合的两个视频，所述两个视频中图像的视觉效果特征不同；

分类确定单元，用于确定所述两个视频中的主视频和辅视频；

视频融合单元，用于融合所述辅视频和所述主视频；

第一融合处理单元，在融合所述辅视频和所述主视频的过程中，通过调整所述辅视频中图像的视频效果特征，控制融合后的视频中属于所述辅视频的图像部分所呈现出的视觉效果特征与所述主视频的视觉效果特征相同。

在一种可能的实现方式中，该装置还可以包括：

第二融合处理单元，用于在融合所述辅视频和所述主视频的过程中，从所述主视频的音频和所述辅视频的音频中，依次确定融合后的视频中各视频分段的主音频，弱化所述主音频之外的音频。

又一方面，本申请还提供了一种电子设备，包括：

数据接口，用于获取待融合的两个视频，所述两个视频中图像的视觉效果特征不同；

处理器，用于确定所述两个视频中的主视频和辅视频；融合所述辅视频和所述主视频；在融合所述辅视频和所述主视频的过程中，通过调整所述辅视频中图像的视频效果特征，控制融合后的视频中属于所述辅视频的图像部分所呈现出的视觉效果特征与所述主视频的视觉效果特征相同。

在一种可能的实现方式中，所述处理器还用于在融合所述辅视频和所述主视频的过程中，从所述主视频的音频和所述辅视频的音频中，依次确定融合后的视频中各视频分段的主音频，弱化所述主音频之外的音频。

通过以上方案可知，本申请在获取到图像的视觉效果特征不同的两个视频之后，会从这两个视频中确定出一个主视频和一个辅视频，并在融合这两个视频的过程中，会以主视频的视觉效果特征为依据，通过调整辅视频中图像的视频效果特征，控制融合后的视频中属于辅视频的图像部分所呈现出的视觉效果特征与该主视频的视觉效果特征相同，从而使得融合后的视频整体呈现出同一种视觉效果特征，使得融合后的视频中图像的整体视觉效果统一，减弱了拼接痕迹，提高了融合后视频的视频质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种视频处理方法一个实施例的流程示意图；

图2为本申请实施例提供的一种视频处理方法又一个实施例的流程示意图；

图3为本申请实施例提供的一种视频处理方法又一个实施例的流程示意图；

图4为本申请实施例提供的一种视频处理方法在一种应用场景中的流程示意图；

图5为本申请实施例提供的一种视频处理装置的一种组成结构示意图；

图6为本申请实施例提供的一种电子设备的一种组成结构示意图。

说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1，其示出了本申请实施例提供的一种视频处理方法一个实施例的流程示意图，本实施例适用于个人计算机、服务器等具备图像处理功能的计算机设备。本实施例的方法可以包括：

S101，获取待融合的两个视频。

其中，两个视频中图像的视觉效果特征不同。

其中，视频中图像的视觉效果特征可以为视频中图像直观呈现出的与视觉效果相关的特征。如，视觉效果特征可以为图像的色调、亮度、清晰度以及风格等视觉效果特征中的一种或者几种。

其中，图像的色调特征可以为图像的色调为清新、浓郁等色调类型，或者是色调范围等等。

该图像的亮度特征可以为图像的明暗特征，例如，图像的亮度属于昏暗，还是高亮等特征。

图像的清晰度可以是从图像的分辨率、或者模拟处理程度等方面体现。

图像的风格特征可以是图像的美化、滤镜的处理特征等。

可以理解的是，在本申请实施例中，待融合的两个视频可以是包含内容相似的视频图像，如，针对同一场景的视频图像，例如，这两个图像都是同一公司在同一个地方举办的年会的两份视频。该待融合的两个视频也可以是包含内容不同的视频图像，如针对不同场景的视频图像，比如，两个不同地理位置的两场节目对应的两份视频录像。

S102，确定该两个视频中的主视频和辅视频。

其中，待融合的两个视频中一个作为主视频，另一个作为辅视频。主视频是指两个视频融合过程中作为参照基础的视频，如，在本实施例中需要以主视频的视觉效果特征为参照，调整融合后的视频所呈现出的视觉效果。

其中，确定主视频方式也可以有多种。如，在一种可能的实现方式中，可以由用户选择主视频，相应的，可以将两个视频中用户选择的视频作为主视频，而将另一个视频作为辅视频。

又如，在另一种可能的实现方式中，可以依据这两个视频各自对应的视觉效果特征，分别确定这两个视频的视频质量。然后，将这两个视频中视频质量高的视频确定为主视频，并将这两个视频中视频质量低的视频确定为辅视频。

可以理解的是，视觉效果特征可以反映出视频的图像所呈现出的色调，清晰度等特征因素，因此，通过视觉效果特征可以反映出视频的质量。如，按照视觉效果特征的具体参数取值与视频质量的映射关系，可以确定视频的质量等，当然，还可以其他方式，在此不加限制。

S103，融合该辅视频和主视频。

S104，在融合辅视频和主视频的过程中，通过调整该辅视频中图像的视频效果特征，控制融合后的视频中属于该辅视频的图像部分所呈现出的视觉效果特征与该主视频的视觉效果特征相同。

其中，融合辅视频和主视频的方式可以有多种，如，将主视频和辅视频前后拼接，如，将该辅视频中的第一帧图像作为主视频的最后一帧图像的下一帧图像，并将主视频和辅视频拼接为一个视频。又如，将辅视频中各帧图像分别主视频中的各帧图像进行图像融合，得到融合后的视频，例如，按照主视频与辅视频之间各帧图像的先后顺序对应关系，将辅视频的图像的设定对象或者设定区域合成到主视频中相应图像中。

以上是以几种融合辅视频和主视频的融合方式为例说明，本申请对于主视频和辅视频具体融合方式不加限制。相应的，对于融合过程所采用的融合算法或者技术本申请同样不加限制。

为了实现更好的融合效果，本申请在融合主视频和辅视频的过程中，可以获得主视频中图像的视觉效果特征所对应的特征参数集，该特征参数集包括：影响该主视频中图像的视觉效果特征的至少一种特征参数值。如，该特征参数集可以包括主视频中图像的色调的取值、亮度取值等等。相应的，可以依据该特征参数集中的特征参数值，调整辅视频中与视觉效果特征相关的特征参数的取值。如，将辅视频的任一特征参数的取值调整为主视频中该特征参数的取值。

可以理解的是，控制融合后的视频中属于该辅视频的图像部分所呈现出的视觉效果特征与该主视频的视觉效果特征相同，可以使得融合后的视频中，属于辅视频的图像部分所呈现出的视觉效果特征与该主视频的视觉效果特征保持一致。

为了便于理解，以一种情况举例说明，假设某个公司的年会在两个不同城市举办。在该种情况下，该公司会有两份与年会相关的视频，如果希望将两处城市举办的年会视频融合为一个包含这两部分视频的融合视频，且希望提高融合后的视频的质量，以使得达到融合后的视频内容更为连贯，以实现使得用户等观看者如同看同一个位置处相同视频采集设备采集到的视频的效果，则可以采用本申请的方案实现两份视频的融合。

可见，本申请在获取到图像的视觉效果特征不同的两个视频之后，会从这两个视频中确定出一个主视频和一个辅视频，并在融合这两个视频的过程中，会以主视频的视觉效果特征为依据，通过调整辅视频中图像的视频效果特征，控制融合后的视频中属于辅视频的图像部分所呈现出的视觉效果特征与该主视频的视觉效果特征相同，从而使得融合后的视频整体呈现出同一种视觉效果特征，使得融合后的视频中图像的整体视觉效果统一，减弱了拼接痕迹，提高了融合后视频的视频质量。

可以理解的是，在视频为包含多帧图像和音频的情况下，为了降低融合后的音频出现音频嘈杂的可能性，提高融合后的视频的视频质量，本申请还会在主视频和辅视频融合过程中，对音频的融合进行控制。如，参见图2，其示出了本申请一种视频处理方法又一个实施例的流程示意图，本实施例的方法可以包括：

S201，获取待融合的两个视频。

S202，依据该两个视频各自对应的视觉效果特征，分别确定该两个视频的视频质量。

S203，将该两个视频中视频质量高的视频确定为主视频，并将该两个视频中视频质量低的视频确定为辅视频。

其中，为了便于理解，步骤S202和S203是以从待融合的两个视频中确定主视频和辅视频的一种方式为例说明，但是可以理解的是，在通过其他方式确定主视频和辅视频也同样适用于本实施例。

S204，在融合辅视频和主视频的过程中，通过调整该辅视频中图像的视频效果特征，控制融合后的视频中属于该辅视频的图像部分所呈现出的视觉效果特征与该主视频的视觉效果特征相同。

该步骤S204可以参照前面实施例的相关介绍，在此不再赘述。

S205，在融合该辅视频和该主视频的过程中，从该主视频的音频和该辅视频的音频中，依次确定融合后的视频中各视频分段的主音频，弱化该主音频之外的音频。

可以理解的是，由于主视频和辅视频中都可能包含有音频，为了避免主视频和辅视频中的音频直接融合而导致声音不清晰等音频异常情况，本申请会依次确定融合后的视频中各视频分段的主音频，针对每个视频分段，会弱化该视频分段中主音频之外的音频，以突出该视频分段中的主音频。

其中，每个视频分段的划分方式可以根据需要设定。如，每个视频分段可以的长度相同，例如，可以设定每个视频分段的长度，随机设定或者按照通常情况下音频中一段连续语音的最大时长作为设定时长。

又如，不同视频分段的时长也可以不同，比如，可以根据视频中音频的分隔点，将视频划分为多个视频分段，例如，音频中每句语音之间都会有一段时间的停顿，则每次出现语音停顿，则确定出现一次视频划分点，则该视频划分点与该视频划分点之前最近一个视频划分点之间的视频段作为一个视频分段。

当然，划分视频分段的方式还可以有其他方式，对此不加限制。

其中，对于每个视频分段而言，该视频分段中的主音频可以有多种可能：

如，可以比较待融合的视频分段中属于主视频的音频以及属于辅视频的音频的音频质量，并将待融合的视频分段中音频质量较高的视频中的音频作为该视频分段的主音频。比如，待融合的视频分段中主视频的音频质量较好，则可以将该主视频在该视频分段中的音频作为主音频，从而弱化该视频分段中辅视频中的音频。

又如，可以比较主视频和辅视频在该待融合的视频分段中各自包含的音频的时长，将包含的音频时长较长的目标视频中的音频作为该视频分段的主音频。该目标视频可以为主视频或者辅视频。

又如，还可以是预先设定待融合的各视频分段中作为主音频的音频。比如，将主视频中的音频作为融合后的视频中各个视频分段的主音频，并弱化视频分段中辅视频中的音频。或者是，将主视频和辅视频中特定类型的音频作为主音频，例如，将主视频或者辅视频中属于主持人播报类型或者音响广播出的音频作为主视频等。

可以理解的是，在该种情况中，待融合的各个视频分段中作为主音频的音频可以来自同一个视频，即各视频分段中的主音频都属于主视频或者辅视频中的音频；也可以来自不同的音频，比如，某个视频分段的主音频为主视频处于该视频分段中的音频，而下一个视频分段的主音频可以为辅视频中对应该视频分段中的音频。对于各视频分段中主音频可能来自不同视频的情况，可以分别设置不同视频分段对应的主音频。

以上是几种确定融合后的视频中各视频分段的主音频的情况为例说明，对于其他确定主音频的方式也同样适用于本实施例。

可以理解的是，弱化视频分段中主音频之外的音频的目的是突出主音频。弱化该视频分段中主音频之外的音频可以是将主音频之外的音频删除；也可以是，将主音频之外的音频的声音强度降低等，还可以有其他方式，在此不加限制。

需要说明的是，在本实施例中，该步骤S204和S205都属于融合主视频和辅音频过程中所需执行的操作，在具体实现时，可以同步执行这两个步骤，也可以先执行完一个步骤在执行另一个步骤。

可见，在本实施例中，在融合主视频和辅视频的过程中，还可以从主视频和辅视频中确定出融合后的各视频分段中的主音频，并通过弱化主音频之外的音频，可以使得融合后的视频中主音频更为突出，有利于使得用户可以捕获到较为重要的音频信息；同时，由于融合后的视频中弱化了主音频之外的音频，从而使得融合后的视频中各个视频分段中会重点突出一种音频，降低了音频嘈杂的可能性，提高了融合后的视频质量。

可以理解的是，在本申请实施例中，融合主视频和辅视频可以是将辅视频中各帧图像全部作为融合后的图像，也可以是将辅视频中部分图像内容与主视频进行融合。下面以一种融合方式为例对本申请的视频处理方法进行介绍。如图3所示，其示出了本申请一种视频处理方法又一个实施例的流程示意图，本实施例的方法可以包括：

S301，获取待融合的两个视频。

S302，确定该两个视频中的主视频和辅视频。

以上步骤S301和S302可以参见前面实施例的相关介绍，在此不再赘述

S303，确定该辅视频中待融合的对象。

如，可以获得从辅视频中选择出的待融合的对象，例如，用户可以从辅视频中选择或者标定出待融合的对象。

又如，还可以是按照预先设定的对象或者对象类型，从辅视频中确定出待融合的对象。例如，预先设定辅视频中待融合的对象为人物，则将辅视频中各帧图像中的人物确定为待融合的对象。

当然，还可以有其他确定待融合的对象的方式，在此不加限制。

S304，识别该辅视频的各帧图像中该对象的轮廓区域。

如，利用预先训练的该对象的轮廓提取模型，分别对辅视频中各帧图像中该对象的轮廓进行提取。例如，以对象为人物为例，则可以利用人体轮廓提取模型，提取辅视频中各帧图像中的人体轮廓。

在本申请中待融合的对象可以为动态对象，如，人物、动物等所处位置、所呈现的姿态等可变化的对象。在该种情况下，还可以先根据辅助视频中相邻帧图像之间差异信息，定位出该辅视频中各帧图像中包含该动态对象的区域范围。

可以理解的，动态对象的属性特征是固定的，比如，人物的身高以及面部特征等是固定的。但是，动态对象无法长时间保持绝对的静止，因此，动态对象在视频的相邻帧图像内一般都会存在或多或少的变化，如，在相邻两帧或者多帧图像中动态对象的位置、表情以及身体姿态等信息中的一种或者多种会产生变化，因此，针对辅视频中的每帧图像，可以通过辅视频中与该帧图像相邻一帧或者多帧图像中的差异信息，确定出动态对象的区域范围。

如，根据辅视频中相邻帧图像中差异信息，可以确定出各帧图像中存在动态变化的区域，而动态变化的区域实际上就是动态对象对应的范围区域，基于此，可以定位出该动态对象在图像中所处的区域范围。该区域范围并非精准定位出的该动态对象的轮廓区域，而是在该区域范围的图像内包含该动态对象的轮廓，且该区域范围的面积一般会大于该动态对象的轮廓所占据的区域。

在以上基础上，可以从辅视频的各帧图像对应的该动态对象的区域范围中，分别识别出的辅视频的各帧图像中该动态对象的轮廓区域。在区域范围内识别动态对象的轮廓区域的方式可以采用任意的提取对象轮廓的方式，本申请不加限制。

可以理解的是，在识别动态对象的轮廓区域的过程中，先根据辅视频中相邻图像中的差异信息，定位待识别的动态对象的区域范围，从而确定出动态对象所处的初始范围区域，然后再从该初始范围区域内提取该动态对象的轮廓可以提高轮廓提取的精准度，有利于准确提取出动态对象的轮廓区域。

S305，将该辅视频的各帧图像中该目标对象的轮廓区域分别融合到该主视频的各帧图像中。

可以理解的是，根据不同的融合需求，辅视频中的图像与主视频中的图像具有映射关系。相应的，可以将辅视频中每帧图像中目标对象的轮廓区域融合到主视频中与辅视频的该帧图像对应的图像中。

如，在一种可能的情况中，针对辅视频中的每帧图像，可以按照辅视频中各帧图像的先后顺序与辅视频中各帧图像的先后顺序之间的对应关系，从主视频中确定与辅视频中该帧图像的排序顺序相同的图像，将确定出的该图像作为辅视频中该帧图像待融合到的目标图像。相应的，可以将辅视频的每帧图像中的目标对象融合到主视频中与该辅视频的该帧图像对应的目标图像中。

例如，假设主视频中包括100帧图像，且辅视频中也包括100帧图像(少于100帧也适用)，那么对于辅视频中第i帧图像对应主视频中第i帧图像，i为从1到100的自然数。相应的，该辅视频中第i帧图像内的目标对象需要融合到主视频的第i帧图像中。

在又一种可能的情况中，还可以获得用户设定的辅视频中各帧图像与主视频中各帧图像之间的映射关系(如用户预先设定或者实时标定的映射关系等)，按照该映射关系，可以确定辅视频中每帧图像中的目标对象需要融合到主视频的哪帧图像中。

当然，在实际应用中，还可以按照设定的主视频与辅视频中图像的映射规则，确定辅视频中各帧图像内的目标对象需要分别融合到主视频的哪帧图像中，对此本申请不加限制。

其中，将辅视频的图像中的目标对象融合到主视频相应的目标图像的融合位置处所能采用的具体实现方式可以有种可能。如，在一种可能的情况中，可以针对辅视频的每帧图像，可以提取出该帧图像中目标图像的轮廓区域，将该轮廓区域合成到主视频相应的目标图像中，以得到融合后的图像。

在又一种可能的情况中，可以将辅视频的该帧图像中目标对象的轮廓区域之外的区域进行透明化处理，得到处理后的辅视频的图像，将处理后的辅视频的图像与主视频中相应图像进行叠加合成，得到融合后的图像。

当然，还可以有其他可能，在此不加限制。

作为一种可选方式，针对辅视频的每帧图像中的目标对象。本申请还可以确定该目标对象的轮廓区域融合到主视频的图像(即辅视频的图像对应的主视频的目标图像)中融合位置。其中，目标对象的轮廓区域在主视频的图像中的融合位置是指将目标对象的轮廓区域融合到主视频的该图像后，该目标对象的轮廓区域处于主视频的该图像中的位置区域。其中，不同主视频的图像中融合该目标对象的融合位置可以不同。

其中，该融合位置可以预先设定的，也可以是用户实时标定的，还可以是按照设定的融合位置选取规则确定出的。如，融合位置选取规则可以从主视频的图像中未包含对象的背景区域中选取与该目标对象属于同类的对象最近的指定大小的区域范围确定为融合位置。

相应的，针对辅视频中的每帧图像，在从主视频中确定出与该帧图像对应的目标图像之后，可以确定该帧图像的目标对象在该目标图像中的融合位置，然后将辅视频的该帧图像中的目标对象融合到该目标图像的融合位置处。

S306，在融合辅视频和主视频的过程中，通过调整该辅视频中图像的视频效果特征，控制融合后的视频中属于该辅视频的图像部分所呈现出的视觉效果特征与该主视频的视觉效果特征相同。

在将辅视频中各帧图像的目标对象融合到主视频的各帧图像的过程中，由于只有辅视频的目标对象的轮廓区域会融合到主视频的图像中，因此，此处调整辅视频中图像的视觉效果特征实际上是调整辅视频的图像中该目标对象的轮廓区域对应的视觉效果特征，并通过调整融合后的图像中该目标对象的轮廓区域与该融合后的图像中属于主视频的图像部分之间的视觉效果特征相同。

其中，在融合图像过程中，调整该辅视频的图像中该目标对象的轮廓区域对应的视觉效果特征的方式与前面实施例提到的方式相似，在此不再赘述。

在本实施例中，可以实现将辅视频的图像中包含的目标对象的轮廓区域融合到主视频的相应图像中，同时，在融合图像的过程中，会调整辅视频的图像中的目标对象的视觉效果特征，以控制该目标对象与主视频中相应图像的视频效果特征相同，从而使得融合后的每帧图像的各部分内容呈现出相同的视觉效果特征，提高了融合后的视频中图像的质量。

可以理解的是，在本实施例中，在将辅视频的图像中的目标对象融合到主视频相应图像的过程中，同样可以从该主视频的音频和该辅视频的音频中，依次确定融合后的视频中各视频分段的主音频，弱化该主音频之外的音频。如，可以从辅视频中与该目标对象关联的音频和主视频的音频中，确定融合后的视频中各视频分段的主音频，例如，如果融合后的某个视频分段中主音频为与目标对象关联的音频，则会弱化该目标对象关联的音频之外的其他音频内容。

为了便于理解图3所示实施例的方案，下面以辅视频中待融合到主视频中的对象为人物为例进行说明。如，参见图4，其示出了本申请一种视频处理方法在一种应用场景中的流程示意图，本实施例的方法可以包括：

S401，获取待融合的两个视频。

S402，确定该两个视频中的主视频和辅视频。

在本实施例中这两个视频可以为都包含有人物图像的视频，也可以是只有辅视频中为包含人物的视频。

以上步骤S401和S402可以参见前面实施例的相关介绍，在此不再赘述.

S403，确定该辅视频中待融合的人物。

本实施例以辅视频中待融合的对象为人物为例，而确定该辅视频中待融合的人物可以是获得用户从辅视频中标定出的人物；在辅视频中仅仅包含一个人物的情况，也可以是获得用户设定的待融合的对象为人物，则确定辅视频中待融合的对象为人物。

S404，根据辅视频中相邻帧图像之间差异信息，分别标出该辅视频中各帧图像中包含该人物的区域范围。

可以理解的是，通过依次分析辅视频中两个或者多个相邻帧图像之间的差异信息，可以分析出辅视频的各帧图像中存在动态变化的区域，这样，每帧图像中相对其他相邻帧图像中存在动态变化的区域就是该图像中包含该人物的区域范围。

S405，针对辅视频的每帧图像，从该帧图像包含该人物的区域范围中，识别出该帧图像中该人物的人体轮廓。

如，可以利用训练出的轮廓学习模型从该人物对应的区域范围中识别出该人物的人体轮廓。例如，将各帧图像中标有该人物的区域范围的辅视频输入到该轮廓学习模型，可以得到从辅视频的各帧图像对应的该人物的区域范围中识别出该人物的人体轮廓。

S406，从主视频的首帧图像中确定融合该人物的融合位置。

在本实施例中，以仅需要确定主视频的第一帧图像中待融合该人物的融合位置为例。

S407，按照该主视频与辅视频中各帧图像之间的先后顺序对应关系，并依据该主视频的首帧图像中的融合位置以及该人物在辅视频的各帧图像中的位置变化，将该辅视频的各帧图像中该人物的人体轮廓分别融合到该主视频的各帧图像中。

其中，主视频与辅视频中各帧图像的融合关系为顺序相同的图像相互融合，即辅视频中第一帧图像中该人物的人体轮廓区域需要融合到主视频的第一帧图像中，辅视频的第二帧图像中该人物的人体轮廓区域需要融合到主视频的第二帧图像中，依此类推。

在本实施例中，为了更好的体现出该人物的动态变化过程，在将辅视频中该人物在各帧图像中的人体轮廓融合到该主视频的各帧图像的过程中，只需确定该人物在该主视频的第一帧图像中的融合位置，而该人物在主视频其他帧中的融合位置是在该人物在该主视频的第一帧图像中的融合位置基础上，按照该人物在该辅视频的各帧图像中的位置变化确定出的。

比如，该人物在主视频的第二帧图像中的融合位置可以结合该人物在主视频的第一帧图像中的融合位置以及该人物在辅视频的第二帧图像相对于该人物在辅视频的第一帧图像中的位置变化确定出的。

在该种情况下，将辅视频各帧图像中该人物的人体轮廓分别融合到主视频的各帧图像之后，在融合后的视频中该人物在各帧图像中的位置变化轨迹与辅视频中该人物在各帧图像中的位置变化轨迹相同，从而在将辅视频中该人物融合到主视频的图像的同时，保留了辅视频中人物的动态变化特征。

当然，步骤S406和S407为将辅视频中该人物的人体轮廓融合到主视频的各帧图像中的一种方式，对于其他方式也同样适用于本实施例。

S408，在将辅视频的各帧图像中的目标对象的轮廓区域分别融合到主视频的各帧图像的过程中，通过调整辅视频的各帧图像中该目标对象的轮廓区域对应的视觉效果特征，控制融合后视频中属于辅视频中该目标对象的轮廓区域所呈现出的视觉效果特征与属于主视频的图像部分的视觉效果特征相同。

可以理解的是，在将辅视频的各帧图像中的目标对象的轮廓区域分别融合到主视频的各帧图像的过程中，同样可以从主视频和辅视频中确定融合后的各视频分段中的主音频，并弱化主音频之外的辅音频。

对应本申请的一种视频处理方法，本申请还提供了一种视频处理装置。

如，参见图5，其示出了本申请一种视频处理装置一个实施例的组成结构示意图，本实施例的装置可以包括：

视频获取单元501，用于获取待融合的两个视频，所述两个视频中图像的视觉效果特征不同；

分类确定单元502，用于确定所述两个视频中的主视频和辅视频；

视频融合单元503，用于融合所述辅视频和所述主视频；

第一融合处理单元504，在融合所述辅视频和所述主视频的过程中，通过调整所述辅视频中图像的视频效果特征，控制融合后的视频中属于所述辅视频的图像部分所呈现出的视觉效果特征与所述主视频的视觉效果特征相同。

在一种可能的实现方式中，该装置还可以包括：

在一种可能的实现方式中，该分类确定单元可以包括：

质量分析子单元，用于依据所述两个视频各自对应的视觉效果特征，分别确定所述两个视频的视频质量；

分类确定子单元，用于将所述两个视频中视频质量高的视频确定为主视频，并将所述两个视频中视频质量低的视频确定为辅视频。

在又一种可能的实现方式中，该第一融合处理单元，包括：

参数获得单元，用于在融合所述辅视频和所述主视频的过程中，获得所述主视频中图像的视觉效果特征所对应的特征参数集，所述特征参数集包括：影响所述主视频中图像的视觉效果特征的至少一种特征参数值；

特征调整单元，用于依据所述特征参数集中的所述特征参数值，调整所述辅视频中与视觉效果特征相关的特征参数的取值，以控制融合后的视频中属于所述辅视频的图像部分所呈现出的视觉效果特征与所述主视频的视觉效果特征相同。

在又一种可能的实现方式中，视频融合单元，包括：

对象确定单元，用于确定所述辅视频中待融合的对象；

轮廓识别单元，用于识别所述辅视频的各帧图像中所述对象的轮廓区域；

轮廓融合单元，用于将所述辅视频的各帧图像中所述目标对象的轮廓区域分别融合到所述主视频的各帧图像中。

可选的，该对象确定单元具体为，用于确定所述辅视频中待融合的动态对象；

所述轮廓识别单元，包括：

区域定位子单元，用于根据所述辅助视频中相邻帧图像之间差异信息，定位出所述辅视频中各帧图像中包含所述动态对象的区域范围；

轮廓识别子单元，用于从所述辅视频的各帧图像对应的所述动态对象的区域范围中，识别出的所述辅视频的各帧图像中所述动态对象的轮廓区域。

又一方面，本申请还提供了一种电子设备。如图6所示，其示出了本申请的电子设备的一种组成结构示意图，本实施例中该电子设备至少可以包括：数据接口601和处理器602。

数据接口601，用于获取待融合的两个视频，所述两个视频中图像的视觉效果特征不同；

处理器602，用于确定所述两个视频中的主视频和辅视频；融合所述辅视频和所述主视频；在融合所述辅视频和所述主视频的过程中，通过调整所述辅视频中图像的视频效果特征，控制融合后的视频中属于所述辅视频的图像部分所呈现出的视觉效果特征与所述主视频的视觉效果特征相同。

可选的，所述处理器还用于在融合所述辅视频和所述主视频的过程中，从所述主视频的音频和所述辅视频的音频中，依次确定融合后的视频中各视频分段的主音频，弱化所述主音频之外的音频。

可以理解的是，该处理器所执行的具体操作可以参见前面视频处理方法中电子设备侧的相关操作，在此不再赘述。

可选的，该电子设备还可以包括存储器603，该存储器用于存储处理器执行以上操作所需的程序。

当然，该电子设备还可以包括显示器、输入单元等等部件，在此不加限制。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种视频处理方法，包括：

确定所述两个视频中的主视频和辅视频；

融合所述辅视频和所述主视频；

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1所述的方法，所述确定所述两个视频中的主视频和辅视频，包括：

4.根据权利要求1所述的方法，其特征在于，所述通过调整所述辅视频中图像的视频效果特征，控制融合后的视频中属于所述辅视频的图像部分所呈现出的视觉效果特征与所述主视频的视觉效果特征相同，包括：

5.根据权利要求1所述的方法，所述融合所述辅视频和所述主视频，包括：

确定所述辅视频中待融合的对象；

识别所述辅视频的各帧图像中所述对象的轮廓区域；

6.根据权利要求5所述的方法，所述确定所述辅视频中待融合的对象，包括：

确定所述辅视频中待融合的动态对象；

7.一种视频处理装置，包括：

视频融合单元，用于融合所述辅视频和所述主视频；

8.根据权利要求7所述的装置，还包括：

9.一种电子设备，包括：

10.根据权利要求9所述的电子设备，所述处理器还用于在融合所述辅视频和所述主视频的过程中，从所述主视频的音频和所述辅视频的音频中，依次确定融合后的视频中各视频分段的主音频，弱化所述主音频之外的音频。