CN107592488A - 一种视频数据处理方法及电子设备 - Google Patents

Abstract

本申请提供一种视频数据处理方法及电子设备，所述方法包括：对第一视频中的第一图像的第一部分与第二视频中的第二图像进行合成，得到合成图像，各个合成图像构成目标视频；其中，第一视频的录制时长区别于第二视频的录制时长，或者第一视频的录制帧速率区别于第二视频的录制帧速率。可见，本申请提出了对录制时长不同或对录制帧速率不同的两个视频进行合成，得到目标视频的技术构思，由于第一视频、第二视频的录制时长不同或录制帧速率不同，而在对两者合成得到目标视频后，则必然会以相同的时长或帧速率对目标视频对应包含的两个被合成部分进行播放，从而会使得目标视频对应包含的两个被合成部分呈现出状态变化速度不一致的效果。

Description

一种视频数据处理方法及电子设备

技术领域

本发明属于视频处理技术领域，尤其涉及一种视频数据处理方法及电子设备。

背景技术

随着拍摄技术的不断发展，对图像/视频等的拍摄提出了越来越多的要求。其中，在影视作品或普通拍摄场景中，往往要求拍摄录制的视频能够具备主体部分与背景部分状态变化速度不一致的效果，进而使得呈现出主体部分或背景部分发生高速/低速状态变化的特效，比如呈现出人物穿梭时空的特效或者人物的快动作/慢动作特效等等。

目前的拍摄录制技术尚不能达到上述效果，鉴于此，本领域需提供一种视频处理方案，以满足上述需求，使得处理所得的视频能够呈现出两个不同部分(如主体部分与背景部分)状态变化速度不一致的效果。

发明内容

有鉴于此，本发明的目的在于提供一种视频数据处理方法及电子设备，旨在解决上述技术问题，使得处理所得的视频能够呈现出两个不同部分状态变化速度不一致的效果。

为此，本发明公开如下技术方案：

一种视频数据处理方法，应用于电子设备，所述方法包括：

获得第一视频中的第一图像，并分离出所述第一图像中的第一部分，所述第一视频的录制时长为第一时长，或者以第一帧速率录制所述第一视频；

获得第二视频中的第二图像，所述第二视频的录制时长为第二时长，或者以第二帧速率录制所述第二视频，其中，所述第二时长区别于所述第一时长，第二帧速率区别于第一帧速率；

对所述第一图像的第一部分与所述第二图像进行合成，得到合成图像；各个合成图像构成目标视频。

上述方法，优选的，所述分离出所述第一图像中的第一部分，包括：

对所述第一图像中的第一部分进行定位；

根据定位结果，分离出所述第一图像中的第一部分。

上述方法，优选的，所述对所述第一图像中的第一部分进行定位，包括：

获得所述第一图像对应的如下信息的一种或多种：景深信息、物方焦距，以及拍摄所述第一图像时所对应的物点的物距；

基于所述的一种或多种：景深信息，物方焦距或者物点的物距，确定处于所述景深范围内的物点；

在所述第一图像中对处于所述景深范围内的物点进行图像定位，得到所述第一部分在所述第一图像中的定位结果。

上述方法，优选的，所述对所述第一图像的第一部分与所述第二图像进行合成，包括：

确定图像合成处理时，所述第一图像与所述第二图像的图像数量对应关系；

当所述第一图像与所述第二图像的图像数量对应关系为一对多时，将一个第一图像的第一部分，分别合成至与所述第一图像相对应的多个第二图像中，得到多个合成图像；

当所述第一图像与所述第二图像的图像数量对应关系为一对一时，将一个第一图像的第一部分，合成至与所述第一图像相对应的一个第二图像中，得到一个合成图像；

当所述第一图像与所述第二图像的图像数量对应关系为多对一时，将多个第一图像的第一部分，分别一对一合成至与所述多个图像相对应的同一个第二图像中，得到多个合成图像。

上述方法，优选的，所述对所述第一图像的第一部分与所述第二图像进行合成，包括：

将所述第一图像的第一部分合成至所述第二图像的相应位置处；

其中，所述相应位置为用户在所述第二图像中的指定位置，或者在所述第二图像中与所述第一部分在所述第一图像中的位置相对应的位置。

一种电子设备，包括：

第一获取单元，用于获得第一视频中的第一图像，并分离出所述第一图像中的第一部分，所述第一视频的录制时长为第一时长，或者以第一帧速率录制所述第一视频；

第二获取单元，用于获得第二视频中的第二图像，所述第二视频的录制时长为第二时长，或者以第二帧速率录制所述第二视频，其中，所述第二时长区别于所述第一时长，第二帧速率区别于第一帧速率；

合成单元，用于对所述第一图像的第一部分与所述第二图像进行合成，得到合成图像；各个合成图像构成目标视频。

上述电子设备，优选的，所述第一获取单元分离出所述第一图像中的第一部分，具体包括：

对所述第一图像中的第一部分进行定位；根据定位结果，分离出所述第一图像中的第一部分。

上述电子设备，优选的，所述第一获取单元对所述第一图像中的第一部分进行定位，具体包括：

获得所述第一图像对应的如下信息的一种或多种：景深信息、物方焦距，以及拍摄所述第一图像时所对应的物点的物距；基于所述的一种或多种：景深信息，物方焦距或者物点的物距，确定处于所述景深范围内的物点；在所述第一图像中对处于所述景深范围内的物点进行图像定位，得到所述第一部分在所述第一图像中的定位结果。

上述电子设备，优选的，所述合成单元，具体用于：

确定图像合成处理时，所述第一图像与所述第二图像的图像数量对应关系；当所述第一图像与所述第二图像的图像数量对应关系为一对多时，将一个第一图像的第一部分，分别合成至与所述第一图像相对应的多个第二图像中，得到多个合成图像；当所述第一图像与所述第二图像的图像数量对应关系为一对一时，将一个第一图像的第一部分，合成至与所述第一图像相对应的一个第二图像中，得到一个合成图像；当所述第一图像与所述第二图像的图像数量对应关系为多对一时，将多个第一图像的第一部分，分别一对一合成至与所述多个图像相对应的同一个第二图像中，得到多个合成图像。

上述电子设备，优选的，所述合成单元，具体用于：

将所述第一图像的第一部分合成至所述第二图像的相应位置处；

其中，所述相应位置为用户在所述第二图像中的指定位置，或者在所述第二图像中与所述第一部分在所述第一图像中的位置相对应的位置。

由以上方案可知，本申请提供一种视频数据处理方法及电子设备，所述方法包括：对第一视频中的第一图像的第一部分与第二视频中的第二图像进行合成，得到合成图像，各个合成图像构成目标视频；其中，第一视频的录制时长区别于第二视频的录制时长，或者第一视频的录制帧速率区别于第二视频的录制帧速率。可见，本申请提出了对录制时长不同或对录制帧速率不同的两个视频进行合成，得到目标视频的技术构思，由于第一视频、第二视频的录制时长不同或录制帧速率不同，而在对两者合成得到目标视频后，则必然会以相同的时长或帧速率对目标视频对应包含的两个被合成部分进行播放，从而会使得目标视频对应包含的两个被合成部分呈现出状态变化速度不一致的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请提供的一种视频数据处理方法实施例一的流程图；

图2是本申请提供的一种视频数据处理方法实施例二的流程图；

图3是本申请实施例三提供的定位第一图像中第一部分的实现流程图；

图4是本申请实施例三提供的基于双摄像头检测物距的原理示意图；

图5是本申请提供的一种视频数据处理方法实施例四的流程图；

图6是本申请提供的一种视频数据处理方法实施例五的流程图；

图7是本申请提供的一种电子设备实施例七的结构示意图。

具体实施方式

为了引用和清楚起见，下文中使用的技术名词、简写或缩写总结解释如下：

景深：是指在摄影机镜头或其他成像器聚焦完成后，在焦点前后的范围内都能形成清晰的像，这一前一后的距离范围，便叫做景深。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例一提供一种视频数据处理方法，旨在使得处理所得的视频能够呈现出两个不同部分的状态变化速度不一致的效果。所述方法可应用于电子设备中，如具体可应用于智能手机、平板电脑等终端设备中，或者还可以应用于笔记本、台式机、一体机等各种计算机设备中，参考图1示出的一种视频数据处理方法实施例一的流程图，所述方法可以包括以下步骤：

步骤101、获得第一视频中的第一图像，并分离出所述第一图像中的第一部分，所述第一视频的录制时长为第一时长，或者以第一帧速率录制所述第一视频。

所述第一视频，可以是由电子设备录制并存储的录制时长为第一时长、或者以第一帧速率录制的视频，或者也可是由其他设备传输过来的视频，本实施例对此不作限定。

所述帧速率，是指每秒钟刷新的图片的帧数，也即fps(frames per second，每秒帧数)。

由于构成视频的各帧图像具有时序性，在存储视频的数据文件时往往按时序将视频的各帧图像数据与时间戳对应存储，从而当存在对视频中某帧图像的获取需求时，具体可按照时间戳从视频中获得所需的相应图像。

鉴于此，本步骤中，可按照第一图像对应的第一时间戳，从第一视频的数据文件中获得第一图像。

所述第一图像的第一部分，可以是第一图像的任意组成部分，比如第一图像的主体部分、背景部分或其他的任意部分等。实际应用中，可通过边缘检测、抠图等手段分离出所述第一图像的第一部分。

步骤102、获得第二视频中的第二图像，所述第二视频的录制时长为第二时长，或者以第二帧速率录制所述第二视频，其中，所述第二时长区别于所述第一时长，第二帧速率区别于第一帧速率。

所述第二视频，相应地可以是由电子设备录制并存储的录制时长为第二时长、或者以第二帧速率录制的视频，或者也可是由其他设备传输过来的视频。其中，所述第二时长区别于所述第一时长，第二帧速率区别于第一帧速率，也就是说，所述第二视频在录制时长方面或者录制过程中采用的帧速率方面区别于所述第一视频。

鉴于视频中各帧图像的时序性，本步骤相应地可基于第二图像对应的第二时间戳，从第二视频的数据文件中获得第二图像。

步骤103、对所述第一图像的第一部分与所述第二图像进行合成，得到合成图像；各个合成图像构成目标视频。目标视频的帧速率与第一帧速率、第二帧速率的至少其中之一不同。

在获得第一视频中第一图像的第一部分，以及第二视频的第二图像基础上，本步骤继续对所述第一图像的第一部分与所述第二图像进行合成处理，得到合成图像，比如将第一图像的主体部分合成到第二图像上，以使得将第一图像的主体部分作为合成图像的主体部分，第二图像作为合成图像的背景部分等。

在对第一视频的各帧图像与第二视频的各帧图像按上述方式作合成处理后，可得到各个合成图像，而各个合成图像则可以按时序构成目标视频。其中，所述目标视频的帧速率(如后续播放时采用的帧速率)与第一帧速率、第二帧速率的至少其中之一不同，即目标视频的帧速率可以仅与第一帧速率、第二帧速率的其中之一相同，或者还可以与两者皆不相同。

由以上方案可知，本申请实施例提供的视频数据处理方法，包括对第一视频中的第一图像的第一部分与第二视频中的第二图像进行合成，得到合成图像，各个合成图像构成目标视频；其中，第一视频的录制时长区别于第二视频的录制时长，或者第一视频的录制帧速率区别于第二视频的录制帧速率。可见，本申请提出了对录制时长不同或对录制帧速率不同的两个视频进行合成，得到目标视频的技术构思，由于第一视频、第二视频的录制时长不同或录制帧速率不同，而在对两者合成得到目标视频后，则必然会以相同的时长或帧速率对目标视频对应包含的两个被合成部分进行播放，从而会使得目标视频对应包含的两个被合成部分呈现出状态变化速度不一致的效果。

在本申请实施例二中，参考图2示出的一种视频数据处理方法实施例二的流程图，所述步骤101中分离出所述第一图像中的第一部分，可以通过以下的处理过程实现：

步骤1011、对所述第一图像中的第一部分进行定位。

如上文所述，所述第一图像中的第一部分可以是所述第一图像的主体部分、背景部分或者其他的任意部分，在实施本申请时，可以根据实际的视频图像合成需求，从第一图像中定位出符合要求的所述第一部分，如具体定位出第一图像的主体部分、背景部分或者其他任意部分等。

步骤1012、根据定位结果，分离出所述第一图像中的第一部分。

在从第一图像中定位出所需的所述第一部分后，可基于相应的检测手段，如相应的图像边缘检测算法等进一步从第一图像中精准定位出所述第一部分对应的图像边缘，之后可根据边缘检测结果，采用图像提取、抠图等手段从第一图像中分离出所述第一部分，如分离出第一图像的主体部分、背景部分或者其他任意部分等。

本实施例通过根据需求定位并分离出第一图像的第一部分，可以为后续的视频图像合成处理提供支持。

在本申请实施例三中，参考图3，所述步骤1011中对所述第一图像中的第一部分进行定位，具体可以通过以下的处理过程实现：

步骤301、获得所述第一图像对应的如下信息的一种或多种：景深信息、物方焦距，以及拍摄所述第一图像时所对应的物点的物距。

针对视频图像中两个不同部分的状态变化速度不一致的需求，在实际应用中，一种较为典型的情况是，往往要求所得的视频能够具备前景主体部分与背景部分状态变化速度不一致的效果，进而使得呈现出前景主体部分或背景部分发生高速/低速状态变化的特效，比如呈现出人物穿梭时空的特效或者人物的快动作/慢动作特效等等。本实施例旨在针对此种较为典型的应用情况，以第一部分为图像的主体部分为例，提供一种可行的从第一图像中定位所述第一部分的实现方案。

对于图像中的主体部分而言，如图像前景中的人物/动物、建筑物、汽车等等，在进行视频拍摄过程中，一般来说，会通过聚焦使得作为主体部分的被拍摄物体处于镜头的物方焦点处，或者至少使得所述被拍摄物体处于镜头的景深范围内，以尽可能使得被拍摄物体对应的主体部分能够清晰成像。鉴于此，可基于图像的相关光学成像信息，如景深信息、物方焦距，以及拍摄图像时所对应的物点的物距等，从图像中定位出其主体部分。

基于以上阐述，针对第一图像中所述第一部分的定位，如第一图像中主体部分的定位，本步骤则具体获得所述第一图像对应的如下信息的一种或多种：景深信息、物方焦距，以及拍摄所述第一图像时所对应的物点的物距，以使得为第一图像的第一部分的定位提供支持。

实际应用中，图像中物点的物距，优选地可基于双摄像头测距原理获得，具体地，可预先在电子设备中设置两个摄像头(可形象地理解为用于模拟人的双眼)，并在电子设备中设置相应的角度传感器，以用于检测物点与两个摄像头之间的夹角，如图4所示，在通过角度传感器检测出物点与两个摄像头间的夹角θ1、θ2的基础上，可根据两个摄像头之间的距离y，以及所述两个夹角θ1、θ2计算出物点的物距Z。

步骤302、基于所述的一种或多种：景深信息，物方焦距或者物点的物距，确定处于所述景深范围内的物点。

在获得第一图像对应的所述景深信息，物方焦距或者物点的物距等一种或多种成像信息后，可基于获得的这些信息，确定第一图像对应的处于所述景深范围内的物点。

如上文所述，根据图像如视频图像的拍摄特点，可知，作为主体的被拍摄物体，在拍摄过程中一般处于镜头的物方焦点或至少处于镜头的景深范围内，从而，所述处于景深范围内的物点往往包括图像中主体部分所对应的物点，鉴于此，本步骤中确定出第一图像对应的处于所述景深范围内的物点，可为该第一图像中主体部分的确定提供支持。

步骤303、在所述第一图像中对处于所述景深范围内的物点进行图像定位，得到所述第一部分在所述第一图像中的定位结果。

在确定出第一图像对应的处于其景深范围内的物点后，可初步将处于所述景深范围内的物点在第一图像中所对应的区域，作为第一图像的主体部分所在的候选区域，在此基础上可通过主体模型匹配(如人物模型、建筑物模型等等)、或特征点检测、边缘检测等手段从所述候选区域中定位出第一图像的主体部分。

利用本实施例提供的基于图像的相关光学成像信息，对图像相应部分进行定位的方案，可精准、有效地定位出第一图像的第一部分(如主体部分)，从而为后续的视频图像合成处理提供了所需的图像数据支持。

在本申请实施例四中，参考图5示出的一种视频数据处理方法实施例四的流程图，所述步骤103中对所述第一图像的第一部分与所述第二图像进行合成，得到合成图像，具体可以通过以下的处理过程实现：

步骤1031、确定图像合成处理时，所述第一图像与所述第二图像的图像数量对应关系。

所述第一图像与所述第二图像的图像数量对应关系，可以是一对多、一对一或者多对一。

在进行图像合成处理时，所述第一图像与所述第二图像的图像数量对应关系，具体可根据第一视频、第二视频的实际录制时长，和/或第一视频、第二视频所对应的帧频率，并结合后续合成图像中被合成的两部分在状态变化速度方面的差异性需求进行确定。以下将结合具体示例详细说明。

在本申请的示例中，首先假设需要将第一视频中图像的主体作为后续合成视频中图像的主体，将第二视频的图像作为合成视频中图像的背景部分，且假设后续的合成视频中需要呈现出图像的背景部分快速变换(相对应主体部分)的效果。

则一种可能的情况是，第一视频、第二视频的录制时长不同，录制时的帧频率相同，比如假设第一视频、第二视频的录制时长分别为1min(minute，分钟)、8min，两个视频的帧频率均为30fps，则针对该情况，为了使得后续合成视频中的图像能够呈现出背景部分快速变换的效果，可以将第一视频的30帧图像与第二视频的240帧图像分别按时序对应，从而，第一视频的每一帧图像按时序分别与第二视频的8帧图像相对应，后续可通过将合成视频的播放时长压缩为较短时长如1min，实现合成视频中图像的背景部分的快速变换效果。

另一种可能的情况是，第一视频、第二视频的录制时长相同，但录制时的帧频率不同，比如，假设第一视频、第二视频的录制时长均为8min，第一视频、第二视频的帧频率分别为240fps、30fps，针对该情况，为了使得后续合成视频中的图像能够呈现出背景部分快速变换的效果，可以选取第一视频中部分视频段的图像，如前1min的30帧图像，或所述8min中任意的部分时间段对应的各帧图像，与第二视频的240帧图像按时序对应，以第一视频的前1min的240帧图像为例，则具体可将所述240帧图像中的每一帧图像按时序与第二视频中的相应帧图像一一对应，后续通过将合成视频的播放时长压缩为较短时长如1min，可实现合成视频中图像背景部分的快速变换效果。

再一种可能的情况是，第一视频、第二视频的录制时长不同，录制时的帧频率也不同，比如，假设第一视频、第二视频的录制时长分别为1min、8min，帧频率分别为240fps、30fps，则针对该情况，为了使得后续合成视频中的图像能够呈现出背景部分快速变换的效果，可以将第一视频的240帧图像与第二视频的240帧图像分别按时序一一对应，后续可通过将合成视频的播放时长压缩为较短时长如1min，实现合成视频中图像的背景部分的快速变换效果。

以上示例仅示出了第一图像与第二图像的图像数量对应关系为一对多、一对一的情况，而对于需要主体部分具有较快的状态变化速度的情况，如呈现出人物的快动作特效等，则可以根据第一视频、第二视频的实际录制时长，和/或第一视频、第二视频所对应的帧频率，考虑将第一图像与第二图像按多对一的对应关系进行合成，以达到合成视频中主体部分快速变换的效果，该情况下第一图像、第二图像的图像数量对应关系的确定过程，与上述示例中提供的确定过程相类似，此处不再详述。

步骤1032、当所述第一图像与所述第二图像的图像数量对应关系为一对多时，将一个第一图像的第一部分，分别合成至与所述第一图像相对应的多个第二图像中，得到多个合成图像。

仍以上述第一视频、第二视频的录制时长分别为1min、8min，两个视频的帧频率均为30fps的示例为例，在该示例中，可以将第一视频的每帧第一图像按时序与第二视频的8帧第二图像对应，从而，在进行图像合成时，可以将每帧第一图像中分离出的第一部分(如主体部分)，按时序合成至第二视频中相应的8帧第二图像中，最终可以得到包含有240帧合成图像的合成视频(目标视频)，后续可通过将合成视频的播放时长压缩为较短时长如1min，实现合成视频中图像背景部分的快速变换效果。

具体地，在对上述的合成视频进行播放时，每播放8帧图像，图像中的主体部分才发生一次状态变换(每8帧图像具有相同的主体内容)，而每播放一帧图像，背景部分就发生一次状态变换，从而，相比于主体部分，背景部分可呈现出快速变换的效果。

步骤1033、当所述第一图像与所述第二图像的图像数量对应关系为一对一时，将一个第一图像的第一部分，合成至与所述第一图像相对应的一个第二图像中，得到一个合成图像。

以上述第一视频、第二视频的录制时长分别为1min、8min，帧频率分别为240fps、30fps的示例为例，在该示例中，可以将第一视频的每一帧第一图像按时序与第二视频的每一帧第二图像对应，从而，在进行图像合成时，可以将每一帧第一图像中分离出的第一部分(如主体部分)，按时序合成至第二视频中相应的一帧第二图像中，最终可以得到包含有240帧合成图像的合成视频，后续可通过将合成视频的播放时长压缩为较短时长如1min，实现合成视频中图像背景部分的快速变换。

具体地，在对上述的合成视频进行播放时，在1min的合成视频播放过程中，本质上播放了原有第二视频中的8min的背景视频，而仅播放了1min的主体视频，从而，相对于主体部分，背景部分可呈现出快速变换的效果。

步骤1034、当所述第一图像与所述第二图像的图像数量对应关系为多对一时，将多个第一图像的第一部分，分别一对一合成至与所述多个图像相对应的同一个第二图像中，得到多个合成图像。

与上述第一图像和第二图像的数量对应关系为一对多的情况相类似，若所述第一图像与所述第二图像的图像数量对应关系为多对一，则可以将多个第一图像的第一部分，按时序分别一对一合成至与所述多个图像相对应的同一个第二图像中，例如，将8帧第一图像的主体部分，按时序分别一对一合成至作为背景部分的同一帧第二图像中等，从而后续在对所得的合成视频按压缩后的时长进行播放时，每播放8帧图像背景部分才发生一次状态变换，而相对应地，每播放1帧图像主体部分就发生一次状态变换，从而，相比于背景部分，主体部分可呈现出快速的状态变化效果，如呈现出人物的快动作特效等。

基于本实施例提供的图像合成处理过程，可使得后续在播放合成视频时，合成视频中被合成的两部分呈现出状态变化速度不一致的效果，从而能够有效满足人们对视频的某方面特效(如人物穿梭时空、人物的快动作/慢动作特效等)需求。

本申请实施例五从另一角度对所述步骤103的处理过程进行说明，参考图6示出的一种视频数据处理方法实施例五的流程图，所述步骤103中对所述第一图像的第一部分与所述第二图像进行合成，得到合成图像，具体可以通过以下的处理过程实现：

步骤1035、将所述第一图像的第一部分合成至所述第二图像的相应位置处；其中，所述相应位置为用户在所述第二图像中的指定位置，或者在所述第二图像中与所述第一部分在所述第一图像中的位置相对应的位置。

具体地，在将第一图像的第一部分与第二图像进行合成时，比如，将第一图像的主体部分与作为背景部分的第二图像进行合成时，可以将第一图像的第一部分合成至用户在第二图像中的指定位置处，比如合成至用户指定的第二图像的中部区域或某边缘区域等，或者合成至用户指定的第二图像的前景区域、后景区域等。

除此之外，还可以将第一图像的第一部分，直接合成至所述第二图像中与所述第一部分在所述第一图像中的位置相对应的位置处，比如，假设所述第一部分处于第一图像的左部边缘区域的某一位置，则后续可根据所述第一部分在第一图像中的位置信息(如位置坐标)，将所述第一部分合成至第二图像的左部边缘区域的相应位置。

在实施本申请时，可根据实际需求，选择上述方式中的任意之一或者结合采用上述两种方式，实现将第一图像的第一部分与第二图像进行合成，本实施例对此不作限定。

通过采用本实施例提供的合成方案，可实现将第一图像的第一部分合成至第二图像中与所述第一部分在所述第一图像中的位置相对应的位置处，或者按需求将所述第一部分合成至第二图像的任意位置，能够满足用户多样化的视频图像合成需求。

在本申请实施例六中，所述第一视频、第二视频可以是同一视频中的至少部分视频，所述第一视频的第一图像、第二视频的第二图像则相应地是所述同一视频中的图像。

针对所述第一视频、第二视频是同一视频中的至少部分视频的情况，为使得视频中图像的不同部分能够具有不同的状态变化速度，比如，视频中的背景部分相比于主体部分呈现出较快/慢的变换效果(如人物的穿梭时光效果或人物的快动作效果)等，可根据不同部分的不同状态变化速度需求，确定出所述同一视频中用于作为第一视频的部分，以及用于作为第二视频的部分，并进而在此基础上根据本申请以上各实施例提供的图像合成处理过程，对第一视频、第二视频中的图像作合成处理，最终得到符合要求的合成视频(即目标视频)。

具体地，以最终的合成视频中，需要图像的背景部分具有较高的变换速度为例，则可以根据实际需要从所述第一视频中截取相应时间段的部分视频作为所述第一视频，比如，假设所述同一视频的录制时长为60分钟，则可以根据需要从中截取初始的5分钟，或任意连续5分钟时长的视频段作为所述第一视频，将整个60分钟的视频作为所述第二视频，在此基础上，可将第一视频中每帧图像的主体部分，按时序与第二视频中的相应12帧图像作合成处理，得到合成视频，并将最终得到的合成图像压缩为一较短的播放时长，如压缩为5分钟的播放时长等，从而，在对所述合成视频进行播放时，一帧主体图像的播放过程本质上对应播放了12帧背景图像，从而与主体部分相比，合成图像的背景部分能够呈现出较快的状态变换效果。

应用本申请实施例，可通过对录制的同一视频进行处理，使得处理后的视频在播放时针对不同部分能够具有不同的状态变化速度，可有效满足人们对视频的某方面特效(如人物穿梭时空、人物的快动作/慢动作特效等)需求。

本申请实施例七提供一种电子设备，所述电子设备可以是智能手机、平板电脑等终端设备，或者还可以是笔记本、台式机、一体机等各种计算机设备，参考图7示出的一种电子设备实施例七的结构示意图，所述电子设备可以包括：

第一获取单元701，用于获得第一视频中的第一图像，并分离出所述第一图像中的第一部分，所述第一视频的录制时长为第一时长，或者以第一帧速率录制所述第一视频。

所述第一视频，可以是由电子设备录制并存储的录制时长为第一时长、或者以第一帧速率录制的视频，或者也可是由其他设备传输过来的视频，本实施例对此不作限定。

所述帧速率，是指每秒钟刷新的图片的帧数，也即fps(frames per second，每秒帧数)。

由于构成视频的各帧图像具有时序性，在存储视频的数据文件时往往按时序将视频的各帧图像数据与时间戳对应存储，从而当存在对视频中某帧图像的获取需求时，具体可按照时间戳从视频中获得所需的相应图像。

鉴于此，第一获取单元可按照第一图像对应的第一时间戳，从第一视频的数据文件中获得第一图像。

所述第一图像的第一部分，可以是第一图像的任意组成部分，比如第一图像的主体部分、背景部分或其他的任意部分等。实际应用中，可通过边缘检测、抠图等手段分离出所述第一图像的第一部分。

第二获取单元702，用于获得第二视频中的第二图像，所述第二视频的录制时长为第二时长，或者以第二帧速率录制所述第二视频，其中，所述第二时长区别于所述第一时长，第二帧速率区别于第一帧速率。

所述第二视频，相应地可以是由电子设备录制并存储的录制时长为第二时长、或者以第二帧速率录制的视频，或者也可是由其他设备传输过来的视频。其中，所述第二时长区别于所述第一时长，第二帧速率区别于第一帧速率，也就是说，所述第二视频在录制时长方面或者录制过程中采用的帧速率方面区别于所述第一视频。

鉴于视频中各帧图像的时序性，第二获取单元相应地可基于第二图像对应的第二时间戳，从第二视频的数据文件中获得第二图像。

合成单元703，用于对所述第一图像的第一部分与所述第二图像进行合成，得到合成图像；各个合成图像构成目标视频。

在获得第一视频中第一图像的第一部分，以及第二视频的第二图像基础上，本步骤继续对所述第一图像的第一部分与所述第二图像进行合成处理，得到合成图像，比如将第一图像的主体部分合成到第二图像上，以使得将第一图像的主体部分作为合成图像的主体部分，第二图像作为合成图像的背景部分等。

在对第一视频的各帧图像与第二视频的各帧图像按上述方式作合成处理后，可得到各个合成图像，而各个合成图像则可以按时序构成目标视频。其中，所述目标视频的帧速率(如后续播放时采用的帧速率)与第一帧速率、第二帧速率的至少其中之一不同，即目标视频的帧速率可以仅与第一帧速率、第二帧速率的其中之一相同，或者还可以与两者皆不相同。

由以上方案可知，本申请实施例提供的电子设备，对第一视频中的第一图像的第一部分与第二视频中的第二图像进行合成，得到合成图像，各个合成图像构成目标视频；其中，第一视频的录制时长区别于第二视频的录制时长，或者第一视频的录制帧速率区别于第二视频的录制帧速率。可见，本申请提出了对录制时长不同或对录制帧速率不同的两个视频进行合成，得到目标视频的技术构思，由于第一视频、第二视频的录制时长不同或录制帧速率不同，而在对两者合成得到目标视频后，则必然会以相同的时长或帧速率对目标视频对应包含的两个被合成部分进行播放，从而会使得目标视频对应包含的两个被合成部分呈现出状态变化速度不一致的效果。

在本申请实施例八中，所述第一获取单元分离出所述第一图像中的第一部分，具体包括：

对所述第一图像中的第一部分进行定位；根据定位结果，分离出所述第一图像中的第一部分。

如上文所述，所述第一图像中的第一部分可以是所述第一图像的主体部分、背景部分或者其他的任意部分，在实施本申请时，可以根据实际的视频图像合成需求，从第一图像中定位出符合要求的所述第一部分，如具体定位出第一图像的主体部分、背景部分或者其他任意部分等。

在从第一图像中定位出所需的所述第一部分后，可基于相应的检测手段，如相应的图像边缘检测算法等进一步从第一图像中精准定位出所述第一部分对应的图像边缘，之后可根据边缘检测结果，采用图像提取、抠图等手段从第一图像中分离出所述第一部分，如分离出第一图像的主体部分、背景部分或者其他任意部分等。

本实施例通过根据需求定位并分离出第一图像的第一部分，可以为后续的视频图像合成处理提供支持。

在本申请实施例九中，所述第一获取单元对所述第一图像中的第一部分进行定位，具体包括：

获得所述第一图像对应的如下信息的一种或多种：景深信息、物方焦距，以及拍摄所述第一图像时所对应的物点的物距；基于所述的一种或多种：景深信息，物方焦距或者物点的物距，确定处于所述景深范围内的物点；在所述第一图像中对处于所述景深范围内的物点进行图像定位，得到所述第一部分在所述第一图像中的定位结果。

针对视频图像中两个不同部分的状态变化速度不一致的需求，在实际应用中，一种较为典型的情况是，往往要求所得的视频能够具备前景主体部分与背景部分状态变化速度不一致的效果，进而使得呈现出前景主体部分或背景部分发生高速/低速状态变化的特效，比如呈现出人物穿梭时空的特效或者人物的快动作/慢动作特效等等。本实施例旨在针对此种较为典型的应用情况，以第一部分为图像的主体部分为例，提供一种可行的从第一图像中定位所述第一部分的实现方案。

对于图像中的主体部分而言，如图像前景中的人物/动物、建筑物、汽车等等，在进行视频拍摄过程中，一般来说，会通过聚焦使得作为主体部分的被拍摄物体处于镜头的物方焦点处，或者至少使得所述被拍摄物体处于镜头的景深范围内，以尽可能使得被拍摄物体对应的主体部分能够清晰成像。鉴于此，可基于图像的相关光学成像信息，如景深信息、物方焦距，以及拍摄图像时所对应的物点的物距等，从图像中定位出其主体部分。

基于以上阐述，针对第一图像中所述第一部分的定位，如第一图像中主体部分的定位，本步骤则具体获得所述第一图像对应的如下信息的一种或多种：景深信息、物方焦距，以及拍摄所述第一图像时所对应的物点的物距，以使得为第一图像的第一部分的定位提供支持。

实际应用中，图像中物点的物距，优选地可基于双摄像头测距原理获得，具体地，可预先在电子设备中设置两个摄像头(可形象地理解为用于模拟人的双眼)，并在电子设备中设置相应的角度传感器，以用于检测物点与两个摄像头之间的夹角，如图4所示，在通过角度传感器检测出物点与两个摄像头间的夹角θ1、θ2的基础上，可根据两个摄像头之间的距离y，以及所述两个夹角θ1、θ2计算出物点的物距Z。

在获得第一图像对应的所述景深信息，物方焦距或者物点的物距等一种或多种成像信息后，可基于获得的这些信息，确定第一图像对应的处于所述景深范围内的物点。

如上文所述，根据图像如视频图像的拍摄特点，可知，作为主体的被拍摄物体，在拍摄过程中一般处于镜头的物方焦点或至少处于镜头的景深范围内，从而，所述处于景深范围内的物点往往包括图像中主体部分所对应的物点，鉴于此，本步骤中确定出第一图像对应的处于所述景深范围内的物点，可为该第一图像中主体部分的确定提供支持。

在确定出第一图像对应的处于其景深范围内的物点后，可初步将处于所述景深范围内的物点在第一图像中所对应的区域，作为第一图像的主体部分所在的候选区域，在此基础上可通过主体模型匹配(如人物模型、建筑物模型等等)、或特征点检测、边缘检测等手段从所述候选区域中定位出第一图像的主体部分。

利用本实施例提供的基于图像的相关光学成像信息，对图像相应部分进行定位的方案，可精准、有效地定位出第一图像的第一部分(如主体部分)，从而为后续的视频图像合成处理提供了所需的图像数据支持。

在本申请实施例十中，所述合成单元，具体用于：

确定图像合成处理时，所述第一图像与所述第二图像的图像数量对应关系；当所述第一图像与所述第二图像的图像数量对应关系为一对多时，将一个第一图像的第一部分，分别合成至与所述第一图像相对应的多个第二图像中，得到多个合成图像；当所述第一图像与所述第二图像的图像数量对应关系为一对一时，将一个第一图像的第一部分，合成至与所述第一图像相对应的一个第二图像中，得到一个合成图像；当所述第一图像与所述第二图像的图像数量对应关系为多对一时，将多个第一图像的第一部分，分别一对一合成至与所述多个图像相对应的同一个第二图像中，得到多个合成图像。

所述第一图像与所述第二图像的图像数量对应关系，可以是一对多、一对一或者多对一。

在进行图像合成处理时，所述第一图像与所述第二图像的图像数量对应关系，具体可根据第一视频、第二视频的实际录制时长，和/或第一视频、第二视频所对应的帧频率，并结合后续合成图像中被合成的两部分在状态变化速度方面的差异性需求进行确定。以下将结合具体示例详细说明。

在本申请的示例中，首先假设需要将第一视频中图像的主体作为后续合成视频中图像的主体，将第二视频的图像作为合成视频中图像的背景部分，且假设后续的合成视频中需要呈现出图像的背景部分快速变换(相对应主体部分)的效果。

则一种可能的情况是，第一视频、第二视频的录制时长不同，录制时的帧频率相同，比如假设第一视频、第二视频的录制时长分别为1min(minute，分钟)、8min，两个视频的帧频率均为30fps，则针对该情况，为了使得后续合成视频中的图像能够呈现出背景部分快速变换的效果，可以将第一视频的30帧图像与第二视频的240帧图像分别按时序对应，从而，第一视频的每一帧图像按时序分别与第二视频的8帧图像相对应，后续可通过将合成视频的播放时长压缩为较短时长如1min，实现合成视频中图像的背景部分的快速变换效果。

另一种可能的情况是，第一视频、第二视频的录制时长相同，但录制时的帧频率不同，比如，假设第一视频、第二视频的录制时长均为8min，第一视频、第二视频的帧频率分别为240fps、30fps，针对该情况，为了使得后续合成视频中的图像能够呈现出背景部分快速变换的效果，可以选取第一视频中部分视频段的图像，如前1min的30帧图像，或所述8min中任意的部分时间段对应的各帧图像，与第二视频的240帧图像按时序对应，以第一视频的前1min的240帧图像为例，则具体可将所述240帧图像中的每一帧图像按时序与第二视频中的相应帧图像一一对应，后续通过将合成视频的播放时长压缩为较短时长如1min，可实现合成视频中图像背景部分的快速变换效果。

再一种可能的情况是，第一视频、第二视频的录制时长不同，录制时的帧频率也不同，比如，假设第一视频、第二视频的录制时长分别为1min、8min，帧频率分别为240fps、30fps，则针对该情况，为了使得后续合成视频中的图像能够呈现出背景部分快速变换的效果，可以将第一视频的240帧图像与第二视频的240帧图像分别按时序一一对应，后续可通过将合成视频的播放时长压缩为较短时长如1min，实现合成视频中图像的背景部分的快速变换效果。

以上示例仅示出了第一图像与第二图像的图像数量对应关系为一对多、一对一的情况，而对于需要主体部分具有较快的状态变化速度的情况，如呈现出人物的快动作特效等，则可以根据第一视频、第二视频的实际录制时长，和/或第一视频、第二视频所对应的帧频率，考虑将第一图像与第二图像按多对一的对应关系进行合成，以达到合成视频中主体部分快速变换的效果，该情况下第一图像、第二图像的图像数量对应关系的确定过程，与上述示例中提供的确定过程相类似，此处不再详述。

仍以上述第一视频、第二视频的录制时长分别为1min、8min，两个视频的帧频率均为30fps的示例为例，在该示例中，可以将第一视频的每帧第一图像按时序与第二视频的8帧第二图像对应，从而，在进行图像合成时，可以将每帧第一图像中分离出的第一部分(如主体部分)，按时序合成至第二视频中相应的8帧第二图像中，最终可以得到包含有240帧合成图像的合成视频(目标视频)，后续可通过将合成视频的播放时长压缩为较短时长如1min，实现合成视频中图像背景部分的快速变换效果。

具体地，在对上述的合成视频进行播放时，每播放8帧图像，图像中的主体部分才发生一次状态变换(每8帧图像具有相同的主体内容)，而每播放一帧图像，背景部分就发生一次状态变换，从而，相比于主体部分，背景部分可呈现出快速变换的效果。

以上述第一视频、第二视频的录制时长分别为1min、8min，帧频率分别为240fps、30fps的示例为例，在该示例中，可以将第一视频的每一帧第一图像按时序与第二视频的每一帧第二图像对应，从而，在进行图像合成时，可以将每一帧第一图像中分离出的第一部分(如主体部分)，按时序合成至第二视频中相应的一帧第二图像中，最终可以得到包含有240帧合成图像的合成视频，后续可通过将合成视频的播放时长压缩为较短时长如1min，实现合成视频中图像背景部分的快速变换。

具体地，在对上述的合成视频进行播放时，在1min的合成视频播放过程中，本质上播放了原有第二视频中的8min的背景视频，而仅播放了1min的主体视频，从而，相对于主体部分，背景部分可呈现出快速变换的效果。

与上述第一图像和第二图像的数量对应关系为一对多的情况相类似，若所述第一图像与所述第二图像的图像数量对应关系为多对一，则可以将多个第一图像的第一部分，按时序分别一对一合成至与所述多个图像相对应的同一个第二图像中，例如，将8帧第一图像的主体部分，按时序分别一对一合成至作为背景部分的同一帧第二图像中等，从而后续在对所得的合成视频按压缩后的时长进行播放时，每播放8帧图像背景部分才发生一次状态变换，而相对应地，每播放1帧图像主体部分就发生一次状态变换，从而，相比于背景部分，主体部分可呈现出快速的状态变化效果，如呈现出人物的快动作特效等。

基于本实施例提供的图像合成处理过程，可使得后续在播放合成视频时，合成视频中被合成的两部分呈现出状态变化速度不一致的效果，从而能够有效满足人们对视频的某方面特效(如人物穿梭时空、人物的快动作/慢动作特效等)需求。

在本申请实施例十一中，所述合成单元，具体用于：

将所述第一图像的第一部分合成至所述第二图像的相应位置处；其中，所述相应位置为用户在所述第二图像中的指定位置，或者在所述第二图像中与所述第一部分在所述第一图像中的位置相对应的位置。

具体地，在将第一图像的第一部分与第二图像进行合成时，比如，将第一图像的主体部分与作为背景部分的第二图像进行合成时，可以将第一图像的第一部分合成至用户在第二图像中的指定位置处，比如合成至用户指定的第二图像的中部区域或某边缘区域等，或者合成至用户指定的第二图像的前景区域、后景区域等。

除此之外，还可以将第一图像的第一部分，直接合成至所述第二图像中与所述第一部分在所述第一图像中的位置相对应的位置处，比如，假设所述第一部分处于第一图像的左部边缘区域的某一位置，则后续可根据所述第一部分在第一图像中的位置信息(如位置坐标)，将所述第一部分合成至第二图像的左部边缘区域的相应位置。

在实施本申请时，可根据实际需求，选择上述方式中的任意之一或者结合采用上述两种方式，实现将第一图像的第一部分与第二图像进行合成，本实施例对此不作限定。

通过采用本实施例提供的合成方案，可实现将第一图像的第一部分合成至第二图像中与所述第一部分在所述第一图像中的位置相对应的位置处，或者按需求将所述第一部分合成至第二图像的任意位置，能够满足用户多样化的视频图像合成需求。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视频数据处理方法，其特征在于，应用于电子设备，所述方法包括：

获得第一视频中的第一图像，并分离出所述第一图像中的第一部分，所述第一视频的录制时长为第一时长，或者以第一帧速率录制所述第一视频；

获得第二视频中的第二图像，所述第二视频的录制时长为第二时长，或者以第二帧速率录制所述第二视频，其中，所述第二时长区别于所述第一时长，第二帧速率区别于第一帧速率；

对所述第一图像的第一部分与所述第二图像进行合成，得到合成图像；各个合成图像构成目标视频。

2.根据权利要求1所述的方法，其特征在于，所述分离出所述第一图像中的第一部分，包括：

对所述第一图像中的第一部分进行定位；

根据定位结果，分离出所述第一图像中的第一部分。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像中的第一部分进行定位，包括：

获得所述第一图像对应的如下信息的一种或多种：景深信息、物方焦距，以及拍摄所述第一图像时所对应的物点的物距；

基于所述的一种或多种：景深信息，物方焦距或者物点的物距，确定处于所述景深范围内的物点；

在所述第一图像中对处于所述景深范围内的物点进行图像定位，得到所述第一部分在所述第一图像中的定位结果。

4.根据权利要求1所述的方法，其特征在于，所述对所述第一图像的第一部分与所述第二图像进行合成，包括：

确定图像合成处理时，所述第一图像与所述第二图像的图像数量对应关系；

当所述第一图像与所述第二图像的图像数量对应关系为一对多时，将一个第一图像的第一部分，分别合成至与所述第一图像相对应的多个第二图像中，得到多个合成图像；

当所述第一图像与所述第二图像的图像数量对应关系为一对一时，将一个第一图像的第一部分，合成至与所述第一图像相对应的一个第二图像中，得到一个合成图像；

当所述第一图像与所述第二图像的图像数量对应关系为多对一时，将多个第一图像的第一部分，分别一对一合成至与所述多个图像相对应的同一个第二图像中，得到多个合成图像。

5.根据权利要求1所述的方法，其特征在于，所述对所述第一图像的第一部分与所述第二图像进行合成，包括：

将所述第一图像的第一部分合成至所述第二图像的相应位置处；

其中，所述相应位置为用户在所述第二图像中的指定位置，或者在所述第二图像中与所述第一部分在所述第一图像中的位置相对应的位置。

6.一种电子设备，其特征在于，包括：

第一获取单元，用于获得第一视频中的第一图像，并分离出所述第一图像中的第一部分，所述第一视频的录制时长为第一时长，或者以第一帧速率录制所述第一视频；

第二获取单元，用于获得第二视频中的第二图像，所述第二视频的录制时长为第二时长，或者以第二帧速率录制所述第二视频，其中，所述第二时长区别于所述第一时长，第二帧速率区别于第一帧速率；

合成单元，用于对所述第一图像的第一部分与所述第二图像进行合成，得到合成图像；各个合成图像构成目标视频。

7.根据权利要求6所述的电子设备，其特征在于，所述第一获取单元分离出所述第一图像中的第一部分，具体包括：

对所述第一图像中的第一部分进行定位；根据定位结果，分离出所述第一图像中的第一部分。

8.根据权利要求7所述的电子设备，其特征在于，所述第一获取单元对所述第一图像中的第一部分进行定位，具体包括：

获得所述第一图像对应的如下信息的一种或多种：景深信息、物方焦距，以及拍摄所述第一图像时所对应的物点的物距；基于所述的一种或多种：景深信息，物方焦距或者物点的物距，确定处于所述景深范围内的物点；在所述第一图像中对处于所述景深范围内的物点进行图像定位，得到所述第一部分在所述第一图像中的定位结果。

9.根据权利要求6所述的电子设备，其特征在于，所述合成单元，具体用于：

确定图像合成处理时，所述第一图像与所述第二图像的图像数量对应关系；当所述第一图像与所述第二图像的图像数量对应关系为一对多时，将一个第一图像的第一部分，分别合成至与所述第一图像相对应的多个第二图像中，得到多个合成图像；当所述第一图像与所述第二图像的图像数量对应关系为一对一时，将一个第一图像的第一部分，合成至与所述第一图像相对应的一个第二图像中，得到一个合成图像；当所述第一图像与所述第二图像的图像数量对应关系为多对一时，将多个第一图像的第一部分，分别一对一合成至与所述多个图像相对应的同一个第二图像中，得到多个合成图像。

10.根据权利要求6所述的电子设备，其特征在于，所述合成单元，具体用于：

将所述第一图像的第一部分合成至所述第二图像的相应位置处；

其中，所述相应位置为用户在所述第二图像中的指定位置，或者在所述第二图像中与所述第一部分在所述第一图像中的位置相对应的位置。