CN106792078A - 视频处理方法及装置 - Google Patents

Abstract

本发明实施例提供了一种视频处理方法及装置，其中方法包括：获取待添加的特效显示内容和拍摄视频时终端的运动轨迹信息和/或姿态变化信息；根据运动轨迹信息和/或姿态变化信息，对所述特效显示内容进行图像变换，将图像变换后的特效显示内容和拍摄视频进行图像合成处理。本发明的方法、装置，通过在图像合成处理的过程中，根据终端的运动轨迹信息和/或姿态变化信息，对特效显示内容进行图像变换，使得被添加的特效显示能够同步拍摄视频的变化而变化，从而使得特效显示内容更好地融入到视频中进行显示，能够提高用户的感受度。

Description

视频处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种视频处理方法及装置。

背景技术

随着智能手机等智能终端及移动互联网的普及，视频拍摄不再需要专业摄像机，任何人都可以用智能手机、平板电脑等支持视频拍摄的智能终端随手拍视频，然后上传到各大社交网站上进行分享。以智能手机为例，用户可以通过智能手机拍摄简短的几秒视频来分享给好友，使得短视频能够像微博一样来传播信息。通常，用户希望自己拍摄的视频能够更个性化，目前的一些软件提供对视频进行特效处理的功能，可以为视频添加一些特效显示内容，例如增加文字说明、图片等。

在实现本发明的过程中，发明人发现上述技术至少存在以下问题：现有技术在向视频添加特效显示内容时，仅仅是将特效显示内容简单地叠加到视频图像上，而无法将特效显示内容融入到视频中。

发明内容

有鉴于此，本发明要解决的一个技术问题是提供一种视频处理方法及装置，以将特效显示内容更好地融入到视频中。

根据本发明实施例的一个方面，提供一种视频处理方法，包括：获取待添加的特效显示内容和拍摄视频时终端的运动轨迹信息和/或姿态变化信息；根据所述运动轨迹信息和/或所述姿态变化信息，对所述特效显示内容进行图像变换；将图像变换后的特效显示内容和拍摄视频进行图像合成处理。

进一步地，所述图像变换包括：放大、缩小、旋转、拉伸、收缩、扭曲中的一个或任意多个的组合。

进一步地，该方法还包括：在拍摄视频时记录所述运动轨迹信息和/或姿态变化信息。

进一步地，在拍摄视频时记录所述运动轨迹信息和/或姿态变化信息包括：在拍摄视频时，通过终端上的加速度传感器检测到的所述终端的加速度信息生成所述运动轨迹信息，和/或，通过终端上的重力传感器检测的信息生成所述姿态变化信息。

进一步地，获取选定的拍摄视频中的目标对象的图像信息；在进行图像合成处理时，使所述特效显示内容跟随所述目标对象。

根据本发明实施例的另一个方面，提供一种视频处理装置，包括：第一获取模块，用于获取待添加的特效显示内容和拍摄视频时终端的运动轨迹信息和/或姿态变化信息；特效处理模块，用于根据运动轨迹信息和/或姿态变化信息，对所述特效显示内容进行图像变换；合成处理模块，用于将图像变换后的特效显示内容和拍摄视频进行图像合成处理。

进一步地，所述图像变换包括：放大、缩小、旋转、拉伸、收缩、扭曲中的一个或任意多个的组合。

进一步地，该装置还包括记录模块，用于在拍摄视频时记录所述运动轨迹信息和/或姿态变化信息。

进一步地，所述记录模块具体用于在拍摄视频时，通过终端上的加速度传感器检测到的所述终端的加速度信息生成所述运动轨迹信息，和/或，通过终端上的重力传感器检测的信息生成所述姿态变化信息。

进一步地，所述合成处理模块具体用于：获取从拍摄视频中选定的目标对象的图像信息；根据所述目标对象的图像信息确定所述目标对象在拍摄视频的各个视频帧的位置信息；根据所述目标对象在拍摄视频的各个视频帧的位置信息，将所述图像变换后的特效显示内容与拍摄视频中所述目标对象进行图像合成处理，使得所述特效显示内容跟随所述目标对象。

本发明实施例提供的视频处理方法及装置，通过在图像合成处理的过程中，根据终端的运动轨迹信息和/或姿态变化信息，对所述特效显示内容进行图像变换，使得被添加的特效显示能够同步拍摄视频的变化而变化，从而使得特效显示内容更好地融入到视频中进行显示。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图：

图1为根据本发明实施例的视频处理方法的流程图；

图2A至2C为本发明实施例的视频处理方法对视频中的书增加文字特效的一个实施例的示意图；

图3为根据本发明实施例的视频处理装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

图1为根据本发明实施例的视频处理方法的流程图,如图1所示：

步骤101，获取待添加的特效显示内容和拍摄视频时的终端的运动轨迹信息和/或姿态变化信息。

本实施例的终端可以为手机、平板电脑、笔记本电脑、相机或摄像机等具有摄像功能的设备。其中，运动轨迹信息是指在拍摄的过程中，终端整体上的移动轨迹，包括上下左右前后等方向的移动，而姿态变化信息是指终端自身的旋转姿态，可以通过以终端上的某点(可以选择终端的中心处)为圆心而形成的三维坐标系中的姿态坐标来进行确定。

本实施的运动轨迹信息和/或姿态变化信息均可以在拍摄视频时记录，具体的方式可以是在终端运行视频拍摄程序时，便实时获取运动轨迹信息和/或姿态变化信息，记录于视频文件中或者记录于视频文件相关联的文件中。

此外，本实施例的特效显示内容可以是图像、文字或者图像和文字的组合等，图像和文字可以呈现3D效果。特效显示内容的生成方式可以是用户事先编辑好的图像或者文本文件，也可以是在播放或拍摄视频时，用户进行手动添加，例如通过在视频图像上的点击操作，选择要添加的特效显示内容的位置，然后通过导入图片或者输入文字的方式进行添加，具体可以通过在用户点击视频图像后，生成透明的窗体，在窗体内允许用户输入要进行特效显示的特效显示内容。

具体地，本实施例可以获取在当前视频帧中添加特效显示内容处的图像特征，通过将此当前视频帧的图像特征与后续的视频帧进行特征匹配，确定特效显示内容在后续视频帧的添加位置，并添加特效显示内容。例如，用户在当前视频帧上点击了一本书，获取当前视频帧中此书的图像特征，将此书的图像特征与后续的视频帧进行特征匹配，如果匹配成功，则可以确定特效显示内容在后续视频帧的添加位置。

步骤102，根据运动轨迹信息和/或姿态变化信息，对特效显示内容进行图像变换。

具体地，本实施例可以根据终端的运动轨迹信息和/或姿态变化信息对特效显示内容进行图像变换，得到分别与拍摄视频各视频帧对应的特效显示内容的图像帧。

步骤103，将图像变换后的特效显示内容和拍摄视频进行图像合成处理。

在本步骤中，可以将原始视频和进行了图像变换后的特效显示内容均分解为单帧的图像，然后将每一帧图像进行合成处理，然后再形成整个视频。如前所述，本实施例可以确定特效显示内容在拍摄视频各个视频帧的添加位置，从而可以将图像变换后的特效显示内容的各帧图像添加至拍摄视频的对应视频帧的对应位置。作为另外一种合成方式，也可以将特效显示内容与拍摄的视频进行动态叠加。

在上述步骤中，特效显示内容会随着拍摄视频的时间轴进行图像变换，由于运动轨迹信息和/或姿态变化信息也是与视频播放时间轴是同步的，因此，图像变换后的特效显示内容能够与拍摄视频的播放进度保持同步变化，从而使得特效显示内容更好地融入到视频中进行显示。

可选地，图像变换可以包括：放大、缩小、旋转、拉伸、收缩、扭曲中的一个或任意多个的组合。

本实施例具体要对该特效显示内容进行哪种变换需要根据拍摄视频时的终端的运动轨迹信息和/或姿态变化信息而确定。例如，用户在拍摄视频时，由远到近地针对一个物体进行拍摄，在播放拍摄视频时，视频中的物体是从小变大的，相应地，特效显示内容也是会进行放大处理。再例如，在拍摄视频时，用户针对一张桌子进行拍摄，在拍摄的过程中，用户围绕着该桌子移动的一周，以从各个视角该桌子。在播放该拍摄视频时，从用户的视角来看，桌子在屏幕中转动(或者说用户的视角在转动)，在将上述的特效显示内容(例如显示制作该桌子的公司名称)合并到该视频中后，所呈现的效果是该特效显示内容也随着桌子进行转动。

可选地，运动轨迹信息可以通过加速度传感器检测终端的加速度信息计算而得。加速度传感器输出的信息为加速度矢量信息，包含了终端运动的加速度值和方向，再结合终端系统的时间信息就可以求出位移矢量，从而可以作为特效显示内容进行图像变换的依据。姿态变化信息可以通过终端上的重力传感器检测的信息而求得。重力传感器会输出能够唯一确定终端姿态的XYZ的三轴坐标信息，再结合终端系统的时间信息就可以求出在终端的姿态方面的变化情况，从而作为特效显示内容的图像变换的依据。

总体来说，根据运动轨迹信息、姿态变化信息可以判断终端与拍摄对象的相对变换，相对变换包括：接近、远离、拍摄角度变化等。根据这种相对变换对特效显示内容进行相应的处理，包括放大、缩小、旋转、拉伸、收缩、扭曲等中的一个或任意多个的组合，使得特效显示内容进行对应的显示效果变换即可。

实施例二

本实施例在实施例一的基础上，对将图像变换后的特效显示内容和拍摄视频进行图像合成处理进行进一步的说明。其中，该图像合成处理可以具体包括：获取拍摄视频中选定的目标对象的图像信息；根据目标对象在拍摄视频的各个视频帧的位置信息，将图像变换后的特效显示内容与拍摄视频中目标对象进行图像合成处理，使得特效显示内容跟随目标对象。具体地，目标对象的选择可以通过用户的选定操作完成。例如，通过在视频图像上的点击操作，选择要添加的特效显示内容的位置(该位置对应于目标对象)，然后对视频进行处理的应用将会记录该位置周围的目标对象的图像信息，在后续的图像合并的过程中，可以对拍摄视频中的图像进行图像分析，锁定该目标对象的位置，然后始终将特效显示内容固定与目标对象处。下面通过一个实际的应用场景来进一步说明本实施例的技术方案。

如图2A、2B、2C所示，拍摄一本书的视频，在拍摄时，手机记录姿态变化信息和运动轨迹信息。拍摄完成视频之后，使用手触摸、点击等简单的操作可以在视频中添加特效，捕捉视频中的书以及书的边缘(对应于上述的目标对象)，在书的边缘增加特效显示内容，并且，使特效显示内容跟随书的边缘。

如图2A所示，通过手机拍摄一本书的视频，如图2B所示，通过点击，在视频中书的边缘添加一段文字或图形，例如，书名和作者等。如图2C所示，根据手机的运动轨迹判断手机与书之间的距离增大，则将书的特效显示内容，即书名和作者进行缩小处理，根据姿态变化信息判断手机与书之间的拍摄角度发生变化，则根据角度的变化改变书名和作者显示角度，使得此书的特效有相应的动态效果。

上述实施例中的视频处理方法，可以实现在视频中方便地添加多种特效，并可以使被添加的特效显示能够同步拍摄视频的变化而变化，并且可以一直跟随之前选定的目标对象，从而使得特效显示内容更好地融入到视频中进行显示。

实施例三

如图3所示，本发明实施例提供一种视频处理装置，其包括：第一获取模块31、特效处理模块32以及合成处理模块33。第一获取模块31用于获取待添加的特效显示内容和拍摄视频时的终端的运动轨迹信息和/或姿态变化信息。特效处理模块32用于根据运动轨迹信息和/或姿态变化信息，对特效显示内容进行图像变换。合成处理模块33将图像变换后的特效显示内容和拍摄视频进行图像合成处理。其中，图像变换可以包括：放大、缩小、旋转、拉伸、收缩、扭曲中的一个或任意多个的组合。

此外，该处理装置还可以包括记录模块34，用于在拍摄视频时记录运动轨迹信息和/或姿态变化信息。

在一个实施例中，在拍摄视频时，记录模块34可以具体通过终端上的加速度传感器检测到的终端的加速度信息生成运动轨迹信息，和/或，通过终端上的重力传感器检测的信息生成姿态变化信息。

在一个实施例中，合成处理模块33中可以具体用于：获取从拍摄视频中选定的目标对象的图像信息；根据目标对象的图像信息确定目标对象在拍摄视频的各个视频帧的位置信息；根据目标对象在拍摄视频的各个视频帧的位置信息，将图像变换后的特效显示内容与拍摄视频中目标对象进行图像合成处理，使得特效显示内容跟随目标对象。

上述各模块中的功能、执行的处理操作以及相应的技术效果在前面的方法实施例中已经进行了详细说明，在此不再赘述。

上述实施例中提供的视频处理方法、装置，通过在图像合成处理的过程中，根据终端的运动轨迹信息和/或姿态变化信息，对特效显示内容进行图像变换，使得被添加的特效显示能够同步拍摄视频的变化而变化，从而使得特效显示内容更好地融入到视频中进行显示，使得特效在播放时具有动态效果，增加视频播放的趣味性，提高了用户的感受度。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种视频处理方法，其特征在于，包括：

获取待添加的特效显示内容和拍摄视频时终端的运动轨迹信息和/或姿态变化信息；

根据所述运动轨迹信息和/或所述姿态变化信息，对所述特效显示内容进行图像变换；

将图像变换后的特效显示内容和拍摄视频进行图像合成处理。

2.根据权利要求1所述的处理方法，其特征在于，所述图像变换包括：放大、缩小、旋转、拉伸、收缩、扭曲中的一个或任意多个的组合。

3.根据权利要求1所述的处理方法，其特征在于，所述方法还包括：

在拍摄视频时记录所述运动轨迹信息和/或所述姿态变化信息。

4.根据权利要求3所述的处理方法，其特征在于，所述在拍摄视频时记录所述运动轨迹信息和/或所述姿态变化信息包括：

在拍摄视频时，通过终端上的加速度传感器检测到的所述终端的加速度信息生成所述运动轨迹信息；和/或，

在拍摄视频时，通过终端上的重力传感器检测的信息生成所述姿态变化信息。

5.根据权利要求1所述的处理方法，其特征在于，所述将图像变换后的特效显示内容和拍摄视频进行图像合成处理包括：

获取从拍摄视频中选定的目标对象的图像信息；

根据所述目标对象的图像信息确定所述目标对象在拍摄视频的各个视频帧的位置信息；

根据所述目标对象在拍摄视频的各个视频帧的位置信息，将所述图像变换后的特效显示内容与拍摄视频中所述目标对象进行图像合成处理，使得所述特效显示内容跟随所述目标对象。

6.一种视频处理装置，其特征在于，包括：

第一获取模块，用于获取待添加的特效显示内容和拍摄视频时终端的运动轨迹信息和/或姿态变化信息；

特效处理模块，用于根据运动轨迹信息和/或姿态变化信息，对所述特效显示内容进行图像变换；

合成处理模块，用于将图像变换后的特效显示内容和拍摄视频进行图像合成处理。

7.根据权利要求6所述的处理装置，其特征在于，所述图像变换包括：放大、缩小、旋转、拉伸、收缩、扭曲中的一个或任意多个的组合。

8.根据权利要求6所述的处理装置，其特征在于，所述处理装置还包括：

记录模块，用于在拍摄视频时记录所述运动轨迹信息和/或所述姿态变化信息。

9.根据权利要求8所述的处理装置，其特征在于，所述记录模块具体用于在拍摄视频时，通过终端上的加速度传感器检测到的所述终端的加速度信息生成所述运动轨迹信息，和/或，在拍摄视频时，通过终端上的重力传感器检测的信息生成所述姿态变化信息。

10.根据权利要求6所述的处理装置，其特征在于，所述合成处理模块具体用于：

获取从拍摄视频中选定的目标对象的图像信息；

根据所述目标对象的图像信息确定所述目标对象在拍摄视频的各个视频帧的位置信息；

根据所述目标对象在拍摄视频的各个视频帧的位置信息，将所述图像变换后的特效显示内容与拍摄视频中所述目标对象进行图像合成处理，使得所述特效显示内容跟随所述目标对象。