CN105100923A - 视频播放方法及装置 - Google Patents

Abstract

本发明公开了一种视频播放方法及装置，所述方法包括：在播放器播放的视频的某一视频帧中设置用户感兴趣的目标区域；将目标区域上下左右扩充预设像素构成检测区域；对检测区域进行边缘检测；对视频的后续帧中出现的检测区域的边缘点进行跟踪，以跟踪后续帧中出现的目标区域。实施本发明的有益效果是，可在视频播放过程中，对用户感兴趣区域进行跟踪，且可实现各种趣味性效果，由此，可增加播放器与用户的互动交互功能，使得播放过程更加有趣，可增加用户的观影乐趣，使用户获得更强参与感和更好的产品体验。

Description

视频播放方法及装置

技术领域

本发明涉及视频领域，更具体地说，涉及一种视频播放方法及装置。

背景技术

现有的播放器，只具备简单的播放、暂停、停止、加速播放、减速播放等常规功能，并没有提供更多与用户交互的功能，使原本有趣的观影，缺乏乐趣。

在使用现有播放器的过程中，不能满足用户对播放中的感兴趣物体进行跟踪，并对其进行设置等的需求。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述播放器不能满足用户对播放中的感兴趣物体进行跟踪的缺陷，提供一种视频播放方法及装置。

本发明解决其技术问题所采用的技术方案是：构造一种视频播放方法，包括以下步骤：

在播放器播放的视频的某一视频帧中设置用户感兴趣的目标区域；

将目标区域上下左右扩充预设像素构成检测区域；

对检测区域进行边缘检测；

对视频的后续帧中出现的检测区域的边缘点进行跟踪，以跟踪后续帧中出现的目标区域。

在一个实施例中，使用如下式所示的边缘检测算子对视频帧进行卷积操作以对检测区域进行边缘检测：

$T_x=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],T_y=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

在一个实施例中，所述对视频的后续帧中出现的检测区域的边缘点进行跟踪具体包括：

在检测区域的边缘上，等距离地选择边缘点以确定检测区域的边缘点；

采用Lucas-Kanade光流跟踪方法对边缘点进行跟踪。

在一个实施例中，所述方法还包括：

对目标区域进行播放效果设置；

播放视频时，将跟踪到的目标区域按照设置的播放效果进行播放。

在一个实施例中，所述将跟踪到的目标区域按照设置的播放效果进行播放具体包括：

将设置目标区域的播放效果与原视频帧的解码帧中的目标区域做图像融合以实现目标区域的播放效果。

在一个实施例中，所述方法还包括：对图像融合后得到的视频文件进行保存。

另一方面提供一种视频播放装置，包括：

目标区域设置模块，用于在播放器播放的视频的某一视频帧中设置用户感兴趣的目标区域；

检测区域设置模块，用于将目标区域上下左右扩充预设像素构成检测区域；

边缘检测模块，用于对检测区域进行边缘检测；

跟踪模块，用于对视频的后续帧中出现的检测区域的边缘点进行跟踪，以跟踪后续帧中出现的目标区域。

在一个实施例中，所述装置还包括：

播放效果设置模块、播放接口和播放控制器；

其中，播放效果设置模块用于对目标区域进行播放效果设置；

播放控制器，用于播放视频时，控制播放接口将跟踪到的目标区域按照设置的播放效果进行播放。

在一个实施例中，所述装置还包括：用户交互界面，用于提供用户对视频播放的控制操作。

在一个实施例中，所述装置还包括：

数据通讯接口，用于进行数据通讯；

文件读取模块，用于通过数据通讯接口获取视频资源；

分离模块，用于对获取的视频资源进行音频和视频分离；

视频解码模块，用于对视频进行解码；

音频解码模块，用于对音频进行解码；

视频渲染模块，用于实现视频渲染；

音频渲染模块，用于实现音频渲染。

实施本发明的视频播放方法及装置，具有以下有益效果：可在视频播放过程中，对用户感兴趣区域进行跟踪，且可实现各种趣味性效果，由此，可增加播放器与用户的互动交互功能，使得播放过程更加有趣，可增加用户的观影乐趣，使用户获得更强参与感和更好的产品体验。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的视频播放方法的流程图；

图2是本发明实施例中某一视频帧的二维灰度图像示意图；

图3是本发明实施例中设置的目标区域播放效果的二维灰度图像；

图4是对图2和图3所示的图像进行图像融合后的视频帧的二维图像示意图；

图5是本发明实施例的视频播放装置的结构框图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明实施例的视频播放方法，能够实现在播放视频时对感兴趣区域的跟踪，并能对感兴趣区域进行马赛克设置、替换和突出显示等操作，可增加用户的观影乐趣，提升用户体验。

参见图1，为本发明实施例的应用于播放器的视频播放方法的流程图，其包括以下步骤：

S1、在播放器播放的视频的某一视频帧中设置用户感兴趣的目标区域。

具体的，用户在设置感兴趣的目标区域时，需使视频处于暂停播放的状态。在视频暂停播放状态下展示的画面即为视频的某一帧，用户可采用圈图、设置坐标区域等方式对该帧中感兴趣的目标区域进行标记。将视频帧从RGB空间转换为灰度图像后，即可获取被标记的目标区域对应的像素点，由此，用户感兴趣的目标区域可被设置。

S2、将目标区域上下左右扩充预设像素构成检测区域。

具体的，视频帧被从RGB空间转换为灰度图像，因此，将目标区域上下左右扩充预设像素即：增加目标区域包括的像素点。参见图2为一视频帧的二维灰度图像，其中，区域10为用户感兴趣的目标区域，区域20为扩充后形成的检测区域。检测区域20是在目标区域10的基础上分别向左、向右、向上和向下扩充2个像素形成的。本发明的实施例中，通过扩充用户感兴趣的目标区域，可使得跟踪更加全面和准确。将目标区域上下左右扩充的预设像素可根据视频帧的大小确定，例如，若视频帧的分辨率为320×240ppi，则预设像素可设置为4，则检测区域为将目标区域上下左右分别扩充4个像素。预设像素的值随视频帧分辨率增加而增大。

S3、对检测区域进行边缘检测。

优选的，在本发明的实施例中，使用式(1)所示的边缘检测算子对视频帧进行卷积操作以对检测区域进行边缘检测，从而节省边缘检测所需的时间。

$T_x=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],T_y=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$ 式(1)

S4、对视频的后续帧中出现的检测区域的边缘点进行跟踪，以跟踪后续帧中出现的目标区域。

具体的，首先对步骤S2中确定的检测区域的边缘点进行选择：可在检测区域的边缘上，等距离地选择边缘点，例如可以每隔10个像素点选择一个边缘点。

在本发明的实施例中，可通过Camshift算法、Meanshift算法、压缩感知跟踪算法、粒子滤波跟踪算法或光流跟踪方法等进行边缘点跟踪。优选的，本发明实施例中，采用Lucas-Kanade光流跟踪方法对边缘点进行跟踪，以实现实时跟踪，且Lucas-Kanade光流跟踪方法对视频的场景无过多要求，能处理被跟踪目标区域中的物体大小在视频帧中的变化情况。

本发明实施例的视频播放方法进一步包括：

S5、对目标区域进行播放效果设置。

S6、播放视频时，将跟踪到的目标区域按照设置的播放效果进行播放。

具体的，步骤S5中对目标区域进行的播放效果设置包括：将跟踪到的目标区域设置为马赛克、对跟踪到的目标区域替换为预设图案、将跟踪到的目标区域突出显示等。

步骤S6中，将设置目标区域的播放效果与原视频帧的解码帧中的目标区域做图像融合以实现目标区域的播放效果。图像融合采用如下方法：

参见图2为某一视频帧的二维灰度图像，10为目标区域。参见图3为设置的目标区域播放效果的二维灰度图像，则图像融合后的得到的播放效果见图4所示，即实际播放时，将目标区域的二维图像灰度值与播放效果的二维图像灰度值进行了叠加融合。

进一步的，用户可对融合后得到的视频文件进行保存，由此，用户再次播放保存的视频文件时，即可观看到目标区域与其他区域的不同播放效果。

应理解，本发明实施例的视频播放方法可由电子设备执行，其中该电子设备具有附带了图形用户界面的显示屏幕、一个或多个处理器、存储器及保存在存储器中用于执行这些方法的一个或多个模块、程序或指令集。在某些实施例中，该电子设备提供了包括WiFi、GPRS等无线通信功能在内的多种功能。

参见图5为本发明实施例的视频播放装置的结构框图。本发明实施例的视频播放装置包括：

目标区域设置模块10，用于在播放器播放的视频的某一视频帧中设置用户感兴趣的目标区域。

检测区域设置模块11，用于将目标区域上下左右扩充预设像素构成检测区域。具体的，视频帧被从RGB空间转换为灰度图像，因此，将目标区域上下左右扩充预设像素即：增加目标区域包括的像素点。

边缘检测模块12，用于对检测区域进行边缘检测。优选的，在本发明的实施例中，使用上述式(1)所示的边缘检测算子对视频帧进行卷积操作以对检测区域进行边缘检测，从而节省边缘检测所需的时间。

跟踪模块13，用于对视频的后续帧中出现的检测区域的边缘点进行跟踪，以跟踪后续帧中出现的目标区域。具体的，首先对检测区域设置模块11确定的检测区域的边缘点进行选择：可在检测区域的边缘上，等距离地选择边缘点，例如可以每隔10个像素点选择一个边缘点。在本发明的实施例中，可通过Camshift算法、Meanshift算法、压缩感知跟踪算法、粒子滤波跟踪算法或光流跟踪方法等进行边缘点跟踪。优选的，本发明实施例中，采用Lucas-Kanade光流跟踪方法对边缘点进行跟踪，以实现实时跟踪，且Lucas-Kanade光流跟踪方法对视频的场景无过多要求，能处理被跟踪目标区域中的物体大小在视频帧中的变化情况。

此外，本发明实施例的视频播放装置还包括：

用户交互界面14，用于提供用户对视频播放的各种控制操作，例如，对目标区域的设置、播放、暂停、快进、快退等操作。具体的，用户交互界面可为触摸屏界面，也可为显示器、键盘、鼠标组合成。在视频的播放过程中，用户可通过用户交互界面使视频处于暂停播放的状态，然后再通过用户交互界面采用圈图、设置坐标区域等方式对某一视频帧中的感兴趣目标区域进行标记。

播放效果设置模块15，用于对目标区域进行播放效果设置。对目标区域进行的播放效果设置包括：将跟踪到的目标区域设置为马赛克、对跟踪到的目标区域替换为预设图案、将跟踪到的目标区域突出显示等。

播放接口16，用于播放视频。

播放控制器17，用于播放视频时，控制播放接口16将跟踪到的目标区域按照设置的播放效果进行播放，还用于根据用户通过用户交互界面14的操作控制视频的播放、暂停、快进、快退等。具体的，播放控制器17通过图像融合技术将设置的播放效果与原帧的相应区域做图像融合，以实现目标区域的播放效果。

数据通讯接口18，用于进行数据通讯。

文件读取模块19，用于通过数据通讯接口获取视频资源，例如，从服务器获取视频资源。

分离模块20，用于对获取的视频资源进行音频和视频分离。

视频解码模块21，用于对视频进行解码。

音频解码模块22，用于对音频进行解码。

视频渲染模块23，用于实现视频渲染。

音频渲染模块24，用于实现音频渲染。

本发明实施例的视频播放装置，在播放接口16和用户交互界面14之间设置目标区域设置模块10、检测区域设置模块11、边缘检测模块12、跟踪模块13和播放效果设置模块15。跟踪模块13通过接收用户交互界面14输入的选择指令来跟踪视频画面上的目标区域，跟踪到之后反馈给用户交互界面14；播放效果设置模块15从用户交互界面14接收用户自定义设置的播放效果，播放控制器17将设置的播放效果与原帧的相应区域做图像融合，处理后的数据可保存和/或返回给播放接口进行播放。

应理解，本发明实施例的视频播放装置和上述视频播放方法是相对应的。视频播放控制装置中的数据通讯接口18、文件读取模块19、分离模块20、视频解码模块21、音频解码模块22、视频渲染模块23、音频渲染模块24等所进行的处理，在上述视频播放方法中播放视频帧的过程中被包含。

本发明实施例的视频播放方法及装置可在视频播放过程中，对用感兴趣区域进行跟踪，且可实现各种趣味性效果，由此，可增加播放器与用户的互动交互功能，使得播放过程更加有趣，使用户获得更强参与感和更好的产品体验。

应理解，流程图中或在本发明的实施例中以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种视频播放方法，其特征在于，包括以下步骤：

在播放器播放的视频的某一视频帧中设置用户感兴趣的目标区域；

将目标区域上下左右扩充预设像素构成检测区域；

对检测区域进行边缘检测；

对视频的后续帧中出现的检测区域的边缘点进行跟踪，以跟踪后续帧中出现的目标区域。

2.根据权利要求1所述的视频播放方法，其特征在于，使用如下式所示的边缘检测算子对视频帧进行卷积操作以对检测区域进行边缘检测：

$T_x=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],T_y=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

3.根据权利要求1所述的视频播放方法，其特征在于，所述对视频的后续帧中出现的检测区域的边缘点进行跟踪具体包括：

在检测区域的边缘上，等距离地选择边缘点以确定检测区域的边缘点；

采用Lucas-Kanade光流跟踪方法对边缘点进行跟踪。

4.根据权利要求1所述的视频播放方法，其特征在于，所述方法还包括：

对目标区域进行播放效果设置；

播放视频时，将跟踪到的目标区域按照设置的播放效果进行播放。

5.根据权利要求4所述的视频播放方法，其特征在于，所述将跟踪到的目标区域按照设置的播放效果进行播放具体包括：

将设置目标区域的播放效果与原视频帧的解码帧中的目标区域做图像融合以实现目标区域的播放效果。

6.根据权利要求5所述的视频播放方法，其特征在于，所述方法还包括：对图像融合后得到的视频文件进行保存。

7.一种视频播放装置，其特征在于，包括：

目标区域设置模块(10)，用于在播放器播放的视频的某一视频帧中设置用户感兴趣的目标区域；

检测区域设置模块(11)，用于将目标区域上下左右扩充预设像素构成检测区域；

边缘检测模块(12)，用于对检测区域进行边缘检测；

跟踪模块(13)，用于对视频的后续帧中出现的检测区域的边缘点进行跟踪，以跟踪后续帧中出现的目标区域。

8.根据权利要求7所述的视频播放装置，其特征在于，所述装置还包括：

播放效果设置模块(15)、播放接口(16)和播放控制器(17)；

其中，播放效果设置模块(15)用于对目标区域进行播放效果设置；

播放控制器(17)，用于播放视频时，控制播放接口(16)将跟踪到的目标区域按照设置的播放效果进行播放。

9.根据权利要求7所述的视频播放装置，其特征在于，所述装置还包括：用户交互界面(14)，用于提供用户对视频播放的控制操作。

10.根据权利要求7-9任一项所述的视频播放装置，其特征在于，所述装置还包括：

数据通讯接口(18)，用于进行数据通讯；

文件读取模块(19)，用于通过数据通讯接口获取视频资源；

分离模块(20)，用于对获取的视频资源进行音频和视频分离；

视频解码模块(21)，用于对视频进行解码；

音频解码模块(22)，用于对音频进行解码；

视频渲染模块(23)，用于实现视频渲染；

音频渲染模块(24)，用于实现音频渲染。