CN108769803A - 带边框视频的识别方法、裁剪方法、系统、设备及介质 - Google Patents

Abstract

本公开涉及一种带边框视频的识别方法、裁剪方法、系统、设备及计算机可读存储介质，该识别方法包括：对视频进行抽帧，得到多个帧图像；确定所述帧图像中的稳定区域，根据所述稳定区域确定掩模图像；确定所述掩模图像中的边缘线的信息；根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框。

Description

带边框视频的识别方法、裁剪方法、系统、设备及介质

技术领域

本公开涉及视频处理技术领域，特别是涉及一种带边框视频的识别方法、系统、设备、带边框视频的裁剪方法、系统、设备以及计算机可读存储介质。

背景技术

PGC(professional generated content)视频是指专业人士制作的视频，此类视频往往内容优质而经常被人为的拷贝和搬运。为了与去重复系统对抗，搬运人员往往采用多种手段对视频内容进行微小的批量篡改，以达到躲避重复检查系统排查的目的，为视频添加边框以得到带边框类视频就是其中的一种。带边框视频包括黑色/白色/纯色边框视频、毛玻璃特效边框视频、定制模版类边框视频。另外，带边框视频还会影响用户的观感体验。

现有的带边框视频的识别方法往往通过大量的人工审核来完成带边框视频的识别，这种方法会耗费大量的人力，同时人工核实往往存在标准不统一、质量不达标等问题。

发明内容

本公开的目的在于提供一种新的带边框视频的识别方法、系统、设备、带边框视频的裁剪方法、系统、设备以及计算机可读存储介质。

本公开的目的是采用以下的技术方案来实现的。依据本公开提出的带边框视频的识别方法，包括以下步骤：对视频进行抽帧，得到多个帧图像；确定所述帧图像中的稳定区域，根据所述稳定区域确定掩模图像；确定所述掩模图像中的边缘线的信息；根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框。

本公开的目的还可以采用以下的技术措施来进一步实现。

前述的带边框视频的识别方法，其中，所述的确定所述帧图像中的稳定区域包括：通过颜色差值方式和/或拉普拉斯变换方式和/或相邻帧差值方式来确定所述稳定区域。

前述的带边框视频的识别方法，其中，所述的通过颜色差值方式来确定所述稳定区域包括：根据预设的颜色值对所述帧图像进行差值以得到颜色差值结果，判断所述颜色差值结果中的点是否在预设的色差范围之内，将所述颜色差值结果中的满足在所述色差范围之内的区域确定为所述稳定区域。

前述的带边框视频的识别方法，其中，所述的通过拉普拉斯变换方式来确定所述稳定区域包括：对所述帧图像进行拉普拉斯变换以确定所述帧图像中的模糊区域作为所述稳定区域。

前述的带边框视频的识别方法，其中，所述的通过相邻帧差值方式来确定所述稳定区域包括：将相邻的两个所述帧图像进行差值得到相邻帧差值结果，将所述相邻帧差值结果中的绝对值小于或等于预设数值的点确定为所述稳定区域。

前述的带边框视频的识别方法，其中，所述的确定所述掩模图像中的边缘线的信息包括：利用差分模板滤波器扫描所述掩模图像并在每个扫描位置确定所述差分模板滤波器的响应；根据响应最大的扫描位置确定所述边缘线的位置。

前述的带边框视频的识别方法，其中，所述的差分模板滤波器具有横向的两个半边或具有纵向的两个半边，所述两个半边之中的一个半边中的每个元素为相同的正数，且另一个半边中的每个元素为所述正数的相反数。

前述的带边框视频的识别方法，其中，所述的根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框包括：根据多个所述掩模图像的所述边缘线信息，确定多个所述掩模图像的所述边缘线的位置的变化情况以得到边框位置的稳定程度，和/或确定每个所述掩模图像的所述边缘线形成的边框区域的面积，和/或确定多个所述掩模图像的所述边框区域的面积变化情况，和/或确定所述边缘线的数量；根据所述边框位置的稳定程度、所述边框区域的面积、所述边框区域的面积变化情况、所述边缘线的数量之中的一个或一些是否超过对应的阈值，判断所述视频是否具有边框。

前述的带边框视频的识别方法，其中：所述的对视频进行抽帧，得到多个帧图像还包括，将多个所述帧图像分为多个批次，每个所述批次包括多个所述帧图像；所述的根据所述稳定区域确定掩模图像包括，确定所述帧图像的掩模图像作为第一掩模图像，根据一个所述批次中的多个所述帧图像的所述第一掩模图像确定所述批次对应的掩模图像作为第二掩模图像；所述根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框为，根据多个所述第二掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框。

前述的带边框视频的识别方法，其中，所述的根据一个所述批次中的多个所述帧图像的所述第一掩模图像确定所述批次对应的掩模图像作为第二掩模图像包括：对一个所述批次中的多个所述第一掩模图像求均值或者对多个所述第一掩模图像求最小值，以得到所述批次对应的掩模图像作为第二掩模图像。

本公开的目的还采用以下技术方案来实现。依据本公开提出的带边框视频的裁剪方法，包括以下步骤：根据任意一种前述的带边框视频的识别方法来判断视频是否为带边框视频，并确定边框位置；根据所述边框位置对带边框视频进行裁剪。

本公开的目的还采用以下技术方案来实现。依据本公开提出的带边框视频的识别系统，包括：抽帧模块，用于对视频进行抽帧，得到多个帧图像；掩模图像确定模块，用于确定所述帧图像中的稳定区域，根据所述稳定区域确定掩模图像；边缘线信息确定模块，用于确定所述掩模图像中的边缘线的信息；边框识别模块，用于根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框。

本公开的目的还可以采用以下的技术措施来进一步实现。

前述的带边框视频的识别系统，其中，所述的掩模图像确定模块具体用于：通过颜色差值方式和/或拉普拉斯变换方式和/或相邻帧差值方式来确定所述稳定区域。

前述的带边框视频的识别系统，其中，所述的掩模图像确定模块包括颜色差值子模块，用于：根据预设的颜色值对所述帧图像进行差值以得到颜色差值结果，判断所述颜色差值结果中的点是否在预设的色差范围之内，将所述颜色差值结果中的满足在所述色差范围之内的区域确定为所述稳定区域。

前述的带边框视频的识别系统，其中，所述的掩模图像确定模块包括拉普拉斯变换子模块，用于：对所述帧图像进行拉普拉斯变换以确定所述帧图像中的模糊区域作为所述稳定区域。

前述的带边框视频的识别系统，其中，所述的掩模图像确定模块包括相邻帧差值子模块，用于：将相邻的两个所述帧图像进行差值得到相邻帧差值结果，将所述相邻帧差值结果中的绝对值小于或等于预设数值的点确定为所述稳定区域。

前述的带边框视频的识别系统，其中，所述的边缘线信息确定模块包括差分滤波响应子模块，用于：利用差分模板滤波器扫描所述掩模图像并在每个扫描位置确定所述差分模板滤波器的响应，根据响应最大的扫描位置确定所述边缘线的位置。

前述的带边框视频的识别系统，其中，所述的差分模板滤波器具有横向的两个半边或具有纵向的两个半边，所述两个半边之中的一个半边中的每个元素为相同的正数，且另一个半边中的每个元素为所述正数的相反数。

前述的带边框视频的识别系统，其中，所述的边框识别模块具体用于：根据多个所述掩模图像的所述边缘线信息，确定多个所述掩模图像的所述边缘线的位置的变化情况以得到边框位置的稳定程度，和/或确定每个所述掩模图像的所述边缘线形成的边框区域的面积，和/或确定多个所述掩模图像的所述边框区域的面积变化情况，和/或确定所述边缘线的数量；根据所述边框位置的稳定程度、所述边框区域的面积、所述边框区域的面积变化情况、所述边缘线的数量之中的一个或一些是否超过对应的阈值，判断所述视频是否具有边框。

前述的带边框视频的识别系统，其中，所述的抽帧模块包括分批子模块，用于：将多个所述帧图像分为多个批次，每个所述批次包括多个所述帧图像；所述的掩模图像确定模块具体用于：确定所述帧图像的掩模图像作为第一掩模图像，根据一个所述批次中的多个所述帧图像的所述第一掩模图像确定所述批次对应的掩模图像作为第二掩模图像；所述的边缘线信息确定模块具体用于：确定所述第二掩模图像中的边缘线的信息；所述的边框识别模块具体用于：根据多个所述第二掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框。

前述的带边框视频的识别系统，其中，所述的掩模图像确定模块具体用于：对一个所述批次中的多个所述第一掩模图像求均值或者对多个所述第一掩模图像求最小值，以得到所述批次对应的掩模图像作为第二掩模图像。

本公开的目的还采用以下技术方案来实现。依据本公开提出的带边框视频的裁剪系统，包括：识别模块，用于根据任意一种前述的带边框视频的识别方法来判断视频是否为带边框视频，并确定边框位置；裁剪模块，用于根据所述边框位置对带边框视频进行裁剪。

本公开的目的还采用以下技术方案来实现。依据本公开提出的一种设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现前述任意一种带边框视频的识别方法。

本公开的目的还采用以下技术方案来实现。依据本公开提出的一种设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现前述的带边框视频的裁剪方法。

本公开的目的还采用以下技术方案来实现。依据本公开提出的一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行前述任意一种带边框视频的识别方法或带边框视频的裁剪方法。

本公开的目的还采用以下技术方案来实现。依据本公开提出的一种终端设备，包括前述任意一种带边框视频的识别系统或带边框视频的裁剪系统。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本公开一个实施例的带边框视频的识别方法的流程框图。

图2是本公开一个实施例提供的基于颜色差值确定掩模图像的示意图。

图3是本公开一个实施例提供的基于拉普拉斯变换确定掩模图像的示意图。

图4是本公开一个实施例提供的基于相邻帧差值确定掩模图像的示意图。

图5是本公开一个实施例的带边框视频的裁剪方法的流程框图。

图6是本公开一个实施例的带边框视频的识别系统的结构框图。

图7是本公开一个实施例的带边框视频的裁剪系统的结构框图。

图8是本公开一个实施例的设备的硬件框图。

图9是本公开一个实施例的设备的硬件框图。

图10是本公开一个实施例的计算机可读存储介质的示意图。

图11是本公开一个实施例的终端设备的结构框图。

具体实施方式

为更进一步阐述本公开为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本公开提出的带边框视频的识别方法、系统、设备、带边框视频的裁剪方法、系统、设备以及计算机可读存储介质的具体实施方式、结构、特征及其功效，详细说明如后。

图1为本公开的带边框视频的识别方法一个实施例的示意性流程框图。请参阅图1，本公开示例的带边框视频的识别方法，主要包括以下步骤：

步骤S11，对视频进行抽帧，得到多个帧图像。

需要说明的是，可以对视频进行等间隔的抽帧，或者也可抽视频的关键帧。

步骤S12，对于每个帧图像，确定帧图像中的稳定区域，根据该稳定区域确定掩模图像。具体地，通过颜色差值方式和/或拉普拉斯变换方式和/或相邻帧差值方式来确定帧图像中的稳定区域。

步骤S13，对于每个掩模图像，确定掩模图像中的边缘线的信息。

步骤S14，根据多个掩模图像的该边缘线信息来确定边缘线稳定程度，以判断视频是否具有边框。可选地，还可以根据边缘线信息确定边框的位置。

利用本公开示例的带边框视频的识别方法，能够自动且准确地进行带边框视频的识别，进而有利于视频内容审核。

下面对上述的步骤S12、步骤S13及步骤S14分别进行详细说明。

一、关于步骤S12。

在本公开的一些实施例中，掩模图像中的点的取值为0或1，用于表示稳定区域的位置。具体地，将掩模图像的尺寸设置为与帧图像尺寸一致，且将掩模图像中的与帧图像中的稳定区域对应的点的取值设置为0、1中的一个(不妨设为1)，而将掩模图像中的其他点的取值设置为0、1中的另一个(不妨设为0)。

在本公开的一种实施例中，通过颜色差值方式来确定帧图像中的稳定区域的具体过程包括：根据预设的颜色值(例如，在RGB色彩模式中，该颜色值为RGB值)，对帧图像逐点地进行差值以得到颜色差值结果(或者，称为颜色差值后的帧图像)，检查该颜色差值结果中的点是否在预期的色差范围(也可以称为预设的色差阈值)之内，将颜色差值结果中的满足在预期色差范围之内的区域确定为稳定区域。其中，前述的预设的颜色值一般为黑色、白色等纯色对应的颜色值，从而能够识别出黑框、白框等纯色边框，另外，也可以对图像中的不同点使用不同的预设颜色值进行差值，从而能够识别出静态模板边框。可选地，可以将前述的预期的色差范围设置为等于0，从而前述的满足在预期色差范围之内的区域为：颜色差值结果中的取值为0的点；或者，也可将前述的预期的色差范围设置为绝对值小于预设的某个数值，从而前述的满足在预期色差范围之内的区域为：颜色差值结果中的绝对值小于该预设数值的点。

本公开提供的这种基于颜色差值的掩模生成方法特别适用于边框类型为黑边、白边等纯色边框的视频。图2为本公开一个实施例提供的基于颜色差值确定掩模图像的示意图。图2中的左侧图像为从原视频抽得的一帧图像，该帧图像的边框为黑色边框。对该帧图像利用本公开一个实施例的基于颜色差值的方法进行处理，能够得到如图2中的右侧图像所示的掩模图像，该掩模图像中的白色区域为取值为1的区域，用于表示左侧的帧图像中的对应位置为稳定区域，该掩模图像中黑色区域为取值为0的区域，用于表示左侧的帧图像中的对应位置非稳定区域。

在本公开的一种实施例中，通过拉普拉斯变换方式来确定帧图像中的稳定区域的具体过程包括：对帧图像进行拉普拉斯变换(或称为拉氏变换)，以确定出帧图像中的模糊区域，并将该模糊区域作为稳定区域。

本公开提供的这种基于拉普拉斯变换的掩模生成方法特别适用于边框类型为毛玻璃的视频。图3为本公开一个实施例提供的基于拉普拉斯变换确定掩模图像的示意图。图3中的左侧图像为从原视频抽得的一帧图像，该帧图像的边框为毛玻璃边框。对该帧图像利用本公开一个实施例的基于拉普拉斯变换的方法进行处理，能够得到如图3中的右侧图像所示的掩模图像，该掩模图像中的白色区域为取值为1的区域，用于表示左侧的帧图像中的对应位置为稳定区域，该掩模图像中黑色区域为取值为0的区域，用于表示左侧的帧图像中的对应位置非稳定区域。

在本公开的一种实施例中，通过相邻帧差值方式来确定帧图像中的稳定区域的具体过程包括：将相邻的两个帧图像逐点地进行差值得到相邻帧差值结果，将该相邻帧差值结果为0的点(或者可以用：相邻帧差值结果的绝对值小于或等于预设数值的点)确定为稳定区域。值得注意的是，这里所说的对相邻的两个帧图像进行差值，可以是将每个帧图像与其后一帧的帧图像进行差值(或者，也可以是前一帧)，但也并非必须是紧密相邻的两帧进行差值，例如，也可以是将一个帧图像的前一帧与该帧图像的后一帧进行差值以得到该帧图像的相邻帧差值结果。

本公开提供的这种基于相邻帧差值的掩模生成方法，特别适用于边框类型为未知的静态模板的视频。图4为本公开一个实施例提供的基于相邻帧差值确定掩模图像的示意图。图4中的左侧图像为从原视频抽得的一帧图像，该帧图像的边框为静态模板边框。对该帧图像利用本公开一个实施例的基于相邻帧差值的方法进行处理，能够确定出如图4中的右侧图像所示的稳定区域。

需要说明的是，对于边框类型未知的视频，可以同时利用颜色差值方式、拉普拉斯变换方式或相邻帧差值方式中的一种或多种方式来确定帧图像中的稳定区域并生成掩模图像。

本公开实施例通过基于颜色差值方式和/或基于拉普拉斯变换方式和/或基于相邻帧差值方式来确定掩模图像，能够提高带边框视频的识别的准确性。

二、关于步骤S13。

在本公开的一些实施例中，确定掩模图像中的边缘线的信息包括：基于差分滤波响应来检测图像中的边缘线的位置。具体地，利用差分模板滤波器扫描掩模图像，并在每个扫描位置确定差分模板滤波器的响应，根据响应最大的扫描位置来确定边缘线的位置。其中，差分模板滤波器具有横向的两个半边或具有纵向的两个半边，该两个半边之中的一个半边中的每个元素为相同的正数，且另一个半边中的每个元素为该正数的相反数。可选地，前述的差分模板滤波器在扫描位置的响应具体为：根据相关算子(correlation，或称为cross-correlation)确定的该扫描位置与差分模板滤波器的滤波响应值。

作为一种可选实施例，差分模板滤波器包括第一差分模板滤波器和第二差分模板滤波器。该第一差分模板滤波器包含第一矩阵，该第一矩阵在横向上具有偶数个元素，该第一矩阵的左右两半(或者说，横向的两半)之中的一半的每个元素为相同的正数作为第一正数(例如，将该第一正数设置为1)，且另一半的每个元素为该第一正数的相反数(例如，设置为-1)。该第一差分模板滤波器用于对掩模图像进行横向扫描以确定图像中的纵向的边缘线。在确定一个扫描位置的响应后，横向移动该第一差分模板滤波器，以实现从左到右或从右到左地横向扫描。该第二差分模板滤波器包含第二矩阵，该第二矩阵在纵向上具有偶数个元素，该第二矩阵的上下两半(或者说，纵向的两半)之中的一半的每一元素为相同的正数作为第二正数，且另一半的每一元素为该第二正数的相反数。该第二差分模板滤波器用于对掩模图像进行纵向扫描以确定图像中的横向的边缘线。在确定一个扫描位置的响应后，纵向移动该第二差分模板滤波器，以实现从上到下或从下到上地纵向扫描。

值得注意的是，在一些实施例中，仅需横向/纵向地扫描一遍就可以确定纵向边缘线/横向边缘线的位置，而不需要对图像进行多遍从上到下的横向扫描/对图像进行多遍从左到右的纵向扫描。可选地，利用第一差分模板滤波器沿掩模图像的水平中线对该掩模图像进行横向扫描，利用第二差分模板滤波器沿掩模图像的竖直中线对该掩模图像进行纵向扫描。

在一种具体示例中，第一差分模板滤波器为

该第一差分模板滤波器的纵向长度小于图像的纵向长度；利用本公开所示方法而确定的掩模图像中的一部分为

其中，该掩模图像中取值为1的点表示对应的图像位置为稳定区域，取值为0的点表示对应的图像位置非稳定区域。利用该第一差分模板滤波器，沿该掩模图像的水平中线从左到右地对该掩模图像进行扫描，在每个扫描位置计算响应值，并每次将第一差分模板滤波器向右移动1个元素。在本示例中，在掩模图像左边的各点取值均为1的区域以及在掩模图像右边的各点取值均为0的区域，该第一差分模板滤波器的响应值为0；而使得该第一差分模板滤波器响应值最大的区域为掩模图像中的1与0交界的区域，而这里正是边缘线所在的区域，在这里可以找到对应的边缘直线，从而获得边缘直线的坐标位置。另外值得注意的是，根据响应值的正负，可以判断出稳定区域位于边缘线两侧之中的哪一侧，从而便于确定边框区域。因此在一个示例中，分别确定使得第一差分模板滤波器的响应值为正数值的最大值和为负数值的最大值，作为边框的左右两个边缘线。或者，在另一个示例中，也可以在利用前述的左半边为1、右半边为-1的第一差分模板滤波器进行扫描的同时还利用左半边为-1、右半边为1的第一差分模板滤波器对该掩模图像进行扫描，以确定边框的左右两个纵向边缘线。类似地，可以利用第二差分模板滤波器确定边框的上下两个边缘线。

本公开实施例通过基于差分滤波响应的方式来识别带边框视频，能够在识别过程中准确地确定出边缘线的位置区域，从而提高识别的准确性。

另外，对于边缘线为曲线或倾斜的直线的情形，例如，图4所示的稳定区域的边缘线为倾斜直线的情形，利用本公开的基于差分滤波响应的方式，并适量增大第一差分模板滤波器的宽度或增大第二差分模板滤波器的高度，仍能够准确地确定出边缘线所在的位置区域。

三、关于步骤S14。

在本公开的一些实施例中，根据多个掩模图像的边缘线信息确定边缘线稳定程度具体包括：根据多个掩模图像的边缘线信息，确定多个掩模图像的边缘线位置的变化情况以得到边框位置的稳定程度，和/或确定每个掩模图像的边缘线形成的边框区域的面积，和/或确定多个掩模图像的该边框区域的面积变化情况，和/或确定每个掩模图像的边缘线的数量。然后根据该边框位置的稳定程度、该边框区域的面积、多个掩模图像的该边框区域的面积变化情况、该边缘线的数量之中的一个或一些是否超过对应的阈值，判断视频是否具有边框。

在本公开的一些实施例中，将抽帧得到的多个帧图像分为多个批次，将批次视为最小的处理单位，先按照本公开示例的前述方法来确定帧图像的掩模图像(作为第一掩模图像)，再根据一个批次中的多个帧图像的掩模图像确定该批次对应的掩模图像(作为第二掩模图像)，然后对每个批次对应的掩模图像进行确定边缘线并进行确定边缘线稳定程度的处理，以判断视频是否具有边框。

具体地，在本公开的一个实施例中，前述步骤S11中的对视频进行抽帧得到多个帧图像还包括：将抽帧得到的多个帧图像分为多个批次，每个批次包括多个帧图像。可选地，每个批次所包含的帧图像的数量固定。前述步骤S12中的根据稳定区域确定掩模图像包括：确定同一批次中的每个帧图像的掩模图像作为第一掩模图像，对多个第一掩模图像求均值或者对多个第一掩模图像求最小值，以得到每个批次对应的掩模图像作为第二掩模图像。这里所说对多个第一掩模图像求均值/最小值指的是逐点地求均值/最小值，或者说，对于掩模中的每个位置，取多个第一掩模图像的同一位置的点的均值/最小值以得到第二掩模图像的对应位置的点。值得注意的是，在一些示例中，通过颜色、拉普拉斯变换或相邻帧差值等方法所确定的掩模图像(第一掩模图像)中每个点的取值为0或1，通过对一个批次中的所有掩模图像求均值所得到批次对应的掩模图像(第二掩模图像)中的点的取值为0～1之间分布的。前述步骤S13中的确定每个掩模图像中的边缘线的信息为：确定每个第二掩模图像中的边缘线的信息。并且在步骤S14中，根据多个第二掩模图像的边缘线信息确定边缘线稳定程度，并判断视频是否具有边框。

本公开的实施例通过基于批次均值或批次最小值的方式来进行带边框视频的识别，能够提高带边框视频的识别准确率并提高所确定的边框位置的准确程度。

图5为本公开的带边框视频的裁剪方法一个实施例的示意性流程框图。请参阅图5，本公开示例的带边框视频的裁剪方法，主要包括以下步骤：

步骤S21，根据前述的任意一个本公开的带边框视频的识别方法来判断视频是否为带边框视频并确定边框位置。

步骤S22，根据边框位置对带边框视频进行裁剪。

利用本公开示例的带边框视频的裁剪方法，能够自动且准确地进行视频边框的裁剪。另外，利用本公开示例的带边框视频裁剪方法对视频进行裁剪之后，再送入查重系统进行查重，就能够排查出那些通过加边框来躲避检测的视频。

图6为本公开的带边框视频的识别系统100一个实施例的示意性结构图。请参阅图6，本公开示例的带边框视频的识别系统100，主要包括：抽帧模块110、掩模图像确定模块120、边缘线信息确定模块130及边框识别模块140。

其中，该抽帧模块110用于对视频进行抽帧，得到多个帧图像。

该掩模图像确定模块120用于确定帧图像中的稳定区域，根据该稳定区域确定掩模图像。

该边缘线信息确定模块130用于确定掩模图像中的边缘线的信息。

该边框识别模块140用于根据多个掩模图像的该边缘线信息来确定边缘线稳定程度，以判断视频是否具有边框。可选地，边框识别模块140还用于根据边缘线信息确定边框的位置。

利用本公开示例的带边框视频的识别系统，能够自动且准确地进行边框视频内容审核。

在本公开的一些实施例中，该掩模图像确定模块120具体用于：通过颜色差值方式和/或拉普拉斯变换方式和/或相邻帧差值方式来确定稳定区域。可选地，掩模图像确定模块120包括颜色差值子模块(图中未示出)、拉普拉斯变换子模块(图中未示出)或相邻帧差值子模块(图中未示出)中的一个或多个，分别用于基于颜色差值方式、拉普拉斯变换方式、相邻帧差值方式来确定稳定区域。

在本公开的一些实施例中，边缘线信息确定模块130包括差分滤波响应子模块(图中未示出)，用于利用差分模板滤波器扫描掩模图像，并在每个扫描位置确定差分模板滤波器的响应，根据响应最大的扫描位置来确定边缘线的位置。

在本公开的一些实施例中，抽帧模块110包括分批子模块(图中未示出)，用于将抽帧得到的多个帧图像分为多个批次；掩模图像确定模块120具体用于确定帧图像的掩模图像作为第一掩模图像，根据一个批次中的多个帧图像的第一掩模图像确定批次对应的掩模图像作为第二掩模图像；边缘线信息确定模块130具体用于确定第二掩模图像中的边缘线的信息；边框识别模块140具体用于根据多个第二掩模图像的边缘线信息确定边缘线稳定程度以判断该视频是否具有边框。可选地，该掩模图像确定模块120具体用于：对一个批次中的多个第一掩模图像求均值或者对多个第一掩模图像求最小值，以得到该批次对应的掩模图像作为第二掩模图像

图7为本公开的带边框视频的裁剪系统200一个实施例的示意性结构图。请参阅图7，本公开示例的带边框视频的裁剪系统200，主要包括：识别模块210及裁剪模块220。

其中，该识别模块210包括前述的任意一个本公开的带边框视频的识别系统100中的抽帧模块110、掩模图像确定模块120、边缘线信息确定模块130及边框识别模块140，用于根据前述的任意一个本公开的带边框视频的识别方法来判断视频是否为带边框视频并确定边框位置。

该裁剪模块220用于根据边框位置对带边框视频进行裁剪。

本公开提出的控制页面滑动的方法的各种实施方式或本公开提出的控制页面方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的控制页面滑动的方法的各种实施方式或本公开提出的控制页面方法的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的控制页面滑动的方法的各种实施方式或本公开提出的控制页面方法的各种实施方式可以在控制器中实施。对于软件实施，本公开提出的控制页面滑动的方法的各种实施方式或本公开提出的控制页面方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。

图8是图示根据本公开的一个实施例的设备的硬件框图。如图8所示，根据本公开实施例的设备300包括存储器301和处理器302。设备300中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。本公开的设备300可以以各种形式来实施，包括但不限于服务器或诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

该存储器301用于存储非暂时性计算机可读指令。具体地，存储器301可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

该处理器302可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制设备300中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器302用于运行该存储器301中存储的该计算机可读指令，使得该设备300执行前述的本公开各实施例的带边框视频的识别方法的全部或部分步骤。

图9是图示根据本公开的一个实施例的设备的硬件框图。如图9所示，根据本公开实施例的设备400包括存储器401和处理器402。设备400中的各组件通过总线系统和/或其它形式的连接机构(未示出)互连。本公开的设备400可以以各种形式来实施，包括但不限于服务器或诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

该存储器401用于存储非暂时性计算机可读指令。具体地，存储器401可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

该处理器402可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制设备400中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器402用于运行该存储器401中存储的该计算机可读指令，使得该设备400执行前述的本公开各实施例的带边框视频的裁剪方法的全部或部分步骤。

图10是图示根据本公开的实施例的计算机可读存储介质的示意图。如图10所示，根据本公开实施例的计算机可读存储介质500，其上存储有非暂时性计算机可读指令501。当该非暂时性计算机可读指令501由处理器运行时，执行前述的本公开各实施例的带边框视频的识别方法的全部或部分步骤或执行前述的本公开各实施例的带边框视频的裁剪方法的全部或部分步骤。

图11是图示根据本公开实施例的终端设备的硬件结构示意图。终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。

如图11所示，终端设备1100可以包括无线通信单元1110、A/V(音频/视频)输入单元1120、用户输入单元1130、感测单元1140、输出单元1150、存储器1160、接口单元1170、控制器1180和电源单元1190等等。图11示出了具有各种组件的终端设备，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。

其中，无线通信单元1110允许终端设备1100与无线通信系统或网络之间的无线电通信。A/V输入单元1120用于接收音频或视频信号。用户输入单元1130可以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测单元1140检测终端设备1100的当前状态、终端设备1100的位置、用户对于终端设备1100的触摸输入的有无、终端设备1100的取向、终端设备1100的加速或减速移动和方向等等，并且生成用于控制终端设备1100的操作的命令或信号。接口单元1170用作至少一个外部装置与终端设备1100连接可以通过的接口。输出单元1150被构造为以视觉、音频和/或触觉方式提供输出信号。存储器1160可以存储由控制器1180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据。存储器1160可以包括至少一种类型的存储介质。而且，终端设备1100可以与通过网络连接执行存储器1160的存储功能的网络存储装置协作。控制器1180通常控制终端设备的总体操作。另外，控制器1180可以包括用于再现或回放多媒体数据的多媒体模块。控制器1180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元1190在控制器1180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

在一些情况下，本公开提出的带边框视频的识别方法的各种实施方式或带边框视频的裁剪方法的各种实施方式可以在控制器1180中实施。对于软件实施，本公开提出的带边框视频的识别方法的各种实施方式或带边框视频的裁剪方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器1160中并且由控制器1180执行。

以上，根据本公开实施例的带边框视频的识别方法和裁剪方法、系统、设备以及计算机可读存储介质，能够自动且准确地进行带边框视频的识别和裁剪。通过基于颜色差值方式和/或基于拉普拉斯变换方式和/或基于相邻帧差值方式来确定掩模图像，能够进一步提高带边框视频的识别的准确性。通过基于差分滤波响应的方式来识别带边框视频，能够在识别过程中准确地确定出边缘线的位置区域，从而能够进一步提高识别的准确性。另外，通过基于批次均值或批次最小值的方式来进行带边框视频的识别，能够进一步提高带边框视频的识别准确率并提高所确定的边框位置的准确程度。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在包含“至少一个”、“一个或多个”、“一种或多种”的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”或“A、B或C的一种或多种”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (17)

1.一种带边框视频的识别方法，所述方法包括：

对视频进行抽帧，得到多个帧图像；

确定所述帧图像中的稳定区域，根据所述稳定区域确定掩模图像；

确定所述掩模图像中的边缘线的信息；

根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框。

2.根据权利要求1所述的带边框视频的识别方法，其中，所述的确定所述帧图像中的稳定区域包括：

通过颜色差值方式和/或拉普拉斯变换方式和/或相邻帧差值方式来确定所述稳定区域。

3.根据权利要求2所述的带边框视频的识别方法，其中，所述的通过颜色差值方式来确定所述稳定区域包括：

根据预设的颜色值对所述帧图像进行差值以得到颜色差值结果，判断所述颜色差值结果中的点是否在预设的色差范围之内，将所述颜色差值结果中的满足在所述色差范围之内的区域确定为所述稳定区域。

4.根据权利要求2所述的带边框视频的识别方法，其中，所述的通过拉普拉斯变换方式来确定所述稳定区域包括：

对所述帧图像进行拉普拉斯变换以确定所述帧图像中的模糊区域作为所述稳定区域。

5.根据权利要求2所述的带边框视频的识别方法，其中，所述的通过相邻帧差值方式来确定所述稳定区域包括：

将相邻的两个所述帧图像进行差值得到相邻帧差值结果，将所述相邻帧差值结果中的绝对值小于或等于预设数值的点确定为所述稳定区域。

6.根据权利要求1所述的带边框视频的识别方法，其中，所述的确定所述掩模图像中的边缘线的信息包括：

利用差分模板滤波器扫描所述掩模图像并在每个扫描位置确定所述差分模板滤波器的响应；

根据响应最大的扫描位置确定所述边缘线的位置。

7.根据权利要求6所述的带边框视频的识别方法，其中，所述的差分模板滤波器具有横向的两个半边或具有纵向的两个半边，所述两个半边之中的一个半边中的每个元素为相同的正数，且另一个半边中的每个元素为所述正数的相反数。

8.根据权利要求1所述的带边框视频的识别方法，其中，所述的根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框包括：

根据多个所述掩模图像的所述边缘线信息，确定多个所述掩模图像的所述边缘线的位置的变化情况以得到边框位置的稳定程度，和/或确定每个所述掩模图像的所述边缘线形成的边框区域的面积，和/或确定多个所述掩模图像的所述边框区域的面积变化情况，和/或确定所述边缘线的数量；

根据所述边框位置的稳定程度、所述边框区域的面积、所述边框区域的面积变化情况、所述边缘线的数量之中的一个或一些是否超过对应的阈值，判断所述视频是否具有边框。

9.根据权利要求1所述的带边框视频的识别方法，其中，

所述的对视频进行抽帧，得到多个帧图像还包括：将多个所述帧图像分为多个批次，每个所述批次包括多个所述帧图像；

所述的根据所述稳定区域确定掩模图像包括：确定所述帧图像的掩模图像作为第一掩模图像，根据一个所述批次中的多个所述帧图像的所述第一掩模图像确定所述批次对应的掩模图像作为第二掩模图像；

所述根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框为：根据多个所述第二掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框。

10.根据权利要求9所述的带边框视频的识别方法，其中，所述的根据一个所述批次中的多个所述帧图像的所述第一掩模图像确定所述批次对应的掩模图像作为第二掩模图像包括：

对一个所述批次中的多个所述第一掩模图像求均值或者对多个所述第一掩模图像求最小值，以得到所述批次对应的掩模图像作为第二掩模图像。

11.一种带边框视频的裁剪方法，所述方法包括：

根据权利要求1到10中任意一项所述的带边框视频的识别方法来判断视频是否为带边框视频，并确定边框位置；

根据所述边框位置对带边框视频进行裁剪。

12.一种带边框视频的识别系统，所述系统包括：

抽帧模块，用于对视频进行抽帧，得到多个帧图像；

掩模图像确定模块，用于确定所述帧图像中的稳定区域，根据所述稳定区域确定掩模图像；

边缘线信息确定模块，用于确定所述掩模图像中的边缘线的信息；

边框识别模块，用于根据多个所述掩模图像的所述边缘线信息确定边缘线稳定程度以判断所述视频是否具有边框。

13.根据权利要求12所述的带边框视频的识别系统，所述系统还包括执行权利要求2到10中任一权利要求所述步骤的模块。

14.一种带边框视频的裁剪系统，所述系统包括：

识别模块，用于根据权利要求1到10中任意一项所述的带边框视频的识别方法来判断视频是否为带边框视频，并确定边框位置；

裁剪模块，用于根据所述边框位置对带边框视频进行裁剪。

15.一种设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现根据权利要求1到10中任意一项所述的带边框视频的识别方法。

16.一种设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现根据权利要求11所述的带边框视频的裁剪方法。

17.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1到10中任意一项所述的带边框视频的识别方法或执行权利要求11所述的带边框视频的裁剪方法。