CN113516609A - 分屏视频检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种分屏视频检测方法、装置、计算机设备和存储介质。方法包括：获取待检测视频，对待检测视频进行抽帧处理，得到图像序列，对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标，根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果，归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果。采用本方法能够准确识别视频是否被分割为多个画面，进而可以基于分屏检测结果，能有效检测出因分屏而出现的视频有效画面比例小、视频质量低的问题。

Description

分屏视频检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及视频处理技术领域，特别是涉及一种分屏视频检测方法、装置、计算机设备和存储介质。

背景技术

随着多媒体技术的发展，视频作为一种多媒体资料，在各大视频平台得到了广泛传播。各大视频平台也需要对视频进行审核，例如视频内容审核以及视频质量检测等。

随着视频展示方式越来越多样化，出现了各种不同形式展示的视频。例如视频中存在多个画面进行同时播放，或是，横屏视频被二次制作为适用于手机显示的竖屏视频。由于同时播放的多个画面中有可能存在相同画面，横屏视频转竖屏视频时，竖屏视频的上下部分需要被无意义的画面填充。

传统技术中对视频进行审核一般是基于完整视频进行检测分析，难以准确识别视频是否被分割为多个画面，进而导致因分屏而出现有效画面比例小、视频质量低的问题，难以被检测到。

发明内容

基于此，有必要针对上述技术问题，提供一种可以实现准确分频检测的分屏视频检测方法、装置、计算机设备和存储介质。

一种分屏视频检测方法，方法包括：

获取待检测视频，对待检测视频进行抽帧处理，得到图像序列；

对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标；

根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果；

归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果。

一种分屏视频检测装置，装置包括：

图像序列获得模块，用于获取待检测视频，对待检测视频进行抽帧处理，得到图像序列；

边缘检测模块，用于对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标；

直线检测模块，用于根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果；

分屏检测模块，用于归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

获取待检测视频，对待检测视频进行抽帧处理，得到图像序列；

对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标；

根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果；

归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待检测视频，对待检测视频进行抽帧处理，得到图像序列；

对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标；

根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果；

归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果。

上述分屏视频检测方法、装置、计算机设备和存储介质，通过对视频抽帧图像序列中的各图进行边缘检测，准确识别图中的边缘像素点，基于各边缘像素点的坐标，检测图中是否存在由边缘像素点构成的水平直线或竖直直线，以作为每一张图的多画面分析基础，通过归集图像序列中的每一帧图的直线检测结果，基于每一张图中的直线检测结果，得到待检测视频的准确的分屏检测结果，能够准确识别视频是否被分割为多个画面，进而基于分屏检测结果，能有效检测出因分屏而出现的视频有效画面比例小、视频质量低的问题。

附图说明

图1为一个实施例中分屏视频检测方法的应用环境图；

图2为一个实施例中分屏视频检测方法的流程示意图；

图3为另一个实施例中分屏视频检测方法的流程示意图；

图4为又一个实施例中分屏视频检测方法的流程示意图；

图5(a)为一个实施例中分屏视频检测方法中图像序列中原始图像；

图5(b)为一个实施例中分屏视频检测方法中图像序列中标识出边缘像素点的图像；

图5(c)为一个实施例中分屏视频检测方法中图像序列中包括直线检测结果的图像；

图6为再一个实施例中分屏视频检测方法的流程示意图；

图7为还一个实施例中分屏视频检测方法的流程示意图；

图8为一个实施例中分屏视频检测方法中左右二分频的视频示意图；

图9为一个实施例中分屏视频检测方法中上下三分频(上下画面静止)的视频示意图；

图10为一个实施例中分屏视频检测方法中上下三分频(上下画面模糊)的视频示意图；

图11为一个实施例中分屏视频检测方法中重复九分频的视频示意图；

图12为另一个实施例中分屏视频检测方法的流程示意图；

图13为其中一个实施例中分屏视频检测方法的流程示意图；

图14为一个实施例中分屏视频检测装置的结构框图；

图15为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的分屏视频检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102将要进行检测的视频发送至服务器104，服务器104对待检测视频进行抽帧处理，得到图像序列，对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标，根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果，归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在其他实施例中，本申请提供的分屏视频检测方法，还可以应用于终端或应用于服务器，具体可以根据实际需要进行部署。

在一个实施例中，如图2所示，提供了一种分屏视频检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤210，获取待检测视频，对待检测视频进行抽帧处理，得到图像序列。

待检测视频可以是需要进行分屏检测的视频，也可以是需要通过分屏检测进行质量分析的视频。例如，通过分屏处理识别视频中的有效画面，进行视频质量分析。

视频是由多个连续的图像按照一定的时间间隔排列后得到的，连续的图像变化每秒超过24帧(frame)画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，也就是我们看到的视频。视频抽帧是指通过对视频图像进行分帧处理，按一定的规律对分帧后的视频图像进行抽取的过程。在实施例中，按照一定的时间间隔进行抽帧，例如以帧频为1s/帧进行抽取，在其他实施例中，也可以采用非等时间间隔抽帧的方法，如采用提取视频关键帧的方法进行抽帧，具体的抽帧方式在此不做限定。通过对抽取的视频图像帧按时间的先后顺序进行排列，可以得到与视频对应的图像序列。用图像序列作为分屏分析对象，可以在保证检测结果准确性的前提下，有效减少待分析的数据量，提高数据处理效率。

步骤220，对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标。

边缘是指其周围像素亮度急剧变化的像素点的集合，它是图像的基本特征，边缘存在于目标、背景和区域之间。边缘检测的目的是标识图像中亮度变化明显的像素点。通过对图像进行边缘检测，可以大幅度地减少了图像中的数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。如果将边缘认为是一定数量点亮度发生变化的地方，那么边缘检测大体上就是计算这个亮度变化的导数，在实施例中，边缘检测的方法可以划分为两类：分别是基于搜索和基于零交叉。其中，基于搜索的边缘检测方法首先计算边缘强度，通常用一阶导数表示，例如梯度模，然后，用计算估计边缘的局部方向，通常采用梯度的方向，并利用此方向找到局部梯度模的最大值。基于零交叉的方法找到由图像得到的二阶导数的零交叉点来定位边缘。通常用拉普拉斯算子或非线性微分方程的零交叉点。

在实施例中，边缘检测可以利用边缘检测算法实现，具体来说，如Canny边缘检测算法，或是以Laplacian、Sobel等算子作为边缘及轮廓检测的基础方法等。

对于图像序列中的每一图像，其尺寸大小均为固定值，图像的尺寸可以基于像素分布即分辨率来表示，例如将尺寸表示为w×h，例如800×600、640×480等，其中800×600可以表示为宽度方向的像素点的数量为800，长度方向的像素点的数量为600。基于图像的像素分布，可以构建对应的坐标系，在实施例中，一般以图像的左上角为坐标原点，以图像的上边缘与左边缘为坐标轴构建坐标系。其中，坐标轴上的坐标数据与尺寸对应，例如，以800×600的图像来说，图像中心点的坐标即为(400，300)，左下角的坐标为(0，600)，右下角的坐标为(800，600)，左上角的坐标为(0，0)，右上角的坐标为(800，0)。在其他实施例中，图像的尺寸大小还可以用其他方式进行标识，例如图像的长宽如8×6英寸等。

基于按照图像像素分布构建的坐标系，可以得到图像中的每一个像素点在图像中的坐标，在识别出图中边缘像素点后，可以对边缘像素点进行坐标标识，以确定边缘像素点在图像中的位置。

步骤230，根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果。

其中，水平直线是指在图像中存在、具有一定长度且与坐标轴的纵坐标垂直的直线，竖直直线是指在图像中存在、具有一定长度且与坐标轴的横坐标垂直的直线。水平直线与竖直直线互为垂线，可以理解，这里的水平直线与竖直直线是相对于图像的坐标轴(或图像的边缘线)而言的，并不是严格意义上的与水平面平行或垂直的线。对于视频中存在多个画面的情形，其每个画面的边缘线均是水平方向或是竖直方向的，因此，在进行分屏检测时，需要重点检测出图像序列中每一帧图像中的水平直线和竖直直线。具体来说，可以先进行直线检测，在直线检测后，根据角度选择检测出的直线中的水平方向的直线、竖直方向的直线。也可以直接以水平方向和竖直方向为检测方向，直接检测出水平方向的直线和竖直方向的直线，然后基于对水平方向的直线和竖直方向的直线的长度的判断，确定该水平方向的直线或竖直方向的直线是否为符合检测要求的水平直线或竖直直线。

在实施例中，图像中的直线检测可以通过点聚类的方式进行。以直接检测水平直线和竖直直线为例，基于同一图中各边缘像素点的坐标，进行点聚类处理，并分别对水平、竖直方向上的各个直线利用投票的方法检测边缘像素点的数量是否满足阈值要求，从而确定是否存在满足检测要求的水平直线或竖直直线，当不存在时，输出为空。其中，投票是指将得到的结果进行汇总，保留得票(出现次数)超过阈值的结果为最终结果的数据处理方式。

步骤240，归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果。

每一帧图的直线检测结果包括各个直线的坐标信息，在实施例中，分屏检测结果包括分屏的具体坐标位置，即分屏后各个子画面在视频中的具体位置。在对每一帧图均进行直线检测之后，会得到每一帧图的直线检测结果。通过对每一帧图的直线检测结果进行归集，确定检测到的每一个直线在图像序列中重复出现的次数，若出现次数大于设定的次数阈值，则确定该检测得到的直线为视频中的多画面分界线，从而基于分界线得到视频的分屏检测结果。

在一个实施例中，如图3所示，归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果包括步骤310至步骤340。

步骤310，分别归集得到图像序列中的水平方向和竖直方向的直线检测结果。

步骤320，分别统计水平方向和竖直方向的直线检测结果中的坐标相同直线的出现次数。

步骤330，当出现次数大于次数阈值时，将直线标记为边界线。

其中，次数阈值与图像序列的图像数量关联。距离来说，次数阈值可以为图像序列的图像数量的一半。

步骤340，根据边界线的坐标数据，得到携带有分屏位置信息的分屏检测结果。

通过对图像序列中的n帧图像均进行直线检测，得到逐帧的水平/竖直线检测结果，若图像i的竖直线检测结果为[y_i,0,y_i,1,…]，水平线检测结果为[x_i,0,x_i,1,…]，则图像序列1～n的水平线检测结果集合为[[y_1,0,y_1,1,…],[y_2,0,y_2,1,…],…,[y_n,0,y_n,1,…]]，竖直线检测结果集合为[[x_1,0,x_1,1,…],[x_2,0,x_2,1,…],…,[x_n,0,x_n,1,…]]；通过逐一统计水平线检测结果中每一直线出现的次数count(y_i,j)，若count(y_i,j)>n/2，则记录y_i,j为水平边界；同理，得到竖直边界。可以理解，这里的阈值n/2可以根据视频的整体清晰度、视频类型及风格调整进行调整，在此不做限定。基于水平边界和竖直边界在图中的坐标位置，即可到的待检测视频的分屏检测结果。在实施例中，分频检测结果中包括边界线的坐标数据对应的分屏位置信息，以便进行画面分割处理。

上述分屏视频检测方法，通过对视频抽帧图像序列中的各图进行边缘检测，准确识别图中的边缘像素点，基于各边缘像素点的坐标，检测图中是否存在由边缘像素点构成的水平直线或竖直直线，以作为每一张图的多画面分析基础，通过归集图像序列中的每一帧图的直线检测结果，基于每一张图中的直线检测结果，得到待检测视频的准确的分屏检测结果，能够准确识别视频是否被分割为多个画面，进而基于分屏检测结果，能有效检测出因分屏而出现的视频有效画面比例小、视频质量低的问题。

在一个实施例中，如图4所示，对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标包括步骤410至步骤420。

步骤410，将图像序列中的每一帧彩色图进行灰度化处理，得到灰度图像序列。

步骤420，对灰度图像序列中的每一帧灰度图进行边缘检测，识别灰度图中与相邻像素点的亮度差异大于预设阈值的边缘像素点，并标识边缘像素点的坐标。

一般来说，未经过处理的视频中，其连续画面均为彩色图像，具体来说，将图像序列中的每一帧RGB图像逐一转换为灰度图，每个像素灰度值范围0-255。通过对图像进行灰度化处理，可以实现图像的标准化，将图像中的各个像素用亮度值进行表征，利用灰度化处理的图像进行边缘检测，能减小干扰因素，如图5(a)和图5(b)所示的分别为在进行边缘检测处理前以及边缘检测处理后的图像，通过边缘检测，识别灰度图中与相邻像素点的亮度差异大于预设阈值的边缘像素点，得到更为准确的边缘检测结果。其中，预设阈值具体可以根据实际要求进行设定。阈值越低，能够检测出的边缘线越多，结果也就越容易受到图片噪声的影响，并且越容易从图像中挑出不相关的特性，与此相反，一个高的阈值将会遗失细的或者短的线段，在实施例中，可以将预设阈值设定为相对较高的数值，以减小不相关特性的干扰，便于后续进行直线检测。

在一个实施例中，如图6所示，在根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果之前，还包括步骤610。

步骤610，获取图像序列中的图像的像素尺寸，基于像素尺寸，构建坐标系。

根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果包括步骤620至步骤640。

步骤620，随机选取任一坐标轴的平行线，确定平行线在坐标系中的坐标，并根据像素尺寸，确定图像在平行线所示方向上的基准像素点数量。

步骤630，根据同一图中各边缘像素点的坐标以及平行线的坐标，识别边缘像素点中与平行线的距离不超过一个像素点的目标边缘像素点。

步骤640，当目标边缘像素点的数量超过与基准像素点数量对应的数量阈值时，标记平行线，得到直线检测结果。

图像的像素尺寸(w，h)具体可以是用于表征图像像素排列组成的数据，例如宽度方向的像素点的数量为600，长度方向的像素点的数量为480，图像的像素尺寸可以表示为600×480。随机选取坐标轴的平行线包括平行与X轴和平行于Y轴的平行线。对于随机选取的任一坐标轴的平行线，将该平行线平移一个像素点的距离，可以得到两条相邻的直线，与平行线的距离不超过一个像素点的边缘像素点包括位于该平行线上以及该平行线的相邻直线上的边缘像素点。

在一个具体的实施例中，提取同一图中各边缘像素点，确定各边缘像素点在坐标系中的坐标，统一格式为(x,y)。

对于水平方向，随机选取平行与坐标轴中的X轴平行的平行线y＝y₀，以坐标y为基准进行点聚类：若满足y-y₀≤1的边缘像素点的个数大于w/2，则记录选取的平行线y＝y₀为满足直线检测要求的水平边界线，当不存在满足上述条件的水平边界线时，输出为空。

对于竖直方向，随机选取竖直与坐标轴中的Y轴平行的平行线x＝x₀，以坐标x为基准进行点聚类：若满足x-x₀≤1的边缘像素点的个数大于h/2，则记录选取的平行线x＝x₀为满足直线检测要求的竖直边界线，当不存在满足上述条件的输出边界线时，输出为空。

当竖直方向和水平方向均不存在满足直线检测要求的边界线时，则输出待检测视频没有进行分屏处理的分屏检测结果。

举例来说，如图5(c)所示的图像的直线检测结果为水平边界线[](输出为空)，竖直边界线[0.495*w]。

在一个实施例中，如图7所示，在归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果之后，还包括步骤710至步骤720。

步骤710，根据分屏检测结果中的分屏位置信息，将视频切分为多个子画面。

步骤720，对各子画面进行有效性检测，确定视频的有效画面。

分屏位置信息是指通过分屏检测后，确定为视频的边界线的直线，根据直线在坐标系中的坐标，可以得到分屏位置信息，基于该直线的坐标，可以将视频切分为多个子画面。有效性检测具体包括静止画面检测和模糊画面检测，当子画面的清晰度不小于预设清晰度阈值且相邻帧的子画面内容不相同时，该子画面为有效画面，此外，当存在多个相同画面时，选取其中一个为有效画面。

如图8-图11所示，图8中显示的视频可被分为左右两个子画面，图9和图10中显示的视频可被分为上中下三个子画面,其中，图9为上下画面静止的界面示意图，如上下画面显示固定文本，图10为上下画面模糊的界面示意图，图11中显示的视频可被分为九个子画面。具体来说，通过帧间差检测和模糊识别来判断子画面的内容有效性。

在一个实施例中，如图12所示，对各子画面进行有效性检测，确定视频的有效画面包括对所述子画面进行清晰度识别，并对同一子画面的相邻帧进行帧间差检测，比较相邻帧的子画面内容，当子画面的清晰度不小于预设清晰度阈值且相邻帧的子画面内容不相同时，确定子画面为有效画面。具体来说，视屏的画面有效性检测包括步骤1210至步骤1250。

步骤1210，对子画面进行清晰度识别。

步骤1220，当子画面的清晰度小于预设清晰度阈值时，确定子画面为无效的模糊画面。

步骤1230，对同一子画面的相邻帧进行帧间差检测，比较相邻帧的子画面内容。

步骤1240，当相邻帧的子画面内容相同时，确定子画面为无效的静止画面。

步骤1250，当子画面的清晰度不小于预设清晰度阈值且相邻帧的子画面内容不相同时，确定子画面为有效画面。

在实施例中，通过清晰度识别算法对子画面清晰度进行判断。通过若子画面清晰度小于预设清晰度阈值，则判断该子画面为无效的，其中，清晰度阈值可以根据视频质量需求进行设定。

帧间差是指对视频图像序列中相邻两帧相同像素点匹配作差的数据处理过程，通过帧间差检测，判断相邻帧子画面内容是否相同，从而判断子画面是否为静止画面，若子画面为静止画面，则判断该子画面为无效的。

若子画面的清晰度不小于预设清晰度阈值且相邻帧子画面内容不相同，即该子画面非静止画面且非模糊画面时，则该子画面为有效画面。

在一个实施例中，在根据分屏检测结果中的分屏位置信息，将视频切分为多个子画面之后，还包括：获取各子画面的相似度，当根据相似度，确定各子画面均为相同内容画面时，选取任一子画面作为有效画面。

通过对多个子画面进行相似度计算，根据相似度计算结果，得到多个子画面是否为相同内容画面，若画面内容相同或相似，例如相似度达到设定相似度阈值，则取任意一个子画面作为结果，例如选取第一个子画面为有效画面。

在其他实施例中，有效画面的检测还可以通过检测子画面是否为动画二次制作，是否存在人物、风景等有效信息等方法来进行判断检测。

在实施例中，以图8-图11所示的视频为例，分屏视频检测最终输出结果为图8以0.495*w为竖直边界线的左右二分屏，图9以0.34*h,0.695*h为水平边界线的中间屏(上下子画面静止，判断为无效画面)，图10以0.34*h,0.695*h为水平边界线的中间屏(上下子画面模糊，判断为无效画面)，图11以0.33*h,0.66*h为水平边界线、以0.33*w,0.66*w为竖直边界线的重复九分屏，并可以通过上述方法给出子画面的准确坐标范围。

本申请还提供一种应用场景，具体来说，应用场景可以包括识别“横屏转竖屏”的自制视频、视频审核系统或是视频低质量检测等视频检测场景。该视频检测场景可以应用上述的分屏视频检测方法。具体地，该分屏视频检测方法在该应用场景的应用如下：

分屏视频检测方法主要包括视频抽帧、图像标准化、图像边缘检测、图像水平线/竖直线检测、视频逐帧结果输出、视频分屏结果分析等6个步骤。

第一步，视频抽帧：对目标视频按照一定的时间间隔(通常帧频为1s/帧)进行抽帧，形成按时间顺序排列的图像序列。

第二步，图像标准化：抽帧获得的图像为RGB图像，将其逐一转换为灰度图，每个像素灰度值范围0-255，并获取图像尺寸大小(w,h)。

第三步，图像边缘检测：利用边缘检测算法识别图像中亮度变化明显的点，并进行标识像素点坐标。

第四步，基于点聚类的图像水平线/竖直线检测：基于第三步中图像边缘检测的结果，分别对水平、竖直方向上利用投票的方法检测是否存在直线，当不存在时，输出为空。例如图5(c)中，图像水平线/竖直线检测结果为：水平线[]，竖直线[0.495*w]。具体方法包括提取所有被标识像素点坐标，统一格式为(x,y)对于水平方向，随机选取平行与坐标轴中的X轴平行的平行线y＝y₀，以坐标y为基准进行点聚类：若满足y-y₀≤1的边缘像素点的个数大于w/2，则记录选取的平行线y＝y₀为满足直线检测要求的水平边界线，当不存在满足上述条件的水平边界线时，输出为空。对于竖直方向，随机选取竖直与坐标轴中的Y轴平行的平行线x＝x₀，以坐标x为基准进行点聚类：若满足x-x₀≤1的边缘像素点的个数大于h/2，则记录选取的平行线x＝x₀为满足直线检测要求的竖直边界线，当不存在满足上述条件的输出边界线时，输出为空。

第五步，视频逐帧结果输出：对图像序列中的n帧图像逐一执行第四步，得到逐帧的水平/竖直线检测结果；若图像i的竖直线检测结果为[y_i,0,y_i,1,…]，水平线检测结果为[x_i,0,x_i,1,…]，则图像序列1～n的水平线检测结果集合为[[y_1,0,y_1,1,…],[y_2,0,y_2,1,…],…,[y_n,0,y_n,1,…]]，竖直线检测结果集合为[[x_1,0,x_1,1,…],[x_2,0,x_2,1,…],…,[x_n,0,x_n,1,…]]；逐一统计水平线检测结果中坐标出现的次数count(y_i,j)，若count(y_i,j)>n/2，则记录y_i,j为水平边界线；同理，获取竖直边界线。

第六步，有效画面判断：通过第五步获取的视频水平边界线和竖直边界线，可将视频划分为m个子画面。通过帧间差检测和模糊识别来判断子画面的内容有效性。具体来说：帧间差检测是指通过对视频图像序列中相邻两帧相同像素点匹配作差，进行帧间差检测，判断相邻帧子画面内容是否相同，从而判断是否为静止画面，若子画面为静止画面，则判断该子画面为无效画面。清晰度识别是指通过清晰度识别算法对子画面清晰度进行判断，通过若子画面为清晰度不满足要求的模糊画面，则判断该子画面为无效画面。若子画面度清晰满足要求且不是静止画面，则判断该子画面为有效画面。对于多个画面的情况，需进行子画面间相似度计算：通过多个子画面间相似度计算，得到多个子画面是否为相同内容画面，若画面内容相同或相似，则取第一个子画面作为有效画面。

通过上述处理过程，不仅可以针对多画面视频进行拆分，也可以针对黑边、白边、背景画布等视频，判断无效画布面积占比，并可根据坐标对其进行四周无效画布背景进行切除；同时，在目前的短视频领域中，大量的横屏视频被二次制作为适用于手机显示的竖屏视频，由于竖屏视频的上下部分需要被无意义的画面填充，导致视频有效画面比例小、视频质量低，通过上述处理过程可以对视频质量实现有效检测。此外，还可以检测”横屏视频转竖屏视频”。

在一个实施例中，如图13所示，提供了一种分屏视频检测方法，具体包括步骤1302至步骤1336。

步骤1302，获取待检测视频，对待检测视频进行抽帧处理，得到按时间顺序排列的图像序列。

步骤1304，将图像序列中的每一帧彩色图进行灰度化处理，得到灰度图像序列。

步骤1306，对灰度图像序列中的每一帧灰度图进行边缘检测，识别灰度图中与相邻像素点的亮度差异大于预设阈值的边缘像素点，并标识边缘像素点的坐标。

步骤1308，获取图像序列中的图像的像素尺寸，并基于像素尺寸，构建坐标系。

步骤1310，随机选取任一坐标轴的平行线，确定平行线坐标，并根据像素尺寸，确定图像在平行线所示方向上的基准像素点数量。

步骤1312，根据同一图中各边缘像素点的坐标以及平行线在坐标系中的坐标，识别边缘像素点中与平行线的距离不超过一个像素点的目标边缘像素点。

步骤1314，当目标边缘像素点的数量超过与基准像素点数量对应的数量阈值时，标记平行线，得到直线检测结果。

步骤1316，分别归集得到图像序列中的水平方向和竖直方向的直线检测结果。

步骤1318，分别统计水平方向和竖直方向的直线检测结果中的坐标相同直线的出现次数。

步骤1320，当出现次数大于次数阈值时，将直线标记为边界线。

步骤1322，根据边界线的坐标数据，得到携带有分屏位置信息的分屏检测结果。

步骤1324，根据分屏检测结果中的分屏位置信息，将视频切分为多个子画面。

步骤1326，对子画面进行清晰度识别。

步骤1328，当子画面的清晰度小于预设清晰度阈值时，确定子画面为无效的模糊画面。

步骤1330，对同一子画面的相邻帧进行帧间差检测，比较相邻帧的子画面内容。

步骤1332，当相邻帧的子画面内容相同时，确定子画面为无效的静止画面。

步骤1334，当子画面的清晰度不小于预设清晰度阈值且相邻帧的子画面内容不相同时，确定子画面为有效画面。

步骤1336，计算各子画面的相似度，当根据相似度，确定各子画面均为相同内容画面时，选取任一子画面作为视频的有效画面。

应该理解的是，虽然图2-4、图6-7、图12-13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4、图6-7、图12-13中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图14所示，提供了一种分屏视频检测装置1400，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：图像序列获得模块1410、边缘检测模块1420、直线检测模块1430和分屏检测模块1440，其中：

图像序列获得模块1410，用于获取待检测视频，对待检测视频进行抽帧处理，得到图像序列。

边缘检测模块1420，用于对图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识边缘像素点的坐标。

直线检测模块1430，用于根据同一图中各边缘像素点的坐标，检测各边缘像素点在图中是否构成水平直线或竖直直线，得到直线检测结果。

分屏检测模块1440，用于归集图像序列中的每一帧图的直线检测结果，得到待检测视频的分屏检测结果。

在一个实施例中，边缘检测模块还用于将图像序列中的每一帧彩色图进行灰度化处理，得到灰度图像序列；对灰度图像序列中的每一帧灰度图进行边缘检测，识别灰度图中与相邻像素点的亮度差异大于预设阈值的边缘像素点。

在一个实施例中，直线检测模块还用于获取图像序列中的图像的像素尺寸，基于像素尺寸，构建坐标系；随机选取任一坐标轴的平行线，确定平行线的坐标，并根据像素尺寸，确定图像在平行线所示方向上的基准像素点数量；根据同一图中各边缘像素点的坐标以及平行线在坐标系中的坐标，识别边缘像素点中与平行线的距离不超过一个像素点的目标边缘像素点；当目标边缘像素点的数量超过与基准像素点数量对应的数量阈值时，标记平行线，得到直线检测结果。

在一个实施例中，分屏检测模块还用于根据检测得到的直线的方向，分别归集得到图像序列中的水平方向和竖直方向的直线检测结果；分别统计水平方向和竖直方向的直线检测结果中的坐标相同直线的出现次数；当出现次数大于次数阈值时，将直线标记为边界线，其中，次数阈值与图像序列的图像数量关联；根据边界线的坐标数据，得到携带有分屏位置信息的分屏检测结果。

在一个实施例中，分屏视频检测装置还包括有效画面检测模块，有效画面检测模块用于根据分屏检测结果中的分屏位置信息，将视频切分为多个子画面；对各子画面进行有效性检测，确定视频的有效画面。

在一个实施例中，有效画面检测模块还用于对子画面进行清晰度识别，当子画面的清晰度小于预设清晰度阈值时，确定子画面为无效的模糊画面；对同一子画面的相邻帧进行帧间差检测，当相邻帧的子画面内容相同时，确定子画面为无效的静止画面；当子画面的清晰度不小于预设清晰度阈值且相邻帧的子画面内容不相同时，确定子画面为有效画面。

在一个实施例中，有效画面检测模块还用于获取各子画面的相似度，当根据相似度，确定各子画面均为相同内容画面时，选取任一子画面作为有效画面。

上述分屏视频检测装置，通过对视频抽帧图像序列中的各图进行边缘检测，准确识别图中的边缘像素点，基于各边缘像素点的坐标，检测图中是否存在由边缘像素点构成的水平直线或竖直直线，以作为每一张图的多画面分析基础，通过归集图像序列中的每一帧图的直线检测结果，基于每一张图中的直线检测结果，得到待检测视频的准确的分屏检测结果，能够准确识别视频是否被分割为多个画面，进而基于分屏检测结果，能有效检测出因分屏而出现的视频有效画面比例小、视频质量低的问题。

关于分屏视频检测装置的具体限定可以参见上文中对于分屏视频检测方法的限定，在此不再赘述。上述分屏视频检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储分屏视频检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分屏视频检测方法。

本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种分屏视频检测方法，其特征在于，所述方法包括：

获取待检测视频，对所述待检测视频进行抽帧处理，得到图像序列；

对所述图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识所述边缘像素点的坐标；

根据同一图中各边缘像素点的坐标，检测各所述边缘像素点在所述图中是否构成水平直线或竖直直线，得到直线检测结果；

归集所述图像序列中的每一帧图的直线检测结果，得到所述待检测视频的分屏检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述图像序列中的每一帧图进行边缘检测，识别图中边缘像素点包括：

将所述图像序列中的每一帧彩色图进行灰度化处理，得到灰度图像序列；

对所述灰度图像序列中的每一帧灰度图进行边缘检测，识别灰度图中与相邻像素点的亮度差异大于预设阈值的边缘像素点。

3.根据权利要求1所述的方法，其特征在于，所述根据同一图中各边缘像素点的坐标，检测各所述边缘像素点在所述图中是否构成水平直线或竖直直线，得到直线检测结果之前，还包括：

获取所述图像序列中的图像的像素尺寸，基于所述像素尺寸，构建坐标系；

所述根据同一图中各边缘像素点的坐标，检测各所述边缘像素点在所述图中是否构成水平直线或竖直直线，得到直线检测结果包括：

随机选取任一坐标轴的平行线，确定所述平行线的坐标，并根据所述像素尺寸，确定所述图像在所述平行线所示方向上的基准像素点数量；

根据同一图中各边缘像素点的坐标以及所述平行线在所述坐标系中的坐标，识别所述边缘像素点中与所述平行线的距离不超过一个像素点的目标边缘像素点；

当所述目标边缘像素点的数量超过与所述基准像素点数量对应的数量阈值时，标记所述平行线，得到直线检测结果。

4.根据权利要求1所述的方法，其特征在于，所述归集所述图像序列中的每一帧图的直线检测结果，得到所述待检测视频的分屏检测结果包括：

分别归集所述图像序列中的水平方向和竖直方向的直线检测结果；

分别统计水平方向和竖直方向的直线检测结果中的坐标相同直线的出现次数；

当所述出现次数大于次数阈值时，将所述直线标记为边界线，其中，所述次数阈值与所述图像序列的图像数量关联；

根据所述边界线的坐标数据，得到携带有分屏位置信息的分屏检测结果。

5.根据权利要求4所述的方法，其特征在于，所述归集所述图像序列中的每一帧图的直线检测结果，得到所述待检测视频的分屏检测结果之后，还包括：

根据所述分屏检测结果中的分屏位置信息，将视频切分为多个子画面；

对各所述子画面进行有效性检测，确定所述视频的有效画面。

6.根据权利要求5所述的方法，其特征在于，所述对各所述子画面进行有效性检测，确定所述视频的有效画面包括：

对所述子画面进行清晰度识别，并对同一子画面的相邻帧进行帧间差检测，比较相邻帧的子画面内容；

当子画面的清晰度不小于预设清晰度阈值且相邻帧的子画面内容不相同时，确定子画面为有效画面。

7.根据权利要求5或6所述的方法，其特征在于，在所述根据所述分屏检测结果中的分屏位置信息，将视频切分为多个子画面之后，还包括：

获取各所述子画面的相似度，当根据所述相似度，确定各所述子画面均为相同内容画面时，选取任一子画面作为有效画面。

8.一种分屏视频检测装置，其特征在于，所述装置包括：

图像序列获得模块，用于获取待检测视频，对所述待检测视频进行抽帧处理，得到图像序列；

边缘检测模块，用于对所述图像序列中的每一帧图进行边缘检测，识别图中边缘像素点，并标识所述边缘像素点的坐标；

直线检测模块，用于根据同一图中各边缘像素点的坐标，检测各所述边缘像素点在所述图中是否构成水平直线或竖直直线，得到直线检测结果；

分屏检测模块，用于归集所述图像序列中的每一帧图的直线检测结果，得到所述待检测视频的分屏检测结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images