CN113487552B - 视频检测方法和视频检测装置 - Google Patents

Abstract

本公开关于一种视频检测方法和视频检测装置。所述视频检测方法包括：获取待检测视频中视频帧的尺寸信息和拼接信息中的至少一种信息，其中，所述关于视频帧的拼接信息是指将所述视频帧的左侧区域与右侧区域拼接得到的拼接信息；基于所述至少一种信息，检测所述待检测视频是否是全景视频。

Description

视频检测方法和视频检测装置

技术领域

本公开涉及视频技术领域，更具体地说，涉及一种视频检测方法和视频检测装置。

背景技术

近来，全景视频(也可称为360全景视频)已日渐普及，用户可通过手机、平板等用户终端通过用户操作(例如，转动终端、手势滑动、缩放等)环顾视频以实现上下左右观看全景视频，为用户提供身临其境的观看体验。全景视频区别于一般视频的地方在于，其上下部分会出现一些形变，这是因为最终是将视频以球型进行展示，因此两极从极小的点拉伸到视频的宽，会导致形变，而且越靠近上下两端，形变越大。因此，对于全景视频，可执行一些区别于一般视频的特殊处理，例如编码时减少上下两端的码率、专门分发此种视频给爱看的用户等等。为此，需要在众多视频中，检测全景视频的存在，判断哪些视频是全景视频，从而加以区分处理。然而，通常不存在专门的全景视频的检测技术，无法高效地检测出全景视频。

发明内容

本公开提供一种视频检测方法和视频检测装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

根据本公开实施例的第一方面，提供一种视频检测方法，包括：获取待检测视频中视频帧的尺寸信息和拼接信息中的至少一种信息，其中，所述关于视频帧的拼接信息是指将所述视频帧的左侧区域与右侧区域拼接得到的拼接信息；基于所述至少一种信息，检测所述待检测视频是否是全景视频。

可选地，所述基于所述尺寸信息和所述拼接信息中的至少一个信息，检测所述待检测视频是否是全景视频，可包括：在所述尺寸信息满足第一预定条件且所述拼接信息满足第二预定条件的情况下，确定所述待检测视频为全景视频。

可选地，所述待检测视频的关于视频帧的尺寸信息和关于视频帧的拼接信息中的至少一种信息；基于所述至少一种信息，检测所述待检测视频是否是全景视频，可包括：获取所述尺寸信息；在所述尺寸信息满足第一预定条件的情况下，获取所述拼接信息；在所述拼接信息满足第二预定条件的情况下，将所述待检测视频检测为全景视频。

可选地，所述尺寸信息可包括所述待检测视频的视频帧的宽高比，第一预定条件可为所述宽高比等于预设宽高比。

可选地，所述拼接信息可包括所述待检测视频的视频帧的左侧区域与右侧区域拼接得到的拼接图像的至少一个边缘数据，第二预定条件可为所述至少一个边缘数据在与所述至少一个边缘数据相应的预定阈值的范围内。

可选地，所述获取所述拼接信息，可包括：对所述待检测视频的多个视频帧中的每个视频帧执行：将视频帧的左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像，获取与所述拼接图像相关联的边缘图像，基于所述边缘图像，获得视频帧对应的边缘数据；将所述多个视频帧对应的多个边缘数据求平均，得到所述待检测视频的边缘数据。

可选地，所述待检测视频的多个视频帧可通过抽帧处理而得到。

可选地，所述将视频帧的左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像，可包括：基于所述视频帧的灰度信息，得到所述视频帧的灰度特征图；将所述灰度特征图左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像。

可选地，所述至少一个边缘数据可包括第一边缘数据、第二边缘数据和第三边缘数据中的至少一个；其中，第一边缘数据为所述边缘图像中接缝处的边缘数量与接缝面积之比；其中，第二边缘数据为所述边缘图像中接缝处的边缘数量与所述边缘图像中所有边缘数量之比；其中，第三边缘数据为所述边缘图像中的边缘数量与边缘图像面积之比。

可选地，所述拼接信息满足第二预定条件，可包括以下项之一：所述待检测视频的第一边缘数据小于第一预定阈值；所述待检测视频的第二边缘数据小于第二预定阈值；所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第二边缘数据小于第二预定阈值；所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值；所述待检测视频的第二边缘数据小于第二预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值；所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第二边缘数据小于第二预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值。

根据本公开实施例的第二方面，提供一种视频检测装置，包括：信息获取单元，被配置为：获取待检测视频中视频帧的尺寸信息和拼接信息中的至少一种信息，其中，所述关于视频帧的拼接信息是指将所述视频帧的左侧区域与右侧区域拼接得到的拼接信息；视频检测单元，被配置为：基于所述至少一种信息，检测所述待检测视频是否是全景视频。

可选地，视频检测单元可被配置为：在所述尺寸信息满足第一预定条件且所述拼接信息满足第二预定条件的情况下，确定所述待检测视频为全景视频。

可选地，信息获取单元获取所述尺寸信息；在视频检测单元检测到所述尺寸信息满足第一预定条件的情况下，信息获取单元获取所述拼接信息；在视频检测单元检测到所述拼接信息满足第二预定条件的情况下，视频检测单元检测到将所述待检测视频检测为全景视频。

可选地，所述尺寸信息可包括所述待检测视频的视频帧的宽高比，第一预定条件可为所述宽高比等于预设宽高比。

可选地，所述拼接信息可包括所述待检测视频的视频帧的左侧区域与右侧区域拼接得到的拼接图像的至少一个边缘数据，第二预定条件可为所述至少一个边缘数据在与所述至少一个边缘数据相应的预定阈值的范围内。

可选地，信息获取单元可被配置为：对所述待检测视频的多个视频帧中的每个视频帧执行：将视频帧的左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像，获取与所述拼接图像相关联的边缘图像基于所述边缘图像，获得视频帧对应的边缘数据；将所述多个视频帧对应的多个边缘数据求平均，得到所述待检测视频的边缘数据。

可选地，所述待检测视频的多个视频帧可通过抽帧处理而得到。

可选地，信息获取单元可被配置为：基于所述视频帧的灰度信息，得到所述视频帧的灰度特征图；将所述灰度特征图左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像。

可选地，所述至少一个边缘数据可包括第一边缘数据、第二边缘数据和第三边缘数据中的至少一个；其中，第一边缘数据为所述边缘图像中接缝处的边缘数量与接缝面积之比；其中，第二边缘数据为所述边缘图像中接缝处的边缘数量与所述边缘图像中所有边缘数量之比；其中，第三边缘数据为所述边缘图像中的边缘数量与边缘图像面积之比。

可选地，所述拼接信息满足第二预定条件，可包括以下项之一：所述待检测视频的第一边缘数据小于第一预定阈值；所述待检测视频的第二边缘数据小于第二预定阈值；所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第二边缘数据小于第二预定阈值；所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值；所述待检测视频的第二边缘数据小于第二预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值；所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第二边缘数据小于第二预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值。

根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的视频检测方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的视频检测方法。

根据本公开实施例的第六方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的视频检测方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的视频检测方法和视频检测装置，通过检测视频的尺寸信息以及左侧和右侧的拼接信息，来快速地有效地检测视频是否是全景视频。此外，可通过不同的关于拼接信息的检测条件来检测视频，从而满足不同的检测场景和检测需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是示出根据本公开的示例性实施例的视频检测方法和视频检测装置的实施场景图。

图2是示出根据本公开的示例性实施例的视频检测方法的流程图。

图3是示出根据本公开的示例性实施例的视频帧边缘拼接的示意图。

图4是示出根据本公开的示例性实施例的实施视频检测方法的示例的流程图。

图5是示出根据本公开的示例性实施例的视频检测装置的框图。

图6是根据本公开的示例性实施例的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

在相关技术中，通常是将多幅画面拼接成全景视频，但是不存在如何检测全景视频的技术。通常，检测思路可以是准备一批由多幅画面拼接成的全景视频样本以及普通视频样本，对视频分类模型进行训练，得到能够检测出全景视频的视频分类模型。然而，这样的方案依赖大量数据，并且在应用时依赖一定的算力。

为了解决上述问题，本公开提出了一种视频检测方法和视频检测装置。具体地说，全景视频有以下两个明显的特点：第一，全景视频的尺寸信息比较有特点。例如，全景视频的宽高比等于预设宽高比(例如，2：1)；第二，全景视频的左侧和右侧拼接起来之后，看不出明显的接缝。因此，根据本公开的视频检测方法和视频检测装置，通过检测视频的尺寸信息以及左侧和右侧的拼接信息，来快速地有效地检测视频是否是全景视频。此外，根据本公开的视频检测方法和视频检测装置，可通过不同的关于拼接信息的检测条件来检测视频，从而满足不同的检测场景和检测需求。下面将参照图1至图6来具体描述根据本公开的示例性实施例的视频检测方法和视频检测装置。

图1是示出根据本公开的示例性实施例的视频检测方法和视频检测装置的实施场景图。

参照图1，用户可通过用户终端(例如，用户终端120和130)观看服务器110下发的全景视频流(例如，全景短视频、全景直播等)。这里，服务器110可以是能够提供网络视频/直播服务的网络设备，用户终端120和130可以是手机、平板电脑、可穿戴设备、个人计算机、个人数字助理、云计算设备等电子设备。用户终端120和130可通过客户端(例如，安装在其中的应用程序或集成在浏览器中的网页版应用)来获取全景视频流。在下文中，用户终端120和130与服务器110的交互可以是用户终端120和130中的客户端与服务器110的交互。如前所述，对于全景视频，服务器110可执行一些区别于一般视频的特殊处理，例如编码时减少上下两端的码率、专门分发此种视频给爱看的用户等等。因此，服务器110可通过根据本公开的示例性实施例的视频检测方法和视频检测装置来从包括大量视频的视频集合中检测出全景视频。

图2是示出根据本公开的示例性实施例的视频检测方法的流程图。

参照图2，在步骤201，可获取待检测视频中视频帧的尺寸信息和拼接信息中的至少一种信息，其中，关于视频帧的拼接信息是指将视频帧的左侧区域与右侧区域拼接得到的拼接信息。

在步骤202，可基于获取的至少一种信息，检测待检测视频是否是全景视频。

根据本公开的示例性实施例，待检测视频可以是某视频平台中保存的大量视频数据中的一条或多条视频数据。此外，待检测视频也可以是根据需要从本地存储器或本地数据库被获取或者通过输入装置或传输媒介而从外部数据源(例如，互联网、服务器、数据库等)被接收的视频数据。

根据本公开的示例性实施例，可在尺寸信息满足第一预定条件且拼接信息满足第二预定条件的情况下，确定待检测视频为全景视频。也就是说，如果尺寸信息不满足第一预定条件，或者拼接信息不满足第二预定条件，则确定待检测视频为非全景视频。例如，可先获取待检测视频的尺寸信息，并检测尺寸信息是否满足第一预定条件。当尺寸信息不满足第一预定条件时，可确定待检测视频不是全景视频。当尺寸信息满足第一预定条件时，可获取待检测视频的拼接信息，并检测拼接信息是否满足第二预定条件。当拼接信息不满足第二预定条件时，可确定待检测视频不是全景视频。当拼接信息满足第二预定条件时，可确定待检测视频为全景视频。当然，本公开不限于上述执行顺序，也可以是任何可能的执行顺序，例如，第一预定条件和第二预定条件同时检测或者第二预定条件先检测等等。

根据本公开的示例性实施例，尺寸信息可包括待检测视频的视频帧的宽高比。第一预定条件可以是待检测视频的视频帧的宽高比等于预设宽高比。这里，预设宽高比可以是预设的一个宽高比值(例如，2：1)，也可以预设的一个宽高比范围(例如，1.5：1～2.5：1)。这里，预设的宽高比值或宽高比范围可根据全景视频与普通视频的区别来设置。例如，通常全景视频的宽高比为2：1，则可将预设宽高比设置为2：1，也就是说，宽高比不是2：1的视频可被认为不是全景视频，而宽高比是2：1的视频可认为符合全景视频的第一预定条件。此外，尺寸信息还可以是其它可用的尺寸信息，例如，全景视频区别于普通视频的尺寸信息。

根据本公开的示例性实施例，拼接信息可包括待检测视频的视频帧的左侧区域与右侧区域拼接得到的拼接图像的至少一个边缘数据。第二预定条件可以是至少一个边缘数据在与至少一个边缘数据相应的预定阈值的范围内。

下面参照图3描述将视频帧的左侧区域与右侧区域拼接得到拼接图像的示例。图3是示出根据本公开的示例性实施例的视频帧边缘拼接的示意图。

参照图3，如图3中的(a)所示，可以以视频帧F的左上角为坐标原点，取视频帧左侧区域R1以及右侧区域R2。其中，左侧区域R1的信息为x＝0,y＝0,h＝H,w＝k，右侧区域R2的信息为x＝W-k,y＝0,h＝H,w＝k，其中，x,y,h和w分别为左侧或右侧区域的左上角点的横坐标、纵坐标、高度和宽度，H和W分别为视频帧F的高度和宽度，k为可调的区域宽度参数，可根据需要进行设置，例如，将k设置为10。此外，s1,s1’,s2,s2’分别为左侧区域R1的左侧边缘(即，视频帧的左侧边缘)、左侧区域R1的右侧边缘，右侧区域R2的右侧边缘(即，视频帧的右侧边缘)、右侧区域R2的左侧边缘。

如图3(b)所示，可将视频帧的左侧区域R1的左侧边缘s1和右侧区域R2的右侧边缘s2拼接，得到包括左侧区域和右侧区域的拼接图像R3，这里，R3的高度和宽度可分别为H和2k。并且，可基于该拼接图像R3来获得边缘数据。

返回参照图2，根据本公开的示例性实施例，可对待检测视频的多个视频帧中的每个视频帧执行：将视频帧的左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像(如图3所示的操作)，获取与拼接图像相关联的边缘图像，并基于边缘图像，获得视频帧对应的边缘数据。

例如，待检测视频的多个视频帧可通过抽帧处理(例如，按预定间隔抽帧或随机抽帧等)而得到。

例如，可基于视频帧的灰度信息，得到视频帧的灰度特征图(例如，可将视频帧转为灰度图，或者直接使用视频帧的亮度通道)，再将灰度特征图左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像。

例如，可对拼接图像进行边缘检测或梯度检测来得到边缘图像。例如，使用Canny算子计算边缘(边缘检测的参数可调)，得到二值化边缘图像。又例如，可基于拼接图像得到灰度边缘图像，越亮表示边缘越明显，越暗表示越平坦。

例如，至少一个边缘数据可包括第一边缘数据P1、第二边缘数据P2和第三边缘数据P3中的至少一个。这里，第一边缘数据P1可为边缘图像中接缝处的边缘数量N1与接缝面积S1之比，例如，P1＝N1/S1，其中，S1＝2×H。这里，边缘数量可指边缘图像中的非零元素的个数之和。接缝可包括左侧区域的左侧边缘s1的一列像素和右侧区域的右侧边缘s2的一列像素(例如，如图3所示的R3中的第k列和第k+1列的像素)，也就是说，接缝处的边缘数量N1可以是边缘图像中第k列和第k+1列的非零元素个数之和。此外，接缝也可包括左侧区域的左侧边缘s1的一列像素、右侧区域的右侧边缘s2的一列像素以及左侧边缘s1和右侧边缘s2的周围的预定数量的列的像素，例如，边缘图像中的第k-1列至第k+2列的像素。另外，对于非二值化的边缘图像，可计算边缘图像中的像素和来计算边缘数量，并同时除掉灰度的最大值(例如，255)来计算比例。此外，第二边缘数据P2可为边缘图像中接缝处的边缘数量N1与边缘图像中所有边缘数量N2之比，例如，P2＝N1/N2。此外，第三边缘数据P3可为边缘图像中的边缘数量N2与边缘图像面积S2之比，例如，P2＝N2/S2，其中，S2＝2×k×H。

随后，在得到待检测视频的多个视频帧中的每个视频帧的边缘数据之后，可对多个视频帧对应的多个边缘数据求平均，得到待检测视频的边缘数据。例如，可基于边缘图像执行不同的计算，得到不同的边缘数据(例如，分别为P1，P2和P3)，因此可分别针对每种边缘数据，对多个视频帧对应的边缘数据求平均，得到待检测视频的边缘数据，从而可获得待检测视频的不同的边缘数据(例如，分别为P1_mean，P2_mean和P3_mean)。因此，可基于待检测视频的至少一个边缘数据(例如，P1_mean，P2_mean和P3_mean中的至少一个)来检测待检测视频是否为全景视频。

根据本公开的第一示例性实施例，当待检测视频的第一边缘数据P1_mean小于第一预定阈值th1时，说明待检测视频的左侧区域与右侧区域拼接的接缝处没有明显的边缘，可将待检测视频检测为全景视频。这里，第一预定阈值th1可根据需要被预先设置或调整。也就是说，第二预设条件可被设置为P1_mean<th1。

根据本公开的第二示例性实施例，当待检测视频的第二边缘数据P2_mean小于第二预定阈值th2时，说明待检测视频的左侧区域与右侧区域拼接的接缝处的边缘占整个待检测视频的边缘的比重小，也可说没有明显多边缘，可将待检测视频检测为全景视频。这里，第二预定阈值th2可根据需要被预先设置或调整。也就是说，第二预设条件可被设置为P2_mean<th2。这里，对于查准要求较高(例如，高查准率)的需求，可基于第一边缘数据P1_mean来检测全景视频，减小误检的概率。对于查全要求较高(例如，高召回率)的需求，可基于第二边缘数据P2_mean来检测全景视频，减小漏检的概率。此外，对于全景视频集中存在较非富边缘的视频来说，可利用第二边缘数据P2_mean来检测全景视频，可提高准确性。例如，对于一个在银杏林中的全景视频，由于场景中本身边缘比较多，因此P3_mean可能会偏高，从而导致漏检；而P2_mean则不会偏高，能够将此种情况召回。

根据本公开的第三示例性实施例，当待检测视频的第一边缘数据P1_mean小于第一预定阈值th1，且所述待检测视频的第二边缘数据P2_mean小于第二预定阈值th2，将待检测视频检测为全景视频。也就是说，第二预设条件可被设置为P1_mean<th1且P2_mean<th2。在这种情况下，第一预定阈值th1可被设置为单独使用第一边缘数据P1_mean的第一预定阈值th1更大。

此外，对于两侧为纯色或大面积平坦的视频(例如，左右两侧有黑边的影视作品/游戏视频等)，其P1_mean和P2_mean的值将会较小，因此，仅使用P1_mean或P2_mean来检测全景视频，可能导致将这样的视频误检为全景视频。在这种情况下，可进一步加入使用P3_mean来检测全景视频。

根据本公开的第四示例性实施例，当待检测视频的第一边缘数据P1_mean小于第一预定阈值th1，且待检测视频的第三边缘数据P3_mean大于第三预定阈值th3，将待检测视频检测为全景视频。也就是说，第二预设条件可被设置为P1_mean<th1且P3_mean<th3。

根据本公开的第五示例性实施例，当待检测视频的第二边缘数据P2_mean小于第一预定阈值th2，且待检测视频的第三边缘数据P3_mean大于第三预定阈值th3，将待检测视频检测为全景视频。也就是说，第二预设条件可被设置为P2_mean<th2且P3_mean<th3。

根据本公开的第六示例性实施例，待检测视频的第一边缘数据P1_mean小于第一预定阈值th1，且待检测视频的第二边缘数据P2_mean小于第二预定阈值th2，且待检测视频的第三边缘数据P3_mean大于第三预定阈值th3，将待检测视频检测为全景视频。也就是说，第二预设条件可被设置为P1_mean<th1且P2_mean<th2且P3_mean<th3。

如上所述，可根据视频测试集中的视频内容或场景以及检测需求等，使用不同的边缘数据来检测全景视频，也即，选择不同的第二预设条件。

图4是示出根据本公开的示例性实施例的实施视频检测方法的示例的流程图。

参照图4，在步骤401，可检测待检测视频的宽高比是否等于预设的宽高比，例如，2：1。

在检测到待检测视频的宽高比不等于预设的宽高比的情况下，将待检测视频检测为不是全景视频。

在检测到待检测视频的宽高比等于预设的宽高比的情况下，在步骤402，可对待检测视频执行抽帧(例如，按预定间隔抽帧或随机抽帧等)，得到多个视频帧。

在步骤403，可将抽帧得到的视频帧转为灰度图。

在步骤404，可将视频帧(转为灰度图后的视频帧)的左侧区域和右侧区域进行拼接，得到拼接图像。

在步骤405，可对拼接图像进行边缘检测，得到边缘图像。

在步骤406，可基于边缘图像计算边缘数据(例如，P1，P2和P3中的至少一个)。这里，可对抽帧得到的多个视频帧的每个视频帧执行步骤403至步骤406，得到每个视频帧的边缘数据。

在步骤407，可对抽帧得到的多个视频帧的边缘数据求平均，得到边缘数据均值(例如，P1_mean，P2_mean和P3_mean中的至少一个)。

在步骤408，可检测边缘数据均值是否满足预定阈值的范围(例如，P1_mean<th1、或P2_mean<th2、或P1_mean<th1且P2_mean<th2、或P1_mean<th1且P3_mean<th3、或P2_mean<th2且P3_mean<th3、或P1_mean<th1且P2_mean<th2且P3_mean<th3)。

在检测到边缘数据均值不满足预定阈值的范围的情况下，将待检测视频检测为不是全景视频。

在检测到边缘数据均值满足预定阈值的范围的情况下，在步骤409，将待检测视频检测为全景视频。

图5是示出根据本公开的示例性实施例的视频检测装置的框图。

参照图5，根据本公开的示例性实施例的视频检测装置500可包括信息获取单元501和视频检测单元502。

信息获取单元501可获取待检测视频中视频帧的尺寸信息和拼接信息中的至少一种信息，其中，关于视频帧的拼接信息是指将待视频帧的左侧区域与右侧区域拼接得到的拼接信息。

视频检测单元502可基于获取的至少一种信息，检测待检测视频是否是全景视频。

根据本公开的示例性实施例，待检测视频可以是某视频平台中保存的大量视频数据中的一条或多条视频数据。此外，待检测视频也可以是根据需要从本地存储器或本地数据库被获取或者通过输入装置或传输媒介而从外部数据源(例如，互联网、服务器、数据库等)被接收的视频数据。

根据本公开的示例性实施例，视频检测单元502可在尺寸信息满足第一预定条件且拼接信息满足第二预定条件的情况下，确定待检测视频为全景视频。也就是说，如果尺寸信息不满足第一预定条件，或者拼接信息不满足第二预定条件，则视频检测单元502确定待检测视频为非全景视频。例如，信息获取单元501可先获取待检测视频的尺寸信息，并视频检测单元502检测尺寸信息是否满足第一预定条件。当尺寸信息不满足第一预定条件时，视频检测单元502可确定待检测视频不是全景视频。当尺寸信息满足第一预定条件时，信息获取单元501可获取待检测视频的拼接信息，并视频检测单元502检测拼接信息是否满足第二预定条件。当拼接信息不满足第二预定条件时，视频检测单元502可确定待检测视频不是全景视频。当拼接信息满足第二预定条件时，视频检测单元502可将待检测视频检测为全景视频。当然，本公开不限于上述执行顺序，也可以是任何可能的执行顺序，例如，第一预定条件和第二预定条件同时检测或者第二预定条件先检测等等。

根据本公开的示例性实施例，尺寸信息可包括待检测视频的视频帧的宽高比。第一预定条件可以是待检测视频的视频帧的宽高比等于预设宽高比。这里，预设宽高比可以是预设的一个宽高比值(例如，2：1)，也可以预设的一个宽高比范围(例如，1.5：1～2.5：1)。这里，预设的宽高比值或宽高比范围可根据全景视频与普通视频的区别来设置。例如，通常全景视频的宽高比为2：1，则可将预设宽高比设置为2：1，也就是说，宽高比不是2：1的视频可被认为不是全景视频，而宽高比是2：1的视频可认为符合全景视频的第一预定条件。此外，尺寸信息还可以是其它可用的尺寸信息，例如，全景视频区别于普通视频的尺寸信息。

根据本公开的示例性实施例，拼接信息可包括待检测视频的视频帧的左侧区域与右侧区域拼接得到的拼接图像的至少一个边缘数据。第二预定条件可以是至少一个边缘数据在与至少一个边缘数据相应的预定阈值的范围内。

根据本公开的示例性实施例，信息获取单元501可对待检测视频的多个视频帧中的每个视频帧执行：将视频帧的左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像(如图3所示的操作)，获取与拼接图像相关联的边缘图像，并基于边缘图像，获得视频帧对应的边缘数据。

例如，待检测视频的多个视频帧可通过抽帧处理(例如，按预定间隔抽帧或随机抽帧等)而得到。

例如，信息获取单元501可基于视频帧的灰度信息，得到视频帧的灰度特征图(例如，可将视频帧转为灰度图，或者直接使用视频帧的亮度通道)，再将灰度特征图左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像。

例如，信息获取单元501可对拼接图像进行边缘检测或梯度检测来得到边缘图像。例如，信息获取单元501使用Canny算子计算边缘(边缘检测的参数可调)，得到二值化边缘图像。又例如，信息获取单元501可基于拼接图像得到灰度边缘图像，越亮表示边缘越明显，越暗表示越平坦。

例如，至少一个边缘数据可包括第一边缘数据P1、第二边缘数据P2和第三边缘数据P3中的至少一个。这里，第一边缘数据P1可为边缘图像中接缝处的边缘数量N1与接缝面积S1之比，例如，P1＝N1/S1，其中，S1＝2×H。这里，边缘数量可指边缘图像中的非零元素的个数之和。接缝可包括左侧区域的左侧边缘s1的一列像素和右侧区域的右侧边缘s2的一列像素(例如，如图3所示的R3中的第k列和第k+1列的像素)，也就是说，接缝处的边缘数量N1可以是边缘图像中第k列和第k+1列的非零元素个数之和。此外，接缝也可包括左侧区域的左侧边缘s1的一列像素、右侧区域的右侧边缘s2的一列像素以及左侧边缘s1和右侧边缘s2的周围的预定数量的列的像素，例如，边缘图像中的第k-1列至第k+2列的像素。另外，对于非二值化的边缘图像，可计算边缘图像中的像素和来计算边缘数量，并同时除掉灰度的最大值(例如，255)来计算比例。此外，第二边缘数据P2可为边缘图像中接缝处的边缘数量N1与边缘图像中所有边缘数量N2之比，例如，P2＝N1/N2。此外，第三边缘数据P3可为边缘图像中的边缘数量N2与边缘图像面积S2之比，例如，P2＝N2/S2，其中，S2＝2×k×H。

随后，在得到待检测视频的多个视频帧中的每个视频帧的边缘数据之后，信息获取单元501可对多个视频帧对应的多个边缘数据求平均，得到待检测视频的边缘数据。例如，信息获取单元501可基于边缘图像执行不同的计算，得到不同的边缘数据(例如，分别为P1，P2和P3)，因此信息获取单元501可分别针对每种边缘数据，对多个视频帧对应的边缘数据求平均，得到待检测视频的边缘数据，从而可获得待检测视频的不同的边缘数据(例如，分别为P1_mean，P2_mean和P3_mean)。因此，视频检测单元502可基于待检测视频的至少一个边缘数据(例如，P1_mean，P2_mean和P3_mean中的至少一个)来检测待检测视频是否为全景视频。

根据本公开的第一示例性实施例，当待检测视频的第一边缘数据P1_mean小于第一预定阈值th1时，说明待检测视频的左侧区域与右侧区域拼接的接缝处没有明显的边缘，视频检测单元502可将待检测视频检测为全景视频。这里，第一预定阈值th1可根据需要被预先设置或调整。也就是说，第二预设条件可被设置为P1_mean<th1。

根据本公开的第二示例性实施例，当待检测视频的第二边缘数据P2_mean小于第二预定阈值th2时，说明待检测视频的左侧区域与右侧区域拼接的接缝处的边缘占整个待检测视频的边缘的比重小，也可说没有明显多边缘，视频检测单元502可将待检测视频检测为全景视频。这里，第二预定阈值th2可根据需要被预先设置或调整。也就是说，第二预设条件可被设置为P2_mean<th2。这里，对于查准要求较高(例如，高查准率)的需求，视频检测单元502可基于第一边缘数据P1_mean来检测全景视频，减小误检的概率。对于查全要求较高(例如，高召回率)的需求，可基于第二边缘数据P2_mean来检测全景视频，减小漏检的概率。此外，对于全景视频集中存在较非富边缘的视频来说，视频检测单元502可利用第二边缘数据P2_mean来检测全景视频，可提高准确性。

根据本公开的第三示例性实施例，当待检测视频的第一边缘数据P1_mean小于第一预定阈值th1，且所述待检测视频的第二边缘数据P2_mean小于第二预定阈值th2，将待检测视频检测为全景视频。也就是说，第二预设条件可被设置为P1_mean<th1且P2_mean<th2。在这种情况下，第一预定阈值th1可被设置为单独使用第一边缘数据P1_mean的第一预定阈值th1更大。

此外，对于两侧为纯色或大面积平坦的视频(例如，左右两侧有黑边的影视作品/游戏视频等)，其P1_mean和P2_mean的值将会较小，因此，仅使用P1_mean或P2_mean来检测全景视频，可能导致将这样的视频误检为全景视频。在这种情况下，可进一步加入使用P3_mean来检测全景视频。

根据本公开的第四示例性实施例，当待检测视频的第一边缘数据P1_mean小于第一预定阈值th1，且待检测视频的第三边缘数据P3_mean大于第三预定阈值th3，视频检测单元502将待检测视频检测为全景视频。也就是说，第二预设条件可被设置为P1_mean<th1且P3_mean<th3。

根据本公开的第五示例性实施例，当待检测视频的第二边缘数据P2_mean小于第一预定阈值th2，且待检测视频的第三边缘数据P3_mean大于第三预定阈值th3，视频检测单元502将待检测视频检测为全景视频。也就是说，第二预设条件可被设置为P2_mean<th2且P3_mean<th3。

根据本公开的第六示例性实施例，待检测视频的第一边缘数据P1_mean小于第一预定阈值th1，且待检测视频的第二边缘数据P2_mean小于第二预定阈值th2，且待检测视频的第三边缘数据P3_mean大于第三预定阈值th3，视频检测单元502将待检测视频检测为全景视频。也就是说，第二预设条件可被设置为P1_mean<th1且P2_mean<th2且P3_mean<th3。

如上所述，视频检测单元502可根据视频测试集中的视频内容或场景以及检测需求等，使用不同的边缘数据来检测全景视频，也即，选择不同的第二预设条件。

图6是根据本公开的示例性实施例的电子设备600的框图。

参照图6，电子设备600包括至少一个存储器601和至少一个处理器602，所述至少一个存储器601中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器602执行时，执行根据本公开的示例性实施例的视频检测方法。

作为示例，电子设备600可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备600并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备600还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在电子设备600中，处理器602可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器602可运行存储在存储器601中的指令或代码，其中，存储器601还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器601可与处理器602集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器601可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器601和处理器602可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器602能够读取存储在存储器中的文件。

此外，电子设备600还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备600的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的视频检测方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的视频检测方法。

根据本公开的视频检测方法和视频检测装置，通过检测视频的尺寸信息以及左侧和右侧的拼接信息，来快速地有效地检测视频是否是全景视频。此外，可通过不同的关于拼接信息的检测条件来检测视频，从而满足不同的检测场景和检测需求。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (21)

1.一种视频检测方法，其特征在于，包括：

获取待检测视频中视频帧的尺寸信息和拼接信息中的至少一种信息，其中，所述视频帧的拼接信息是指将所述视频帧的左侧区域与右侧区域拼接得到的拼接图像相关联的边缘图像的至少一个边缘数据；

基于所述至少一种信息，检测所述待检测视频是否是全景视频；

其中，所述至少一个边缘数据包括第一边缘数据、第二边缘数据和第三边缘数据中的至少一个，其中，第一边缘数据为所述边缘图像中接缝处的边缘数量与接缝面积之比，第二边缘数据为所述边缘图像中接缝处的边缘数量与所述边缘图像中所有边缘数量之比，第三边缘数据为所述边缘图像中的边缘数量与边缘图像面积之比，其中，所述边缘数量是指非零元素的个数之和。

2.如权利要求1所述的视频检测方法，其特征在于，所述基于所述至少一种信息，检测所述待检测视频是否是全景视频，包括：

在所述尺寸信息满足第一预定条件且所述拼接信息满足第二预定条件的情况下，确定所述待检测视频为全景视频。

3.如权利要求1所述的视频检测方法，其特征在于，所述获取待检测视频的关于视频帧的尺寸信息和关于视频帧的拼接信息中的至少一种信息；基于所述至少一种信息，检测所述待检测视频是否是全景视频，包括：

获取所述尺寸信息；

在所述尺寸信息满足第一预定条件的情况下，获取所述拼接信息；

在所述拼接信息满足第二预定条件的情况下，将所述待检测视频检测为全景视频。

4.如权利要求2所述的视频检测方法，其特征在于，所述尺寸信息包括所述待检测视频的视频帧的宽高比，第一预定条件为所述宽高比等于预设宽高比。

5.如权利要求2所述的视频检测方法，其特征在于，第二预定条件为所述至少一个边缘数据在与所述至少一个边缘数据相应的预定阈值的范围内。

6.如权利要求1所述的视频检测方法，其特征在于，所述获取所述拼接信息，包括：

对所述待检测视频的多个视频帧中的每个视频帧执行：

将视频帧的左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像，

获取与所述拼接图像相关联的边缘图像，

基于所述边缘图像，获得视频帧对应的边缘数据；

将所述多个视频帧对应的多个边缘数据求平均，得到所述待检测视频的边缘数据。

7.如权利要求6所述的视频检测方法，其特征在于，所述待检测视频的多个视频帧通过抽帧处理而得到。

8.如权利要求6所述的视频检测方法，其特征在于，所述将视频帧的左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像，包括：

基于所述视频帧的灰度信息，得到所述视频帧的灰度特征图；

将所述灰度特征图左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像。

9.如权利要求2所述的视频检测方法，其特征在于，所述拼接信息满足第二预定条件，包括以下项之一：

所述待检测视频的第一边缘数据小于第一预定阈值；

所述待检测视频的第二边缘数据小于第二预定阈值；

所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第二边缘数据小于第二预定阈值；

所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值；

所述待检测视频的第二边缘数据小于第二预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值；

所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第二边缘数据小于第二预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值。

10.一种视频检测装置，其特征在于，包括：

信息获取单元，被配置为：获取待检测视频中视频帧的尺寸信息和拼接信息中的至少一种信息，其中，所述视频帧的拼接信息是指将所述视频帧的左侧区域与右侧区域拼接得到的拼接图像相关联的边缘图像的至少一个边缘数据；

视频检测单元，被配置为：基于所述至少一种信息，检测所述待检测视频是否是全景视频；

其中，所述至少一个边缘数据包括第一边缘数据、第二边缘数据和第三边缘数据中的至少一个，其中，第一边缘数据为所述边缘图像中接缝处的边缘数量与接缝面积之比，第二边缘数据为所述边缘图像中接缝处的边缘数量与所述边缘图像中所有边缘数量之比，第三边缘数据为所述边缘图像中的边缘数量与边缘图像面积之比，其中，所述边缘数量是指非零元素的个数之和。

11.如权利要求10所述的视频检测装置，其特征在于，视频检测单元被配置为：

在所述尺寸信息满足第一预定条件且所述拼接信息满足第二预定条件的情况下，确定所述待检测视频为全景视频。

12.如权利要求10所述的视频检测装置，其特征在于，

信息获取单元获取所述尺寸信息；

在视频检测单元检测到所述尺寸信息满足第一预定条件的情况下，信息获取单元获取所述拼接信息；

在视频检测单元检测到所述拼接信息满足第二预定条件的情况下，视频检测单元检测到将所述待检测视频检测为全景视频。

13.如权利要求11所述的视频检测装置，其特征在于，所述尺寸信息包括所述待检测视频的视频帧的宽高比，第一预定条件为所述宽高比等于预设宽高比。

14.如权利要求11所述的视频检测装置，其特征在于，第二预定条件为所述至少一个边缘数据在与所述至少一个边缘数据相应的预定阈值的范围内。

15.如权利要求10所述的视频检测装置，其特征在于，信息获取单元被配置为：

对所述待检测视频的多个视频帧中的每个视频帧执行：

将视频帧的左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像，

获取与所述拼接图像相关联的边缘图像，

基于所述边缘图像，获得视频帧对应的边缘数据；

将所述多个视频帧对应的多个边缘数据求平均，得到所述待检测视频的边缘数据。

16.如权利要求15所述的视频检测装置，其特征在于，所述待检测视频的多个视频帧通过抽帧处理而得到。

17.如权利要求15所述的视频检测装置，其特征在于，信息获取单元被配置为：

基于所述视频帧的灰度信息，得到所述视频帧的灰度特征图；

将所述灰度特征图左侧区域的左侧边缘和右侧区域的右侧边缘拼接，得到包括左侧区域和右侧区域的拼接图像。

18.如权利要求11所述的视频检测装置，其特征在于，所述拼接信息满足第二预定条件，包括以下项之一：

所述待检测视频的第一边缘数据小于第一预定阈值；

所述待检测视频的第二边缘数据小于第二预定阈值；

所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第二边缘数据小于第二预定阈值；

所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值；

所述待检测视频的第二边缘数据小于第二预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值；

所述待检测视频的第一边缘数据小于第一预定阈值，且所述待检测视频的第二边缘数据小于第二预定阈值，且所述待检测视频的第三边缘数据大于第三预定阈值。

19.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到9中的任一权利要求所述的视频检测方法。

20.一种计算机可读存储介质，其特征在于，当述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到9中的任一权利要求所述的视频检测方法。

21.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被至少一个处理器执行时实现如权利要求1到9中的任一权利要求所述的视频检测方法。