CN114005059A - 视频转场的检测方法、装置及电子设备 - Google Patents

Abstract

本公开关于一种视频转场的检测方法、装置及电子设备，涉及视频检测技术领域，其中，方法包括：获取到视频流的视频帧图像后，逐帧计算视频帧图像的主色调比例；根据每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像，根据起始跳变视频帧图像至结束跳变视频帧图像之间的帧数，以及结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像；根据转场开始图像后续的视频帧图像的主色调比例，确定转场结束图像。由此，提高了视频转场场景检测的准确度。

Description

视频转场的检测方法、装置及电子设备

技术领域

本公开涉及视频检测技术领域，尤其涉及一种视频转场的检测方法、装置及电子设备。

背景技术

随着视频创作的热潮袭来，越来越多的创作者追求质量较高的视频作品。随之而来的就是在视频中添加新奇的动画特效，这些特效虽然美观，但是打破了正常视频的特性。视频转场在过往的视频中大多以纯色为主，形成一个视频内容到另一个视频内容的切换。随着特效的加入，转场的种类变的非常多，打破了纯色的规律。

相关技术中的视频转场的检测方法无法检测出增加了特效的转场场景，因此，亟需一种视频转场的检测方法用于检测不同特效下的视频转场场景。

发明内容

本公开提供一种视频转场的检测方法、装置及电子设备，以至少解决相关技术中无法检测出视频中添加动画特效的转场场景的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频转场的检测方法，包括：

获取视频流的视频帧图像；

逐帧计算每一视频帧图像的主色调比例；

根据每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像；

根据起始跳变视频帧图像至结束跳变视频帧图像之间的帧数，以及结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像；

根据转场开始图像后续的视频帧图像的主色调比例，确定转场结束图像。

可选地，根据每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像，包括：

若视频流的一帧视频帧图像的主色调比例大于或等于第一阈值，且一帧视频帧图像的后一帧视频帧图像的主色调比例小于第一阈值，则确定一帧视频帧图像的后一帧视频帧图像为起始跳变视频帧图像；

若视频流的一帧视频帧图像的主色调比例小于第一阈值，且一帧视频帧图像的后续的至少一帧视频帧图像的主色调比例大于或等于第一阈值，则确定一帧视频帧图像为结束跳变视频帧图像。

可选地，根据起始跳变视频帧图像至结束跳变视频帧图像之间的帧数，以及结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像，包括：

若从起始跳变视频帧图像至结束跳变视频帧图像之间的帧数小于第二阈值，且结束跳变视频帧图像的后一帧视频帧图像的主色调比例大于或等于第一阈值，则确定起始跳变视频帧图像的前一帧视频帧图像为转场开始图像。

可选地，根据转场开始图像后续的视频帧图像的主色调比例，确定转场结束图像，包括：

若转场开始图像后续的一帧视频帧图像的主色调比例小于第一阈值，且转场开始图像至转场开始图像后续的一帧视频帧图像之间的帧数大于或等于第三阈值，则确定转场开始图像后续的一帧视频帧图像为转场结束图像。

可选地，主色调比例为黑色像素比例，逐帧计算每一视频帧图像的主色调比例，包括：

遍历每一视频帧图像的每个像素，若像素的像素值小于第四阈值，则确定像素为黑色像素；

逐帧计算每一视频帧图像中黑色像素的个数与对应的视频帧图像的总像素个数的比值，确定每一视频帧图像的黑色像素比例。

可选地，逐帧计算每一视频帧图像的主色调比例，包括：

逐帧计算每一视频帧图像的像素方差；根据每一视频帧图像的像素方差，确定每一视频帧图像的主色调比例；像素方差与主色调比例呈负相关关系。

可选地，逐帧计算每一视频帧图像的像素方差，包括：

遍历每一视频帧图像的每个像素，确定每一视频帧图像的像素个数和每个像素的像素值；

根据每一视频帧图像的像素个数和每个像素的像素值，确定每一视频帧图像的像素均值；

根据每一视频帧图像的每个像素的像素值与像素均值，确定每一视频帧图像的像素方差。

可选地，逐帧计算每一视频帧图像的主色调比例之前，包括：

将视频流的每一视频帧图像转换至颜色模型HSV空间的视频帧图像。

可选地，该视频转场的检测方法，还包括：

若从起始跳变视频帧图像至结束跳变视频帧图像之间的帧数大于或等于第二阈值，则在视频流的后续视频帧图像中重新确定转场开始图像；和/或，若转场开始图像后续的一帧视频帧图像的主色调比例小于第一阈值，且转场开始图像至转场开始图像后续的一帧图像之间的帧数小于第三阈值，则在视频流的后续视频帧图像中重新确定转场结束图像。

根据本公开实施例的第二方面，提供一种视频转场的检测装置，包括：

获取模块，被配置为执行获取视频流的视频帧图像；

计算模块，被配置为执行逐帧计算每一视频帧图像的主色调比例；

第一确定模块，被配置为执行根据每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像；

第二确定模块，被配置为执行根据起始跳变视频帧图像至结束跳变视频帧图像之间的帧数，以及结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像；

第三确定模块，被配置为执行根据转场开始图像后续的视频帧图像的主色调比例，确定转场结束图像。

可选地，第一确定模块，具体被配置为执行：

若视频流的一帧视频帧图像的主色调比例大于或等于第一阈值，且一帧视频帧图像的后一帧视频帧图像的主色调比例小于第一阈值，则确定一帧视频帧图像的后一帧视频帧图像为起始跳变视频帧图像；

若视频流的一帧视频帧图像的主色调比例小于第一阈值，且一帧视频帧图像的后续的至少一帧视频帧图像的主色调比例大于或等于第一阈值，则确定一帧视频帧图像为结束跳变视频帧图像。

可选地，第二确定模块，具体被配置为执行：

若从起始跳变视频帧图像至结束跳变视频帧图像之间的帧数小于第二阈值，且结束跳变视频帧图像的后一帧视频帧图像的主色调比例大于或等于第一阈值，则确定起始跳变视频帧图像的前一帧视频帧图像为转场开始图像。

可选地，第三确定模块，具体被配置为执行：

若转场开始图像后续的一帧视频帧图像的主色调比例小于第一阈值，且转场开始图像至转场开始图像后续的一帧视频帧图像之间的帧数大于或等于第三阈值，则确定转场开始图像后续的一帧视频帧图像为转场结束图像。

可选地，主色调比例为黑色像素比例，计算模块，具体被配置为执行：

遍历每一视频帧图像的每个像素，若像素的像素值小于第四阈值，则确定像素为黑色像素；

逐帧计算每一视频帧图像中黑色像素的个数与对应的视频帧图像的总像素个数的比值，确定每一视频帧图像的黑色像素比例。

可选地，计算模块，具体被配置为执行：

逐帧计算每一视频帧图像的像素方差；根据每一视频帧图像的像素方差，确定每一视频帧图像的主色调比例；像素方差与主色调比例呈负相关关系。

可选地，计算模块，具体被配置为执行：

遍历每一视频帧图像的每个像素，确定每一视频帧图像的像素个数和每个像素的像素值；

根据每一视频帧图像的像素个数和每个像素的像素值，确定每一视频帧图像的像素均值；

根据每一视频帧图像的每个像素的像素值与像素均值，确定每一视频帧图像的像素方差。

可选地，该视频转场的检测装置还包括：

转换模块，被配置为执行将视频流的每一视频帧图像转换至颜色模型HSV空间的视频帧图像。

可选地，该视频转场的检测装置还包括：

第四确定模块，被配置为执行若从起始跳变视频帧图像至结束跳变视频帧图像之间的帧数大于或等于第二阈值，则在视频流的后续视频帧图像中重新确定转场开始图像；和/或，若转场开始图像后续的一帧视频帧图像的主色调比例小于第一阈值，且转场开始图像至转场开始后续的一帧视频帧图像之间的帧数小于第三阈值，则在视频流的后续视频帧图像中重新确定转场结束图像。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述视频转场的检测方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述视频转场的检测方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，其特征在于，计算机程序/指令被处理器执行时实现上述视频转场的检测方法。

本公开的实施例提供的技术方案至少带来以下有益效果：由于放宽了转场判断的限制条件，增加了跳变视频帧图像的约束，因此，在获取到视频流的视频帧图像后，电子设备可以根据每一视频帧图像的主色调比例，从视频帧图像中确定起始跳变视频帧图像和结束跳变视频帧图像。由此，电子设备可以根据起始跳变视频帧图像和结束跳变视频帧图像确定转场开始图像，并根据后续视频流的视频帧图像确定转场结束图像，从而提高了视频转场场景识别的准确度，增加了特效转场场景的命中率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种视频转场的检测方法的流程图；

图2是根据一示例性实施例示出的一种视频转场的检测方法的场景图一；

图3是根据一示例性实施例示出的一种视频转场的检测方法的场景图二；

图4是根据一示例性实施例示出的一种视频转场的检测方法的场景图三；

图5是根据一示例性实施例示出的一种主色调比例确定方法的流程图；

图6是根据一示例性实施例示出的另一种主色调比例确定方法的流程图；

图7是根据一示例性实施例示出的一种视频转场的检测装置的框图；

图8是根据一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

相关技术中，视频中的转场场景的视频帧图像大多以纯色为主(比如，黑色)，形成一个视频内容到另一个视频内容的切换。现有的转场检测算法大多都遵循一种模式，例如，首先将视频逐帧拆解为多帧视频帧图像，然后计算每一帧的统计特性(例如，黑色像素比例)。根据不同的统计特性，预先设置不同的统计阈值。如果某一帧视频帧图像的统计特性满足对应的统计阈值，则确定该帧视频帧图像为转场开始图像。如果出现连续的满足该统计阈值的视频帧图像，那么就把这个连续的时间记录下来，当满足一定的持续时间，可以确定是转场。

但是，随着动画特效的加入，转场的种类变的非常多，打破了纯色的规律(比如，缓慢消失再出现，跳动转场或画面中有动画等)。现有的转场检测算法确定视频一旦出现了转场，那么其中的所有的视频帧图像都要满足统计特性。对于加入了特效的转场就不合理了，因为出现特效的几帧视频帧图像会破坏统计特性。而现有的视频转场的检测方法一旦发现某一帧视频帧图像不满足统计特性，那么就会重置转场的参数，从而导致无法准确的检测到转场场景的问题。

为此，本公开实施例提供了一种视频转场的检测方法，通过电子设备获取视频流的视频帧图像，逐帧计算每一视频帧图像的主色调比例；根据每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像，根据起始跳变视频帧图像至结束跳变视频帧图像之间的帧数，以及结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像；根据转场开始图像后续的视频帧图像的主色调比例，确定转场结束图像。由此，提高了视频转场场景识别的准确度，增加了特效转场场景检测的命中率。

在一些实施例中，上述视频转场的检测方法可以用于电子设备中，当电子设备为终端时，终端可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等设备，本公开对该终端的具体形态不作特殊限制。

图1是根据一示例性实施例示出的一种视频转场的检测方法的流程图，如图1所示，该视频转场的检测方法用于电子设备中，包括以下步骤。

在步骤S101中，获取视频流的视频帧图像。

本公开实施例中，视频流，可以为电子设备采集的视频流，还可以为从服务器下载的视频流，还可以为电子设备本地存储的视频流等等。本公开实施例中对视频流的获取方式不做限定。

可以理解的是，视频流是由一帧帧视频帧图像拼接而成的，因此，电子设备可以从视频流中提取每一帧视频帧图像。

在步骤S102中，逐帧计算每一视频帧图像的主色调比例。

其中，色调指的是一幅图像中画面色彩的总体倾向，是大的色彩效果。主色调是指占整个视频帧图像的色调的比例最大的色调。主色调比例是指视频帧图像中主要色调占整个视频帧图像的比例。例如，主色调比例可以为黑色像素比例，即某一视频帧图像中黑色像素的个数与整个视频帧图像的像素个数的比值。

在本公开实施例中，电子设备获取到视频流的视频帧图像后，可以对每一视频帧图像中的各色调进行聚类，进而，电子设备根据对视频帧图像的各色调的聚类结果，计算每一视频帧图像中的主色调占总色调的比例，即可得到主色调比例。

在本公开实施例的一种可能的情况下，电子设备获取到视频流的视频帧图像后，可以将视频流的每一视频帧图像转换至颜色模型(hue saturation value，HSV)空间的视频帧图像。然后，电子设备逐帧计算HSV空间的每一视频帧图像的主色调比例。

其中，HSV是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间，也称六角锥体模型(hexcone model)，该模型中颜色的参数分别是：色调(H)，饱和度(S)，亮度(V)。饱和度表示颜色接近光色谱的程度；亮度表示颜色明亮的程度。

需要解释的是，电子设备获取到的视频流的视频帧图像通常情况下是红绿蓝(redgreen blue，RGB)色彩模式下的图像，由于RGB色彩模式下的图像与人类的视觉感知相差较远，而HSV就是常用的色彩空间。因此，本公开实施例中，在电子设备获取到视频流的视频帧图像后，可以将视频流的每一视频帧图像转换至HSV空间的视频帧图像，以便在HSV空间下对每一视频帧图像进行处理。

在步骤S103中，根据每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像。

其中，起始跳变视频帧图像，是指视频流中的视频帧图像满足设定阈值的后续视频帧图像中，第一次出现的一帧视频帧图像的主色调比例不满足设定阈值，且该帧视频帧图像的前一帧视频帧图像的主色调比例满足设定阈值的视频帧图像。

结束跳变视频帧图像，是指视频流中的视频帧图像的主色调比例不满足设定阈值，且该视频帧图像的后续至少一帧视频帧图像的主色调比例满足设定阈值的视频帧图像。

若设定阈值为第一阈值，且第一阈值可以为预先设定的能够确定视频帧图像为纯色图像的主色调比例的最大值。在本公开实施例中，若视频帧图像的主色调比例大于或等于第一阈值，则可以确定该视频帧图像为纯色图像。例如，假设主色调比例为黑色像素比例，若某一视频帧图像的黑色像素比例大于或等于第一阈值，则可以确定该视频帧图像为黑色图像。

在本公开实施例中，当视频流中的转场片段中加入了动画特效，在确定视频流的一帧视频帧图像的主色调比例大于或等于第一阈值后，且一帧视频帧图像的后一帧视频帧图像的主色调比例小于第一阈值，则确定该一帧视频帧图像的后一帧视频帧图像为起始跳变视频帧图像。即跳变视频帧图像是指连续的主色调比例大于或等于第一阈值的视频帧图像(纯色图像)之间的，主色调比例小于第一阈值的视频帧图像。

作为一种示例，假设视频流的第5帧视频帧图像的主色调比例大于第一阈值，且第6帧视频帧图像的主色调比例小于第一阈值，则电子设备可以确定第6帧视频帧图像为起始跳变视频帧图像。

在本公开实施例中，若视频流的一帧视频帧图像的主色调比例小于第一阈值，且一帧视频帧图像的后的至少一帧视频帧图像的主色调比例大于或等于第一阈值，则确定一帧视频帧图像为结束跳变视频帧图像。

作为一种示例，假设视频流的第10帧视频帧图像的主色调比例小于第一阈值，且第10帧视频帧图像的后续几帧(比如3帧)视频帧图像的主色调比例大于或等于第一阈值，则电子设备可以确定第10帧视频帧图像为结束跳变视频帧图像。

在步骤S104中，根据起始跳变视频帧图像至结束跳变视频帧图像之间的帧数，以及结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像。

其中，转场是指视频中场景与场景之间的过渡或转换。加入特效的转场是指通过电子特技切换或后期软件中的特技技巧，对两个画面的剪辑来进行特技处理，完成场景转换。转场开始图像是指一个场景结束后开始转场的第一帧视频帧图像。

在本公开实施例的一种可能的情况下，电子设备从视频流图像中确定起始跳变视频帧图像和结束跳变视频帧图像后，若从起始跳变视频帧图像至结束跳变视频帧图像之间的帧数小于第二阈值，且结束跳变视频帧图像的后一帧视频帧图像的主色调比例大于或等于第一阈值，则确定起始跳变视频帧图像的前一帧视频帧图像为转场开始图像。即转场开始图像的主色调比例大于或等于第一阈值，转场开始图像的后一帧视频帧图像的主色调比例小于第一阈值，且，主色调比例小于第一阈值的跳变视频帧图像的帧数小于第二阈值。由此，避免了视频流中的正片中出现主色调比例大于第一阈值的视频帧图像，被误判为转场开始图像的情况。

可以理解的是，当视频流中的转场片段中增加动画特效后，电子设备检测到主色调比例大于或等于第一阈值的纯色图像后，可能会检测到主色调比例小于第一阈值的跳变视频帧图像。若连续的跳变视频帧图像的帧数小于第二阈值，则电子设备可以确定该连续的跳变视频帧图像为转场片段中的特效动画对应的视频帧图像。

作为一种示例，如图2至图4所示，假设视频流的转场片段中增加了图2中的渐变式转场的动画特效，或者，增加了图3中的动画特效，或者，增加了图4中的动画特效，电子设备检测到主色调比例大于或等于第一阈值的视频帧图像(比如，纯黑色视频帧图像)后，可能会检测到图2至图4中主色调比例小于第一阈值的视频帧图像。若连续的跳变视频帧图像的帧数小于第二阈值，则电子设备可以确定该连续的跳变视频帧图像为转场片段中的特效动画对应的视频帧图像。

在本公开实施例的另一种可能的情况下，若从起始跳变视频帧图像至结束跳变视频帧图像之间的帧数大于或等于第二阈值，则在视频流的后续视频帧图像中重新确定转场开始图像。即电子设备根据视频流的后续视频帧图像的主色调比例，确定主色调比例大于或等于第一阈值的视频帧图像。

例如，主色调比例大于或等于第一阈值的视频帧图像为第7帧视频帧图像。第8帧视频帧图像的主色调比例小于第一阈值，则确定第8帧视频帧图像为起始跳变视频帧图像。若从起始跳变视频帧图像至结束跳变视频帧图像的帧数大于或等于第二阈值，则在视频流的后续视频帧图像中重新确定转场开始图像。由此，在连续的跳变视频帧图像的帧数较多，不满足小于第二阈值的条件时，电子设备在视频流的后续视频帧图像中重新确定转场开始图像。

在步骤S105中，根据转场开始图像后续的视频帧图像的主色调比例，确定转场结束图像。

在本公开实施例的一种可能的情况下，根据转场开始图像后续的视频帧图像的主色调比例，确定转场开始图像后续的一帧视频帧图像的主色调比例小于第一阈值，且转场持续时间达到了阈值，即从转场开始图像至转场开始图像后续的一帧视频帧图像之间的帧数大于或等于第三阈值，则确定转场开始图像后续的一帧视频帧图像为转场结束图像。

作为一种示例，假设第三阈值为10帧，若视频流的第20帧视频帧图像的主色调比例小于第一阈值，且转场开始图像(第5帧视频帧图像)与第20帧视频帧图像之间的帧数大于10帧，则确定第20帧视频帧图像为转场结束图像。

在本公开实施例的另一种可能的情况下，若转场开始图像后续的一帧视频帧图像的主色调比例小于第一阈值，且转场开始图像至转场开始图像后续的一帧视频帧图像之间的帧数小于第三阈值，则在视频流的后续视频帧图像中重新确定转场结束图像。

可以理解的是，即使转场开始图像后续出现了主色调比例小于第一阈值的视频帧图像，若转场开始图像至转场结束图像之间的帧数小于第三阈值，即转场持续时间并未达到时间阈值。这种情况下，电子设备可以在视频流的后续视频帧图像中重新确定转场结束图像，从而提高了视频转场检测的准确度。

上述实施例提供的技术方案至少带来以下有益效果：由S101-S105可知，由于放宽了转场判断的限制条件，增加了跳变视频帧图像的约束，因此，在获取到视频流的视频帧图像后，电子设备可以根据每一视频帧图像的主色调比例，从视频帧图像中确定起始跳变视频帧图像和结束跳变视频帧图像。由此，电子设备可以根据起始跳变视频帧图像和结束跳变视频帧图像确定转场开始图像，并根据后续视频流的视频帧图像确定转场结束图像，从而提高了视频转场场景识别的准确度，增加了特效转场场景的命中率。

在一些实施例中，若主色调比例为黑色像素比例，如图5所示，上述步骤S102中逐帧计算每一视频帧图像的主色调比例时，可以具体包括步骤S501至步骤S502。

在步骤S501中，遍历每一视频帧图像的每个像素，若像素的像素值小于第四阈值，则确定像素为黑色像素。

其中，第四阈值可以是预先设定黑色像素的最大像素值。像素值是原稿图像被数字化时由计算机赋予的值，它代表了原稿某一小方块的平均亮度信息，或者说是该小方块的平均反射(透射)密度信息。

在本公开实施例的一种可能的情况下，若视频帧图像为RGB色彩模式下的图像，电子设备可以预先设定第四阈值，按照图像的长和宽遍历每一视频帧图像的每个像素，若像素的像素值小于第四阈值，则确定该像素为黑色像素。若像素的像素值大于或等于第四阈值，则确定该像素并未黑色像素。

作为一种示例，假设第四阈值为RGB(0.5，0.5，0.5)，电子设备按照视图像的长和宽遍历每一视频帧图像的每个像素，若像素在RGB色彩模式下的像素值小于RGB(0.5，0.5，0.5)，则确定该像素为黑色像素。例如，若某一视频帧图像的某一像素的像素至为RGB(0.1，0，0.2)，则确定该像素为黑色像素。若某一视频帧图像的某一像素的像素至为RGB(0.5，0.6，0.6)，则确定该像素不为黑色像素。

在本公开实施例的另一种可能的情况下，电子设备获取到视频流的视频帧图像后，将视频流的每一视频帧图像转换至HSV空间的视频帧图像。电子设备遍历HSV空间下每一视频帧图像的每个像素，若像素的像素值小于第四阈值，则确定该像素为黑色像素。

作为一种示例，假设第四阈值为HSV(0.1，0.1，0.1)，电子设备按照视图像的长和宽遍历每一视频帧图像的每个像素，若像素在HSV空间下的像素值小于RGB(0.1，0.1，0.1)，则确定该像素为黑色像素。例如，若某一视频帧图像的某一像素的像素至为RGB(0.01，0，0.02)，则确定该像素为黑色像素。若某一视频帧图像的某一像素的像素至为RGB(0.5，0.6，0.6)，则确定该像素不为黑色像素。

在步骤S502中，逐帧计算每一视频帧图像中黑色像素的个数与对应的视频帧图像的总像素个数的比值，确定每一视频帧图像的黑色像素比例。

在本公开实施例中，电子设备遍历每一视频帧图像的每个像素，确定每一视频帧图像中的黑色像素后，逐帧计算每一视频帧图像中黑色像素的个数与对应的视频帧图像的总像素个数的比值，确定每一视频帧图像的黑色像素比例。

作为一种示例，假设某一帧视频帧图像的总像素个数为5000，黑色像素个数为4500，则该视频帧图像的黑色像素比例为4500/5000＝9/10。

上述实施例提供的技术方案至少带来以下有益效果：由S501-S502可知，电子设备可以遍历每一视频帧图像的每个像素，若像素的像素值小于第四阈值，则确定像素为黑色像素，然后，电子设备可以根据每一视频帧图像中黑色像素的个数和总像素个数，确定对应视频帧图像的黑色像素比例。由此，在视频转场检测时，电子设备可以将黑色像素比例作为统计特性，以确定转场开始图像和转场结束图像。

在一些实施例中，电子设备还可以采用视频帧图像的像素方差表征图像的颜色变化。如图6所示，上述步骤S102中逐帧计算每一视频帧图像的主色调比例时，还可以具体包括步骤S601。

在步骤S601中，逐帧计算每一视频帧图像的像素方差。

在步骤S602中，根据每一视频帧图像的像素方差，确定每一视频帧图像的主色调比例。

其中，像素方差与主色调比例呈负相关关系。即像素方差越小，表示视频帧图像的颜色变化越少，越为纯色的图像。

在本公开实施例的一种可能的情况下，若电子设备获取到视频流的视频帧图像为RGB色彩空间下的图像，电子设备可以遍历每一视频帧图像在RGB色彩模式下的像素值，进而，根据每一视频帧图像在RGB色彩模式下的像素值，逐帧计算每一视频帧图像的像素方差。

在本公开实施例的另一种可能的情况下，若电子设备获取到视频流的视频帧图像后，可以将视频流的每一视频帧图像转换至HSV空间的视频帧图像，电子设备可以遍历每一视频帧图像在HSV空间下的像素值，进而，根据每一视频帧图像在HSV空间下的像素值，逐帧计算每一视频帧图像的像素方差。

在本公开实施例中，视频流的每一视频帧图像的像素方差与对应的主色调比例呈负相关关系，因此，电子设备逐帧确定每一视频帧图像的像素方差后，可以根据每一视频帧图像的像素方差，确定每一视频帧图像的主色调比例。

在本公开实施例中，电子设备获取到视频流的视频帧图像后，遍历每一视频帧图像的每个像素，确定每一视频帧图像的像素个数和每个像素的像素值。然后，电子设备根据每一视频帧图像的像素个数和每个像素的像素值，确定每一视频帧图像的像素均值。最后，电子设备根据每一视频帧图像的每个像素的像素值与像素均值，确定每一视频帧图像的像素方差，根据每一视频帧图像的所述像素方差，确定每一视频帧图像的主色调比例。由此，根据每一视频帧图像的像素方差可以确定该视频帧图像的颜色变化，

作为一种示例，假设电子设备确定某一视频帧图像的像素个数和每个像素的像素值后，可以将每个像素的像素值加在一起求和，得到该视频帧图像的像素总值。进一步的，计算该视频帧图像的像素总值与像素个数的比值，得到该视频帧图像的像素均值。进而，计算该视频帧图像的每个像素的像素值与像素均值之差的平方的平均数，得到该视频帧图像的像素方差。

上述实施例提供的技术方案至少带来以下有益效果：由S601-S602可知，电子设备可以逐帧计算视频流的每一视频帧图像的像素方差，根据每一视频帧图像的像素方差，确定每一视频帧图像的主色调比例，进而，可以根据每一视频帧图像的主色调比例确定转场开始图像和转场结束图像。由此，在视频软件后期处理过程中，电子设备可以准确的检测出增加了特效动画的视频中的转场开始图像和转场结束图像，提高了视频转场检测的准确度。

可以理解的，在实际实施时，本公开实施例所述的电子设备可以包含有用于实现前述对应数据处理方法的一个或多个硬件结构和/或软件模块，这些执行硬件结构和/或软件模块可以构成一个电子设备。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

图7是根据一示例性实施例示出的一种视频转场的检测装置框图。参照图7，该装置包括获取模块710、计算模块720、第一确定模块730、第二确定模块740以及第三确定模块750。

获取模块710，可以被配置为执行获取视频流的视频帧图像。

计算模块720，可以被配置为执行逐帧计算每一视频帧图像的主色调比例。

第一确定模块730，可以被配置为执行根据每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像。

第二确定模块740，可以被配置为执行根据起始跳变视频帧图像至结束跳变视频帧图像之间的帧数，以及结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像。

第三确定模块750，可以被配置为执行根据转场开始图像后续的视频帧图像的主色调比例，确定转场结束图像。

可选地，第一确定模块730，还可以被配置为执行：

若视频流的一帧视频帧图像的主色调比例大于或等于第一阈值，且一帧视频帧图像的后一帧视频帧图像的主色调比例小于第一阈值，则确定一帧视频帧图像的后一帧视频帧图像为起始跳变视频帧图像；

若视频流的一帧视频帧图像的主色调比例小于第一阈值，且一帧视频帧图像的后续的至少一帧视频帧图像的主色调比例大于或等于第一阈值，则确定一帧视频帧图像为结束跳变视频帧图像。

可选地，第二确定模块740，还可以被配置为执行：

若从起始跳变视频帧图像至结束跳变视频帧图像之间的帧数小于第二阈值，且结束跳变视频帧图像的后一帧视频帧图像的主色调比例大于或等于第一阈值，则确定起始跳变视频帧图像的前一帧视频帧图像为转场开始图像。

可选地，第三确定模块750，还可以被配置为执行：

若转场开始图像后续的一帧视频帧图像的主色调比例小于第一阈值，且转场开始图像至转场开始图像后续的一帧视频帧图像之间的帧数大于或等于第三阈值，则确定转场开始图像后续的一帧视频帧图像为转场结束图像。

可选地，主色调比例为黑色像素比例，计算模块720，还可以被配置为执行：

遍历每一视频帧图像的每个像素，若像素的像素值小于第四阈值，则确定像素为黑色像素；逐帧计算每一视频帧图像中黑色像素的个数与对应的视频帧图像的总像素个数的比值，确定每一视频帧图像的黑色像素比例。

可选地，计算模块720，还可以被配置为执行：

逐帧计算每一视频帧图像的像素方差；根据每一视频帧图像的所述像素方差，确定每一视频帧图像的主色调比例；像素方差与主色调比例呈负相关关系。

可选地，计算模块720，还可以被配置为执行：

遍历每一视频帧图像的每个像素，确定每一视频帧图像的像素个数和每个像素的像素值；根据每一视频帧图像的像素个数和每个像素的像素值，确定每一视频帧图像的像素均值；根据每一视频帧图像的每个像素的像素值与像素均值，确定每一视频帧图像的像素方差。

可选地，该装置还可以包括：

第四确定模块，被配置为执行若从起始跳变视频帧图像至结束跳变视频帧图像之间的帧数大于或等于第二阈值，则在视频流的后续视频帧图像中重新确定转场开始图像；和/或，若转场开始图像后续的一帧视频帧图像的主色调比例小于第一阈值，且转场开始图像至转场开始图像后续的一帧图像之间的帧数小于第三阈值，则在视频流的后续视频帧图像中重新确定转场结束图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例的视频转场的检测装置，在获取到视频流的视频帧图像后，电子设备可以根据每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像，根据起始跳变视频帧图像至结束跳变视频帧图像之间的帧数，以及结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像，根据转场开始图像后续的视频帧图像的主色调比例，确定转场结束图像。由此，电子设备可以根据起始跳变视频帧图像和结束跳变视频帧图像确定转场开始图像，并根据后续视频流的视频帧图像确定转场结束图像，从而提高了视频转场场景识别的准确度，增加了特效转场场景的命中率。

如上所述，本公开实施例可以根据上述方法示例对电子设备进行功能模块的划分。其中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，还需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

为了实现上述实施例，本公开还提出了一种电子设备。

其中，电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述实施例的视频转场的检测方法。

作为一种示例，该电子设备可以是手机、电脑等用户终端。图8是根据一示例性实施例示出的一种电子设备的结构示意图。该电子设备可以包括至少一个处理器81，通信总线82，存储器83以及至少一个通信接口84。

处理器81可以是一个处理器(central processing units，CPU)，微处理单元，ASIC，或一个或多个用于控制本公开方案程序执行的集成电路。

通信总线82可包括一通路，在上述组件之间传送信息。

通信接口84，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如服务器、以太网，无线接入网(radio access network，RAN)，无线局域网(wireless localarea networks，WLAN)等。

存储器83可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。

其中，存储器83用于存储执行本公开方案的应用程序代码，并由处理器81来控制执行。处理器81用于执行存储器83中存储的应用程序代码，从而实现本公开方法中的功能。

在具体实现中，作为一种实施例，处理器81可以包括一个或多个CPU，例如图8中的CPU0和CPU1。

在具体实现中，作为一种实施例，电子设备可以包括多个处理器，例如图8中的处理器81和处理器85。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在具体实现中，作为一种实施例，电子设备还可以包括输入设备86和输出设备87。输入设备86和输出设备87通信，可以以多种方式接受用户的输入。例如，输入设备86可以是鼠标、键盘、触摸屏设备或传感设备等。输出设备87和处理器81通信，可以以多种方式来显示信息。例如，输出设备81可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备等。

本领域技术人员可以理解，图8中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，本公开还提供了一种包括指令的计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由计算机设备的处理器执行时，使得计算机能够执行上述所示实施例提供的视频转场的检测方法。

在示例性实施例中，本公开还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述实施例的视频转场的检测方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频转场的检测方法，其特征在于，包括：

获取视频流的视频帧图像；

逐帧计算每一视频帧图像的主色调比例；

根据所述每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像；

根据所述起始跳变视频帧图像至所述结束跳变视频帧图像之间的帧数，以及所述结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像；

根据所述转场开始图像后续的视频帧图像的所述主色调比例，确定转场结束图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像，包括：

若所述视频流的一帧视频帧图像的所述主色调比例大于或等于第一阈值，且所述一帧视频帧图像的后一帧视频帧图像的所述主色调比例小于所述第一阈值，则确定所述一帧视频帧图像的后一帧视频帧图像为所述起始跳变视频帧图像；

若所述视频流的一帧视频帧图像的所述主色调比例小于所述第一阈值，且所述一帧视频帧图像的后续的至少一帧视频帧图像的所述主色调比例大于或等于所述第一阈值，则确定所述一帧视频帧图像为所述结束跳变视频帧图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述起始跳变视频帧图像至所述结束跳变视频帧图像之间的帧数，以及所述结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像，包括：

若从所述起始跳变视频帧图像至所述结束跳变视频帧图像之间的帧数小于第二阈值，且所述结束跳变视频帧图像的后一帧视频帧图像的主色调比例大于或等于所述第一阈值，则确定所述起始跳变视频帧图像的前一帧视频帧图像为所述转场开始图像。

4.根据权利要求1所述的方法，其特征在于，所述根据所述转场开始图像后续的视频帧图像的所述主色调比例，确定转场结束图像，包括：

若所述转场开始图像后续的一帧视频帧图像的主色调比例小于所述第一阈值，且所述转场开始图像至所述转场开始图像后续的一帧视频帧图像之间的帧数大于或等于第三阈值，则确定所述转场开始图像后续的一帧视频帧图像为所述转场结束图像。

5.根据权利要求1所述的方法，其特征在于，所述主色调比例为黑色像素比例，所述逐帧计算每一视频帧图像的主色调比例，包括：

遍历所述每一视频帧图像的每个像素，若所述像素的像素值小于第四阈值，则确定所述像素为黑色像素；

逐帧计算所述每一视频帧图像中所述黑色像素的个数与对应的视频帧图像的总像素个数的比值，确定所述每一视频帧图像的所述黑色像素比例。

6.根据权利要求1所述的方法，其特征在于，所述逐帧计算每一视频帧图像的主色调比例，包括：

逐帧计算每一视频帧图像的像素方差；

根据所述每一视频帧图像的所述像素方差，确定所述每一视频帧图像的所述主色调比例；所述像素方差与所述主色调比例呈负相关关系。

7.一种视频转场的检测装置，其特征在于，包括：

获取模块，被配置为执行获取视频流的视频帧图像；

计算模块，被配置为执行逐帧计算每一视频帧图像的主色调比例；

第一确定模块，被配置为执行根据所述每一视频帧图像的主色调比例，确定起始跳变视频帧图像和结束跳变视频帧图像；

第二确定模块，被配置为执行根据所述起始跳变视频帧图像至所述结束跳变视频帧图像之间的帧数，以及所述结束跳变视频帧图像的后一帧视频帧图像的主色调比例，确定转场开始图像；

第三确定模块，被配置为执行根据所述转场开始图像后续的视频帧图像的所述主色调比例，确定转场结束图像。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的视频转场的检测方法。

9.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的视频转场的检测方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至6中任一项所述的视频转场的检测方法。

Images