CN111988600A - 一种视频镜头切换的检测方法、装置及终端设备 - Google Patents

Abstract

本发明适用于视频检测技术领域，提供了一种视频镜头切换的检测方法、装置及终端设备，通过从待检测的视频中截取两帧图像，该两帧图像分别为第一帧图像和第二帧图像，再计算第一帧图像和第二帧图像的色彩直方图相似度和轮廓帧差，然后根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换，通过色彩直方图相似度和轮廓帧差相结合，实现了一种准确率高、鲁棒性强的视频镜头切换的检测方法。

Description

一种视频镜头切换的检测方法、装置及终端设备

技术领域

本发明属于视频检测技术领域，尤其涉及一种视频镜头切换的检测方法、装置及终端设备。

背景技术

随着多媒体技术和互联网的快速发展，各类视频信息广泛地出现在人们的日常生活中，很多视频相关的内容和服务不断地出现并丰富着人们的生活，在人们的日常生活中扮演着重要角色。

然而，视频信息是一种数据量极大，抽象程度低且非结构化的信息数据，对视频内容进行检索、分析及处理等工作存在着很大的困难，因此，有必要将连续图像组成的视频进行一定的分割以便于进行视频信息管理和处理。

视频信息可分为视频序列、场景、镜头和帧这四级结构，其中镜头是较为适合作为视频的基本分割单元，因此有效地检测视频镜头的切换是对视频信息进行分割处理的一项重要技术，然而，现有的视频镜头切换的检测方法如帧差法、光流法以及基于直方图、小波特征等特征相似度的方法，存在着准确率低、鲁棒性不足等问题。

发明内容

有鉴于此，本发明实施例提供了一种视频镜头切换的检测方法、装置及终端设备，以解决现有的视频镜头切换的检测方法存在着准确率低、鲁棒性不足的问题。

本发明实施例的第一方面提供了一种视频镜头切换的检测方法，包括：

从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像；

计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差；

根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

本发明实施例的第二方面提供了一种视频镜头切换的检测装置，包括：

图像截取单元，用于从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像；

相似度和帧差计算单元，用于计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差；

镜头切换确认单元，用于根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

本发明实施例的第一方面提供了一种终端设备，包括：

存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明实施例的第一方面提供的视频镜头切换的检测方法的步骤。

其中，所述计算机程序包括：

图像截取单元，用于从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像；

相似度和帧差计算单元，用于计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差；

镜头切换确认单元，用于根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明实施例的第一方面提供的视频镜头切换的检测方法的步骤。

其中，所述计算机程序包括：

图像截取单元，用于从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像；

相似度和帧差计算单元，用于计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差；

镜头切换确认单元，用于根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

本发明实施例与现有技术相比存在的有益效果是：通过从待检测的视频中截取两帧图像，该两帧图像分别为第一帧图像和第二帧图像，再计算第一帧图像和第二帧图像的色彩直方图相似度和轮廓帧差，然后根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换，通过色彩直方图相似度和轮廓帧差相结合，实现了一种准确率高、鲁棒性强的视频镜头切换的检测方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种视频镜头切换的检测方法的实现流程图；

图2是本发明实施例提供的一种计算第一帧图像和第二帧图像的色彩直方图相似度的方法的具体实现流程图；

图3是本发明实施例提供的一种计算第一帧图像和第二帧图像的轮廓帧差的方法的具体实现流程图；

图4是本发明实施例提供的一种确定第一帧图像是否发生了镜头切换的方法的具体实现流程图；

图5是本发明实施例提供的一种视频镜头切换的检测装置的示意图；

图6是本发明实施例提供的一种终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。请参考图1，图1示出了本发明实施例提供的一种视频镜头切换的检测方法的实现流程，详述如下：

在步骤S101中，从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像。

在本发明实施例中，按顺序从待检测的视频中截取相邻的两帧图像，或者间隔预设帧数，从待检测的视频中截取两帧图像。

在这里，可以将最后截取的一帧图像，即当前帧设定为第一帧图像，前一帧图像设定为第二帧图像，即第一帧图像为当前截取的一帧图像，第二帧图像为在第一帧图像之前截取的另外一帧图像。

作为本发明的另一个实施例，所截取的两帧图像具体为从待检测的视频的预设帧数内，随机抽取的两帧图像，并将时间戳在前的一帧设定为第一帧图像，将时间戳在后的一帧设定为第二帧图像。

可以理解的是，当在第一帧图像之后再截取另外一帧图像时，该第一帧图像即转变为第二帧图像，当前截取的另外一帧图像即为第一帧图像。也就是说第一帧图像和第二帧图像并不是固定的两帧图像，而是变化的两帧图像，并且当前截取的一帧图像为第一帧图像，在第一帧图像之前截取的另外一帧图像为第二帧图像，也就是说第一帧图像对应为当前帧图像。

在这里，间隔预设帧数，从待检测的视频中截取两帧图像，是为了进一步提高检测的速度，这是因为视频中往往间隔十几帧甚至数十帧才会出现镜头切换，通过间隔预设帧数，从待检测的视频中截取两帧图像，比如当预设帧数为4时，并且所截取的第一帧图像为第一帧对应的图像，那么，所要截取的第二帧图像即为第五帧对应的图像。

可选的，为了降低视频镜头切换检测的运算量，提高视频镜头切换的运算速度，在步骤S101之后，还包括：

分别对所述第一帧图像和所述第二帧图像进行缩小处理。

在本发明实施例中，为了降低对视频进行镜头切换检测的运算量，先分别按截取的顺序对第一帧图像和第二帧图像进行缩小处理，以使得第一帧图像和第二帧图像的尺寸缩小到预设尺寸，该预设尺寸优选为200*200到400*400。

在步骤S102中，计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差。

在本发明实施例中，通过第一预设公式计算第一帧图像和第二帧图像的色彩直方图相似度；通过第二预设公式计算第一帧图像和第二帧图像的轮廓帧差，这里所指的轮廓帧差，实质为与第一帧图像对应的第一轮廓特征图和与第二帧图像对应的第二轮廓特征图的平均绝对误差。

在这里，第一预设公式具体为：

其中，HSIM表示色彩直方图相似度；

p_i表示所述第四帧图像对应的色彩直方图向量中的一个数值，c_i表示所述第三帧图像对应的色彩直方图向量中的一个数值，n表示向量维度；

hist_p＝(p₀,p₁,…,p_n)表示所述第四帧图像对应的色彩直方图向量；hist_c＝(c₀,c₁,…,c_n)表示所述第三帧图像对应的色彩直方图向量。

在这里，向量维度n的值优选为[10-40]之间的任意一个数值，其中n为正整数，实则上，这里所指的向量维度n为下文中的bin值。

在这里，第二预设公式具体为：

其中，EMAE表示轮廓帧差；edge_p表示第二帧图像对应的第二轮廓特征图，edge_c表示第一帧图像对应的第一轮廓特征图；m和n分别表示两帧轮廓特征图的宽和高；||·||₁表示一范数。

可以理解的，由于是按预设尺寸对第一帧图像和第二帧图像进行缩小的，对应的第一帧图像和第二帧图像的尺寸是相同的，那么第一帧图像和第二帧图像对应的轮廓特征图的宽高也是相同的。

可选的，请参考图2，图2示出了本发明实施例提供的一种计算第一帧图像和第二帧图像的色彩直方图相似度的方法的具体实现流程，详述如下：

在步骤S201中，将所述第一帧图像和所述第二帧图像从RGB色彩空间转换到预设色彩空间，得到对应的第三帧图像和第四帧图像。

在本发明实施例中，第三帧图像对应为第一帧图像进行色彩空间转换后的图像，第四帧图像对应为第二帧图像进行色彩空间转换后的图像。

在这里，预设色彩空间包括但不限于HIS色彩空间、YUV色彩空间。其中，HSI色彩空间是从人的视觉系统出发，用色调(Hue)、色饱和度(Saturation或Chroma)和亮度(Intensity或Brightness)来描述色彩；YUV是通过亮度-色差来描述颜色的颜色空间。

可以理解的是，预设色彩空间同时考虑到亮度、饱和度和色彩等方面，而不仅仅是如同RGB色彩空间那样仅考虑到色彩方面，从而能够根据亮度、饱和度和色彩等方面来更好地检测到视频镜头的切换，提高了视频镜头的切换识别率，使得检测精确度相应地提高了。

在步骤S202中，根据所述第三帧图像和所述第四帧图像的色彩空间的通道数对图像进行拆分，并分别统计所述第三帧图像和所述第四帧图像的每个通道对应的直方图。

在本发明实施例中，根据第三帧图像和第四帧图像的色彩空间的通道数对图像进行拆分，是按照色彩空间的通道数对第三帧图像和第四帧图像进行拆分处理后，再统计得到每个通道对应的一个直方图，这样每帧图像将得到与色彩空间的通道数相同的多个直方图。

在得到第三帧图像和第四帧图像对应的多个直方图后，将该直方图的bin值限定在预设阈值范围内，该预设阈值优选为[10-40]，即在步骤S202之后，还包括：

分别将所述第三帧图像和所述第四帧图像的每个通道对应的直方图的bin值限定在预设阈值范围内。

在这里，将每个通道对应的直方图的bin值限定在预设阈值范围内，可以提高算法的鲁棒性，从而提高检测视频镜头的切换的鲁棒性。

在步骤S203中，分别将所述第三帧图像和所述第四帧图像的每个通道对应的直方图的向量拼接成一个色彩直方图向量。

在本发明实施例中，每帧图像对应的色彩直方图为由该帧图像的对应的多个直方图拼接而成，目的是通过单独统计各个通道的直方图以提高视频镜头切换的检测准确性。

在这里，在统计每帧图像各个通道对应的直方图后，再分别计算各个通道对应的直方图的向量，将计算得到的各个通道对应的直方图的向量进行拼接，得到一个色彩直方图向量。

在这里，通过对按照色彩空间的通道数对第三帧图像和第四帧图像进行拆分处理后，再统计得到每个通道对应的一个直方图，再将每帧图像对应的多个直方图的向量进行拼接得到一个色彩直方图向量，从而提高了视频镜头切换的检测准确性和增强了视频镜头切换的检测的鲁棒性

作为本发明的一个实施例，当第一帧图像和第二帧图像所间隔的帧数越大时，截取该两帧图像的时间差越大，并且由于第二帧图像的截取时间先于第一帧图像的截取时间，这时，可以先统计第二帧图像的每个色彩通道对应的直方图，以得到由三个色彩通道对应的直方图的向量拼接而成的色彩直方图向量，然后将该色彩直方图向量写入到缓存中，以便于在得到第一帧图像对应的色彩直方图向量时，读取该第二帧图像对应的色彩直方图向量来计算两者的色彩直方图相似度。在读取第二帧图像对应的色彩直方图向量的同时，从缓存中清除该第二帧图像对应的色彩直方图向量，并将第一帧图像对应的色彩直方图向量写入到缓冲中，以便于下一次的读取，从而使得不再需要计算该帧图像对应的色彩直方图向量，减少了检测过程的运算量，提高了检测的速度。

在步骤S204中，根据所述第三帧图像和所述第四帧图像对应的色彩直方图向量，通过第一预设公式计算所述第一帧图像和所述第二帧图像的色彩直方图相似度。

在本发明实施例中，将拼接得到的第三帧图像和第四帧图像，即第一帧图像和第二帧图像对应的色彩直方图向量，代入第一预设公式中进行计算，以得到两帧图像的色彩直方图相似度。

可选的，请参考图3，图3示出了本发明实施例提供的一种计算第一帧图像和第二帧图像的轮廓帧差的方法的具体实现流程，详述如下：

在步骤S301中，对所述第一帧图像和所述第二帧图像进行灰度化处理。

在本发明实施例中，在计算第一帧图像和第二帧图像的轮廓帧差之前，先对第一帧图像和第二帧图像进行灰度化处理，以使得第一帧图像和第二帧图像转化灰度图像，以提高边缘轮廓的提取效率以及正确率。

在步骤S302中，提取经灰度化处理后的所述第一帧图像和所述第二帧图像的边缘轮廓，得到与所述第一帧图像对应的第一轮廓特征图和与所述第二帧图像对应的第二轮廓特征图。

在本发明实施例中，通过sobel、Canny等边缘检测或轮廓提取算子，提取已转化为灰度图像的第一帧图像和第二帧图像的边缘轮廓，得到与第一帧图像对应的第一轮廓特征图和与第二帧图像对应的第二轮廓特征图。

作为本发明的一个实施例，当第一帧图像和第二帧图像所间隔的帧数越大时，截取该两帧图像的时间差越大，并且由于第二帧图像的截取时间先于第一帧图像的截取时间，这时，可以先提取经灰度化处理后的与第二帧图像对应的第四帧图像的边缘轮廓，得到对应的第二轮廓特征图，然后将该第二轮廓特征图写入到缓存中，以便于在得到第一帧图像对应的第一轮廓特征图时，读取该第二帧图像对应的第二轮廓特征图来计算两者的轮廓帧差。在读取第二帧图像对应的第二轮廓特征图的同时，从缓存中清除该第二帧图像对应的第二轮廓特征图，并将第一帧图像对应的第一轮廓特征图写入到缓冲中，以便于下一次的读取，从而使得不再需要计算该帧图像对应的轮廓特征图，减少了检测过程的运算量，提高了检测的速度。

可以理解的是，将第二帧图像或者第一帧图像的色彩直方图向量和轮廓特征图写入到缓存中可以是同步进行的，也可以是异步进行的。当得到第二帧图像或者第一帧图像的色彩直方图向量和轮廓特征图的时间是相同或者不同时，可以将其同步写入到缓存中；或者在得到第二帧图像或者第一帧图像的色彩直方图向量和轮廓特征图的时间不同时，将先得到的色彩直方图向量或者轮廓特征图写入到缓存中。

在步骤S303中，通过第二预设公式，计算所述第一轮廓特征图和所述第二轮廓特征图的轮廓帧差。

在本发明实施例中，在得到与第一帧图像对应的第一轮廓特征图和与第二帧图像对应的第二轮廓特征图后，再获取第一帧图像和第二帧图像的宽高信息，通过第二预设公式计算第一轮廓特征图和第二轮廓特征图的轮廓帧差。

在步骤S103中，根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

在本发明实施例中，根据计算得到的色彩直方图相似度和轮廓帧差，以及两者对应的预设阈值进行比较，根据比较的结果以确定第一帧图像相对第二帧图像是否发生了镜头切换，即确定获取第一帧图像的镜头相对获取第二帧图像的镜头，是否发生了镜头切换。

其中色彩直方图相似度对应的预设阈值为预设相似度阈值，该预设相似度阈值优选为[0.8,0.95]之间的任意数值；轮廓帧差对应的预设阈值为预设帧差阈值，该预设帧差阈值优选为[20,40]之间的任意数值，进一步优选为25。

可选的，请参考图4，图4示出了本发明实施例提供的一种确定第一帧图像是否发生了镜头切换的方法的具体实现流程，详述如下：

在步骤S401中，将所述色彩直方图相似度与预设相似度阈值进行比较。

在步骤S402中，将所述轮廓帧差与预设帧差阈值进行比较。

在本发明实施例中，步骤S401和步骤S402可以同步进行，也可以先后进行，并且步骤S401和S402并无先后之分。

在步骤S403中，若所述色彩直方图相似度小于预设相似度阈值，且所述轮廓帧差大于预设帧差阈值，则确定所述第一帧图像相对所述第二帧图像发生了镜头切换。

在步骤S404中，若所述色彩直方图相似度大于或等于预设相似度阈值，或者所述轮廓帧差小于或等于预设帧差阈值，则确定所述第一帧图像相对所述第二帧图像未发生镜头切换。

在本发明实施中，根据色彩直方图相似度和预设相似度阈值，以及轮廓帧差与预设帧差阈值的比较结果来确定第一帧图像相对所述第二帧图像是否发生了镜头切换，并在色彩直方图相似度小于预设阈值，且轮廓帧差大于预设帧差阈值时，认为第一帧图像相对第二帧图像为发生了镜头切换的帧。

可选的，在步骤S103之后，还包括下述步骤：

确定所述第一帧图像是否为所述待检测视频中的最后一帧图像；

若所述第一帧图像不为所述待检测视频中的最后一帧图像，则继续执行步骤S101至步骤S103。

在本发明实施例中，通过从待检测的视频中截取两帧图像，该两帧图像分别为第一帧图像和第二帧图像，再计算第一帧图像和第二帧图像的色彩直方图相似度和轮廓帧差，然后根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换，通过色彩直方图相似度和轮廓帧差相结合，实现了一种准确率高、鲁棒性强的视频镜头切换的检测方法。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑控制，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的一种视频镜头切换的检测方法，图5示出了本发明实施例提供的一种视频镜头切换的检测装置的示意图，为了便于说明，仅示出了与本发明实施例相关的部分。

参照图5，所述装置包括：

图像截取单元51，用于从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像；

相似度和帧差计算单元52，用于计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差；

镜头切换确认单元53，用于根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

可选的，所述装置还包括：

图像缩小单元，用于分别对所述第一帧图像和所述第二帧图像进行缩小处理。

可选的，所述相似度和帧差计算单元52包括：

色彩空间转换子单元，用于将所述第一帧图像和所述第二帧图像从RGB色彩空间转换到预设色彩空间，得到对应的第三帧图像和第四帧图像，其中，所述第三帧图像对应为所述第一帧图像进行色彩空间转换后的图像，第四帧图像对应为所述第二帧图像进行色彩空间转换后的图像；

通道拆分及统计子单元，用于根据所述第三帧图像和所述第四帧图像的色彩空间的通道数对图像进行拆分，并分别统计所述第三帧图像和所述第四帧图像的每个通道对应的直方图；

直方图向量拼接子单元，用于分别将所述第三帧图像和所述第四帧图像的每个通道对应的直方图的向量拼接成一个色彩直方图向量；

色彩直方图相似度计算子单元，用于根据所述第三帧图像和所述第四帧图像对应的色彩直方图向量，通过第一预设公式计算所述第一帧图像和所述第二帧图像的色彩直方图相似度。

可选的，所述相似度和帧差计算单元52还包括：

范围限定子单元，用于分别将所述第三帧图像和所述第四帧图像的每个通道对应的直方图的bin值限定在预设阈值范围内。

可选的，所述第一预设公式具体为：

其中，HSIM表示色彩直方图相似度；

p_i表示所述第四帧图像对应的色彩直方图向量中的一个数值，c_i表示所述第三帧图像对应的色彩直方图向量中的一个数值，n表示向量维度；

hist_p＝(p₀,p₁,…,p_n)表示所述第四帧图像对应的色彩直方图向量；hist_c＝(c₀,c₁,…,c_n)表示所述第三帧图像对应的色彩直方图向量。

可选的，所述相似度和帧差计算单元52包括：

灰度化处理处理子单元，用于对所述第一帧图像和所述第二帧图像进行灰度化处理；

边缘轮廓提取子单元，用于提取经灰度化处理后的所述第一帧图像和所述第二帧图像的边缘轮廓，得到与所述第一帧图像对应的第一轮廓特征图和与所述第二帧图像对应的第二轮廓特征图；

轮廓帧差计算子单元，用于通过第二预设公式，计算所述第一轮廓特征图和所述第二轮廓特征图的轮廓帧差。

可选的，所述第二预设公式具体为：

其中，EMAE表示轮廓帧差；edge_p表示第二帧图像对应的第二轮廓特征图，edge_c表示第一帧图像对应的第一轮廓特征图；m和n分别表示两帧轮廓特征图的宽和高；||·||₁表示一范数。

可选的，所述镜头切换确认单元53包括：

相似度比较子单元，用于将所述色彩直方图相似度与预设相似度阈值进行比较；

帧差比较子单元，用于将所述轮廓帧差与预设帧差阈值进行比较；

第一镜头切换确认子单元，用于若所述色彩直方图相似度小于预设相似度阈值，且所述轮廓帧差大于预设帧差阈值，则确定所述第一帧图像相对所述第二帧图像发生了镜头切换；

第二镜头切换确认子单元，用于若所述色彩直方图相似度大于或等于预设相似度阈值，或者所述轮廓帧差小于或等于预设帧差阈值，则确定所述第一帧图像相对所述第二帧图像未发生镜头切换。

在本发明实施例中，通过从待检测的视频中截取两帧图像，该两帧图像分别为第一帧图像和第二帧图像，再计算第一帧图像和第二帧图像的色彩直方图相似度和轮廓帧差，然后根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换，通过色彩直方图相似度和轮廓帧差相结合，实现了一种准确率高、鲁棒性强的视频镜头切换的检测方法。

图6是本发明一实施例提供的一种终端设备的示意图。如图6所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个视频镜头切换的检测方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器60执行所述计算机程序62时实现上述各系统实施例中各单元的功能，例如图5所示模块51至53的功能。

示例性的，所述计算机程序62可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。例如，所述计算机程序62可以被分割成图像截取单元51、相似度和帧差计算单元52、镜头切换确认单元53，各单元具体功能如下：

图像截取单元51，用于从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像；

相似度和帧差计算单元52，用于计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差；

镜头切换确认单元53，用于根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

可选的，所述计算机程序62还可以被分割成图像缩小单元，该单元具体功能如下：

图像缩小单元，用于分别对所述第一帧图像和所述第二帧图像进行缩小处理。

可选的，所述相似度和帧差计算单元52包括：

色彩空间转换子单元，用于将所述第一帧图像和所述第二帧图像从RGB色彩空间转换到预设色彩空间，得到对应的第三帧图像和第四帧图像，其中，所述第三帧图像对应为所述第一帧图像进行色彩空间转换后的图像，第四帧图像对应为所述第二帧图像进行色彩空间转换后的图像；

通道拆分及统计子单元，用于根据所述第三帧图像和所述第四帧图像的色彩空间的通道数对图像进行拆分，并分别统计所述第三帧图像和所述第四帧图像的每个通道对应的直方图；

直方图向量拼接子单元，用于分别将所述第三帧图像和所述第四帧图像的每个通道对应的直方图的向量拼接成一个色彩直方图向量；

色彩直方图相似度计算子单元，用于根据所述第三帧图像和所述第四帧图像对应的色彩直方图向量，通过第一预设公式计算所述第一帧图像和所述第二帧图像的色彩直方图相似度。

可选的，所述相似度和帧差计算单元52还包括：

范围限定子单元，用于分别将所述第三帧图像和所述第四帧图像的每个通道对应的直方图的bin值限定在预设阈值范围内。

可选的，所述第一预设公式具体为：

其中，HSIM表示色彩直方图相似度；

p_i表示所述第四帧图像对应的色彩直方图向量中的一个数值，c_i表示所述第三帧图像对应的色彩直方图向量中的一个数值，n表示向量维度；

hist_p＝(p₀,p₁,…,p_n)表示所述第四帧图像对应的色彩直方图向量；hist_c＝(c₀,c₁,…,c_n)表示所述第三帧图像对应的色彩直方图向量。

可选的，所述相似度和帧差计算单元52包括：

灰度化处理处理子单元，用于对所述第一帧图像和所述第二帧图像进行灰度化处理；

边缘轮廓提取子单元，用于提取经灰度化处理后的所述第一帧图像和所述第二帧图像的边缘轮廓，得到与所述第一帧图像对应的第一轮廓特征图和与所述第二帧图像对应的第二轮廓特征图；

轮廓帧差计算子单元，用于通过第二预设公式，计算所述第一轮廓特征图和所述第二轮廓特征图的轮廓帧差。

可选的，所述第二预设公式具体为：

其中，EMAE表示轮廓帧差；edge_p表示第二帧图像对应的第二轮廓特征图，edge_c表示第一帧图像对应的第一轮廓特征图；m和n分别表示两帧轮廓特征图的宽和高；||·||₁表示一范数。

可选的，所述镜头切换确认单元53包括：

相似度比较子单元，用于将所述色彩直方图相似度与预设相似度阈值进行比较；

帧差比较子单元，用于将所述轮廓帧差与预设帧差阈值进行比较；

第一镜头切换确认子单元，用于若所述色彩直方图相似度小于预设相似度阈值，且所述轮廓帧差大于预设帧差阈值，则确定所述第一帧图像相对所述第二帧图像发生了镜头切换；

第二镜头切换确认子单元，用于若所述色彩直方图相似度大于或等于预设相似度阈值，或者所述轮廓帧差小于或等于预设帧差阈值，则确定所述第一帧图像相对所述第二帧图像未发生镜头切换。

所述终端设备6可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的系统/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，系统或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (11)

1.一种视频镜头切换的检测方法，其特征在于，所述方法包括：

从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像；

计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差；

根据计算得到的色彩直方图相似度和轮廓帧差以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

2.如权利要求1所述的视频镜头切换的检测方法，其特征在于，在所述计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差的步骤之前，还包括：

分别对所述第一帧图像和所述第二帧图像进行缩小处理。

3.如权利要求1或2所述的视频镜头切换的检测方法，其特征在于，所述计算所述第一帧图像和所述第二帧图像的色彩直方图相似度的步骤，包括：

将所述第一帧图像和所述第二帧图像从RGB色彩空间转换到预设色彩空间，得到对应的第三帧图像和第四帧图像，其中，所述第三帧图像对应为所述第一帧图像进行色彩空间转换后的图像，第四帧图像对应为所述第二帧图像进行色彩空间转换后的图像；

根据所述第三帧图像和所述第四帧图像的色彩空间的通道数对图像进行拆分，并分别统计所述第三帧图像和所述第四帧图像的每个通道对应的直方图；

分别将所述第三帧图像和所述第四帧图像的每个通道对应的直方图的向量拼接成一个色彩直方图向量；

根据所述第三帧图像和所述第四帧图像对应的色彩直方图向量，通过第一预设公式计算所述第一帧图像和所述第二帧图像的色彩直方图相似度。

4.如权利要求3所述的视频镜头切换的检测方法，其特征在于，在所述根据所述第三帧图像和所述第四帧图像的色彩空间的通道数对图像进行拆分，并分别统计所述第三帧图像和所述第四帧图像的每个通道对应的直方图的步骤之后，还包括：

分别将所述第三帧图像和所述第四帧图像的每个通道对应的直方图的bin值限定在预设阈值范围内。

5.如权利要求3所述的视频镜头切换的检测方法，其特征在于，所述第一预设公式具体为：

其中，HSIM表示色彩直方图相似度；

p_i表示所述第四帧图像对应的色彩直方图向量中的一个数值，c_i表示所述第三帧图像对应的色彩直方图向量中的一个数值，n表示向量维度；

hist_p＝(p₀,p₁,…,p_n)表示所述第四帧图像对应的色彩直方图向量；hist_c＝(c₀,c₁,…,c_n)表示所述第三帧图像对应的色彩直方图向量。

6.如权利要求1或2所述的视频镜头切换的检测方法，其特征在于，所述计算所述第一帧图像和所述第二帧图像的轮廓帧差的步骤，包括：

对所述第一帧图像和所述第二帧图像进行灰度化处理；

提取经灰度化处理后的所述第一帧图像和所述第二帧图像的边缘轮廓，得到与所述第一帧图像对应的第一轮廓特征图和与所述第二帧图像对应的第二轮廓特征图；

通过第二预设公式，计算所述第一轮廓特征图和所述第二轮廓特征图的轮廓帧差。

7.如权利要求6所述的视频镜头切换的检测方法，其特征在于，所述第二预设公式具体为：

其中，EMAE表示轮廓帧差；edge_p表示第二帧图像对应的第二轮廓特征图，edge_c表示第一帧图像对应的第一轮廓特征图；m和n分别表示两帧轮廓特征图的宽和高；||·||₁表示一范数。

8.如权利要求1所述的视频镜头切换的检测方法，其特征在于，所述根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换的步骤，具体包括：

将所述色彩直方图相似度与预设相似度阈值进行比较；

将所述轮廓帧差与预设帧差阈值进行比较；

若所述色彩直方图相似度小于预设相似度阈值，且所述轮廓帧差大于预设帧差阈值，则确定所述第一帧图像相对所述第二帧图像发生了镜头切换；

若所述色彩直方图相似度大于或等于预设相似度阈值，或者所述轮廓帧差小于或等于预设帧差阈值，则确定所述第一帧图像相对所述第二帧图像未发生镜头切换。

9.一种视频镜头切换的检测装置，其特征在于，所述装置包括：

图像截取单元，用于从待检测的视频中截取两帧图像，所述两帧图像分别为第一帧图像和第二帧图像；

相似度和帧差计算单元，用于计算所述第一帧图像和所述第二帧图像的色彩直方图相似度和轮廓帧差；

镜头切换确认单元，用于根据计算得到的色彩直方图相似度和轮廓帧差，以确定所述第一帧图像相对所述第二帧图像是否发生了镜头切换。

10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述视频镜头切换的检测方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述视频镜头切换的检测方法的步骤。

Images