CN114494775A - 视频切分方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种视频切分方法、装置、设备及存储介质，属于视频切分技术领域。本发明通过获取待切分视频的初始切分点；将初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域；通过预设卷积神经网络对相邻两帧的目标关注区域进行特征提取，得到对应的特征向量；根据特征向量进行余弦相似度计算，并根据计算结果得到候选切分点；将候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度；将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点；根据所述目标切分点对所述视频进行切分，提高了视频切分的准确性和灵活性。

Description

视频切分方法、装置、设备及存储介质

技术领域

本发明涉及视频切分技术领域，尤其涉及一种视频切分方法、装置、设备及存储介质。

背景技术

近年来大量人工录制的视频中，经常会有个别帧出现跳变，例如物体一瞬间挡住镜头，物体从镜头前面划过等，从语义上说，场景、主体和镜头都没有变化，不应该切分为不同片段，但大部分前述方法在对前后两帧对比时，会发现存在过大的跳变导致的相似度过低，进而造成误切分，而有些视频存在大块不变区域，例如横屏视频转竖屏时的上下区域填充或竖屏视频转横屏时的左右区域填充，如果不加处理，区域会包含大块的冗余信息，在使用哈希方法提取哈希值的过程中，会引入噪声，进而影响帧相似度的对比，造成误判，导致视频切分不准确。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种视频切分方法、装置、设备及存储介质，旨在解决现有技术视频切分不准确的技术问题。

为实现上述目的，本发明提供了一种视频切分方法，所述方法包括以下步骤:

获取待切分视频的初始切分点；

将所述初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域；

通过预设卷积神经网络对相邻两帧的所述目标关注区域进行特征提取，得到对应的特征向量；

根据所述特征向量进行余弦相似度计算，并根据计算结果从所述初始切分点中进行筛选，得到候选切分点；

将所述候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度；

将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点；

根据所述目标切分点对所述视频进行切分。

可选地，所述将所述初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域，包括：

将所述初始切分点对应的相邻两帧转换为相邻灰度图；

获取相邻灰度图中对应的像素值；

将所述像素值进行计算，得到计算结果；

将所述计算结果小于预设像素阈值的像素值设为第一常数，将所述计算结果大于等于所述预设像素阈值的像素值设为第二常数；

基于所述第一常数和所述第二常数通过预设轮廓提取算法对所述相邻两帧中需要关注区域进行轮廓提取，得到目标关注区域。

可选地，所述根据所述特征向量进行余弦相似度计算，并根据计算结果从所述初始切分点中进行筛选，得到候选切分点，包括：

将所特征向量进行余弦相似度计算，得到第一余弦相似度；

将所述第一余弦相似度与第一预设余弦相似度阈值进行比较；

在所述第一余弦相似度小于所述第一预设余弦相似度阈值时，基于所述第一余弦相似度对所述初始切分点进行筛选，得到候选切分点。

可选地，所述根据所述目标切分点对所述视频进行切分，包括：

计算所述目标切分点对应的切分片段的片段哈希均值；

计算相邻片段的片段哈希均值的第二余弦相似度，并将所述第二余弦相似度与第二预设余弦相似度阈值进行比较；

在所述第二余弦相似度大于所述第二预设余弦相似度阈值时，将所述第二余弦相似度对应的相邻片段进行合并，完成视频切分。

可选地，所述获取待切分视频的初始切分点，包括：

获取待切分视频，并将所述待切分视频进行抽帧，得到各视频帧；

获取各视频帧对应的图像，并将所述图像进行缩放并转换为灰度图像；

将所述灰度图像进行离散余弦变换，得到离散余弦变换系数矩阵；

通过预设筛选规则对所述离散余弦变换系数矩阵进行筛选，得到目标像素矩阵；

将所述目标像素矩阵与预设像素均值进行比对计算，得到各视频帧的感知哈希值；

基于所述各视频帧中相邻两帧的感知哈希值计算哈希相似度；

根据所述哈希相似度的计算结果得到待切分视频的初始切分点。

可选地，所述根据所述哈希相似度的计算结果得到初始切分点，包括：

将所述哈希相似度与预设哈希相似度阈值进行比较；

在所述哈希相似度小于所述预设哈希相似度阈值时，将所述哈希相似度对应的当前帧作为初始切分点。

可选地，所述基于所述各视频帧中相邻两帧的感知哈希值计算哈希相似度，包括：

统计所述各视频帧中相邻两帧的感知哈希值中的二进制串的数量；

在所述二进制串中位置相同的数量小于预设二进制串数量时，根据所述二进制串中位置相同的数量得到哈希相似度。

此外，为实现上述目的，本发明还提出一种视频切分装置，所述视频切分装置包括：

获取模块，用于获取待切分视频的初始切分点；

比较模块，用于将所述初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域；

提取模块，用于通过预设卷积神经网络对相邻两帧的所述目标关注区域进行特征提取，得到对应的特征向量；

计算模块，用于根据所述特征向量进行余弦相似度计算，并根据计算结果从所述初始切分点中进行筛选，得到候选切分点；

加权模块，用于将所述候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度；

排序模块，用于将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点；

切分模块，用于根据所述目标切分点对所述视频进行切分。

此外，为实现上述目的，本发明还提出一种视频切分设备，所述视频切分设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频切分程序，所述视频切分程序配置为实现如上文所述的视频切分方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视频切分程序，所述视频切分程序被处理器执行时实现如上文所述的视频切分方法的步骤。

本发明通过获取待切分视频的初始切分点；将初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域；通过预设卷积神经网络对相邻两帧的目标关注区域进行特征提取，得到对应的特征向量；根据特征向量进行余弦相似度计算，并根据计算结果得到从初始切分点中进行筛选，得到候选切分点；将候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度；将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点；根据所述目标切分点对所述视频进行切分，通过对切分点进行多次筛选，得到目标切分点，提高了视频切分的准确性和灵活性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的视频切分设备的结构示意图；

图2为本发明视频切分方法第一实施例的流程示意图；

图3为本发明视频切分方法第二实施例的流程示意图；

图4为本发明视频切分方法第三实施例的流程示意图；

图5为本发明视频切分方法第四实施例的流程示意图；

图6为本发明视频切分方法第五实施例的流程示意图；

图7为本发明视频切分方法一实施例中的整体流程示意图；

图8为本发明视频切分装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的视频切分设备结构示意图。

如图1所示，该视频切分设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对视频切分设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频切分程序。

在图1所示的视频切分设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明视频切分设备中的处理器1001、存储器1005可以设置在视频切分设备中，所述视频切分设备通过处理器1001调用存储器1005中存储的视频切分程序，并执行本发明实施例提供的视频切分方法。

本发明实施例提供了一种视频切分方法，参照图2，图2为本发明视频切分方法第一实施例的流程示意图。

本实施例中，所述视频切分方法包括以下步骤：

步骤S10：获取待切分视频的初始切分点。

需要说明的是，本实施例的执行主体为视频切分的图形处理器，还可为其它可实现相同或相似功能的设备，本实施例对此不加以限定。待切分视频为用户上传的需要切分的原始视频。

在本实施例中，初始切分点指的是对原始视频进行基于图片的哈希相似度计算，得到的初始切分点，通过对原始视频进行抽帧并对抽帧后的原始视频中的相邻两帧进行哈希相似度计算，当哈希相似度达到预设的阈值时，将原始视频中的相邻两帧中的当前帧作为初始视频切分点。

可以理解的是，当检测到用户上传的原始视频后，通过对原始视频进行基于图片的哈希相似度计算，得到初始切分点。

步骤S20：将所述初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域。

应理解的是，初始切分点对应的相邻两帧为当前帧和上一帧。需要关注区域指的是相邻两帧中的当前帧图像和上一帧图像中背景内容，目标关注区域指的是将当前帧图像和上一帧图像中背景内容中的与内容无关的大片边缘填充的内容进行筛选并去除，得到的与视频内容有关的背景内容。

在具体实施中，获取当前帧和上一帧的需要关注区域，并将当前帧和上一帧进行比较和计算，通过计算和比较对需要关注区域进行调整得到目标关注区域。

步骤S30：通过预设卷积神经网络对相邻两帧的所述目标关注区域进行特征提取，得到对应的特征向量。

需要说明的是，预设卷积神经网络可为ResNet网络、VggNet网络、MobileNet、SqueezeNet网络等，本实施例以SqueezeNet网络为例进行说明。通过使用小模型的卷积神经网络，使在进行特征提取时可以在任意的GPU(graphics processing unit，图形处理器)设备上就可以运行，提高提取的效率。

在具体实施中，通过预设卷积神经网络的最后一个特征层对当前帧的目标关注区域和上一帧的目标关注区域进行深度特征提取，得到当前帧的目标关注区域的特征向量和上一帧的目标关注区域的特征向量。

步骤S40：根据所述特征向量进行余弦相似度计算，并根据计算结果从所述初始切分点中进行筛选，得到候选切分点。

应理解的是，候选切分点指的是通过余弦相似度计算对初始切分点筛选的切分点。当特征向量的余弦相似度满足设定的余弦相似度阈值时，例如特征向量的余弦相似度大于设定的余弦相似度阈值，可将特征向量对应的相邻两帧从初始切分点中筛选出来，作为候选切分点。或者特征向量的余弦相似度小于等于设定的余弦相似度阈值，可将特征向量对应的相邻两帧从初始切分点中筛选出来作为候选切分点。

在具体实施中，设定的余弦相似度阈值可根据用户需求进行设置，例如0.5、0.7、0.8等，本实施例对此不作限制。

步骤S50：将所述候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度。

在具体实施中，综合相似度为通过指数方式对余弦相似度进行调整，并将调整后的余弦相似度和哈希相似度进行加权得到的相似度。综合相似度为可以反映视频中语义相似和结构相似的综合相似度。综合相似度＝哈希相似度/(深度特征相似度^K)，K的值在本实施例中以1为例进行说明，通过上述关系可计算得到综合相似度。

可以理解的是，候选切分点对应的相邻两帧中的当前帧在进行初始切分点计算时，得到了哈希相似度，通过对当前帧的深度特征提取得到的特征向量进行余弦相似度计算，得到的余弦相似度。通过将余弦相似度和哈希相似度进行加权，得到综合相似度。

步骤S60：将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点。

需要说明的是，目标切分点为最终的视频切分点。预设排序规则为根据候选切分点对应的综合相似度中最小的开始进行的规则。可通过将候选切分点进行聚类，得到聚类中心，并计算综合相似度最小对应的候选切分点与聚类中心中的候选切分点的距离长度，并将此距离长度与预先设置的时间长度进行比较，当距离长度满足预先设置的时间长度时，可将此候选切分点作为目标切分点。

在具体实施中，当候选切分点与聚类中心中的候选切分点之间的距离长度大于预先设置的时间长度，例如三分之一秒时，将此候选切分点作为目标切分点。

步骤S70：根据所述目标切分点对所述视频进行切分。

在具体实施中，可根据目标切分点计算切分点中的每个片段内部的感知哈希均值，并计算相邻片段内部的感知哈希均值的余弦相似度，当感知哈希均值的余弦相似度满足预先设置的余弦相似度时，可将满足预先设置的余弦相似度的感知哈希均值的余弦相似度对应的相邻片段进行合并，完成对视频的切分。

本实施例通过获取待切分视频的初始切分点；将初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域；通过预设卷积神经网络对相邻两帧的目标关注区域进行特征提取，得到对应的特征向量；根据特征向量进行余弦相似度计算，并根据计算结果得到从初始切分点中进行筛选，得到候选切分点；将候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度；将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点；根据所述目标切分点对所述视频进行切分，通过对切分点进行多次筛选，得到目标切分点，提高了视频切分的准确性和灵活性。

参考图3，图3为本发明视频切分方法第二实施例的流程示意图。

基于上述第一实施例，本实施例视频切分方法所述步骤S20，具体包括：

步骤S201：将所述初始切分点对应的相邻两帧转换为相邻灰度图。

应理解的是，相邻灰度图为相邻两帧中的前一帧的灰度图和后一帧的灰度图。

在具体实施中，当根据相邻两帧的感知哈希值计算得到初始切分点后，对初始切分点对应的相邻两帧中的前后两帧转换为相邻灰度图。

步骤S202：获取相邻灰度图中对应的像素值。

步骤S203：将所述像素值进行计算，得到计算结果。

需要说明的是，当得到相邻灰度图后，获取相邻灰度图中前一帧的灰度图的像素值和后一帧的灰度图的像素值，并将前一帧的灰度图的像素值和后一帧的灰度图的像素值做相减计算，得到相减后的像素差值，并取像素差值的绝对值的计算结果。

步骤S204：将所述计算结果小于预设像素阈值的像素值设为第一常数，将所述计算结果大于等于所述预设像素阈值的像素值设为第二常数。

在本实施例中，预设像素阈值为工作人员提前设置的像素差值，例如5、10、20等，本实施例以5为例进行说明。第一常数为0，第二常数为255，当相减后的像素差值小于5时，将像素差值小于5的像素值设置为第一常数0，将像素差值大于等于5的像素值设置为第二常数255。

步骤S205：基于所述第一常数和所述第二常数通过预设轮廓提取算法对所述相邻两帧中需要关注区域进行轮廓提取，得到目标关注区域。

在具体实施中，预设轮廓提取算法为opencv轮廓提取算法，还可为其它可进行轮廓提取的算法，本实施例对此不作限制。通过将像素差值的绝对值小于预设像素阈值的像素值设为第一常数，将像素差值的绝对值大于等于预设像素阈值的像素值设为第二常数，获取一张黑白图，并通过预设轮廓提取算法中的findContours方法在黑白图中查找轮廓，得到相同像素值的轮廓点找到最大的外接矩形，并将最大外接矩形与原始视频中视频帧面积进行比较，避免最大外接矩形的面积过小，当最大外接矩形大于原始视频中视频帧面积的六分之一时，将此矩形的轮廓作为目标关注区域，可自适应调整需要关注的区域，当视频中出现填充区域时，可将填充区域进行筛除，提高图片中相似度计算的准确性。

本实施例通过将所述初始切分点对应的相邻两帧转换为相邻灰度图；获取相邻灰度图中对应的像素值；将所述像素值进行计算，得到计算结果；将所述计算结果小于预设像素阈值的像素值设为第一常数，将所述计算结果大于等于所述预设像素阈值的像素值设为第二常数；基于所述第一常数和所述第二常数通过预设轮廓提取算法对所述相邻两帧中需要关注区域进行轮廓提取，得到目标关注区域，自适应调整需要关注的区域，当视频中出现填充区域时，可将填充区域进行筛除，得到无填充区域的目标关注区域，提高图片中相似度计算的准确性。

参考图4，图4为本发明视频切分方法第三实施例的流程示意图。

基于上述第一和第二实施例，本实施例视频切分方法所述步骤S40，具体包括：

步骤S401：将所特征向量进行余弦相似度计算，得到第一余弦相似度。

应理解的是，特征向量为对上文所述的最大外接矩形进行特征提取的特征向量，将相邻两帧的特征向量进行余弦相似度计算，计算相邻两帧的特征向量之间的距离，即第一余弦相似度。

步骤S402：将所述第一余弦相似度与第一预设余弦相似度阈值进行比较。

在具体实施中，第一预设余弦相似度阈值为工作人员根据视频帧之间的相似度进行设置的阈值，为了更好的区分视频中的相似画面和不相似的画面，将第一预设余弦相似度阈值设置为0.7，可将第一余弦相似度与第一预设余弦相似度阈值进行比较来判断相邻两帧之间的相似性。

步骤S403：在所述第一余弦相似度小于所述第一预设余弦相似度阈值时，基于所述第一余弦相似度对所述初始切分点进行筛选，得到候选切分点。

应理解的是，候选切分点为对初始切分点进行筛选得到的切分点，当第一余弦相似度大于第一预设余弦相似度阈值时，说明相邻两帧在语义上非常相似，不需要进行切分，则相邻两帧中的当前帧从视频的初始切分点中删除，并接着计算当前帧和下一帧的特征向量的第一余弦相似度，接着比较当前帧和下一帧之间的相似性，直至将初始切分点中的所有相邻帧之间的相似性比较完成。当第一余弦相似度小于等于第一预设余弦相似度阈值时，说明相邻两帧在语义上并不相似，可进行切分，则将初始切分点中相邻两帧中的当前帧作为候选切分点，直至将初始切分点中的所有相邻帧之间的相似性比较完成，完成对初始切分点的筛选，得到对应的候选切分点。排除了由于少量跳变帧造成的误判视频切分点的问题，考虑了一些视频片段整体连续，但中间有少量跳变帧，例如手部在镜头前挥动导致画面被遮住造成误判视频不连续而切分的问题。

本实施例通过将所特征向量进行余弦相似度计算，得到第一余弦相似度；将所述第一余弦相似度与第一预设余弦相似度阈值进行比较；在所述第一余弦相似度小于所述第一预设余弦相似度阈值时，基于所述第一余弦相似度对所述初始切分点进行筛选，得到候选切分点，通过对初始切分点进行基于神经网络的图片特征的二次校验和筛选，在图片结构匹配的基础上辅助以语义匹配，排除跳变帧造成误切分的问题，得到更为准确的视频切分点，提高视频切分点准确性。

参考图5，图5为本发明视频切分方法第四实施例的流程示意图。

基于上述第一实施例，本实施例视频切分方法所述步骤S70，具体包括：

步骤S701：计算所述目标切分点对应的切分片段的片段哈希均值。

需要说明的是，当处理了所有视频帧，得到了所有目标切分点后，可计算目标切分点中相邻两个切分片段的相似度，则计算目标切分点对应的切分片段的片段哈希均值，将64位二值哈希转化成包含64个浮点数的向量，对片段内所有向量求均值。

步骤S702：计算相邻片段的片段哈希均值的第二余弦相似度，并将所述第二余弦相似度与第二预设余弦相似度阈值进行比较。

在具体实施中，第二余弦相似度为相邻片段中的当前片段哈希均值和上一片段哈希均值的余弦相似度，第二预设余弦相似度阈值为根据相邻片段之间的相似性设置的阈值，例如0.6、0.7、0.9等，本实施例对此不作限制。通过将第二余弦相似度与第二预设余弦相似度进行比较，根据比较结果判断相邻两个片段之间的相似性。

步骤S703：在所述第二余弦相似度大于所述第二预设余弦相似度阈值时，将所述第二余弦相似度对应的相邻片段进行合并，完成视频切分。

应理解的是，当第二余弦相似度大于第二预设余弦相似度阈值时，说明相邻两个片段整体接近，只有切分点有跳变，则将相邻两个片段合并，当第二余弦相似度小于等于第二预设余弦相似度阈值时，说明相邻两个片段并不相似，切分点准确，不用将片段进行合并。通过将所有目标切分点中的片段进行相似度计算，将片段整体接近的合并，直至将所有目标切分点中的片段相似性计算完成，实现视频的切分，并将视频切分的结果展示给用户进行查看。

本实施例通过计算所述目标切分点对应的切分片段的片段哈希均值；计算相邻片段的片段哈希均值的第二余弦相似度，并将所述第二余弦相似度与第二预设余弦相似度阈值进行比较；在所述第二余弦相似度大于所述第二预设余弦相似度阈值时，将所述第二余弦相似度对应的相邻片段进行合并，完成视频切分，通过对目标切分点进行片段哈希均值校验的方式，避免误切分，提高视频切分的准确性。

参考图6，图6为本发明视频切分方法第五实施例的流程示意图。

基于上述第一二实施例，本实施例视频切分方法所述步骤S10，具体包括：

步骤S101：获取待切分视频，并将所述待切分视频进行抽帧，得到各视频帧。

在具体实施中，当检测到用户上传待切分的视频时，可获取待切分视频，并将待切分视频进行抽帧，得到待切分视频中的各视频帧。

步骤S102：获取各视频帧对应的图像，并将所述图像进行缩放并转换为灰度图像。

应理解的是，当得到各视频帧后，可对各视频帧对应的图像进行感知哈希计算，将对应的图像进行缩放，缩放为32*32尺寸大小的图像，将缩放后的图像转换为灰度图像。

步骤S103：将所述灰度图像进行离散余弦变换，得到离散余弦变换系数矩阵。

需要说明的是，离散余弦变换为((Discrete Cosine Transform，DCT)离散正弦变换或逆离散余弦变换，通过对灰度图像进行离散余弦变换，得到32*32的DCT系数矩阵。

步骤S104：通过预设筛选规则对所述离散余弦变换系数矩阵进行筛选，得到目标像素矩阵。

预设筛选规则为保留32*32的DCT系数矩阵中的低频部分的8*8矩阵的规则，目标像素矩阵指的是低频部分的8*8矩阵。

步骤S105：将所述目标像素矩阵与预设像素均值进行比对计算，得到各视频帧的感知哈希值。

可以理解的是，预设像素均值为64个像素的均值，将低频部分的8*8矩阵中的每个像素与预设像素均值进行比对，将低频部分的8*8矩阵中的每个像素大于等于预设像素均值设置为1，将低频部分的8*8矩阵中的每个像素小于预设像素均值设置0，将所有比特串联起来的64比特即为每一帧图像的感知哈希值。

步骤S106：基于所述各视频帧中相邻两帧的感知哈希值计算哈希相似度。

在具体实施中，当得到每一帧图像的感知哈希值后，将各视频帧中的相邻两帧的感知哈希值计算哈希相似度，可通过哈希相似度判断当前帧是否可以作为初始切分点。

进一步地，所述基于所述各视频帧中相邻两帧的感知哈希值计算哈希相似度的步骤包括：统计所述各视频帧中相邻两帧的感知哈希值中的二进制串的数量；在所述二进制串中位置相同的数量小于预设二进制串数量时，根据所述二进制串中位置相同的数量得到哈希相似度。

需要说明的是，可计算各视频帧中当前帧的感知哈希值和上一帧的感知哈希值之间的距离来判断哈希相似度。通过统计当前帧的某一位置的64位二进制串数量，并统计上一帧中相同位置的64位二进制串的数量，上一帧与当前帧中相同位置的64位二进制串数量为哈希相似度。预设二进制串数量为16，还可为其它预设二进制串数量，本实施例以16为例进行说明。

步骤S107：根据所述哈希相似度的计算结果得到待切分视频的初始切分点。

应理解的是，可通过哈希相似度与16进行比较，通过比较结果得到待切分视频的初始切分点。

进一步地，根据所述哈希相似度的计算结果得到待切分视频的初始切分点的步骤包括：将所述哈希相似度与预设哈希相似度阈值进行比较；在所述哈希相似度小于所述预设哈希相似度阈值时，将所述哈希相似度对应的当前帧作为初始切分点。

需要说明的是，当上一帧与当前帧中相同位置的64位二进制串数量小于16时，哈希相似度小于16，则可将当前帧作为初始切分点，当上一帧与当前帧中相同位置的64位二进制串数量大于等于16时，获取下一帧的哈希相似度，并将下一帧和当前帧的哈希相似度进行比对，判断哈希相似度是否大于等于或小于16，直至将视频中的所有的视频帧的哈希相似度计算完成，并得到对应的初始切分点。

如图7所示，图7为本发明视频切分方法的整体流程示意图。当检测到用户上传的原始视频时，将原始视频作为待切分视频，并将待切分视频进行抽帧，得到各视频帧，并读取各视频帧中的相邻两帧，计算感知哈希值，通过感知哈希值计算哈希相似度判断是否为初始切分点，当哈希相似度满足预设相似度阈值时，将哈希相似度对应的当前帧作为初始切分点，并将初始切分点对应的相邻两帧进行比较，根据比较结果自适应调整需要关注的区域得到目标关注区域，通过预设卷积神经网络对目标关注区域进行特征提取得到特征向量，并通过特征向量进行相似度计算，从初始切分点中筛选得到候选切分点，直至所有视频帧计算完成，得到所有候选切分点，通过候选切分点计算对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度，将候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点，并计算目标切分点中相邻两个片段之间的相似度，将相似度满足预设的相似度阈值的进行合并，完成视频切分，输出最终结果。

本实施例通过获取待切分视频，并将所述待切分视频进行抽帧，得到各视频帧；获取各视频帧对应的图像，并将所述图像进行缩放并转换为灰度图像；将所述灰度图像进行离散余弦变换，得到离散余弦变换系数矩阵；通过预设筛选规则对所述离散余弦变换系数矩阵进行筛选，得到目标像素矩阵；将所述目标像素矩阵与预设像素均值进行比对计算，得到各视频帧的感知哈希值；基于所述各视频帧中相邻两帧的感知哈希值计算哈希相似度；根据所述哈希相似度的计算结果得到待切分视频的初始切分点。通过视频帧的哈希相似度作为一级相似度，对相似度进行初步判断，可快速地确定初始切分点。

参照图8，图8为本发明视频切分装置第一实施例的结构框图。

如图8所示，本发明实施例提出的视频切分装置包括：

获取模块10，用于获取待切分视频的初始切分点。

比较模块20，用于将所述初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域。

提取模块30，用于通过预设卷积神经网络对相邻两帧的所述目标关注区域进行特征提取，得到对应的特征向量。

计算模块40，用于根据所述特征向量进行余弦相似度计算，并根据计算结果从所述初始切分点中进行筛选，得到候选切分点。

加权模块50，用于将所述候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度。

排序模块60，用于将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点。

切分模块70，用于根据所述目标切分点对所述视频进行切分。

本实施例通过获取待切分视频的初始切分点；将初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域；通过预设卷积神经网络对相邻两帧的目标关注区域进行特征提取，得到对应的特征向量；根据特征向量进行余弦相似度计算，并根据计算结果得到从初始切分点中进行筛选，得到候选切分点；将候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度；将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点；根据所述目标切分点对所述视频进行切分，通过对切分点进行多次筛选，得到目标切分点，提高了视频切分的准确性和灵活性。

在一实施例中，所述比较模块20，还用于将所述初始切分点对应的相邻两帧转换为相邻灰度图；获取相邻灰度图中对应的像素值；将所述像素值进行计算，得到计算结果；将所述计算结果小于预设像素阈值的像素值设为第一常数，将所述计算结果大于等于所述预设像素阈值的像素值设为第二常数；基于所述第一常数和所述第二常数通过预设轮廓提取算法对所述相邻两帧中需要关注区域进行轮廓提取，得到目标关注区域。

在一实施例中，所述计算模块40，还用于将所特征向量进行余弦相似度计算，得到第一余弦相似度；将所述第一余弦相似度与第一预设余弦相似度阈值进行比较；在所述第一余弦相似度小于所述第一预设余弦相似度阈值时，基于所述第一余弦相似度对所述初始切分点进行筛选，得到候选切分点。

在一实施例中，所述切分模块70，还用于计算所述目标切分点对应的切分片段的片段哈希均值；计算相邻片段的片段哈希均值的第二余弦相似度，并将所述第二余弦相似度与第二预设余弦相似度阈值进行比较；在所述第二余弦相似度大于所述第二预设余弦相似度阈值时，将所述第二余弦相似度对应的相邻片段进行合并，完成视频切分。

在一实施例中，所述获取模块10，还用于获取待切分视频，并将所述待切分视频进行抽帧，得到各视频帧；获取各视频帧对应的图像，并将所述图像进行缩放并转换为灰度图像；将所述灰度图像进行离散余弦变换，得到离散余弦变换系数矩阵；通过预设筛选规则对所述离散余弦变换系数矩阵进行筛选，得到目标像素矩阵；将所述目标像素矩阵与预设像素均值进行比对计算，得到各视频帧的感知哈希值；基于所述各视频帧中相邻两帧的感知哈希值计算哈希相似度；根据所述哈希相似度的计算结果得到待切分视频的初始切分点。

在一实施例中，所述获取模块10，还用于将所述哈希相似度与预设哈希相似度阈值进行比较；在所述哈希相似度小于所述预设哈希相似度阈值时，将所述哈希相似度对应的当前帧作为初始切分点。

在一实施例中，所述获取模块10，还用于统计所述各视频帧中相邻两帧的感知哈希值中的二进制串的数量；在所述二进制串中位置相同的数量小于预设二进制串数量时，根据所述二进制串中位置相同的数量得到哈希相似度。

此外，为实现上述目的，本发明还提出一种视频切分设备，所述视频切分设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频切分程序，所述视频切分程序配置为实现如上文所述的视频切分方法的步骤。

由于本视频切分设备采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有视频切分程序，所述视频切分程序被处理器执行时实现如上文所述的视频切分方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的视频切分方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频切分方法，其特征在于，所述视频切分方法包括：

获取待切分视频的初始切分点；

将所述初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域；

通过预设卷积神经网络对相邻两帧的所述目标关注区域进行特征提取，得到对应的特征向量；

根据所述特征向量进行余弦相似度计算，并根据计算结果从所述初始切分点中进行筛选，得到候选切分点；

将所述候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度；

将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点；

根据所述目标切分点对所述视频进行切分。

2.如权利要求1所述的视频切分方法，其特征在于，所述将所述初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域，包括：

将所述初始切分点对应的相邻两帧转换为相邻灰度图；

获取相邻灰度图中对应的像素值；

将所述像素值进行计算，得到计算结果；

将所述计算结果小于预设像素阈值的像素值设为第一常数，将所述计算结果大于等于所述预设像素阈值的像素值设为第二常数；

基于所述第一常数和所述第二常数通过预设轮廓提取算法对所述相邻两帧中需要关注区域进行轮廓提取，得到目标关注区域。

3.如权利要求1所述的视频切分方法，其特征在于，所述根据所述特征向量进行余弦相似度计算，并根据计算结果从所述初始切分点中进行筛选，得到候选切分点，包括：

将所特征向量进行余弦相似度计算，得到第一余弦相似度；

将所述第一余弦相似度与第一预设余弦相似度阈值进行比较；

在所述第一余弦相似度小于所述第一预设余弦相似度阈值时，基于所述第一余弦相似度对所述初始切分点进行筛选，得到候选切分点。

4.如权利要求1所述的视频切分方法，其特征在于，所述根据所述目标切分点对所述视频进行切分，包括：

计算所述目标切分点对应的切分片段的片段哈希均值；

计算相邻片段的片段哈希均值的第二余弦相似度，并将所述第二余弦相似度与第二预设余弦相似度阈值进行比较；

在所述第二余弦相似度大于所述第二预设余弦相似度阈值时，将所述第二余弦相似度对应的相邻片段进行合并，完成视频切分。

5.如权利要求1-4中任一项所述的视频切分方法，其特征在于，所述获取待切分视频的初始切分点，包括：

获取待切分视频，并将所述待切分视频进行抽帧，得到各视频帧；

获取各视频帧对应的图像，并将所述图像进行缩放并转换为灰度图像；

将所述灰度图像进行离散余弦变换，得到离散余弦变换系数矩阵；

通过预设筛选规则对所述离散余弦变换系数矩阵进行筛选，得到目标像素矩阵；

将所述目标像素矩阵与预设像素均值进行比对计算，得到各视频帧的感知哈希值；

基于所述各视频帧中相邻两帧的感知哈希值计算哈希相似度；

根据所述哈希相似度的计算结果得到待切分视频的初始切分点。

6.如权利要求5所述的视频切分方法，其特征在于，所述根据所述哈希相似度的计算结果得到初始切分点，包括：

将所述哈希相似度与预设哈希相似度阈值进行比较；

在所述哈希相似度小于所述预设哈希相似度阈值时，将所述哈希相似度对应的当前帧作为初始切分点。

7.如权利要求5所述的视频切分方法，其特征在于，所述基于所述各视频帧中相邻两帧的感知哈希值计算哈希相似度，包括：

统计所述各视频帧中相邻两帧的感知哈希值中的二进制串的数量；

在所述二进制串中位置相同的数量小于预设二进制串数量时，根据所述二进制串中位置相同的数量得到哈希相似度。

8.一种视频切分装置，其特征在于，所述视频切分装置包括：

获取模块，用于获取待切分视频的初始切分点；

比较模块，用于将所述初始切分点对应的相邻两帧进行比较，并根据比较结果对需要关注区域进行调整，得到目标关注区域；

提取模块，用于通过预设卷积神经网络对相邻两帧的所述目标关注区域进行特征提取，得到对应的特征向量；

计算模块，用于根据所述特征向量进行余弦相似度计算，并根据计算结果从所述初始切分点中进行筛选，得到候选切分点；

加权模块，用于将所述候选切分点对应的相邻两帧中的当前帧的余弦相似度和哈希相似度进行加权，得到综合相似度；

排序模块，用于将所述候选切分点对应的综合相似度通过预设排序规则进行排序，根据排序结果得到目标切分点；

切分模块，用于根据所述目标切分点对所述视频进行切分。

9.一种视频切分设备，其特征在于，所述视频切分设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频切分程序，所述视频切分程序配置为实现如权利要求1至7中任一项所述的视频切分方法。

10.一种存储介质，其特征在于，所述存储介质上存储有视频切分程序，所述视频切分程序被处理器执行时实现如权利要求1至7中任一项所述的视频切分方法。

Images