CN114266779A - 直播视频的裁剪方法以及直播视频的裁剪装置 - Google Patents

直播视频的裁剪方法以及直播视频的裁剪装置 Download PDF

Info

Publication number
CN114266779A
CN114266779A CN202111582827.4A CN202111582827A CN114266779A CN 114266779 A CN114266779 A CN 114266779A CN 202111582827 A CN202111582827 A CN 202111582827A CN 114266779 A CN114266779 A CN 114266779A
Authority
CN
China
Prior art keywords
video
sub
similarity
preset
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111582827.4A
Other languages
English (en)
Inventor
花薇薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202111582827.4A priority Critical patent/CN114266779A/zh
Publication of CN114266779A publication Critical patent/CN114266779A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种直播视频的裁剪方法以及直播视频的裁剪装置,该方法包括:对原始直播视频执行初步裁剪操作,获得多个子视频;确定相邻子视频的相似度;基于相似度对多个子视频执行视频合并操作,获得合并后视频;基于合并后视频确定直播开始子视频和直播结束子视频;基于直播开始子视频确定直播起点帧,以及基于直播结束子视频确定直播终点帧;基于直播起点帧和直播终点帧对原始直播视频执行再裁剪操作。通过对传统的视频裁剪方法进行改进,首先将原始直播视频裁剪为多个子视频,并在多个子视频的基础上进行合并以及调整,从而实现对原始直播视频的精确裁剪,同时降低裁剪过程中的运算量,大大提高了裁剪精确性和裁剪效率。

Description

直播视频的裁剪方法以及直播视频的裁剪装置
技术领域
本发明涉及视频处理技术领域,具体地涉及一种直播视频的裁剪方法、一种直播视频的裁剪装置、一种处理器、一种计算机可读存储介质以及一种计算机程序产品。
背景技术
随着通信技术的不断发展,音视频信息的顺畅传播逐渐成为人们生活的主流,随之而来的是授课类直播的兴起。为了保证在直播过程中硬件设备的良好以及画面、声音效果完好,会在开播前进行推流测试;在直播结束后,为防止学员来不及查看作业,也会等待很长时间才结束直播,但对于直播回看来讲,上述直播内容将降低回看视频的有效率。
为了解决上述技术问题,技术人员可以通过对回看视频进行裁剪,以为回看用户提供更好的视频回看体验。而现有技术中,技术人员主要是通过人工对回看视频进行裁剪,然而人工裁剪方式存在人力成本较高、视频裁剪效率较低的问题,因此技术人员通过自动裁剪的方式对回看视频进行裁剪。
现有自动视频裁剪方法是基于对图像的分割和识别的基础上进行的,例如基于内容识别的关键帧提取方法对视频进行裁剪。然而在实际应用过程中,若直播镜头频繁切换,则在裁剪过程中将导致大量的冗余帧出现,导致裁剪的视频中包含大量的相似图片或相似视频内容,从而大大降低视频的分割与识别效果,降低用户的观看体验。
发明内容
为了克服现有技术中存在的上述技术问题,本发明实施例提供一种直播视频的裁剪方法以及直播视频的裁剪装置,通过对直播视频采用剪切-合并-调整的裁剪方法,能够精确地确定原始直播视频的裁剪位置,提高裁剪精确性,同时降低裁剪运算量,提高裁剪效率。
为了实现上述目的,本发明实施例提供一种直播视频的裁剪方法,所述裁剪方法包括:对原始直播视频执行初步裁剪操作,获得多个子视频;确定相邻子视频的相似度;基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频;基于所述合并后视频确定直播开始子视频和直播结束子视频;基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧;基于所述直播起点帧和所述直播终点帧对所述原始直播视频执行再裁剪操作。
优选地,所述对原始直播视频执行初步裁剪操作,获得多个子视频,包括:获取预设裁剪长度;获取开播时间和停播时间;基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度;基于所述优化后裁剪长度对所述原始直播视频执行初步裁剪操作,获得多个子视频。
优选地,所述基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度,包括:获取预设时间辐射长度;基于所述开播时间和所述预设时间辐射长度确定开播辐射时间范围,以及基于所述停播时间和所述预设时间辐射长度确定停播辐射时间范围;获取预设非线性时间分割算法;基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度;基于所述预设非线性时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度;基于所述预设裁剪长度、所述第一裁剪长度和所述第二裁剪长度生成优化后裁剪长度。
优选地,所述基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度,包括:确定长度增长趋势;以所述开播时间为起点,基于所述长度增长趋势对所述开播辐射时间范围执行前后时间分割操作,获得第一裁剪长度;所述基于所述预设时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度,包括:以所述停播时间为起点,基于所述长度增长趋势对所述停播辐射时间范围执行所述前后时间分割操作,获得第二裁剪长度。
优选地,所述确定相邻子视频的相似度,包括:提取相邻子视频的相邻帧图像,所述相邻帧图像包括A图像和B图像;确定所述相邻帧图像的相似度评估信息,所述相似度评估信息包括第一相似度信息S1和第二相似度信息S2;获取预设相似度权重信息,所述预设相似度权重信息包括第一权重a和第二权重b;基于所述第一相似度信息S1、所第二相似度信息S2、所述第一权重a和所述第二权重b生成相邻子视频的相似度S,所述相邻子视频的相似度S表征为:S=aS1+bS2
优选地,所述第一相似度信息S1为轮廓相似度S1(A,B),所述第二相似度信息S2为颜色相似度S2(A,B),所述第一权重a为预设轮廓权重,所述第二权重b为预设颜色权重,所述轮廓相似度S1(A,B)表征为:
Figure BDA0003427528150000031
其中,
Figure BDA0003427528150000032
m和n分别为图像的宽和高,k=m*n;所述颜色相似度S2(A,B)表征为:
Figure BDA0003427528150000033
其中,HA和HB分别为所述A图像和所述B图像的归一化的直方图。
优选地,所述基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频,包括:获取预设相似度阈值;依次判断每两个相邻子视频之间的相似度是否大于等于所述预设相似度阈值;若是,则合并对应的相邻子视频;基于所有合并的相邻子视频以及所述多个子视频中未被合并的子视频获得所述合并后视频。
优选地,所述基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧,包括:分别获取所述直播开始子视频的关键帧和所述直播结束子视频的关键帧;将所述直播开始子视频的关键帧作为所述直播起点帧;将所述直播结束子视频的关键帧作为所述直播终点帧。
优选地,所述获取所述直播开始子视频的关键帧或获取所述直播结束子视频的关键帧,包括:S511)将所述直播开始子视频或所述直播结束子视频作为目的视频,获取所述目的视频的第一帧图像和第二帧图像,将所述第一帧图像作为初始关键帧图像;S512)基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值;S513)判断所述差值是否大于预设差值阈值;S514)在所述差值小于等于所述预设差值阈值的情况下,将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);S515)在所述差值大于所述预设差值阈值的情况下,将所述第二帧图像作为新的初始关键帧图像,以及将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);S516)在确定完成对所述目的视频的所有帧图像的比较后,将最终获得的初始关键帧图像作为所述目的视频的关键帧。
优选地,所述基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值,包括:基于欧式距离算法计算所述第二帧图像Ij与所述初始关键帧图像Ii之间的差值D(Ii,Ij),所述差值表征为
Figure BDA0003427528150000041
其中,Hik和Hjk分别表征为初始关键帧图像和所述第二帧图像的像素直方图。
相应的,本发明实施例还提供一种直播视频的裁剪装置,所述裁剪装置包括:初步裁剪单元,用于对原始直播视频执行初步裁剪操作,获得多个子视频;第一确定单元,用于确定相邻子视频的相似度;合并单元,用于基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频;第二确定单元,用于基于所述合并后视频确定直播开始子视频和直播结束子视频;第三确定单元,用于基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧;再裁剪单元,用于基于所述直播起点帧和所述直播终点帧对所述原始直播视频执行再裁剪操作。
优选地,所述初步裁剪单元包括:第一获取模块,用于获取预设裁剪长度;第二获取模块,用于获取开播时间和停播时间;优化模块,用于基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度;初步裁剪模块,用于基于所述优化后裁剪长度对所述原始直播视频执行初步裁剪操作,获得多个子视频。
优选地,所述优化模块具体用于:获取预设时间辐射长度;基于所述开播时间和所述预设时间辐射长度确定开播辐射时间范围,以及基于所述停播时间和所述预设时间辐射长度确定停播辐射时间范围;获取预设非线性时间分割算法;基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度;基于所述预设非线性时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度;基于所述预设裁剪长度、所述第一裁剪长度和所述第二裁剪长度生成优化后裁剪长度。
优选地,所述基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度,包括:确定长度增长趋势;以所述开播时间为起点,基于所述长度增长趋势对所述开播辐射时间范围执行前后时间分割操作,获得第一裁剪长度;所述基于所述预设时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度,包括:以所述停播时间为起点,基于所述长度增长趋势对所述停播辐射时间范围执行所述前后时间分割操作,获得第二裁剪长度。
优选地,所述第一确定单元包括:提取模块,用于提取相邻子视频的相邻帧图像,所述相邻帧图像包括A图像和B图像;第一确定模块,用于确定所述相邻帧图像的相似度评估信息,所述相似度评估信息包括第一相似度信息S1和第二相似度信息S2;权重获取模块,用于获取相似度权重信息,所述预设相似度权重信息包括第一权重a和第二权重b;第二确定模块,用于基于所述第一相似度信息S1、所第二相似度信息S2、所述第一权重a和所述第二权重b生成相邻子视频的相似度S,所述相邻子视频的相似度S表征为:S=aS1+bS2
优选地,所述第一相似度信息S1为轮廓相似度S1(A,B),所述第二相似度信息S2为颜色相似度S2(A,B),所述第一权重a为预设轮廓权重,所述第二权重b为预设颜色权重,所述轮廓相似度S1(A,B)表征为:
Figure BDA0003427528150000061
其中,
Figure BDA0003427528150000062
m和n分别为图像的宽和高,k=m*n;所述颜色相似度S2(A,B)表征为:
Figure BDA0003427528150000063
其中,HA和HB分别为所述A图像和所述B图像的归一化的直方图。
优选地,所述合并单元包括:阈值获取模块,用于获取预设相似度阈值;判断模块,用于依次判断每两个相邻子视频之间的相似度是否大于等于所述预设相似度阈值;第一合并模块,用于在所述判断模块判断两个相邻子视频之间的相似度大于等于所述预设相似度阈值的情况下,合并对应的相邻子视频;第二合并模块,用于对所述第一合并模块所有合并的相邻子视频以及所述多个子视频中未被合并的子视频执行视频合并操作,获得所述合并后视频。
优选地,所述第三确定单元包括:关键帧获取模块,用于分别获取所述直播开始子视频的关键帧和所述直播结束子视频的关键帧;第一关键帧确定模块,用于将所述直播开始子视频的关键帧作为所述直播起点帧;第二关键帧确定模块,用于将所述直播结束子视频的关键帧作为所述直播终点帧。
优选地,所述获取所述直播开始子视频的关键帧或获取所述直播结束子视频的关键帧,包括:S511)将所述直播开始子视频或所述直播结束子视频作为目的视频,获取所述目的视频的第一帧图像和第二帧图像,将所述第一帧图像作为初始关键帧图像;S512)基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值;S513)判断所述差值是否大于预设差值阈值;S514)在所述差值小于等于所述预设差值阈值的情况下,将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);S515)在所述差值大于所述预设差值阈值的情况下,将所述第二帧图像作为新的初始关键帧图像,以及将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);S516)在确定完成对所述目的视频的所有帧图像的比较后,将最终获得的初始关键帧图像作为所述目的视频的关键帧。
优选地,所述基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值,包括:基于欧式距离算法计算所述第二帧图像Ij与所述初始关键帧图像Ii之间的差值D(Ii,Ij),所述差值表征为
Figure BDA0003427528150000071
其中,Hik和Hjk分别表征为初始关键帧图像和所述第二帧图像的像素直方图。
另一方面,本发明实施例还提供一种处理器,所述处理器被配置成执行本发明实施例提供的直播视频的裁剪方法。
另一方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例提供的直播视频的裁剪方法。
另一方面,本发明实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本发明实施例提供的直播视频的裁剪方法。
通过本发明提供的技术方案,本发明至少具有如下技术效果:
通过对传统的视频裁剪方法进行改进,首先将原始直播视频裁剪为多个子视频,并在多个子视频的基础上进行合并以及调整,从而实现对原始直播视频的精确裁剪,同时降低裁剪过程中的运算量,大大提高了裁剪精确性和裁剪效率。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
图1是本发明实施例提供的直播视频的裁剪方法的具体实现流程图;
图2是本发明实施例提供的直播视频的裁剪方法中对原始直播视频进行初步裁剪的具体实现流程图;
图3是本发明实施例提供的直播视频的裁剪方法中执行非线性时间裁剪的示意图;
图4是本发明实施例提供的直播视频的裁剪方法中优化前的裁剪长度和优化后裁剪长度的示意图;
图5是本发明实施例提供的直播视频的裁剪方法中对多个子视频执行视频合并操作的具体实现流程图;
图6是本发明实施例提供的直播视频的裁剪方法中获取关键帧的具体实现流程图;
图7是本发明实施例提供的直播视频的裁剪装置的结构示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上,鉴于此,本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。另外,需要理解的是,在本发明实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
请参见图1,本发明实施例提供一种直播视频的裁剪方法,所述裁剪方法包括:
S10)对原始直播视频执行初步裁剪操作,获得多个子视频;
S20)确定相邻子视频的相似度;
S30)基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频;
S40)基于所述合并后视频确定直播开始子视频和直播结束子视频;
S50)基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧;
S60)基于所述直播起点帧和所述直播终点帧对所述原始直播视频执行再裁剪操作。
在一种可能的实施方式中,在获取到原始直播视频后,首先执行初步裁剪操作,例如可以按照预设的时间间隔将原始直播视频裁剪为多个子视频,然后确定相邻子视频的相似度,例如可以采用现有的视频相似度算法确定两两相邻视频的相似度,并根据确定的相似度对多个子视频执行视频合并操作,例如将相似度大于一定值的相邻视频进行合并,并获得合并后视频,此时根据上述合并后视频确定直播开始子视频和直播结束子视频。
根据背景技术中的公开内容可知,现有的直播视频,为了保证直播过程中的直播稳定性和可靠性,往往会进行直播前的推流操作或直播后的视频延续操作,因此在直播前、直播中以及直播后的相交区域,其视频内容以及音频内容将存在较大的变化,因此可以基于此在上述合并后视频中确定直播开始子视频和直播结束子视频,例如可以将合并后视频中的第二个视频片段作为直播开始子视频,将倒数第二个视频片段作为直播结束子视频,此时基于上述直播开始子视频确定直播起点帧,以及基于直播结束子视频确定直播终点帧,例如分别提取直播开始子视频中的关键帧作为直播起点帧,以及提取直播结束子视频中的关键帧作为直播终点帧,然后根据上述直播起点帧和直播结束帧对上述原始直播视频执行再裁剪操作,从而获得了保留精确的直播视频内容的视频片段。
在本发明实施例中,通过基于对直播视频的实际直播内容的分析,根据直播视频在直播过程中的内容变化情况,采用基于裁剪-合并-调整的方法确定对直播视频的精确裁剪位置,并执行对应的裁剪操作,从而能够精确保留原始直播视频中关键的直播内容片段,大大提高了视频裁剪的精确性,同时不再需要人工裁剪,降低了工作量,提高了工作效率。
然而在对原始直播视频进行初步裁剪的过程中,若简单的以固定长度对整个原始直播视频进行裁剪,则可能将直播前和直播后的内容裁剪到同一视频片段中,此时无法准确评估直播前和直播后,降低最终视频裁剪的精确性。
为解决上述技术问题,请参见图2,在本发明实施例中,所述对原始直播视频执行初步裁剪操作,获得多个子视频,包括:
S11)获取预设裁剪长度;
S12)获取开播时间和停播时间;
S13)基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度;
S14)基于所述优化后裁剪长度对所述原始直播视频执行初步裁剪操作,获得多个子视频。
由于视频直播往往会提前告知或记录直播的开播时间和停播时间,因此可以基于上述开播时间和停播时间对原始直播视频的裁剪进行优化。在一种可能的实施方式中,在对原始直播视频进行裁剪的过程中,首先获取预设裁剪长度,然后获取开播时间和停播时间,此时基于上述开播时间和停播时间对上述预设裁剪长度进行优化,获得优化后裁剪长度,例如首先按照上述预设裁剪长度对原始直播视频的整体时间线进行预裁剪,并获得多个预设裁剪长度,上述多个预设裁剪长度共同构成整个原始直播视频的整体时间线,然后将开播时间和停播时间所在的预设裁剪长度进行进一步的优化,例如采用第二裁剪长度对开播时间和停播时间所在的预设裁剪长度进行进一步的裁剪,其中第二裁剪长度小于预设裁剪长度,从而获得更精细的裁剪长度,即此时上述更精细的裁剪长度以及未进行二次裁剪的预设裁剪长度共同构成了原始直播视频的整体时间线,此时基于上述优化后裁剪长度对原始直播视频执行初步裁剪操作,从而获得了对应的多个子视频。
在本发明实施例中,通过基于直播的开播时间和停播时间对原始直播视频的初步裁剪进行优化,从而能够保证裁剪后的视频片段能够尽可能对直播前后进行区分,最大化保留实际直播的直播内容,同时提高视频裁剪的精确性。
然而在实际应用过程中,上述优化的裁剪方法可能造成大量的小视频片段的出现,将大大增加实际图像处理的工作量,降低直播视频裁剪效率,而对于本领域技术人员可以知道,直播的实际开播时间和实际停播时间必然非常接近于该记录或告知的开播时间和停播时间,因此可以采用非线性的裁剪优化方法,以进一步在满足对原始直播视频的初步裁剪的优化的基础上,减少优化过程中产生的大量无效视频片段。
在本发明实施例中,所述基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度,包括:获取预设时间辐射长度;基于所述开播时间和所述预设时间辐射长度确定开播辐射时间范围,以及基于所述停播时间和所述预设时间辐射长度确定停播辐射时间范围;获取预设非线性时间分割算法;基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度;基于所述预设非线性时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度;基于所述预设裁剪长度、所述第一裁剪长度和所述第二裁剪长度生成优化后裁剪长度。
进一步地,在本发明实施例中,所述基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度,包括:确定长度增长趋势;以所述开播时间为起点,基于所述长度增长趋势对所述开播辐射时间范围执行前后时间分割操作,获得第一裁剪长度;所述基于所述预设时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度,包括:以所述停播时间为起点,基于所述长度增长趋势对所述停播辐射时间范围执行所述前后时间分割操作,获得第二裁剪长度。
在一种可能的实施方式中,在对上述预设裁剪长度进行优化的过程中,首先获取预设时间辐射长度,例如该预设时间辐射长度为技术人员根据实际经验确定的直播实际开始的时间与直播告知开始时间之间的偏差范围,然后根据上述开播时间和预设时间辐射长度可以确定开播辐射时间范围,例如在一实施例中,预设时间辐射长度为10s,预设裁剪长度为2s,若开播时间为原始直播视频的第85s,则取第85s的前后10s为初步确定的开播辐射时间范围,为了与预设裁剪长度保持的裁剪效果保持一致性,避免碎片化视频片段的出现,根据预设裁剪长度对原始直播视频的预裁剪对上述初步确定的开播辐射时间范围取整,得到上述开播辐射时间范围为第74s-96s的时间范围。
基于同样的原理,根据停播时间和上述预设时间辐射长度可以确定停播辐射时间范围。此时获取预设非线性时间分割算法,例如该预设非线性时间分割算法为以确定时间点为起点,在确定时间点的前后按照非线性的步长执行时间分割操作的算法,在执行非线性分割的过程中,首先确定长度增长趋势,然后以确定时间点(例如开播时间)为起点,根据该长度增长趋势对开播辐射时间范围执行前后时间分割操作,从而获得第一裁剪长度,例如在一实施例中,某视频片段有12s长,确定第6s为确定时间点,该长度增长趋势为初始值为1s,后续依次递增1s,则对上述视频片段进行非线性分割后,可以获得第0-3s为第一片段,第3-5s为第二片段,第5-6s为第三片段,第6-7s为第四片段,第7-9s为第五片段,第9-12s为第六片段,请参见图3,为本发明实施例提供的执行非线性时间裁剪的示意图。
此时,基于上述非线性时间分割算法对开播辐射时间范围执行时间分割操作,获得第一裁剪长度,以及根据上述非线性时间分割算法对停播辐射时间范围执行时间分割操作,获得第二裁剪长度,此时可以根据上述预设裁剪长度、第一裁剪长度以及第二裁剪长度生成优化后裁剪长度,请参见图4,为本发明实施例提供的优化前的裁剪长度和优化后裁剪长度的示意图。
在本发明实施例中,通过对原始直播视频的初步裁剪方法进行优化,能够有效降低裁剪过程中产生的无效子视频片段,从而降低计算量,提高裁剪效率;同时根据开播时间和停播时间的优化过程,能够有效增加裁剪精确性。
在本发明实施例中,所述确定相邻子视频的相似度,包括:提取相邻子视频的相邻帧图像,所述相邻帧图像包括A图像和B图像;确定所述相邻帧图像的相似度评估信息,所述相似度评估信息包括第一相似度信息S1和第二相似度信息S2;获取预设相似度权重信息,所述预设相似度权重信息包括第一权重a和第二权重b;基于所述第一相似度信息S1、所第二相似度信息S2、所述第一权重a和所述第二权重b生成相邻子视频的相似度S,所述相邻子视频的相似度S表征为:S=aS1+bS2
进一步地,所述第一相似度信息S1为轮廓相似度S1(A,B),所述第二相似度信息S2为颜色相似度S2(A,B),所述第一权重a为预设轮廓权重,所述第二权重b为预设颜色权重,在本发明实施例中,所述轮廓相似度S1(A,B)表征为:
Figure BDA0003427528150000141
其中,
Figure BDA0003427528150000142
m和n分别为图像的宽和高,k=m*n;所述颜色相似度S2(A,B)表征为:
Figure BDA0003427528150000143
其中,HA和HB分别为所述A图像和所述B图像的归一化的直方图。
在一种可能的实施方式中,在确定相邻子视频之间的相似度的过程中,首先从相邻子视频中提取相邻帧图像,例如可以从相邻子视频中前一子视频中提取最后一帧图像作为A图像,从后一子视频中提取第一帧图像作为B图像,然后确定相邻帧图像的第一相似度信息S1和第二相似度信息S2,在本发明实施例中,可以采用逻辑异或的方式来捕捉二值图像之间的差异,作为一种优选的实施例,例如该第一相似度信息S1为轮廓相似度S1(A,B),可以基于如下公式计算确定:
Figure BDA0003427528150000144
其中
Figure BDA0003427528150000145
和Br分别表示A图像和B图像的二值图像,m和n分别为图像的宽和高,k=m*n;该第二相似度信息S2为颜色相似度S2(A,B),可以基于如下公式计算确定:
Figure BDA0003427528150000146
其中HA和HB分别为所述A图像和所述B图像的归一化的直方图,此时进一步获取相似度权重信息,例如该第一权重a为预设轮廓权重,第二权重b为预设颜色权重,由于直播视频的视频画面往往为运动画面,因此可以取预设轮廓权重a为0.6,取预设颜色权重b为0.4,并进一步计算出相邻子视频的相似度S,例如相邻子视频的相似度S表征为S=aS1(A,B)+bS2(A,B)。
需要说明的是,本领域技术人员在上述公开内容的基础上可以想到,还可以根据实际需求增加、减少或修改上述第一相似度信息S1和第二相似度信息S2,并采用对应的权重信息计算相邻子视频的相似度,以实现更精确的计算效果,因此都应该属于本发明的保护范围,上述实施例不应视为对本发明实施例中相似度信息的种类或数量的限制,在此不做过多赘述。
在本发明实施例中,通过基于轮廓特征和颜色特征综合对相邻子视频的相似度进行分析和确定,能够有效提高对相邻视频的相似度的计算精确性,提高后续视频合并过程中的合并精确性以及视频裁剪过程中的裁剪精确性。
请参见图5,在本发明实施例中,所述基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频,包括:
S31)获取预设相似度阈值;
S32)依次判断每两个相邻子视频之间的相似度是否大于等于所述预设相似度阈值;
S33)若是,则合并对应的相邻子视频;
S34)基于所有合并的相邻子视频以及所述多个子视频中未被合并的子视频获得所述合并后视频。
在本发明实施例中,通过对满足相似度要求的子视频进行合并,从而能够有效将区别度较大的视频拆分出来,例如直播前的视频以及直播后的视频,从而便于后续的视频分析和裁剪,提高了视频裁剪的精确性。
然而在实际应用过程中,若直接按照合并后的子视频作为对原始直播视频的裁剪后视频,由于合并后的子视频中依然可能存在直播前内容和直播后内容处于同一子视频的情况(虽然其占比已经较小),但视频裁剪依然不够精确,无法满足用户的需求。
在本发明实施例中,所述基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧,包括:分别获取所述直播开始子视频的关键帧和所述直播结束子视频的关键帧;将所述直播开始子视频的关键帧作为所述直播起点帧;将所述直播结束子视频的关键帧作为所述直播终点帧。
在一种可能的实施方式中,在获得合并后视频后,根据合并后视频确定直播开始子视频和直播结束子视频,例如在上述合并后视频中,将第一个与前一子视频的差异较大的子视频(例如为合并后视频中的第二子视频)作为直播开始子视频,以及将最后一个差异较大的子视频作为直播结束子视频。此时进一步在直播开始子视频和直播结束子视频中获取关键帧,例如可以采用现有的视频关键帧提取方法分别获取直播开始子视频和直播结束子视频中的关键帧,并分别将直播开始子视频中的关键帧作为直播起点帧,以及将上述直播结束子视频中的关键帧作为直播终点帧,在后续的视频裁剪过程中,可以根据上述直播起点帧和直播终点帧执行对应的视频裁剪操作,从而将裁剪的经度提高至帧级别,大大提高了直播视频的裁剪精确性。
在本发明实施例中,通过采用基于关键帧的直播视频裁剪方法,能够将直播视频的裁剪经度精确到每一帧,从而大大提高对直播视频的裁剪精确性,提高用户体验。
然而,通用的视频关键帧获取方法在应用至直播视频领域时,可能并不能很精确的确定能够区分直播前后的视频关键帧,因此为了实现在直播视频领域的精确的关键帧获取效果,结合直播视频的播放特性对视频关键帧的获取方法进行进一步优化。
请参见图6,在本发明实施例中,所述获取所述直播开始子视频的关键帧或获取所述直播结束子视频的关键帧,包括:
S511)将所述直播开始子视频或所述直播结束子视频作为目的视频,获取所述目的视频的第一帧图像和第二帧图像,将所述第一帧图像作为初始关键帧图像;
S512)基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值;
S513)判断所述差值是否大于预设差值阈值;
S514)在所述差值小于等于所述预设差值阈值的情况下,将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);
S515)在所述差值大于所述预设差值阈值的情况下,将所述第二帧图像作为新的初始关键帧图像,以及将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);
S516)在确定完成对所述目的视频的所有帧图像的比较后,将最终获得的初始关键帧图像作为所述关键帧。
进一步地,在本发明实施例中,所述基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值,包括:基于欧式距离算法计算所述第二帧图像Ij与所述初始关键帧图像Ii之间的差值D(Ii,Ij),所述差值表征为
Figure BDA0003427528150000171
其中,Hik和Hjk分别表征为初始关键帧图像和所述第二帧图像的像素直方图。
在一种可能的实施方式中,结合到直播视频在直播前和直播后存在强烈的画面切换特性,在确定直播开始子视频或所述直播结束子视频的关键帧的过程中,将上述直播开始子视频或所述直播结束子视频作为目的视频,然后获取上述目的视频中的第一帧图像和第二帧图像,并首先将第一帧图像作为初始关键帧图像,然后基于预设比较算法计算第二帧图像与初始关键帧图像之间的差值,例如在本发明实施例中,可以基于欧式距离算法计算第二帧图像Ij与初始关键帧图像Ii之间的差值D(Ii,Ij),所述差值表征为
Figure BDA0003427528150000172
Figure BDA0003427528150000173
其中,Hik和Hjk分别表征为初始关键帧图像和所述第二帧图像的像素直方图,例如Hik表示第i帧图像第k个灰度区内像素点的数目。
然后判断上述计算出的差值是否大于预设差值阈值,例如该预设差值阈值可以为技术人员根据经验预先确定的差值阈值,若上述计算的差值小于等于该差值阈值,则将第二帧图像的下一帧图像作为新的第二帧图像,例如在本发明实施例中为将第三帧图像作为新的第二帧图像,并跳转步骤S512,以继续执行上述比较操作,在另一种实施例中,经过对比后确定,上述初始关键帧图像和第二帧图像的差值大于上述预设差值阈值,因此将上述第二帧图像作为新的初始关键帧图像,并跳转至步骤S512)继续进行后续比较,直至完成对目的视频中的所有帧图像的比较后,将最终获得的初始关键帧图像作为目的视频的关键帧,即确定了直播开始子视频或直播结束子视频的关键帧。
在本发明实施例中,通过采用欧式距离算法,依次对子视频中的每一帧图像都进行差异的比较,并最终确定出具有明显区别的关键帧图像,从而实现了帧级别的精确确定,在后续的视频裁剪过程中,将裁剪位置精确到整个视频的每一帧,大大提高了对直播视频的裁剪精确性,满足了用户的实际需求。
下面结合附图对本发明实施例所提供的直播视频的裁剪装置进行说明。
请参见图7,基于同一发明构思,本发明实施例提供一种直播视频的裁剪装置,所述裁剪装置包括:初步裁剪单元,用于对原始直播视频执行初步裁剪操作,获得多个子视频;第一确定单元,用于确定相邻子视频的相似度;合并单元,用于基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频;第二确定单元,用于基于所述合并后视频确定直播开始子视频和直播结束子视频;第三确定单元,用于基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧;再裁剪单元,用于基于所述直播起点帧和所述直播终点帧对所述原始直播视频执行再裁剪操作。
在本发明实施例中,所述初步裁剪单元包括:第一获取模块,用于获取预设裁剪长度;第二获取模块,用于获取开播时间和停播时间;优化模块,用于基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度;初步裁剪模块,用于基于所述优化后裁剪长度对所述原始直播视频执行初步裁剪操作,获得多个子视频。
优选地,所述优化模块具体用于:获取预设时间辐射长度;基于所述开播时间和所述预设时间辐射长度确定开播辐射时间范围,以及基于所述停播时间和所述预设时间辐射长度确定停播辐射时间范围;获取预设非线性时间分割算法;基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度;基于所述预设非线性时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度;基于所述预设裁剪长度、所述第一裁剪长度和所述第二裁剪长度生成优化后裁剪长度。
优选地,所述基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度,包括:确定长度增长趋势;以所述开播时间为起点,基于所述长度增长趋势对所述开播辐射时间范围执行前后时间分割操作,获得第一裁剪长度;所述基于所述预设时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度,包括:以所述停播时间为起点,基于所述长度增长趋势对所述停播辐射时间范围执行所述前后时间分割操作,获得第二裁剪长度。
优选地,所述第一确定单元包括:提取模块,用于提取相邻子视频的相邻帧图像,所述相邻帧图像包括A图像和B图像;第一确定模块,用于确定所述相邻帧图像的相似度评估信息,所述相似度评估信息包括第一相似度信息S1和第二相似度信息S2;权重获取模块,用于获取相似度权重信息,所述预设相似度权重信息包括第一权重a和第二权重b;第二确定模块,用于基于所述第一相似度信息S1、所第二相似度信息S2、所述第一权重a和所述第二权重b生成相邻子视频的相似度S,所述相邻子视频的相似度S表征为:S=aS1+bS2
优选地,所述第一相似度信息S1为轮廓相似度S1(A,B),所述第二相似度信息S2为颜色相似度S2(A,B),所述第一权重a为预设轮廓权重,所述第二权重b为预设颜色权重,所述轮廓相似度S1(A,B)表征为:
Figure BDA0003427528150000201
其中,
Figure BDA0003427528150000202
m和n分别为图像的宽和高,k=m*n;所述颜色相似度S2(A,B)表征为:
Figure BDA0003427528150000203
其中,HA和HB分别为所述A图像和所述B图像的归一化的直方图。
优选地,所述合并单元包括:阈值获取模块,用于获取预设相似度阈值;判断模块,用于依次判断每两个相邻子视频之间的相似度是否大于等于所述预设相似度阈值;第一合并模块,用于在所述判断模块判断两个相邻子视频之间的相似度大于等于所述预设相似度阈值的情况下,合并对应的相邻子视频;第二合并模块,用于对所述第一合并模块所有合并的相邻子视频以及所述多个子视频中未被合并的子视频执行视频合并操作,获得所述合并后视频。
优选地,所述第三确定单元包括:关键帧获取模块,用于分别获取所述直播开始子视频的关键帧和所述直播结束子视频的关键帧;第一关键帧确定模块,用于将所述直播开始子视频的关键帧作为所述直播起点帧;第二关键帧确定模块,用于将所述直播结束子视频的关键帧作为所述直播终点帧。
优选地,所述获取所述直播开始子视频的关键帧或获取所述直播结束子视频的关键帧,包括:S511)将所述直播开始子视频或所述直播结束子视频作为目的视频,获取所述目的视频的第一帧图像和第二帧图像,将所述第一帧图像作为初始关键帧图像;S512)基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值;S513)判断所述差值是否大于预设差值阈值;S514)在所述差值小于等于所述预设差值阈值的情况下,将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);S515)在所述差值大于所述预设差值阈值的情况下,将所述第二帧图像作为新的初始关键帧图像,以及将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);S516)在确定完成对所述目的视频的所有帧图像的比较后,将最终获得的初始关键帧图像作为所述目的视频的关键帧。
优选地,所述基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值,包括:基于欧式距离算法计算所述第二帧图像Ij与所述初始关键帧图像Ii之间的差值D(Ii,Ij),所述差值表征为
Figure BDA0003427528150000211
其中,Hik和Hjk分别表征为初始关键帧图像和所述第二帧图像的像素直方图。
进一步地,本发明实施例还提供一种处理器,所述处理器被配置成执行本发明实施例所述的直播视频的裁剪方法。
进一步地,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例所述的直播视频的裁剪方法。
进一步地,本发明实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本发明实施例所述的直播视频的裁剪方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

Claims (23)

1.一种直播视频的裁剪方法,其特征在于,所述裁剪方法包括:
对原始直播视频执行初步裁剪操作,获得多个子视频;
确定相邻子视频的相似度;
基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频;
基于所述合并后视频确定直播开始子视频和直播结束子视频;
基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧;
基于所述直播起点帧和所述直播终点帧对所述原始直播视频执行再裁剪操作。
2.根据权利要求1所述的裁剪方法,其特征在于,所述对原始直播视频执行初步裁剪操作,获得多个子视频,包括:
获取预设裁剪长度;
获取开播时间和停播时间;
基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度;
基于所述优化后裁剪长度对所述原始直播视频执行初步裁剪操作,获得多个子视频。
3.根据权利要求2所述的裁剪方法,其特征在于,所述基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度,包括:
获取预设时间辐射长度;
基于所述开播时间和所述预设时间辐射长度确定开播辐射时间范围,以及基于所述停播时间和所述预设时间辐射长度确定停播辐射时间范围;
获取预设非线性时间分割算法;
基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度;
基于所述预设非线性时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度;
基于所述预设裁剪长度、所述第一裁剪长度和所述第二裁剪长度生成优化后裁剪长度。
4.根据权利要求3所述的裁剪方法,其特征在于,所述基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度,包括:
确定长度增长趋势;
以所述开播时间为起点,基于所述长度增长趋势对所述开播辐射时间范围执行前后时间分割操作,获得第一裁剪长度;
所述基于所述预设时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度,包括:
以所述停播时间为起点,基于所述长度增长趋势对所述停播辐射时间范围执行所述前后时间分割操作,获得第二裁剪长度。
5.根据权利要求1所述的裁剪方法,其特征在于,所述确定相邻子视频的相似度,包括:
提取相邻子视频的相邻帧图像,所述相邻帧图像包括A图像和B图像;
确定所述相邻帧图像的相似度评估信息,所述相似度评估信息包括第一相似度信息S1和第二相似度信息S2
获取预设相似度权重信息,所述预设相似度权重信息包括第一权重a和第二权重b;
基于所述第一相似度信息S1、所第二相似度信息S2、所述第一权重a和所述第二权重b生成相邻子视频的相似度S,所述相邻子视频的相似度S表征为:S=aS1+bS2
6.根据权利要求5所述的裁剪方法,其特征在于,所述第一相似度信息S1为轮廓相似度S1(A,B),所述第二相似度信息S2为颜色相似度S2(A,B),所述第一权重a为预设轮廓权重,所述第二权重b为预设颜色权重,
所述轮廓相似度S1(A,B)表征为:
Figure FDA0003427528140000031
其中,
Figure FDA0003427528140000032
m和n分别为图像的宽和高,k=m*n;
所述颜色相似度S2(A,B)表征为:
Figure FDA0003427528140000033
其中,HA和HB分别为所述A图像和所述B图像的归一化的直方图。
7.根据权利要求1所述的裁剪方法,其特征在于,所述基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频,包括:
获取预设相似度阈值;
依次判断每两个相邻子视频之间的相似度是否大于等于所述预设相似度阈值;
若是,则合并对应的相邻子视频;
基于所有合并的相邻子视频以及所述多个子视频中未被合并的子视频获得所述合并后视频。
8.根据权利要求1所述的裁剪方法,其特征在于,所述基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧,包括:
分别获取所述直播开始子视频的关键帧和所述直播结束子视频的关键帧;
将所述直播开始子视频的关键帧作为所述直播起点帧;
将所述直播结束子视频的关键帧作为所述直播终点帧。
9.根据权利要求8所述的裁剪方法,其特征在于,所述获取所述直播开始子视频的关键帧或获取所述直播结束子视频的关键帧,包括:
S511)将所述直播开始子视频或所述直播结束子视频作为目的视频,获取所述目的视频的第一帧图像和第二帧图像,将所述第一帧图像作为初始关键帧图像;
S512)基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值;
S513)判断所述差值是否大于预设差值阈值;
S514)在所述差值小于等于所述预设差值阈值的情况下,将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);
S515)在所述差值大于所述预设差值阈值的情况下,将所述第二帧图像作为新的初始关键帧图像,以及将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);
S516)在确定完成对所述目的视频的所有帧图像的比较后,将最终获得的初始关键帧图像作为所述目的视频的关键帧。
10.根据权利要求9所述的裁剪方法,其特征在于,所述基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值,包括:
基于欧式距离算法计算所述第二帧图像Ij与所述初始关键帧图像Ii之间的差值D(Ii,Ij),所述差值表征为
Figure FDA0003427528140000051
其中,Hik和Hjk分别表征为初始关键帧图像和所述第二帧图像的像素直方图。
11.一种直播视频的裁剪装置,其特征在于,所述裁剪装置包括:
初步裁剪单元,用于对原始直播视频执行初步裁剪操作,获得多个子视频;
第一确定单元,用于确定相邻子视频的相似度;
合并单元,用于基于所述相似度对所述多个子视频执行视频合并操作,获得合并后视频;
第二确定单元,用于基于所述合并后视频确定直播开始子视频和直播结束子视频;
第三确定单元,用于基于所述直播开始子视频确定直播起点帧,以及基于所述直播结束子视频确定直播终点帧;
再裁剪单元,用于基于所述直播起点帧和所述直播终点帧对所述原始直播视频执行再裁剪操作。
12.根据权利要求11所述的裁剪装置,其特征在于,所述初步裁剪单元包括:
第一获取模块,用于获取预设裁剪长度;
第二获取模块,用于获取开播时间和停播时间;
优化模块,用于基于所述开播时间和所述停播时间对所述预设裁剪长度进行优化,获得优化后裁剪长度;
初步裁剪模块,用于基于所述优化后裁剪长度对所述原始直播视频执行初步裁剪操作,获得多个子视频。
13.根据权利要求12所述的裁剪装置,其特征在于,所述优化模块具体用于:
获取预设时间辐射长度;
基于所述开播时间和所述预设时间辐射长度确定开播辐射时间范围,以及基于所述停播时间和所述预设时间辐射长度确定停播辐射时间范围;
获取预设非线性时间分割算法;
基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度;
基于所述预设非线性时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度;
基于所述预设裁剪长度、所述第一裁剪长度和所述第二裁剪长度生成优化后裁剪长度。
14.根据权利要求13所述的裁剪装置,其特征在于,所述基于所述预设非线性时间分割算法对所述开播辐射时间范围执行时间分割操作,获得第一裁剪长度,包括:
确定长度增长趋势;
以所述开播时间为起点,基于所述长度增长趋势对所述开播辐射时间范围执行前后时间分割操作,获得第一裁剪长度;
所述基于所述预设时间分割算法对所述停播辐射时间范围执行所述时间分割操作,获得第二裁剪长度,包括:
以所述停播时间为起点,基于所述长度增长趋势对所述停播辐射时间范围执行所述前后时间分割操作,获得第二裁剪长度。
15.根据权利要求11所述的裁剪装置,其特征在于,所述第一确定单元包括:
提取模块,用于提取相邻子视频的相邻帧图像,所述相邻帧图像包括A图像和B图像;
第一确定模块,用于确定所述相邻帧图像的相似度评估信息,所述相似度评估信息包括第一相似度信息S1和第二相似度信息S2
权重获取模块,用于获取相似度权重信息,所述预设相似度权重信息包括第一权重a和第二权重b;
第二确定模块,用于基于所述第一相似度信息S1、所第二相似度信息S2、所述第一权重a和所述第二权重b生成相邻子视频的相似度S,所述相邻子视频的相似度S表征为:S=aS1+bS2
16.根据权利要求15所述的裁剪装置,其特征在于,所述第一相似度信息S1为轮廓相似度S1(A,B),所述第二相似度信息S2为颜色相似度S2(A,B),所述第一权重a为预设轮廓权重,所述第二权重b为预设颜色权重,
所述轮廓相似度S1(A,B)表征为:
Figure FDA0003427528140000071
其中,
Figure FDA0003427528140000072
m和n分别为图像的宽和高,k=m*n;
所述颜色相似度S2(A,B)表征为:
Figure FDA0003427528140000073
其中,HA和HB分别为所述A图像和所述B图像的归一化的直方图。
17.根据权利要求11所述的裁剪装置,其特征在于,所述合并单元包括:
阈值获取模块,用于获取预设相似度阈值;
判断模块,用于依次判断每两个相邻子视频之间的相似度是否大于等于所述预设相似度阈值;
第一合并模块,用于在所述判断模块判断两个相邻子视频之间的相似度大于等于所述预设相似度阈值的情况下,合并对应的相邻子视频;
第二合并模块,用于对所述第一合并模块所有合并的相邻子视频以及所述多个子视频中未被合并的子视频执行视频合并操作,获得所述合并后视频。
18.根据权利要求11所述的裁剪装置,其特征在于,所述第三确定单元包括:
关键帧获取模块,用于分别获取所述直播开始子视频的关键帧和所述直播结束子视频的关键帧;
第一关键帧确定模块,用于将所述直播开始子视频的关键帧作为所述直播起点帧;
第二关键帧确定模块,用于将所述直播结束子视频的关键帧作为所述直播终点帧。
19.根据权利要求18所述的裁剪装置,其特征在于,所述获取所述直播开始子视频的关键帧或获取所述直播结束子视频的关键帧,包括:
S511)将所述直播开始子视频或所述直播结束子视频作为目的视频,获取所述目的视频的第一帧图像和第二帧图像,将所述第一帧图像作为初始关键帧图像;
S512)基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值;
S513)判断所述差值是否大于预设差值阈值;
S514)在所述差值小于等于所述预设差值阈值的情况下,将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);
S515)在所述差值大于所述预设差值阈值的情况下,将所述第二帧图像作为新的初始关键帧图像,以及将所述第二帧图像的下一帧图像作为新的第二帧图像,跳转至步骤S512);
S516)在确定完成对所述目的视频的所有帧图像的比较后,将最终获得的初始关键帧图像作为所述目的视频的关键帧。
20.根据权利要求19所述的裁剪装置,其特征在于,所述基于预设比较算法计算所述第二帧图像与所述初始关键帧图像之间的差值,包括:
基于欧式距离算法计算所述第二帧图像Ij与所述初始关键帧图像Ii之间的差值D(Ii,Ij),所述差值表征为
Figure FDA0003427528140000091
其中,Hik和Hjk分别表征为初始关键帧图像和所述第二帧图像的像素直方图。
21.一种处理器,其特征在于,被配置成执行权利要求1-10中任一项权利要求所述的直播视频的裁剪方法。
22.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-10中任一项权利要求所述的直播视频的裁剪方法。
23.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时实现权利要求1-10中任一项权利要求所述的直播视频的裁剪方法。
CN202111582827.4A 2021-12-22 2021-12-22 直播视频的裁剪方法以及直播视频的裁剪装置 Pending CN114266779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111582827.4A CN114266779A (zh) 2021-12-22 2021-12-22 直播视频的裁剪方法以及直播视频的裁剪装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111582827.4A CN114266779A (zh) 2021-12-22 2021-12-22 直播视频的裁剪方法以及直播视频的裁剪装置

Publications (1)

Publication Number Publication Date
CN114266779A true CN114266779A (zh) 2022-04-01

Family

ID=80829028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111582827.4A Pending CN114266779A (zh) 2021-12-22 2021-12-22 直播视频的裁剪方法以及直播视频的裁剪装置

Country Status (1)

Country Link
CN (1) CN114266779A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010044A (zh) * 2016-10-28 2018-05-08 央视国际网络无锡有限公司 一种视频边界检测的方法
CN108182421A (zh) * 2018-01-24 2018-06-19 北京影谱科技股份有限公司 视频分割方法和装置
CN111327945A (zh) * 2018-12-14 2020-06-23 北京沃东天骏信息技术有限公司 用于分割视频的方法和装置
CN113542909A (zh) * 2020-04-21 2021-10-22 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及计算机存储介质
KR20210134528A (ko) * 2020-11-27 2021-11-10 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010044A (zh) * 2016-10-28 2018-05-08 央视国际网络无锡有限公司 一种视频边界检测的方法
CN108182421A (zh) * 2018-01-24 2018-06-19 北京影谱科技股份有限公司 视频分割方法和装置
CN111327945A (zh) * 2018-12-14 2020-06-23 北京沃东天骏信息技术有限公司 用于分割视频的方法和装置
CN113542909A (zh) * 2020-04-21 2021-10-22 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及计算机存储介质
KR20210134528A (ko) * 2020-11-27 2021-11-10 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
US9275683B1 (en) Systems and methods for identifying a scene-change/non-scene-change transition between frames
US9324171B2 (en) Image overlaying and comparison for inventory display auditing
CN111695540B (zh) 视频边框识别方法及裁剪方法、装置、电子设备及介质
US20060164702A1 (en) Dynamic image digest automatic editing system and dynamic image digest automatic editing method
US20190384984A1 (en) Method and system for using semantic-segmentation for automatically generating effects and transitions in video productions
JP2018107793A (ja) 仮想視点画像の生成装置、生成方法及びプログラム
CN111193961B (zh) 视频编辑设备和方法
US10389936B2 (en) Focus stacking of captured images
CN111147955A (zh) 视频播放方法、服务器和计算机可读存储介质
CN110996183B (zh) 视频摘要的生成方法、装置、终端及存储介质
CN111031359B (zh) 视频播放方法、装置、电子设备和计算机可读存储介质
CN114708287A (zh) 一种镜头边界检测方法、设备及存储介质
CN111787354B (zh) 一种视频生成方法及其装置
CN112995676A (zh) 一种音视频压缩方法、装置、设备、系统及存储介质
US9111352B2 (en) Automated detection and correction of stereoscopic edge violations
CN111277915B (zh) 一种视频转换方法及装置
US20160080743A1 (en) Systems and methods for subject-oriented compression
US20240340405A1 (en) Method and system for preprocessing optimization of streaming video data
CN114266779A (zh) 直播视频的裁剪方法以及直播视频的裁剪装置
CN113312949B (zh) 视频数据处理方法、视频数据处理装置和电子设备
CN115550517A (zh) 扫描控制方法、系统、电子设备和存储介质
CN109327713B (zh) 一种媒体信息的生成方法和装置
CN106203244B (zh) 一种镜头类型的确定方法及装置
CN108600864B (zh) 一种电影预告生成方法及装置
CN108540867B (zh) 影片校正方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination