CN109740499B - 视频分割方法、视频动作识别方法、装置、设备及介质 - Google Patents

视频分割方法、视频动作识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN109740499B
CN109740499B CN201811622634.5A CN201811622634A CN109740499B CN 109740499 B CN109740499 B CN 109740499B CN 201811622634 A CN201811622634 A CN 201811622634A CN 109740499 B CN109740499 B CN 109740499B
Authority
CN
China
Prior art keywords
similarity
video segment
video
determining
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811622634.5A
Other languages
English (en)
Other versions
CN109740499A (zh
Inventor
卢江虎
姚聪
刘小龙
孙宇超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201811622634.5A priority Critical patent/CN109740499B/zh
Publication of CN109740499A publication Critical patent/CN109740499A/zh
Application granted granted Critical
Publication of CN109740499B publication Critical patent/CN109740499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本公开提供了一种视频分割方法及装置、视频动作识别方法、电子设备、计算机可读存储介质,属于计算机技术领域。该视频分割方法包括:确定目标视频中相邻两帧图像之间的相似度;如果相邻两帧图像之间的相似度小于第一阈值,则以所述相邻两帧作为中间视频片段的边界帧,将所述目标视频分割为多个所述中间视频片段;确定所述中间视频片段的第二阈值;以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,将所述中间视频片段分割为所述最终视频片段。本公开可以实现对视频的精准分割,获得具有明确的单一内容主题的视频片段,视频片段可用于动作识别,以提高视频动作识别的准确度。

Description

视频分割方法、视频动作识别方法、装置、设备及介质
技术领域
本公开涉及计算机技术领域,特别涉及一种视频分割方法、视频动作识别方法、视频分割装置、电子设备及计算机可读存储介质。
背景技术
视频动作识别是指从视频中识别其包含的动作种类,已应用于自动驾驶、视频推荐、公共安全等多个领域。目前,在对较长的视频进行动作识别时,由于视频中可能包含多个动作片段,需要将视频分割为具有单一内容主题的片段,再对每个片段进行识别。因此,视频动作识别的准确度依赖于视频分割的精准度。
现有的视频分割方法大多基于人为设定的分割标准,例如按照固定的时间段分割、在特定图像出现的时间点分割等。该方法的灵活性较差,对于不同的视频采取统一的分割标准,容易造成错误分割的情况,影响视频分割的精准度。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种视频分割方法、视频动作识别方法、视频分割装置、电子设备及计算机可读存储介质,进而至少在一定程度上克服现有的视频分割方法精准度较低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种视频分割方法,包括:确定目标视频中相邻两帧图像之间的相似度;如果相邻两帧图像之间的相似度小于第一阈值,则以所述相邻两帧作为中间视频片段的边界帧,将所述目标视频分割为多个所述中间视频片段;确定所述中间视频片段的第二阈值;以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,将所述中间视频片段分割为所述最终视频片段。
在本公开的一种示例性实施例中,所述相似度包括结构相似度(StructuralSimilarity Index,SSIM);所述确定目标视频中相邻两帧的图像之间的相似度包括:获取所述目标视频中帧图像的像素阵列;基于所述帧图像的像素阵列,确定相邻两帧图像之间的结构相似度。
在本公开的一种示例性实施例中,所述确定目标视频中相邻两帧图像之间的相似度包括:根据目标视频中相邻两帧图像的像素值确定所述相邻两帧图像之间的第一类相似度;根据所述相邻两帧图像之间的光流确定所述相邻两帧图像之间的第二类相似度;根据所述第一类相似度与所述第二类相似度确定所述相邻两帧图像之间的相似度。
在本公开的一种示例性实施例中,所述相似度包括第一类相似度与第二类相似度,所述第一阈值包括第一类第一阈值与第二类第一阈值;所述确定目标视频中相邻两帧图像之间的相似度包括:根据目标视频中相邻两帧图像的像素值确定所述相邻两帧图像之间的第一类相似度;根据所述相邻两帧图像之间的光流确定所述相邻两帧图像之间的第二类相似度;所述如果相邻两帧图像之间的相似度小于第一阈值,则以所述相邻两帧作为中间视频片段的边界帧,将所述目标视频分割为多个所述中间视频片段包括:将第一类相似度小于所述第一类第一阈值的相邻两帧确定为中间视频片段的第一类边界帧,将第二类相似度小于所述第二类第一阈值的相邻两帧确定为所述中间视频片段的第二类边界帧;根据所述中间视频片段的第一类边界帧与所述中间视频片段的第二类边界帧确定所述中间视频片段的边界帧,以将所述目标视频分割为多个所述中间视频片段。
在本公开的一种示例性实施例中,所述第二阈值包括第一类第二阈值与第二类第二阈值;所述以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,将所述中间视频片段分割为所述最终视频片段包括:将所述中间视频片段中第一类相似度小于第一类第二阈值的相邻两帧确定为最终视频片段的第一类边界帧,将所述中间视频片段中第二类相似度小于第二类第二阈值的相邻两帧确定为所述最终视频片段的第二类边界帧;根据所述最终视频片段的第一类边界帧与所述最终视频片段的第二类边界帧确定所述最终视频片段的边界帧,以将所述中间视频片段分割为所述最终视频片段。
在本公开的一种示例性实施例中,所述相似度包括第一类相似度与第二类相似度;所述确定目标视频中相邻两帧图像之间的相似度包括:根据目标视频中相邻两帧图像的像素值确定所述相邻两帧图像之间的第一类相似度;根据所述相邻两帧图像之间的光流确定所述相邻两帧图像之间的第二类相似度;所述如果相邻两帧图像之间的相似度小于第一阈值,为:如果相邻两帧图像之间的第一类相似度小于第一阈值;所述以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,为:以所述中间视频片段中第二类相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧。
在本公开的一种示例性实施例中,在将所述目标视频分割为多个所述中间视频片段后,所述方法还包括:对于相邻两个中间视频片段,分别对前一中间视频片段的结束帧图像与后一中间视频片段的起始帧图像进行分类识别;如果对所述结束帧图像与所述起始帧图像的分类识别结果一致,则将所述相邻两个中间视频片段拼接为新的中间视频片段。
在本公开的一种示例性实施例中,所述确定所述中间视频片段的第二阈值包括:根据所述中间视频片段中的图像一致度确定所述中间视频片段的第二阈值。
在本公开的一种示例性实施例中,所述中间视频片段中的图像一致度包括所述中间视频片段中帧图像之间的标准差;所述根据所述中间视频片段中的图像一致度确定所述中间视频片段的第二阈值包括:对于任一中间视频片段Mi,获取中间视频片段Mi的帧图像集{G1,G2,…,Gqi};通过以下公式确定帧图像G1、G2、…、Gqi之间的标准差:
Figure GDA0003008384290000031
其中qi为中间视频片段Mi的帧数,σ为标准差,帧图像集{G1,G2,…,Gqi}中任一图像的像素数为m*n,Pjk为第j行第k列的像素点的像素值;根据标准差σ(Mi)确定中间视频片段Mi的第二阈值。
根据本公开的一个方面,提供一种视频动作识别方法,包括:根据上述任意一项所述的视频分割方法将目标视频分割为多个最终视频片段;分别对各所述最终视频片段进行动作识别。
根据本公开的一个方面,提供一种视频分割装置,包括:相似度确定模块,用于确定目标视频中相邻两帧图像之间的相似度;第一分割模块,用于如果相邻两帧图像之间的相似度小于第一阈值,则以所述相邻两帧作为中间视频片段的边界帧,将所述目标视频分割为多个所述中间视频片段;阈值确定模块,用于确定所述中间视频片段的第二阈值;第二分割模块,用于以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,将所述中间视频片段分割为所述最终视频片段。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的视频分割方法或上述任意一项所述的视频动作识别方法。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的视频分割方法或上述任意一项所述的视频动作识别方法。
本公开的示例性实施例具有以下有益效果:
基于相邻帧图像之间的相似度计算,通过第一阈值与第二阈值的标准对目标视频进行至少两轮分割,得到最终视频片段。在采用统一的第一阈值将目标视频分割为中间视频片段后,在针对每个中间视频片段采用不同的第二阈值将其分割为最终视频片段,使得每个最终视频片段的内容体现一个较为突出的主题,实现对视频的精细分割,且分割的准确性较高。
进一步,基于对目标视频的精细与准确分割,可以拓宽视频分割所能应用的场景,例如可以对每个最终视频片段进行动作识别,以实现对目标视频的精准识别,从而提高视频分割技术的普遍适用性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施例的一种视频分割方法的流程图;
图2示出本示例性实施例中一种目标视频分割为中间视频片段的示意图;
图3示出本示例性实施例中一种中间视频片段分割为最终视频片段的示意图;
图4示出本示例性实施例中一种视频分割装置的结构框图;
图5示出本示例性实施例中一种用于实现上述方法的电子设备;
图6示出本示例性实施例中一种用于实现上述方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
本公开的示例性实施例首先提供了一种视频分割方法,可以根据视频的内容将其分割为多个片段,使每个片段体现一个视频主题,其应用场景可以是:在视频动作识别中,将视频分割为多个片段后,分别对每个片段进行识别;对于长视频的自动分割剪辑等等;本示例实施方式对此不做特别限定。
下面结合附图1做进一步说明。参考图1所示,该视频分割方法可以包括以下步骤S110~S140:
步骤S110,确定目标视频中相邻两帧图像之间的相似度。
其中,目标视频即待分割的视频。将目标视频拆分为帧图像,并按照目标视频中的顺序排列为图像序列,计算相邻两帧图像的前一帧图像与后一帧图像之间的相似度。可以计算目标视频中每相邻两帧图像之间的相似度,也可以设置一定的采样间隔,例如每隔特定的帧数设置一采样节点,确定采样节点处相邻两帧图像之间的相似度,还可以在目标视频中指定一个或多个区间,在区间内计算每相邻两帧图像之间的相似度等等。此外,本示例实施方式对于计算相似度的具体方法不做特别限定,以下进行示例性说明。
在一示例性实施例中,可以获取前一帧图像与后一帧图像之间发生变化的像素点数量,计算其相对于图像的像素点总数的比例,将该比例作为相似度。
在一示例性实施例中,也可以基于SIFT算法(Scale-invariant featuretransform,尺度不变特征转换),在相邻两帧图像中确定出感兴趣或具有特征性的局部区域,例如局部区域可以是图像中做动作的人,通过比较相邻两帧图像中局部区域的变化程度,例如局部区域中发生变化的比例,或者局部区域分别在相邻两帧图像中所占的比例等,以此表征相邻两帧图像之间的相似度。
在一示例性实施例中,可以具体采用结构相似度表征相邻两帧图像之间的相似度,相应的,步骤S110可以通过以下步骤实现:
获取目标视频中帧图像的像素阵列;
基于帧图像的像素阵列,确定相邻两帧图像之间的结构相似度。
其中,结构相似度是一种衡量两幅图像相似度的具体指标,可以表征两幅图像在亮度、对比度、结构方面的综合相似度,挖掘图像本身的结构特征,使得相似度的结果具有较高的准确性,更加符合真实的场景。
在一示例性实施例中,可以通过以下公式(1)~(3)计算相邻两帧图像之间的结构相似度:
Figure GDA0003008384290000061
C1=(K1·L)2; (2)
C2=(K2·L)2; (3)
其中,SSIM为结构相似度,x和y分别为相邻两帧图像中的前一帧图像和后一帧图像,μx和μx分别为图像x与图像y的像素平均值,σx为图像x的各像素点的标准差,σy为图像y的各像素点的标准差,σxy是图像x与图像y之间的协方差,L为像素范围,K1与K2为小于1的常数。
在SSIM的计算中,可以将图像x与图像y转换为灰度图像,并基于其灰度值进行上述计算。L可以是灰度值的范围,对于8bit(字节)的图像,L为255。K1与K2通常为远小于1的常数,例如K1=0.01,K2=0.03,其作用是保证算法的稳定性,可以根据上述标准差或协方差的数值范围进行具体设定,对于同一目标视频的不同相邻帧图像计算相似度时,K1与K2的值应当不变。此外,在计算图像的像素平均值、标准差以及协方差时,可以遍历图像中的全部像素点进行计算,也可以采用高斯函数进行简化计算。计算得到的SSIM的值在[-1,1]的范围内,值越大表示相似度越高。
步骤S120,如果相邻两帧图像之间的相似度小于第一阈值,则以该相邻两帧作为中间视频片段的边界帧,将目标视频分割为多个中间视频片段。
由于视频通常具有较强的连续性,前一帧图像与后一帧图像的相似度较高,但在一些视频内容发生突变、人物动作主题变化等时间点,后一帧图像相对于前一帧图像发生较大变化,两者之间的相似度较低。因此可以利用第一阈值作为衡量标准,若相邻两帧图像之间的相似度小于第一阈值,则视该两帧之间的时间点为连续帧图像发生突变的时间点,将其筛选出来作为分割点,即可对目标视频进行初次分割,使得该两帧分别成为分割后的边界帧,边界帧通常为一组结束帧与起始帧,具体而言,相邻两帧中的前一帧图像为前一片段的结束帧,后一帧图像为后一片段的起始帧,分割后的片段为中间视频片段。
第一阈值可以根据经验设定,也可以根据实际应用情况进行计算等等,例如,可以根据目标视频中的图像一致度确定第一阈值,通常图像一致度高时设置较高的第一阈值,图像一致度低时设置较低的第一阈值;也可以根据目标视频的帧率设置第一阈值,通常帧率越高,第一阈值越高。本示例实施方式对此不做特别限定。
图2示出了一段时长将近两分钟的板球发球视频进行初次分割的过程,将该视频转换为每一帧图像的序列,可以得到大约3400张图像,图2的横坐标即示出了将图像按照时间排列而成的序列,图中标出的0:03、0:16等为视频播放的时间点,纵坐标为每相邻两帧图像之间的相似度,相似度越高代表两图像越相近。将第一阈值设置为0.5,可以得到图中所示的各边界帧,从而可以将该视频分割为多个中间视频片段。
需要说明的是,视频内容发生突变或人物动作主题变化等过程通常可以持续数帧或数十帧,因此在确定分割的边界帧时,可能存在连续数帧或数十帧图像中,每相邻两帧图像之间的相似度都低于第一阈值,出现这种情况时,可以在该数帧或数十帧图像中只确定一组边界帧,例如可以将边界帧确定在该数帧或数十帧的起始处或结束处,也可以确定为其中相似度最低的两相邻帧为边界帧,还可以在其中随机确定一组边界帧等等,本示例实施方式对此不做特别限定。
步骤S130,确定中间视频片段的第二阈值。
上述步骤S120可视为对目标视频的粗分割,利用统一的第一阈值作为分割的标准,得到多个中间视频片段。中间视频片段还可能包含了不同的视频内容主题,例如挥舞高尔夫的动作片段,在动作发生之前需要摆姿势,其并不属于动作片段,但是摆姿势与挥舞高尔夫的动作图像较为相似,很有可能被分到同一中间视频片段中;或者一个中间视频片段可能包含两个较为相似的动作片段等等。因此可以对中间视频片段再进行细分割。在细分割时,仍然可以采用相邻帧图像相似度的判断方法,但是判断标准可以随不同的中间视频片段而不同。在步骤S130中,可以为不同的中间视频片段设置不同的第二阈值,第二阈值用于在对中间视频片段进行细分割时确定边界帧,其作用类似于步骤S120中的第一阈值。可以通过多种不同的方式确定第二阈值,以下进行示例性说明。
在一示例性实施例中,可以根据各中间视频片段中的图像一致度确定各中间视频片段的第二阈值。举例而言,将关于舞蹈的目标视频分割为多个中间视频片段后,中间视频片段A为原地舞蹈的片段,中间视频片段B为移动舞蹈的片段,因此中间视频片段A中连续帧图像之间的相似度较高,图像一致度较高,中间视频片段B中连续帧图像之间的相似度较低,图像一致度较低,如果A或B中包含了多段舞蹈,需要进行细分割时,不宜对A与B采用同样的标准。通常中间视频片段中的图像一致度越高,第二阈值越高,反之则越低。
在一示例性实施例中,也可以根据中间视频片段中帧图像的数量确定第二阈值,通常帧图像越多,第二阈值越高,反之则越低。
在一示例性实施例中,还可以根据中间视频片段中特定的前景区域的移动速率确定第二阈值,例如在挥舞高尔夫的动作片段中,可以识别出手的前景区域,统计该区域从中间视频片段的第一帧到最后一帧的移动距离(可以用像素数表示,也可以用实际距离表示),除以帧数得到其每一帧的平均移动距离,即移动速率,移动速率越低,第二阈值越高。
步骤S140,以中间视频片段中相似度小于第二阈值的相邻两帧作为最终视频片段的边界帧,将中间视频片段分割为最终视频片段。
该步骤可视为对中间视频片段进行细分割,其中确定的最终视频片段的边界帧为细分割的边界帧,有别于步骤S120中确定的粗分割的边界帧。一个中间视频片段可以确定一组或多组边界帧,分割为两个或多个最终视频片段,也可以确定零组边界帧,即对于一些中间视频片段可以不再进行细分割,而直接将其作为最终视频片段。
图3示出了对跳远动作的中间视频片段进行细分割的示意图,通过在该中间视频片段中进一步定义第二阈值以及基于图像相似度确定的边界帧,将其分割为三个最终视频片段,其中第一个与第三个片段的主要内容为跳远前后的相关动作,第二个片段的主要内容为跳远的动作过程。可见,通过对中间视频片段的细分割,可以使得到的每个最终视频片段具有单一的视频内容主题,且其内容主题更加的突出与易识别。
需要补充的是,步骤S120与步骤S140对目标视频进行了两轮分割,还可以进行第三、第四等更多轮的分割。例如在步骤S140中对中间视频片段进行分割后,可以对分割后的每个片段重复执行步骤S130与S140,从而进行多轮分割,直到最后得到的最终视频片段达到较高的图像一致度,或者满足应用的需求,例如可以被识别出单一的动作,且达到一定的匹配率等等。
基于上述说明,在本示例性实施例中,基于相邻帧图像之间的相似度计算,通过第一阈值与第二阈值的标准对目标视频进行至少两轮分割,得到最终视频片段。在采用统一的第一阈值将目标视频分割为中间视频片段后,在针对每个中间视频片段采用不同的第二阈值将其分割为最终视频片段,使得每个最终视频片段的内容体现一个较为突出的主题,实现对视频的精细分割,且分割的准确性较高。进一步的,基于对目标视频的精细与准确分割,可以拓宽视频分割所能应用的场景,例如可以对每个最终视频片段进行动作识别,以实现对目标视频的精准识别,从而提高视频分割技术的普遍适用性。
在一示例性实施例中,步骤S110可以具体包括以下步骤:
根据目标视频中相邻两帧图像的像素值确定该相邻两帧图像之间的第一类相似度;
根据相邻两帧图像之间的光流确定该相邻两帧图像之间的第二类相似度;
根据第一类相似度与第二类相似度确定相邻两帧图像之间的相似度。
本示例性实施例中,第一类相似度即指根据像素值的差异确定的相似度,第二类相似度即指根据光流的变化确定的相似度。其中,像素值可以是RGB像素值,也可以是灰度像素值等;光流可以是一个平面向量场,用来显示相邻两帧图像中一个或多个像素点从上一帧图像到下一帧图像之间的位移向量,因此可以很好的表征出相邻两帧图像之间的细节变化。像素值的差异易于表征两图像之间的整体变化。基于两种方法计算出两类相似度,再综合得到相邻两帧图像之间最终的相似度,其准确度更高,更有利于实现精确的视频分割。
在计算第二类相似度时,通常可以对相邻两帧图像之间的光流中的全部向量长度求和,将该长度和作为两帧图像之间的相似度,也可以综合考虑向量数量与向量长度进行定量表示,例如可以对全部向量长度的平方根求和,将平方根之和作为相似度等等。根据第一类相似度与第二类相似度计算最终的相似度时,可以对第一类相似度与第二类相似度进行算术平均或加权平均等。本示例实施方式对于上述计算方法不做特别限定。
在一示例性实施例中,步骤S110中的相似度可以包括第一类相似度与第二类相似度,步骤S120中的第一阈值可以包括第一类第一阈值与第二类第一阈值。相应的,步骤S110可以具体包括以下步骤:
根据目标视频中相邻两帧图像的像素值确定该相邻两帧图像之间的第一类相似度;
根据相邻两帧图像之间的光流确定该相邻两帧图像之间的第二类相似度;
步骤S120可以具体包括以下步骤:
将第一类相似度小于第一类第一阈值的相邻两帧确定为中间视频片段的第一类边界帧,将第二类相似度小于第二类第一阈值的相邻两帧确定为中间视频片段的第二类边界帧;
根据上述中间视频片段的第一类边界帧与第二类边界帧确定中间视频片段的边界帧,以将目标视频分割为多个中间视频片段。
其中,第一类第一阈值是为第一类相似度设置的第一阈值,第二类第一阈值是为第二类相似度设置的第一阈值,即对于像素值差异与光流变化计算的相似度,分别设置衡量相似度是否过低的两种第一阈值。通过第一类第一阈值对目标视频中的第一类相似度进行衡量,选取出第一类相似度较低的相邻两帧,为中间视频片段的第一类边界帧,第一类边界帧可视为初步确定的将目标视频分割为中间视频片段的待定边界帧;同理,可通过第二类第一阈值选取出中间视频片段的第二类边界帧,也可视为初步确定的将目标视频分割为中间视频片段的待定边界帧。
通过中间视频片段的第一类边界帧与第二类边界帧可以最终确定中间视频片段的边界帧,具体而言,可以对第一类边界帧与第二类边界帧取交集或取并集(根据实际需求决定)以确定中间视频片段的边界帧,从而完成目标视频到中间视频片段的分割。
进一步的,在一示例性实施例中,第二阈值可以包括第一类第二阈值与第二类第二阈值,相应的,步骤S140可以具体包括以下步骤:
将中间视频片段中第一类相似度小于第一类第二阈值的相邻两帧确定为最终视频片段的第一类边界帧,将中间视频片段中第二类相似度小于第二类第二阈值的相邻两帧确定为最终视频片段的第二类边界帧;
根据最终视频片段的第一类边界帧与第二类边界帧确定最终视频片段的边界帧,以将中间视频片段分割为最终视频片段。
其中,第一类第二阈值与第二类第二阈值分别为对每个中间视频片段的第一类相似度与第二类相似度设置的第二阈值。并根据中间视频片段中相邻两帧图像之间的第一类相似度与第一类第二阈值的比较结果,以及第二类相似度与第二类第二阈值的比较结果,分别得到最终视频片段的第一类边界帧与第二类边界帧,再对其取交集或取并集以最终确定最终视频片段的边界帧,以进行中间视频片段到最终视频片段的分割。
在一示例性实施例中,步骤S110可以具体包括以下步骤:
根据目标视频中相邻两帧图像的像素值确定所述相邻两帧图像之间的第一类相似度;
根据所述相邻两帧图像之间的光流确定所述相邻两帧图像之间的第二类相似度;
步骤S120中,如果相邻两帧图像之间的相似度小于第一阈值的判断条件可以是:
如果相邻两帧图像之间的第一类相似度小于第一阈值;
步骤S140中,以中间视频片段中相似度小于第二阈值的相邻两帧作为最终视频片段的边界帧可以通过以下步骤实现:
以中间视频片段中第二类相似度小于第二阈值的相邻两帧作为最终视频片段的边界帧。
本示例性实施例中,第一阈值是对目标视频设置的关于第一类相似度的阈值,第二阈值是对中间视频片段设置的关于第二类相似度的阈值。通过比较第一类相似度与第一阈值,可以确定中间视频片段的边界帧,对目标视频进行粗分割;在此基础上,通过比较第二类相似度与第二阈值,可以找出光流变化较大的相邻两帧图像,将其确定为最终视频片段的边界帧,将中间视频片段细分割为最终视频片段。
应当理解,上述第一类相似度与第二类相似度的应用顺序也可以调换,即可以对目标视频设置关于第二类相似度的第一阈值,对中间视频片段设置关于第一类相似度的第二阈值,在步骤S120中比较相邻两帧图像之间的第二类相似度与第一阈值,以确定中间视频片段的边界帧,在步骤S140中比较相邻两帧图像之间的第一类相似度与第二阈值,以确定最终视频片段的边界帧,从而完成对目标视频的分割。
需要说明的是,上述实施例中说明了在确定目标视频或中间视频片段中相邻两帧图像之间的相似度时,基于像素值确定第一类相似度以及光流确定第二类相似度的方式,可以采用其中的任意一种方式,也可以同时采用两种方式。此外,在本公开的示例实施方式中,还可以涉及其他类型的相似度及其确定方式,例如若目标视频是深度相机拍摄的具有深度信息的视频,则可以根据相邻两帧图像的深度分布特征确定第三类相似度等,可以采用任意一种或多种类型的相似度以综合确定目标视频或中间视频片段中相邻两帧图像之间相似度,也可以对每种类型的相似度分别设置第一阈值或第二阈值,以分别确定中间视频片段或最终视频片段的边界帧,从而进行视频分割,本示例实施方式对此不做特别限定。
在一示例性实施例中,可能存在一个动作片段中包含镜头切换,视角调整等情况,导致图像相似度较低,在步骤S120中将该动作片段分割为多个中间视频片段,即过度分割的情况。针对于这种情况,在步骤S120后,视频分割方法还可以包括以下步骤:
对于相邻两个中间视频片段,分别对前一中间视频片段的结束帧图像与后一中间视频片段的起始帧图像进行分类识别;
如果对上述结束帧图像与上述起始帧图像的分类识别结果一致,则将上述相邻两个中间视频片段拼接为新的中间视频片段。
其中,对结束帧图像与起始帧图像的分类识别可以利用深度神经网络、卷积神经网络等机器学习算法模型实现。当分类识别结果一致时,可以认为前一中间视频片段与后一中间视频片段属于同一内容主题,将其拼接为一个中间视频片段,以还原被过度分割的情况。
上述步骤通过结束帧图像与起始帧图像的分类识别结果是否一致判断是否发生了过度分割的情况,此外,也可以通过其他方法进行判断,例如在前一中间视频片段与后一中间视频片段分别确定特征区域,通过确定两特征区域是否相似以判断是否发生了过度分割等等,本示例实施方式对此不做特别限定。
在一示例性实施例中,步骤S130可以通过以下步骤实现:
根据中间视频片段中的图像一致度确定中间视频片段的第二阈值。
如前所述,可以在中间视频片段的图像一致度与与第二阈值之间建立一定的对应关系,基于计算出的中间视频片段的图像一致度,可以根据上述对应关系得到该中间视频片段的第二阈值。其中,图像一致度与第二阈值之间的对应关系可以是线性转换关系,例如两者之间具有固定的转换系数,也可以是非线性转换关系,例如两者之间具有对数函数或幂函数的转换关系,还可以区间性的转换关系,例如将图像一致度的数值范围划分多个区间,每个区间对应于一个第二阈值等,本示例实施方式对此不做特别限定。
关于中间视频片段中的图像一致度,可以通过多种具体的指标与计算方法进行表征。以下进行示例性说明。
在一示例性实施例中,可以对中间视频片段中每相邻两帧图像之间的相似度计算平均值,例如中间视频片段一共包括e帧图像,则可以计算出e-1个相似度,对该e-1个相似度求平均值,将该平均值作为中间视频片段的图像一致度。
在一示例性实施例中,可以确定中间视频片段的图像序列中,始终未发生变化的像素点数量占图像的像素点总数的比例,将该比例作为中间视频片段的图像一致度。
在一示例性实施例中,可以在中间视频片段的图像中确定出感兴趣或具有特征性的局部区域,然后统计该局部区域的每个像素点在每一帧图像中的位置,并基于位置之间的偏差计算中间视频片段的图像一致度等等。本示例实施方式对此不做特别限定。
在一示例性实施例中,可以通过中间视频片段中帧图像之间的标准差表征图像一致度。其中,可以获取中间视频片段中全部帧图像之间的标准差,也可以获取部分帧图像之间的标准差,例如每隔特定的帧数对帧图像采样,将得到的帧图像计算标准差。帧图像之间的标准差可视为图像一致度的一种定量表示方式,可以通过多种具体方法计算,例如可以在中间视频片段的帧图像中确定一具有代表性的参考图像,分别计算其他帧图像与参考图像的相似度,并对所有的相似度求标准差,将其作为帧图像之间的标准差;或者将帧图像按照一个像素点为一个维度的形式转换为高维向量,计算各帧图像的向量之间的标准差,等等。
进一步的,在一示例性实施例中,根据中间视频片段中的图像一致度确定中间视频片段的第二阈值还可以具体通过以下步骤实现:
对于任一中间视频片段Mi,获取中间视频片段Mi的帧图像集{G1,G2,…,Gqi};
通过以下公式(4)确定帧图像G1、G2、…、Gqi之间的标准差:
Figure GDA0003008384290000151
其中,qi为中间视频片段Mi的帧数,σ为标准差,帧图像集{G1,G2,…,Gqi}中任一图像的像素数为m*n,Pjk为第j行第k列的像素点的像素值;
根据标准差σ(Mi)确定中间视频片段Mi的第二阈值。
即可以分别计算每个像素点在全部帧图像内的像素值之间的标准差,再对所有像素点的标准差求平均值,以得到全部帧图像之间的标准差。该方法可以更加全面的体现出不同帧图像之间的差异,以及全部帧图像之间的整体波动情况,使得计算出的标准差能够更加准确地表征图像一致度。标准差与第二阈值之间的对应关系可以参考上述图像一致度与第二阈值之间的对应关系。
在一示例性实施例中,也可以对公式(4)进行一定的变形,例如在计算出每个像素点的标准差后,对其进行加权平均计算。其中,可以根据像素点的位置确定权重,例如在连续帧图像中确定特征性的局部区域,像素点处于该局部区域内,分配较高的权重,离该局部区域越远,分配越低的权重;也可以根据像素点的静态指数,当某个像素点在全部帧图像中保持静止的比例越高,说明该像素点属于背景图像的概率越高,分配越低的权重,反之分配越高的权重等。又例如可以将公式(4)中计算所有像素点的标准差的平均值,变形为计算局部区域的像素点的标准差的平均值,等等。
在一示例性实施例中,在步骤S120后,还可以将图像一致度高于第三阈值的中间视频片段确定为最终视频片段。
其中,根据经验或实际应用情况确定第三阈值,以衡量中间视频片段是否具有较高的图像一致度。如果图像一致度高于第三阈值,说明该中间视频片段的图像一致性较好,判断其具有单一的视频内容主题,无需再进行分割,可以直接将其确定为最终视频片段,从而减少了视频过度分割的情况。
本公开的示例性实施例还提供了一种视频动作识别方法,可以包括以下步骤:
根据上述任一示例性实施例中的视频分割方法将目标视频分割为多个最终视频片段;
分别对各最终视频片段进行动作识别。
其中,基于前述说明,每个最终视频片段具有单一的视频内容主题,对每个最终视频片段进行动作识别,可以得到确定的关于动作种类的识别结果,从而增加动作识别的准确度。
对最终视频片段进行动作识别通常利用机器学习算法模型,例如深度神经网络、卷积神经网络、长短时记忆网络等,对最终视频片段的图像序列进行分类识别,本示例实施方式对于动作识别的具体方式不做限定。
本公开的示例性实施例还提供了一种视频分割装置,参考图4所示,该装置400可以包括:相似度确定模块410,用于确定目标视频中相邻两帧图像之间的相似度;第一分割模块420,用于如果相邻两帧图像之间的相似度小于第一阈值,则以该相邻两帧作为中间视频片段的边界帧,将目标视频分割为多个中间视频片段;阈值确定模块430,用于确定中间视频片段的第二阈值;第二分割模块440,用于以中间视频片段中相似度小于第二阈值的相邻两帧作为最终视频片段的边界帧,将中间视频片段分割为最终视频片段。
在一示例性实施例中,上述相似度可以包括结构相似度;相似度确定模块可以包括:像素阵列获取单元,用于获取目标视频中帧图像的像素阵列;结构相似度确定单元,用于基于帧图像的像素阵列,确定相邻两帧图像之间的结构相似度。
在一示例性实施例中,相似度确定模块可以包括:第一类相似度确定单元,用于根据目标视频中相邻两帧图像的像素值确定相邻两帧图像之间的第一类相似度;第二类相似度确定单元,根据相邻两帧图像之间的光流确定相邻两帧图像之间的第二类相似度;最终相似度确定单元,用于根据第一类相似度与第二类相似度确定相邻两帧图像之间的相似度。
在一示例性实施例中,上述相似度可以包括第一类相似度与第二类相似度,第一阈值可以包括第一类第一阈值与第二类第一阈值;相应的,相似度确定模块可以包括:第一类相似度确定单元,用于根据目标视频中相邻两帧图像的像素值确定相邻两帧图像之间的第一类相似度;第二类相似度确定单元,根据相邻两帧图像之间的光流确定相邻两帧图像之间的第二类相似度。相应的,第一分割模块可以包括:中间边界帧确定单元,用于将第一类相似度小于第一类第一阈值的相邻两帧确定为中间视频片段的第一类边界帧,将第二类相似度小于第二类第一阈值的相邻两帧确定为中间视频片段的第二类边界帧;目标视频分割单元,用于根据中间视频片段的第一类边界帧与第二类边界帧确定中间视频片段的边界帧,以将目标视频分割为多个中间视频片段。
进一步的,在一示例性实施例中,上述第二阈值可以包括第一类第二阈值与第二类第二阈值;第二分割模块可以包括:最终边界帧确定单元,用于将中间视频片段中第一类相似度小于第一类第二阈值的相邻两帧确定为最终视频片段的第一类边界帧,将中间视频片段中第二类相似度小于第二类第二阈值的相邻两帧确定为最终视频片段的第二类边界帧;视频片段分割单元,用于根据最终视频片段的第一类边界帧与第二类边界帧确定最终视频片段的边界帧,以将中间视频片段分割为最终视频片段。
在一示例性实施例中,上述相似度可以包括第一类相似度与第二类相似度;相似度确定模块可以包括:第一类相似度确定单元,用于根据目标视频中相邻两帧图像的像素值确定相邻两帧图像之间的第一类相似度;第二类相似度确定单元,根据相邻两帧图像之间的光流确定相邻两帧图像之间的第二类相似度;第一分割模块可以用于如果相邻两帧图像之间的第一类相似度小于第一阈值,则以该相邻两帧作为中间视频片段的边界帧,将目标视频分割为多个中间视频片段;第二分割模块可以用于以中间视频片段中第二类相似度小于第二阈值的相邻两帧作为最终视频片段的边界帧,将中间视频片段分割为最终视频片段。
在一示例性实施例中,视频分割装置还可以包括:片段拼接模块,用于对于相邻两个中间视频片段,分别对前一中间视频片段的结束帧图像与后一中间视频片段的起始帧图像进行分类识别,以及如果对结束帧图像与起始帧图像的分类识别结果一致,则将该相邻两个中间视频片段拼接为新的中间视频片段。
在一示例性实施例中,阈值确定模块可以用于根据中间视频片段中的图像一致度确定中间视频片段的第二阈值。
在一示例性实施例中,中间视频片段中的图像一致度包括该中间视频片段中帧图像之间的标准差;相应的,阈值确定模块可以包括:帧图像拆分单元,用于对于任一中间视频片段Mi,获取中间视频片段Mi的帧图像集{G1,G2,…,Gqi};标准差确定单元,用于通过以下公式确定图像G1、G2、…、Gqi之间的标准差:
Figure GDA0003008384290000181
其中,qi为中间视频片段Mi的帧数,σ为标准差,帧图像集{G1,G2,…,Gqi}中任一图像的像素数为m*n,Pjk为第j行第k列的像素点的像素值;第二阈值确定单元,用于根据标准差σ(Mi)确定中间视频片段Mi的第二阈值。
在一示例性实施例中,第二分割模块还可以用于将图像一致程度高于第三阈值的中间视频片段确定为最终视频片段。
上述装置中的各模块/单元的具体细节已经在对应的方法部分实施例中进行了详细的说明,因此不再赘述。
本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本公开的这种示例性实施例的电子设备500。图5显示的电子设备500仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于:上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530、显示单元540。
其中,存储单元存储有程序代码,程序代码可以被处理单元510执行,使得处理单元510执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,处理单元510可以执行图1所示的步骤S110~S140等。
存储单元520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)521和/或高速缓存存储单元522,还可以进一步包括只读存储单元(ROM)523。
存储单元520还可以包括具有一组(至少一个)程序模块525的程序/实用工具524,这样的程序模块525包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备500交互的设备通信,和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且,电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器560通过总线530与电子设备500的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。
本公开的示例性实施例还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图6所示,描述了根据本公开的示例性实施例的用于实现上述方法的程序产品600,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施例,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种视频分割方法,其特征在于,包括:
确定目标视频中相邻两帧图像之间的相似度;
如果相邻两帧图像之间的相似度小于第一阈值,则以所述相邻两帧作为中间视频片段的边界帧,将所述目标视频分割为多个所述中间视频片段;
根据所述中间视频片段中的图像一致度确定所述中间视频片段的第二阈值;
以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,将所述中间视频片段分割为所述最终视频片段;
其中,所述中间视频片段中的图像一致度包括所述中间视频片段中帧图像之间的标准差;
所述根据所述中间视频片段中的图像一致度确定所述中间视频片段的第二阈值,包括:
对于任一中间视频片段Mi,获取中间视频片段Mi的帧图像集{G1,G2,…,Gqi};
通过以下公式确定帧图像G1、G2、…、Gqi之间的标准差:
Figure FDA0002988517010000011
其中qi为中间视频片段Mi的帧数,σ为标准差,帧图像集{G1,G2,…,Gqi}中任一图像的像素数为m*n,Pjk为第j行第k列的像素点的像素值;
根据标准差σ(Mi)确定中间视频片段Mi的第二阈值。
2.根据权利要求1所述的方法,其特征在于,所述相似度包括结构相似度;
所述确定目标视频中相邻两帧的图像之间的相似度,包括:
获取所述目标视频中帧图像的像素阵列;
基于所述帧图像的像素阵列,确定相邻两帧图像之间的结构相似度。
3.根据权利要求1所述的方法,其特征在于,所述确定目标视频中相邻两帧图像之间的相似度,包括:
根据目标视频中相邻两帧图像的像素值确定所述相邻两帧图像之间的第一类相似度;
根据所述相邻两帧图像之间的光流确定所述相邻两帧图像之间的第二类相似度;
根据所述第一类相似度与所述第二类相似度确定所述相邻两帧图像之间的相似度。
4.根据权利要求1所述的方法,其特征在于,所述相似度包括第一类相似度与第二类相似度,所述第一阈值包括第一类第一阈值与第二类第一阈值;
所述确定目标视频中相邻两帧图像之间的相似度,包括:
根据目标视频中相邻两帧图像的像素值确定所述相邻两帧图像之间的第一类相似度;
根据所述相邻两帧图像之间的光流确定所述相邻两帧图像之间的第二类相似度;
所述如果相邻两帧图像之间的相似度小于第一阈值,则以所述相邻两帧作为中间视频片段的边界帧,将所述目标视频分割为多个所述中间视频片段,包括:
将第一类相似度小于所述第一类第一阈值的相邻两帧确定为中间视频片段的第一类边界帧,将第二类相似度小于所述第二类第一阈值的相邻两帧确定为所述中间视频片段的第二类边界帧;
根据所述中间视频片段的第一类边界帧与所述中间视频片段的第二类边界帧确定所述中间视频片段的边界帧,以将所述目标视频分割为多个所述中间视频片段。
5.根据权利要求4所述的方法,其特征在于,所述第二阈值包括第一类第二阈值与第二类第二阈值;
所述以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,将所述中间视频片段分割为所述最终视频片段,包括:
将所述中间视频片段中第一类相似度小于第一类第二阈值的相邻两帧确定为最终视频片段的第一类边界帧,将所述中间视频片段中第二类相似度小于第二类第二阈值的相邻两帧确定为所述最终视频片段的第二类边界帧;
根据所述最终视频片段的第一类边界帧与所述最终视频片段的第二类边界帧确定所述最终视频片段的边界帧,以将所述中间视频片段分割为所述最终视频片段。
6.根据权利要求1所述的方法,其特征在于,所述相似度包括第一类相似度与第二类相似度;
所述确定目标视频中相邻两帧图像之间的相似度,包括:
根据目标视频中相邻两帧图像的像素值确定所述相邻两帧图像之间的第一类相似度;
根据所述相邻两帧图像之间的光流确定所述相邻两帧图像之间的第二类相似度;
所述如果相邻两帧图像之间的相似度小于第一阈值,包括:
如果相邻两帧图像之间的第一类相似度小于第一阈值;
所述以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,包括:
以所述中间视频片段中第二类相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧。
7.根据权利要求1所述的方法,其特征在于,在将所述目标视频分割为多个所述中间视频片段后,所述方法还包括:
对于相邻两个中间视频片段,分别对前一中间视频片段的结束帧图像与后一中间视频片段的起始帧图像进行分类识别;
如果对所述结束帧图像与所述起始帧图像的分类识别结果一致,则将所述相邻两个中间视频片段拼接为新的中间视频片段。
8.一种视频动作识别方法,其特征在于,包括:
根据权利要求1-7任一项所述的视频分割方法将目标视频分割为多个最终视频片段;
分别对各所述最终视频片段进行动作识别。
9.一种视频分割装置,其特征在于,包括:
相似度确定模块,用于确定目标视频中相邻两帧图像之间的相似度;
第一分割模块,用于如果相邻两帧图像之间的相似度小于第一阈值,则以所述相邻两帧作为中间视频片段的边界帧,将所述目标视频分割为多个所述中间视频片段;
阈值确定模块,用于根据所述中间视频片段中的图像一致度确定所述中间视频片段的第二阈值;
第二分割模块,用于以所述中间视频片段中相似度小于所述第二阈值的相邻两帧作为最终视频片段的边界帧,将所述中间视频片段分割为所述最终视频片段;
其中,所述中间视频片段中的图像一致度包括所述中间视频片段中帧图像之间的标准差;所述阈值确定模块包括:
帧图像拆分单元,用于对于任一中间视频片段Mi,获取中间视频片段Mi的帧图像集{G1,G2,…,Gqi};
标准差确定单元,用于通过以下公式确定图像G1、G2、…、Gqi之间的标准差:
Figure FDA0002988517010000041
其中qi为中间视频片段Mi的帧数,σ为标准差,帧图像集{G1,G2,…,Gqi}中任一图像的像素数为m*n,Pjk为第j行第k列的像素点的像素值;
第二阈值确定单元,用于根据标准差σ(Mi)确定中间视频片段Mi的第二阈值。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的视频分割方法或权利要求8所述的视频动作识别方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的视频分割方法或权利要求8所述的视频动作识别方法。
CN201811622634.5A 2018-12-28 2018-12-28 视频分割方法、视频动作识别方法、装置、设备及介质 Active CN109740499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811622634.5A CN109740499B (zh) 2018-12-28 2018-12-28 视频分割方法、视频动作识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811622634.5A CN109740499B (zh) 2018-12-28 2018-12-28 视频分割方法、视频动作识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN109740499A CN109740499A (zh) 2019-05-10
CN109740499B true CN109740499B (zh) 2021-06-11

Family

ID=66361807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811622634.5A Active CN109740499B (zh) 2018-12-28 2018-12-28 视频分割方法、视频动作识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN109740499B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430443B (zh) * 2019-07-11 2022-01-25 平安科技(深圳)有限公司 视频镜头剪切的方法、装置、计算机设备及存储介质
CN110378936B (zh) * 2019-07-30 2021-11-05 北京字节跳动网络技术有限公司 光流计算方法、装置及电子设备
CN112312231B (zh) * 2019-07-31 2022-09-02 北京金山云网络技术有限公司 一种视频图像编码方法、装置、电子设备及介质
CN110519629B (zh) * 2019-08-29 2021-08-13 杭州当虹科技股份有限公司 一种基于截图的简易智能epg校准方法
CN110971929B (zh) * 2019-10-31 2022-07-29 咪咕互动娱乐有限公司 云游戏视频处理方法、电子设备及存储介质
CN110856042B (zh) * 2019-11-18 2022-02-11 腾讯科技(深圳)有限公司 视频播放方法、装置、计算机可读存储介质和计算机设备
CN113079420B (zh) * 2020-01-03 2024-10-18 北京三星通信技术研究有限公司 视频生成方法、装置、电子设备及计算机可读存储介质
CN111222476B (zh) * 2020-01-10 2023-06-06 北京百度网讯科技有限公司 视频时序动作的检测方法、装置、电子设备及存储介质
CN111405293B (zh) * 2020-03-20 2022-05-03 北京达佳互联信息技术有限公司 一种视频传输方法及装置
CN111586473B (zh) * 2020-05-20 2023-01-17 北京字节跳动网络技术有限公司 视频的裁剪方法、装置、设备及存储介质
CN111641869B (zh) * 2020-06-04 2022-01-04 虎博网络技术(上海)有限公司 视频分镜方法、装置、电子设备和计算机可读存储介质
CN111601162B (zh) * 2020-06-08 2022-08-02 北京世纪好未来教育科技有限公司 视频切分方法、装置和计算机存储介质
CN111815733A (zh) * 2020-08-07 2020-10-23 深兰科技(上海)有限公司 一种视频着色的方法及系统
CN111970518B (zh) * 2020-08-14 2022-07-22 山东云海国创云计算装备产业创新中心有限公司 一种图像丢帧处理方法、系统、设备及计算机存储介质
CN113779304A (zh) * 2020-08-19 2021-12-10 北京沃东天骏信息技术有限公司 一种检测侵权视频的方法及装置
CN112016427A (zh) * 2020-08-21 2020-12-01 广州欢网科技有限责任公司 一种视频拆条方法和装置
CN112183261A (zh) * 2020-09-17 2021-01-05 广州朗国电子科技有限公司 书写效果检查方法、装置、存储介质及显示终端
CN112200739A (zh) * 2020-09-30 2021-01-08 北京大米科技有限公司 一种视频处理的方法、装置、可读存储介质和电子设备
CN112380929B (zh) * 2020-10-30 2024-07-23 北京字节跳动网络技术有限公司 一种高光片段的获取方法、装置、电子设备和存储介质
CN112669290A (zh) * 2020-12-30 2021-04-16 稿定(厦门)科技有限公司 图像比对方法及装置
CN112883782B (zh) * 2021-01-12 2023-03-24 上海肯汀通讯科技有限公司 投放行为识别方法、装置、设备及存储介质
CN112887792B (zh) * 2021-01-22 2023-07-25 维沃移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN112804578A (zh) * 2021-01-28 2021-05-14 广州虎牙科技有限公司 氛围特效生成方法、装置、电子设备和存储介质
CN112949431B (zh) * 2021-02-08 2024-06-25 证通股份有限公司 视频篡改检测方法和系统、存储介质
CN113014831B (zh) * 2021-03-05 2024-03-12 上海明略人工智能(集团)有限公司 用于对体育视频进行场景获取的方法及装置、设备
CN113192234B (zh) * 2021-04-30 2021-10-15 江苏航运职业技术学院 船舶动力装置故障检测方法及系统
CN113191266B (zh) * 2021-04-30 2021-10-22 江苏航运职业技术学院 船舶动力装置远程监控管理方法及系统
CN113301386B (zh) * 2021-05-21 2023-04-07 北京达佳互联信息技术有限公司 视频处理方法、装置、服务器以及存储介质
CN113435328B (zh) * 2021-06-25 2024-05-31 上海众源网络有限公司 视频片段处理方法、装置、电子设备及可读存储介质
CN113852858A (zh) * 2021-08-19 2021-12-28 阿里巴巴(中国)有限公司 视频处理方法及电子设备
CN114025232B (zh) * 2021-10-22 2024-06-21 上海硬通网络科技有限公司 视频素材剪切方法、装置、终端设备以及可读存储介质
CN114363695B (zh) * 2021-11-11 2023-06-13 腾讯科技(深圳)有限公司 视频处理方法、装置、计算机设备和存储介质
CN114666473B (zh) * 2022-02-10 2024-10-15 山东土地集团数字科技有限公司 耕地保护用视频监控方法、系统、终端及存储介质
CN115082709B (zh) * 2022-07-21 2023-07-07 陕西合友网络科技有限公司 遥感大数据处理方法、系统及云平台
CN117354557A (zh) * 2023-09-22 2024-01-05 腾讯科技(深圳)有限公司 视频处理方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254006A (zh) * 2011-07-15 2011-11-23 上海交通大学 基于内容的互联网视频检索方法
CN102685398A (zh) * 2011-09-06 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种新闻视频场景生成方法
CN104954791A (zh) * 2015-07-01 2015-09-30 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法
CN106204518A (zh) * 2015-05-08 2016-12-07 无锡天脉聚源传媒科技有限公司 一种镜头切分方法和装置
CN108182421A (zh) * 2018-01-24 2018-06-19 北京影谱科技股份有限公司 视频分割方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833492B (zh) * 2012-08-01 2016-12-21 天津大学 一种基于颜色相似度的视频场景分割方法
EP3192273A4 (en) * 2014-09-08 2018-05-23 Google LLC Selecting and presenting representative frames for video previews

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254006A (zh) * 2011-07-15 2011-11-23 上海交通大学 基于内容的互联网视频检索方法
CN102685398A (zh) * 2011-09-06 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种新闻视频场景生成方法
CN106204518A (zh) * 2015-05-08 2016-12-07 无锡天脉聚源传媒科技有限公司 一种镜头切分方法和装置
CN104954791A (zh) * 2015-07-01 2015-09-30 中国矿业大学 矿井无线分布式视频编码中的关键帧实时选取方法
CN108182421A (zh) * 2018-01-24 2018-06-19 北京影谱科技股份有限公司 视频分割方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于内容的视频检索关键技术研究;汪翔;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120915(第09期);第18-25,35-38页 *

Also Published As

Publication number Publication date
CN109740499A (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN109740499B (zh) 视频分割方法、视频动作识别方法、装置、设备及介质
CN113326764B (zh) 训练图像识别模型和图像识别的方法和装置
CN110533097B (zh) 一种图像清晰度识别方法、装置、电子设备及存储介质
CN111026915A (zh) 视频分类方法、视频分类装置、存储介质与电子设备
CN110622176A (zh) 视频分区
CN112560827B (zh) 模型训练方法、装置、预测方法、电子设备及介质
CN113221983B (zh) 迁移学习模型的训练方法及装置、图像处理方法及装置
CN111199541A (zh) 图像质量评价方法、装置、电子设备及存储介质
CN112906492A (zh) 视频场景处理方法、装置、设备及介质
CN114449343A (zh) 一种视频处理方法、装置、设备及存储介质
CN113569657A (zh) 一种行人重识别方法、装置、设备及存储介质
CN114596440B (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
CN116611491A (zh) 目标检测模型的训练方法、装置、电子设备和存储介质
CN115861255A (zh) 用于图像处理的模型训练方法、装置、设备、介质及产品
CN113177483B (zh) 视频目标分割方法、装置、设备以及存储介质
CN114549904A (zh) 视觉处理及模型训练方法、设备、存储介质及程序产品
CN114529796A (zh) 模型训练方法、图像识别方法、装置及电子设备
CN113827240A (zh) 情绪分类方法和情绪分类模型的训练方法、装置及设备
CN114139703A (zh) 知识蒸馏方法及装置、存储介质及电子设备
CN113378921A (zh) 数据筛选方法、装置及电子设备
CN114299430B (zh) 视频解析模型的训练方法、装置、视频解析方法及装置
CN117011539A (zh) 目标检测方法、目标检测模型的训练方法、装置及设备
CN114882334A (zh) 用于生成预训练模型的方法、模型训练方法及装置
CN113642443A (zh) 模型的测试方法、装置、电子设备及存储介质
CN113038129A (zh) 一种用于机器学习的数据样本获取的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant