CN113099313B - 一种视频切片方法、装置及电子设备 - Google Patents

一种视频切片方法、装置及电子设备 Download PDF

Info

Publication number
CN113099313B
CN113099313B CN202110346675.1A CN202110346675A CN113099313B CN 113099313 B CN113099313 B CN 113099313B CN 202110346675 A CN202110346675 A CN 202110346675A CN 113099313 B CN113099313 B CN 113099313B
Authority
CN
China
Prior art keywords
segment
initial segment
initial
target
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110346675.1A
Other languages
English (en)
Other versions
CN113099313A (zh
Inventor
周伯达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110346675.1A priority Critical patent/CN113099313B/zh
Publication of CN113099313A publication Critical patent/CN113099313A/zh
Application granted granted Critical
Publication of CN113099313B publication Critical patent/CN113099313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种视频切分方法、装置及电子设备,涉及视频分析技术领域。该方法包括:按照预设单位时长,将待分析视频划分为多个初始片段;根据每个初始片段的视频内容,确定该初始片段的场景类别;按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对待分析视频进行分片,得到多个目标片段;其中,每个目标片段包括具有相同场景类别的至少一个初始片段,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为所述预设单位时长的整数倍的时长。与现有技术相比,应用本发明实施例提供的方案,可以实现降低各个分析单元所要分析的信息量的差异,降低各个分析单元的负载不均衡的程度,提高待分析视频的分析效率。

Description

一种视频切片方法、装置及电子设备
技术领域
本发明涉及视频分析技术领域,特别是涉及一种视频切片方法、装置及电子设备。
背景技术
当前,随着安防技术的不断提高,用户往往可以通过对监控视频进行分析所得到的分析结果,了解监控场景内出现的人员和事件,从而提高监控效果。
在对监控视频进行分析时,为了提高分析效率,可以对待分析视频进行切分,从而,将所切分得到的多个视频片段分配给多个分析单元进行分析。其中,所谓分析单元,也可以称为智能分析单元,是指:分析某个分辨率下的视频所需的智能资源,该智能资源可以包括CPU(Central Processing Unit,中央处理器)负载、数据运算能力,以及存储空间等与视频分析相关的资源。
相关技术中,对待分析视频进行切片的方法为:确定当前可用的分析单元的数量,从而,将待分析视频按照上述分析单元的数量进行等分,得到上述分析单元的数量个视频片段。这样,各个分析单元所分析的视频片段的时长相同。
然而,在上述相关技术中,仅仅关注了待分析视频的总时长和当前可用的分析单元的数量,可能使得各个分析单元所要分析的信息量差异较大,导致各个分析单元存在负载不均衡的问题,最终影响待分析视频的分析效率
发明内容
本发明实施例的目的在于提供一种视频切片方法、装置及电子设备,以实现降低各个分析单元所要分析的信息量的差异,降低各个分析单元的负载不均衡的程度,提高待分析视频的分析效率。具体技术方案如下:
第一方面,本发明实施例提供了一种视频切片方法,所述方法包括:
按照预设单位时长,将待分析视频划分为多个初始片段;
根据每个初始片段的视频内容,确定该初始片段的场景类别;其中,不同场景类别下视频内容的动态变化的复杂程度不同,每个初始片段具有一种场景类别;
按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段;其中,每个目标片段包括具有相同场景类别的至少一个初始片段,每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配,每个目标片段的目标场景类别为:该目标片段所包括的至少一个初始片段所具有的场景类别;并且,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为所述预设单位时长的整数倍的时长。
可选的,一种具体实现方式中,所述按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段的步骤,包括:从第一个初始片段开始,遍历每个未切分至任一目标片段的初始片段,在遍历到每个初始片段时:若该初始片段满足第一切片条件,则将该初始片段切分为一个目标片段;其中,所述第一切片条件为:该初始片段的场景类别对应的切片时长为所述预设单位时长;若该初始片段不满足所述第一切片条件,则按照预设切分规则,将该初始片段切分至一个目标片段中;其中,所述预设切分规则包括:从未切分至任一目标片段的其他初始片段中,选取满足第二切片条件的片段与该初始片段进行合并切分的规则,所述第二切片条件为:所具有的场景类别与该初始片段的场景类别相同,并且,所具有的时长加该初始片段的时长所得到的时长之和与该初始片段的场景类别对应的切片时长相匹配。
可选的,一种具体实现方式中,所述按照预设切分规则,将该初始片段切分至一个目标片段中的步骤,包括:当该初始片段不为最后一个初始片段时,判断该初始片段之前,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;否则,遍历该初始片段的下一初始片段;当该初始片段为最后一个初始片段时,将未切分为目标片段,且所具有的场景类别相同的各个初始片段切分为同一目标片段。
可选的,一种具体实现方式中,所述按照预设切分规则,将该初始片段切分至一个目标片段中的步骤,包括:当该初始片段为最后一个初始片段时,将该初始片段切分为一个目标片段;当该初始片段不为最后一个初始片段时,判断该初始片段之后,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;否则,将该初始片段之后的未切分至任一目标片段的各个初始片段中,所具有的场景类别与该初始片段的场景类别相同的各个初始片段与该初始片段,切分为同一目标片段。
可选的,一种具体实现方式中,所述按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段的步骤,包括:将所具有的场景类别相同的各个初始片段划分为一组,得到各个片段组;针对每个片段组,按照该片段组中各个初始片段的场景类别对应的切片时长,将该片段组中的各个初始片段切分为各个目标片段。
可选的,一种具体实现方式中,所述根据每个初始片段的视频内容,确定该初始片段的场景类别的步骤,包括:根据每个初始片段的视频内容,确定该初始片段的目标值;其中,所述目标值用于表征视频内容的动态变化的复杂程度;根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别。
可选的,一种具体实现方式中,所述根据每个初始片段的视频内容,确定该初始片段的目标值的步骤,包括:计算每个初始片段的首帧和最后一帧的相似度,作为该初始片段的目标值;或者,计算每个初始片段中,每相邻两帧之间的相似度,将基于所得到的各个相似度确定的目标相似度,作为该初始片段的目标值;其中,所述目标相似度包括:所得到的各个相似度中的最大相似度、所得到的各个相似度中的最小相似度,或者,所得到的各个相似度的平均值。
可选的,一种具体实现方式中,预设的场景类别包括:动态场景、一般场景和静态场景;所述动态场景、所述一般场景和所述静态场景下,视频内容的动态变化的复杂程度依次降低;所述根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别的步骤,包括:针对每个初始片段,若该初始片段的目标值不大于预设的第一相似度阈值,则确定该初始片段的场景类别为所述动态场景;针对每个初始片段,若该初始片段的目标值大于所述第一相似度阈值,且不大于预设的第二相似度阈值,则确定该初始片段的场景类别为所述一般场景;其中,所述第二相似度阈值大于所述第一相似度阈值;针对每个初始片段,若该初始片段的目标值大于所述第二相似度阈值,则确定该初始片段的场景类别为所述静态场景。
可选的,一种具体实现方式中,所述静态场景对应的切片时长是所述动态场景对应的切片时长的第一整数倍,所述一般场景对应的切片时长是所述动态场景对应的切片时长的第二整数倍,所述第一整数大于所述第二整数。
可选的,一种具体实现方式中,在所述按照预设单位时长,将待分析视频划分为多个初始片段的步骤之前,所述方法还包括:判断当前可用的分析单元的数量是否大于预设数值;其中,所述预设数值不小于1;如果是,执行所述按照预设单位时长,将待分析视频划分为多个初始片段的步骤。
可选的,一种具体实现方式中,所述方法还包括:针对所得到的每个目标片段,将该目标片段分配至当前可用的一个分析单元,以使该分析单元对所接收到的目标片段进行分析,得到分析结果。
第二方面,本发明实施例提供了一种视频切片装置,所述装置包括:
片段划分模块,用于按照预设单位时长,将待分析视频划分为多个初始片段;
类别确定模块,用于根据每个初始片段的视频内容,确定该初始片段的场景类别;其中,不同场景类别下视频内容的动态变化的复杂程度不同,每个初始片段具有一种场景类别;
片段切分模块,用于按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段;其中,每个目标片段包括具有相同场景类别的至少一个初始片段,每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配,每个目标片段的目标场景类别为:该目标片段所包括的至少一个初始片段所具有的场景类别;并且,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为所述预设单位时长的整数倍的时长。
可选的,一种具体实现方式中,所述片段切分模块,包括:
片段遍历子模块,用于从第一个初始片段开始,遍历每个未切分至任一目标片段的初始片段,在遍历到每个初始片段时,若该初始片段满足第一切片条件,触发第一切分子模块,若该初始片段不满足所述第一切片条件,触发第二切分子模块;
所述第一切分子模块,用于将该初始片段切分为一个目标片段;其中,所述第一切片条件为:该初始片段的场景类别对应的切片时长为所述预设单位时长;
所述第二切分子模块,用于按照预设切分规则,将该初始片段切分至一个目标片段中;其中,所述预设切分规则包括:从未切分至任一目标片段的其他初始片段中,选取满足第二切片条件的片段与该初始片段进行合并切分的规则,所述第二切片条件为:所具有的场景类别与该初始片段的场景类别相同,并且,所具有的时长加该初始片段的时长所得到的时长之和与该初始片段的场景类别对应的切片时长相匹配。
可选的,一种具体实现方式中,所述第二切分子模块具体用于:当该初始片段不为最后一个初始片段时,则判断该初始片段之前,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;否则,遍历该初始片段的下一初始片段;当该初始片段为最后一个初始片段时,将未切分为目标片段,且所具有的场景类别相同的各个初始片段切分为同一目标片段。
可选的,一种具体实现方式中,所述所述第二切分子模块具体用于:当该初始片段为最后一个初始片段时,将该初始片段切分为一个目标片段;当该初始片段不为最后一个初始片段时,判断该初始片段之后,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;否则,将该初始片段之后的未切分至任一目标片段的各个初始片段中,所具有的场景类别与该初始片段的场景类别相同的各个初始片段与该初始片段,切分为同一目标片段。
可选的,一种具体实现方式中,所述片段切分模块具体用于:将所具有的场景类别相同的各个初始片段划分为一组,得到各个片段组;针对每个片段组,按照该片段组中各个初始片段的场景类别对应的切片时长,将该片段组中的各个初始片段切分为各个目标片段。
可选的,一种具体实现方式中,所述类别确定模块,包括:目标值确定子模块,用于根据每个初始片段的视频内容,确定该初始片段的目标值;其中,所述目标值用于表征视频内容的动态变化的复杂程度;类别确定子模块,用于根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别。
可选的,一种具体实现方式中,所述目标值确定子模块具体用于:计算每个初始片段的首帧和最后一帧的相似度,作为该初始片段的目标值;或者,计算每个初始片段中,每相邻两帧之间的相似度,将基于所得到的各个相似度确定的目标相似度,作为该初始片段的目标值;其中,所述目标相似度包括:所得到的各个相似度中的最大相似度、所得到的各个相似度中的最小相似度,或者,所得到的各个相似度的平均值。
可选的,一种具体实现方式中,预设的场景类别包括:动态场景、一般场景和静态场景;所述动态场景、所述一般场景和所述静态场景下,视频内容的动态变化的复杂程度依次降低;所述类别确定子模块具体用于:针对每个初始片段,若该初始片段的目标值不大于预设的第一相似度阈值,则确定该初始片段的场景类别为所述动态场景;针对每个初始片段,若该初始片段的目标值大于所述第一相似度阈值,且不大于预设的第二相似度阈值,则确定该初始片段的场景类别为所述一般场景;其中,所述第二相似度阈值大于所述第一相似度阈值;针对每个初始片段,若该初始片段的目标值大于所述第二相似度阈值,则确定该初始片段的场景类别为所述静态场景。
可选的,一种具体实现方式中,所述静态场景对应的切片时长是所述动态场景对应的切片时长的第一整数倍,所述一般场景对应的切片时长是所述动态场景对应的切片时长的第二整数倍,所述第一整数大于所述第二整数。
可选的,一种具体实现方式中,所述装置还包括:可用单元判断模块,用于在所述按照预设单位时长,将待分析视频划分为多个初始片段之前,判断当前可用的分析单元的数量是否大于预设数值;其中,所述预设数值不小于1;如果是,触发所述片段划分模块。
可选的,一种具体实现方式中,所述装置还包括:片段分配模块,用于针对所得到的每个目标片段,将该目标片段分配至当前可用的一个分析单元,以使该分析单元对所接收到的目标片段进行分析,得到分析结果。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的任一视频切片方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的任一视频切片方法的步骤。
第五方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面提供的任一视频切片方法的步骤。
本发明实施例有益效果:以上可见,应用本发明实施例提供的方案,在对待分析视频进行切分时,首先按照预设单位时长,将待分析视频划分为多个初始片段,进而,便可以根据每个初始片段的视频内容,确定该初始片段的场景类别,并且,每个初始片段具有一种场景类别。这样,便可以按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对待分析视频进行分片,得到多个目标片段。
其中,由于不同场景类别下视频内容的动态变化的复杂程度不同,从而,在对时长相同且所具有的场景类别不同的各个初始片段进行分析的情况下,分析单元针对上述每个初始片段所用的时间可以是不同的。从而,可以按照信息量均衡原则设定的每种场景类别对应的切片时长,并且,每种场景类别对应的切片时长是预设单位时长的倍数。这样,可以以预设单位时长为基准,根据不同场景类别下,时长为上述预设单位时长的各个视频内容的复杂程度,确定每种场景类别对应的切片时长,从而,针对每种场景类别,分析单元在分析具有该场景类别且时长为场景类别对应的切片时长的视频片段时,所需的分析时长可以是较为均衡的。进而,由于所切分得到的每个目标片段包括具有相同场景类别的至少一个初始片段,并且,该目标片段的总时长与该目标片段所包括的至少一个初始片段所具有的场景类别对应的切片时长相匹配,从而,在对各个目标片段进行分析时,分析单元所用的时间可以是均衡的。
基于此,应用本发明实施例提供的方案,在对待分析视频进行切分时,关注了待分析视频的视频内容,从而,降低了各个分析单元所要分析的信息量的差异,从而,降低了各个分析单元的负载不均衡的程度,提高了待分析视频的分析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种视频切片方法的流程示意图;
图2为本发明实施例提供的另一种视频切片方法的流程示意图;
图3为图1中S102的一种具体实现方式的流程示意图;
图4为图1中S103的一种具体实现方式的流程示意图;
图5为图1中S103的另一种具体实现方式的流程示意图;
图6为图1中S103的再一种具体实现方式的路程示意图;
图7为本发明实施例提供的再一种视频切片方法的流程示意图;
图8为本发明实施例提供的一种视频分析装置的结构示意图;
图9为本发明实施例提供的一种电子设备的结构示意图;
图10为本发明实施例提供的一种将待分析视频划分为多个初始片段的具体实现方式的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,对待分析视频进行切片的方法为:确定当前可用的分析单元的数量,从而,将待分析视频按照上述分析单元的数量进行等分,得到上述分析单元的数量个视频片段。这样,各个分析单元所分析的视频片段的时长相同。然而,在上述相关技术中,仅仅关注了待分析视频的总时长和当前可用的分析单元的数量,可能使得各个分析单元所要分析的信息量差异较大,导致各个分析单元存在负载不均衡的问题,最终影响待分析视频的分析效率。
为了解决上述技术问题,本发明实施例提供了一种视频切片方法。
其中,该方法可以适用于需要对视频进行切片分析的各类应用场景,例如,对监控视频进行切片分析、对影视作品进行切片分析等,这都是合理的。并且,该方法可以应用于服务器、笔记本电脑、台式电脑、NVR(Network Video Recorder,网络视频录像机)、DVR(Digital Video Recorder,数字视频录像机)等各类电子设备中,以下简称电子设备。其中,该电子设备可以是一个独立的电子设备,例如,一台独立的台式电脑,在获取到待分析视频后,执行该方法;也可以是某个与视频相关的系统中的电子设备,例如,作为视频监控系统的管理节点的电子设备。基于此,本发明实施例不对该方法的应用场景和执行主体进行限定。进而,本发明实施例提供的一种视频切片方法可以包括如下步骤:
按照预设单位时长,将待分析视频划分为多个初始片段;
根据每个初始片段的视频内容,确定该初始片段的场景类别;其中,不同场景类别下视频内容的动态变化的复杂程度不同,每个初始片段具有一种场景类别;
按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段;
其中,每个目标片段包括具有相同场景类别的至少一个初始片段,每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配,每个目标片段的目标场景类别为:该目标片段所包括的至少一个初始片段所具有的场景类别;并且,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为所述预设单位时长的整数倍的时长。
以上可见,应用本发明实施例提供的方案,在对待分析视频进行切分时,首先按照预设单位时长,将待分析视频划分为多个初始片段,进而,便可以根据每个初始片段的视频内容,确定该初始片段的场景类别,并且,每个初始片段具有一种场景类别。这样,便可以按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对待分析视频进行分片,得到多个目标片段。
其中,由于不同场景类别下视频内容的动态变化的复杂程度不同,从而,在对时长相同且所具有的场景类别不同的各个初始片段进行分析的情况下,分析单元针对上述每个初始片段所用的时间可以是不同的。从而,可以按照信息量均衡原则设定的每种场景类别对应的切片时长,并且,每种场景类别对应的切片时长是预设单位时长的倍数。这样,可以以预设单位时长为基准,根据不同场景类别下,时长为上述预设单位时长的各个视频内容的复杂程度,确定每种场景类别对应的切片时长,从而,针对每种场景类别,分析单元在分析具有该场景类别且时长为场景类别对应的切片时长的视频片段时,所需的分析时长可以是较为均衡的。进而,由于所切分得到的每个目标片段包括具有相同场景类别的至少一个初始片段,并且,该目标片段的总时长与该目标片段所包括的至少一个初始片段所具有的场景类别对应的切片时长相匹配,从而,在对各个目标片段进行分析时,分析单元所用的时间可以是均衡的。
基于此,应用本发明实施例提供的方案,在对待分析视频进行切分时,关注了待分析视频的视频内容,从而,降低了各个分析单元所要分析的信息量的差异,从而,降低了各个分析单元的负载不均衡的程度,提高了待分析视频的分析效率。
下面,结合附图,对本发明实施例提供的一种视频切片方法进行具体说明。
图1为本发明实施例提供的一种视频切片方法的流程示意图,如图1所示,该方法可以包括如下步骤S101-S103。
S101:按照预设单位时长,将待分析视频划分为多个初始片段;
在获取到待分析视频后,便可以按照预设单位时长,将待分析视频划分为多个初始片段。
其中,待分析视频可以是存储在电子设备本地的视频,也可以是其他电子设备发送给电子设备的视频。并且,待分析视频可以是各类需要进行视频分析的视频,例如,监控录像、影视剧视频等,这都是合理的。
此外,上述预设单位时长,可以根据实际应用中,待分析视频的类型以及电子设备的性能等进行确定,例如,上述预设单位时长可以为5分钟、3分钟等,对此,本发明实施例不对上述预设单位时长的具体数值进行限定。
其中,在待分析视频的时长为预设单位时长的非整数倍的情况下,在划分得到最后一个时长为预设单位时长的初始片段后,可以将该初始片段的最后一帧与待分析视频的最后一帧之间的视频片段同样划分为一个初始片段,并且,该初始片段的时长小于预设单位时长。
例如,待分析视频的时长为44分钟,预设单位时长为5分钟,则可以将待分析视频中,第0分钟-第5分钟之间的视频片段划分为第一个初始片段,将第5分钟-第10分钟之间的视频片段划分为第一个初始片段,依次类推,直至将第35分钟-第40分钟之间的视频片段划分最后一个时长为5分钟的初始片段,进而,便可以将第40-第44分钟之间的视频片段划分最后一个初始片段。
其中,可选的,一种具体实现方式中,假设上述预设单位时长为Tmin,则在获取到待分析视频后,可以从待分析视频的第一个视频帧开始,以Tmin为步进单元,依次确定待分析视频中的各个用于划分初始片段的目标视频帧,其中,每相邻两个目标视频帧之间的时长为Tmin。
也就是说,在获取到待分析视频后,首先将待分析视频的第一个视频帧确定为第一个目标视频帧,接着,将与第一个目标视频帧之间的时长为Tmin的视频帧,确定为第二个目标视频帧,之后,将与第二个目标视频帧之间的时长为Tmin的视频帧,确定为第三个目标视频帧。依次类推,直至确定出最后一个目标视频帧。
其中,如果最后一个目标视频帧为待分析视频的最后一帧,则可以直接将每相邻两个目标帧之间的视频片段确定为一个初始片段;如果最后一个目标视频帧不是待分析视频的最后一帧,也就是说,待分析视频的时长为预设单位时长的非整数倍,则在将每相邻两个目标帧之间的视频片段确定为一个初始片段后,继续将上述最后一个目标视频帧与待分视频的最后一帧之间的视频片段确定为一个初始片段,并且,该初始片段为所确定的最后一个初始片段。
可选的,在待分析视频的编码规则使得预设单位时长是每相邻两个I帧之间的时长的整数倍,且待分析视频的第一个视频帧为I帧的情况下,上述所确定的各个目标视频帧为待分析视频中的I帧,并且,每相邻两个目标视频帧之间可以包括至少一个未被确定为目标视频帧的I帧。
示例性的,如图10所示,假设上述预设单位时长为Tmin,待分析视频为总时长为T的录像片段,则可以以Tmin为步进单元抽取待分析视频中的各个I帧,即在待分析视频中时间点分别为0、Tmin、2Tmin、……、(N-1)*Tmin、N*Tmin、……、(M-1)*Tmin、M*Tmin等的各个位置处抽取I帧,得到各个关键帧,并将所抽取的每相邻两个I帧之间的视频片段确定为一个初始片段,从而,得到多个初始片段。
S102:根据每个初始片段的视频内容,确定该初始片段的场景类别;
其中,不同场景类别下视频内容的动态变化的复杂程度不同,每个初始片段具有一种场景类别;
在将待分析视频划分为各个初始片段后,便可以根据每个初始片段的视频内容,确定该初始片段的场景类别。其中,每个初始片段具有一种场景类别,而具有不同场景类别的初始片段的视频内容的动态变化的复杂程度不同。
其中,场景类别的数量,以及各个场景类别下视频内容的动态变化的复杂程度,即场景类别与视频内容的动态变化的复杂程度的对应关系,可以根据实际应用中的需求进行设定,对此,本发明实施例不做具体限定。
可选的,一种具体实现方式中,场景类别可以包括:动态场景、一般场景和静态场景,其中,动态场景、一般场景和静态场景下,视频内容的动态变化的复杂程度依次降低,也就是说,动态场景下视频内容的动态变化的复杂程度高于一般场景下视频内容的动态变化的复杂程度,一般场景下视频内容的动态变化的复杂程度高于静态场景下视频内容的动态变化的复杂程度。
在本具体实现方式中,每个初始片段的场景类别可以是动态场景、一般场景或者静态场景。
S103:按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对待分析视频进行分片,得到多个目标片段;
其中,每个目标片段包括具有相同场景类别的至少一个初始片段,每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配,每个目标片段的目标场景类别为:该目标片段所包括的至少一个初始片段所具有的场景类别;并且,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为预设单位时长的整数倍的时长。
不同场景类别下视频内容的动态变化的复杂程度不同,从而,在对时长相同且具有不同场景类别的视频片段进行分析的情况下,分析单元针对上述每个初始片段进行分析时所需的时间是不同的。
其中,对于相同时长的各个视频片段,视频内容的动态变化的复杂程度越高,分析节点分析该视频片段时所需的时间越长,并且,对于相同时长的各个视频片段,视频内容的动态变化的复杂程度越高,该视频片段所包含的信息量越大,也就是说,视频片段所包含的信息量越大,分析节点分析该视频片段时所需的时间越长。
这样,在两段视频片段的视频内容的动态变化的复杂程度不同,并且,时长也不同的情况下,若该两段视频片段所包含的信息量是均衡的,那么,分析节点分析该两段视频片段所需的时间也可以是均衡的。
基于此,在确定各个场景类别下视频内容的动态变化的复杂程度后,便可以根据分析节点分别分析时长相同且视频内容的动态变化的复杂程度不同的各个视频片段所需的时长,以及时长相同且视频内容的动态变化的复杂程度不同的各个视频片段所包含的信息量,按照信息量均衡原则,确定每种场景类别对应的切片时长,且每种场景类别对应的切片时长是预设单位时长的整数倍。
也就是说,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为上述预设单位时长的整数倍的时长。
可选的,上述各个场景类别下视频内容的动态变化的复杂程度可以是通过对各个时长是预设单位时长的初始片段所包含的视频内容的信息量以及各个视频帧之间的变化程度进行分析所确定的。
其中,视频内容的动态变化的复杂程度高的场景类别所对应的切片时长,小于视频内容的动态变化的复杂程度低的场景类别所对应的切片时长。
例如,场景类别可以包括:动态场景、一般场景和静态场景,由于动态场景下视频内容的动态变化的复杂程度高于一般场景下视频内容的动态变化的复杂程度,一般场景下视频内容的动态变化的复杂程度高于静态场景下视频内容的动态变化的复杂程度,则动态场景所对应的切片时长小于一般场景所对应的切片时长,一般场景所对应的切片时长小于静态场景所对应的切片时长。
可选的,静态场景所对应的切片时长可以是动态场景所对应的切片时长的第一整数倍,一般场景所对应的切片时长可以是动态场景所对应的切片时长的第二整数倍,并且,第一整数大于第二整数。
示例性的,预设单位时长为Tmin,动态场景所对应的切片时长为Tmin,一般场景所对应的切片时长为2Tmin,静态场景所对应的切片时长为3Tmin。
举例而言,上述Tmin可以为5min,则动态场景所对应的切片时长可以为5min,一般场景所对应的切片时长可以为10min,静态场景所对应的切片时长可以为15min。
这样,在确定每个初始片段的场景类别后,便可以按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对待分析视频进行分片,得到多个目标片段。
其中,所谓对待分析视频进行分片,得到多个目标片段是指:对具有相同场景类别的初始片段进行重新组合,以将至少一个具有相同场景类别的初始片段合并成一个目标片段。
并且,在目标片段中包括多个初始片段的情况下,该多个初始片段在待分析视频中的播放时间可以是连续的,也可以是非连续的。也就是说,被切分到同一目标片段中的多个初始片段可以是连续的,也可以是非连续的。并且,在被切分到同一目标片段中的多个初始片段是非连续的情况下,该多个初始片段可以是任意两个初始片段均不连续,也可以是存在连续的若干个初始片段,而该目标片段中的全部初始片段是不连续的。
例如,被切分到同一目标片段中的三个初始片段中,第一个初始片段和第二个初始片段是连续的,而第三个初始片段与第二初始片段是不连续的。此时,可以说明该目标片段所包括的三个初始片段是不连续的。
其中,每个目标片段可以包括具有相同场景类别的至少一个初始片段,则每个目标片段的总时长即为该目标片段所包括的至少一个初始片段的时长之和,并且,针对每个目标片段,可以将该目标片段所包括的至少一个初始片段所具有的场景类别作为该目标片段的目标场景类别。进而,每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配。
例如,某个目标片段包括多个初始片段,且每个初始片段所具有的场景类别为动态场景,而动态场景所对应的切片时长为Tmin,则该目标片段的总时长与Tmin相匹配。
其中,所谓每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配是指:每个目标片段的总时长不超过该目标片段的目标场景类别对应的切片时长。也就是说,每个目标片段的总时长可以等于该目标片段的目标场景类别对应的切片时长,也可以小于该目标片段的目标场景类别对应的切片时长。
例如,预设单位时长为Tmin,而静态场景所对应的切片时长为3Tmin。这样,包括至少一个场景类别为静态场景的初始片段的目标片段的总时长便可以等于3Tmin,或者小于3Tmin。示例性的,如果存在三个连续的场景类别为静态场景的初始片段,则可以将该三个初始片段划分为一个目标片段,进而,该目标片段的总时长即为3Tmin,而如果仅仅存在两个场景类别为静态场景的初始片段,则可以将该两个初始片段划分为一个目标片段,进而,该目标片段的总时长即为2Tmin,而2Tmin是小于静态场景所对应的切片时长的。
可选的,一种具体实现方式中,如图2所示,本发明实施例提供的一种视频切片方法,还可以包括如下步骤S104。
S104:针对所得到的每个目标片段,将该目标片段分配至当前可用的一个分析单元,以使该分析单元对所接收到的目标片段进行分析,得到分析结果。
在对待分析视频进行切分,得到一个目标片段后,便可以将该目标片段分配至当前可用的一个分析单元,从而,该分析单元在接收到该目标片段后,便可以对该目标片段进行分析,从而,得到关于该目标片段的分析结果。
这样,在切分得到全部的目标片段,并且,分析单元对每个目标片段进行分析后,便可以通过所得到的关于各个目标片段的分析结果,确定关于待分析视频的分析结果。
以上可见,应用本发明实施例提供的方案,由于不同场景类别下视频内容的动态变化的复杂程度不同,从而,在对时长相同且所具有的场景类别不同的各个初始片段进行分析的情况下,分析单元针对上述每个初始片段所用的时间可以是不同的。从而,可以按照信息量均衡原则设定的每种场景类别对应的切片时长,并且,每种场景类别对应的切片时长是预设单位时长的倍数。这样,可以以预设单位时长为基准,根据不同场景类别下,时长为上述预设单位时长的各个视频内容的复杂程度,确定每种场景类别对应的切片时长,从而,针对每种场景类别,分析单元在分析具有该场景类别且时长为场景类别对应的切片时长的视频片段时,所需的分析时长可以是较为均衡的。
进而,由于所切分得到的每个目标片段包括具有相同场景类别的至少一个初始片段,并且,该目标片段的总时长与该目标片段所包括的至少一个初始片段所具有的场景类别对应的切片时长相匹配,从而,在对各个目标片段进行分析时,分析单元所用的时间可以是均衡的。
基于此,应用本发明实施例提供的方案,在对待分析视频进行切分时,关注了待分析视频的视频内容,从而,降低了各个分析单元所要分析的信息量的差异,从而,降低了各个分析单元的负载不均衡的程度,提高了待分析视频的分析效率。
可选的,一种具体实现方式中,如图3所示,上述步骤S102,根据每个初始片段的视频内容,确定该初始片段的场景类别,可以包括如下步骤S1021-S1022。
S1021:根据每个初始片段的视频内容,确定该初始片段的目标值;
其中,目标值用于表征视频内容的动态变化的复杂程度;
在本具体实现方式中,针对每个初始片段,可以首先根据该初始片段的视频内容,确定用于表征该视频内容的动态变化的复杂程度的目标值。
S1022:根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别。
这样,在得到每个初始片段的目标值后,便可以根据所确定的该初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景列表。
可选的,一种具体实现方式中,上述步骤S1021,根据每个初始片段的视频内容,确定该初始片段的目标值,可以包括如下步骤A1。
步骤A1:计算每个初始片段的首帧和最后一帧的相似度,作为该初始片段的目标值;
在本具体实现方式中,针对每个初始片段,可以首先确定该初始片段的首帧和最后一帧,进而,计算所确定的首帧和最后一帧的相似度。这样,由于所计算得到的相似度可以体现该初始片段在经过预设单位时长后,视频内容所发生的变化程度,从而,该相似度可以作为表征该初始片段的视频内容的动态变化的复杂程度的目标值。
其中,上述所计算得到的相似度的取值范围为[0,1],并且,相似度的数值越大,则可以表示该初始片段在经过预设单位时长后,视频内容所发生的变化程度越小,从而,可以表示该初始片段的视频内容的动态变化的复杂程度越小。
其中,可选的,可以从上述视频帧的亮度、对比度和结构三个方面衡量该两个视频帧中的图像的相似度,从而,计算得到每个初始片段的首帧和最后一帧的相似度。
示例性的,针对每个初始片段的首帧和最后一帧,利用滑动窗口对该首帧和最后一帧进行分块,且分块总数可以为N。进而,考虑到滑动窗口的窗口形状对分块结果的影响,可以采用高斯加权的方式计算每次窗口滑动所得到的分块的均值、方差以及协方差,从而,然后计算该首帧和最后一帧中的对应分块的结构相似度S,进而,计算各个结构相似度S的平均值,作为该首帧和最后一帧的结构相似性度量,即将平均结构相似性作为该首帧和最后一帧的相似度。
可选的,另一种具体实现方式中,上述步骤S1021,根据每个初始片段的视频内容,确定该初始片段的目标值,可以包括如下步骤A2。
步骤A2:计算每个初始片段中,每相邻两帧之间的相似度,将基于所得到的各个相似度确定的目标相似度,作为该初始片段的目标值;
其中,目标相似度包括:所得到的各个相似度中的最大相似度、所得到的各个相似度中的最小相似度,或者,所得到的各个相似度的平均值。
在本具体实现方式中,针对每个初始片段,可以首先计算该初始片段中,每相邻两帧之间的相似度,得到各个相似度。进而,便可以基于所得到的各个相似度,确定目标相似度,从而,便可以将该目标相似度作为表征该初始片段的视频内容的动态变化的复杂程度的目标值。
其中,针对每个初始片段,上述目标相似度可以是所得到的各个相似度中的最大相似度,也可以是所得到的各个相似度中的最小相似度,还可以是所得到的各个相似度的平均值。当然,针对每个初始片段,上述目标相似度还可以是其他的根据所得到的各个相似度中确定的数值,这都是合理的。
其中,计算上述每个初始片段中,每相邻两帧之间的相似度的方法,与上述步骤A1中,计算每个相似度的首帧与最后一帧之间的相似度的方法可以相同,在此不再赘述。
并且,在本具体实现方式中,针对每个初始片段,所计算得到的该初始片段中每相邻两帧之间的相似度的取值范围为[0,1],并且,每相邻两帧之间的相似度的数值越大,则可以表示该相邻两帧之间的视频内容所发生的变化程度越小。基于此,针对每个初始片段,上述目标相似度的取值范围也可以为[0,1],并且,该相似度的数值越大,则可以表示该初始片段在经过预设单位时长后,视频内容所发生的变化程度越小,从而,可以表示该初始片段的视频内容的动态变化的复杂程度越小。
可选的,一种具体实现方式中,预设的场景类别可以包括:动态场景、一般场景和静态场景,其中,动态场景、一般场景和静态场景下,视频内容的动态变化的复杂程度依次降低,也就是说,动态场景下视频内容的动态变化的复杂程度高于一般场景下视频内容的动态变化的复杂程度,一般场景下视频内容的动态变化的复杂程度高于静态场景下视频内容的动态变化的复杂程度。
基于此,在本具体实现方式中,上述步骤S1022,根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别,便可以包括如下步骤B1-B3。
步骤B1:针对每个初始片段,若该初始片段的目标值不大于预设的第一相似度阈值,则确定该初始片段的场景类别为动态场景;
步骤B2:针对每个初始片段,若该初始片段的目标值大于第一相似度阈值,且不大于预设的第二相似度阈值,则确定该初始片段的场景类别为一般场景;
其中,第二相似度阈值大于第一相似度阈值;
步骤B3:针对每个初始片段,若该初始片段的目标值大于第二相似度阈值,则确定该初始片段的场景类别为静态场景。
其中,在本具体实现方式中,每个初始片段的目标值用于表征视频内容的动态变化的复杂程度,并且,每个初始片段的目标值是基于该初始片段中,视频帧之间的相似性确定的。因此,每个初始片段的目标值的数值越大,则可以表示该初始片段在经过预设单位时长后,视频内容所发生的变化程度越小,从而,可以表示该初始片段的视频内容的动态变化的复杂程度越小。
基于此,针对每个初始片段,可以首先判断该初始片段的目标值与预设的第一相似度阈值之间的大小关系,从而,如果该初始片段的目标值不大于预设的第一相似度阈值,则可以表示该初始片段在经过预设单位时长后,视频内容所发生的变化程度较大,即可以表示该初始片段的视频内容的动态变化的复杂程度越大,从而,可以确定该初始片段的场景类别为动态场景。
相应的,如果该初始片段的目标值大于预设的第一相似度阈值,则由于预设的第二相似度阈值大于第一相似度阈值,因此,可以进一步判断该初始片段的目标值与预设的第二相似度阈值之间的大小关系。从而,如果若该初始片段的目标值大于第一相似度阈值,且不大于第二相似度阈值,则可以表示该初始片段在经过预设单位时长后,视频内容所发生了一定程度的变化,且该变化程度小于动态场景下视频内容所发生的变化程度,即可以表示该初始片段的视频内容的动态变化的具有一定的复杂程度,且该复杂程度小于动态场景下视频内容的动态变化的复杂程度,从而,可以确定该初始片段的场景类别为一般场景。
进一步的,如果该初始片段的目标值大于第二相似度阈值,则可以表示该初始片段在经过预设单位时长后,视频内容所发生的变化程度较小,即可以表示该初始片段的视频内容的动态变化的复杂程度越小,从而,可以确定该初始片段的场景类别为静态场景。
其中,上述第一相似度阈值和第二相似度阈值的具体数值可以根据实际应用的需求进行确定,对此,本发明实施例不做具体限定。例如,上述第一相似度阈值和第二相似度阈值可以分别为0.25和0.55等。
可选的,一种具体实现方式中,如图4所示,上述步骤S103,按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对待分析视频进行分片,得到多个目标片段,可以包括如下步骤S1031-S1033。
S1031:从第一个初始片段开始,遍历每个未切分至任一目标片段的初始片段,在遍历到每个初始片段时,若该初始片段满足第一切片条件,执行步骤S1032;否则,执行步骤S1033;
其中,第一切片条件为:该初始片段的场景类别对应的切片时长为预设单位时长;
在本具体实现方式中,可以从初始片段开始,依次遍历每个未切分至任一目标片段的初始片段,并且,在遍历到每个初始片段时,首先判断该初始片段是否满足第一切片条件,也就是说,判断该初始片段的场景类别对应的切片时长为预设单位时长。
其中,由于所遍历的是未切分至任一目标片段的初始片段,并且,该初始片段的时长即为预设单位时长,因此,在遍历到每个初始片段时,判断该初始片段是否满足第一切片条件,可以理解为:判断该初始片段是否能够单独作为一个目标片段被切分。
S1032:将该初始片段切分为一个目标片段;
如果该初始片段满足第一切片条件,则可以直接将该初始片段切分为一个目标片段,其中,所切分得到的目标片段仅仅由该初始片段构成。
S1033:按照预设切分规则,将该初始片段切分至一个目标片段中;
其中,预设切分规则包括:从未切分至任一目标片段的其他初始片段中,选取满足第二切片条件的片段与该初始片段进行合并切分的规则,第二切片条件为:所具有的场景类别与该初始片段的场景类别相同,并且,所具有的时长加该初始片段的时长所得到的时长之和与该初始片段的场景类别对应的切片时长相匹配。
相应的,如果该初始片段不满足第一切片条件,那么,便需要查找未切分至任一目标片段的其他初始片段中,是否存在能够与该初始片段共同构成一个目标片段的初始片段。基于此,如果该初始片段不满足第一切片条件,那么,便可以按照预设切分规则,将该初始片段切分至一个目标片段中。
可选的,在按照预设切分规则,将该初始片段切分至一个目标片段中时,可以选取位于该初始片段之前的,未切分至任一目标片段且满足第二切片条件的初始片段,也可以选取位于该初始片段之后的,未切分至任一目标片段且满足第二切片条件的初始片段。这都是合理的。
其中,由于每种场景类别对应的切片时长为属于预设单位时长的整数倍的时长。因此,在按照预设切分规则,将该初始片段切分至一个目标片段中时,从未切分至任一目标片段的其他初始片段中,所选取的满足第二切片条件的初始片段的数量可以为一个,也可以为多个。
并且,上述第二切片条件中的所具有的时长加该初始片段的时长所得到的时长之和与该初始片段的场景类别对应的切片时长相匹配是指:所具有的时长加该初始片段的时长所得到的时长之和不超过与该初始片段的场景类别对应的切片时长。也就是说,所具有的时长加该初始片段的时长所得到的时长之和等于或者小于与该初始片段的场景类别对应的切片时长。
可选的,一种具体实现方式中,如图5所示,上述步骤S1033,按照预设切分规则,将该初始片段切分至一个目标片段中,可以包括如下步骤S501-S504。
S501:当该初始片段不为最后一个初始片段时,判断该初始片段之前,是否存在未切分至任一目标片段且满足第二切片条件的初始片段,如果存在,执行步骤S502;否则,执行步骤S503;
S502:将该初始片段和所存在的满足第二切片条件的初始片段,切分为同一目标片段;
S503:遍历该初始片段的下一初始片段;
S504:当该初始片段为最后一个初始片段时,将未切分为目标片段,且所具有的场景类别相同的各个初始片段切分为同一目标片段。
在本具体实现方式中,在按照预设切分规则,将该初始片段切分至一个目标片段中时,所选取的是:位于该初始片段之前的,未切分至任一目标片段且满足第二切片条件的初始片段。基于此,在遍历到每个未切分至任一目标片段的初始片段时,如果该初始片段不为最后一个初始片段,则该初始片段之后的初始片段均为未切分至任一目标片段的初始片段。
这样,在遍历到某个初始片段,且该初始片段不满足第一切片条件时,可以首先判断该初始片段是否为最后一个初始片段。
这样,当该初始片段不为最后一个初始片段时,便可以该初始片段之前,是否存在未切分至任一目标片段且满足第二切片条件的初始片段。其中,如果存在,便可以将该初始片段和所存在的满足第二切片条件的初始片段,切分为同一目标片段;如果不存在,便可以暂时不将该初始片段切分至任一目标片段中,而是遍历该初始片段的下一初始片段。
其中,可选的,对于暂时不能被切分至任一目标片段中的初始片段,可以添加用于表征未切分至任一目标片段中的标识信息,从而,以便于在遍历之后的初始片段时,可以通过该标识信息,确定位于该初始片段之前且已经遍历过的初始片段中,未切分至任一目标片段中的初始片段。
相应的,当该初始片段为最后一个初始片段时,则无论该初始片段之前,是否存在未切分至任一目标片段且满足第二切片条件的初始片段,当前未切分为目标片段的各个初始片段中,所具有的场景类别相同的各个初始片段的总时长均不会超过该场景类别所对应的切片时长,从而,可以直接将未切分为目标片段,且所具有的场景类别相同的各个初始片段切分为同一目标片段。这样,便可以完成对待分析视频的切分。
例如,待分析视频被划分10个初始片段,其中,各个初始片段的场景类别如下表1所示,表1的第一行为各个初始片段的编号,第二行为每个初始片段的场景列表。其中,场景类别包括:动态场景、一般场景和静态场景,且预设单位时长为Tmin,动态场景所对应的切片时长为Tmin,一般场景所对应的切片时长为2Tmin,静态场景所对应的切片时长为3Tmin。
表1
Figure GDA0003526395280000181
进而,遍历第1个初始片段,由于第1个初始片段满足第一切片条件,从而,将第1个初始片段切分为一个目标片段;
遍历第2个初始片段,由于第2个初始片段不满足第一切片条件、不是最后一个初始片段,且第1个初始片段已经被切分为一个目标片段,则暂时不对第2个初始片段进行切分,而是遍历第3个初始片段;
遍历第3个初始片段,由于第3个初始片段不满足第一切片条件、不是最后一个初始片段,且第2个初始片段不满足第二切片条件,则暂时不对第3个初始片段进行切分,而是遍历第4个初始片段;
遍历第4个初始片段,由于第4个初始片段满足第一切片条件,从而,将第4个初始片段切分为一个目标片段;
遍历第5个初始片段,由于第5个初始片段不满足第一切片条件、不是最后一个初始片段,且第2个初始片段满足第二切片条件,则将第2个初始片段和第5个初始片段,切分为同一目标片段;
遍历第6个初始片段,由于第6个初始片段不满足第一切片条件、不是最后一个初始片段,且第3个初始片段不满足第二切片条件,则暂时不对第6个初始片段进行切分,而是遍历第7个初始片段;
遍历第7个初始片段,由于第7个初始片段满足第一切片条件,从而,将第7个初始片段切分为一个目标片段;
遍历第8个初始片段,由于第8个初始片段不满足第一切片条件、不是最后一个初始片段,且第3个初始片段和第6个初始片段不满足第二切片条件,则暂时不对是第8个初始片段进行切分,而遍历第9个初始片段;
遍历第9个初始片段,由于第9个初始片段不满足第一切片条件、不是最后一个初始片段,且第第3个初始片段和第6个初始片段满足第二切片条件,则将第3个初始片段、第6个初始片段和第9个初始片段,切分为同一目标片段;
遍历第10个初始片段,则第10个初始片段切分为目标片段,并将第8个初始片段切分为目标片段。
可选的,一种具体实现方式中,如图6所示,上述步骤S1033,按照预设切分规则,将该初始片段切分至一个目标片段中,可以包括如下步骤S601-S604。
S601:当该初始片段为最后一个初始片段时,将该初始片段切分为一个目标片段。
S602:当该初始片段不为最后一个初始片段时,判断该初始片段,是否存在未切分至任一目标片段且满足第二切片条件的初始片段;如果存在,执行步骤S603;否则,执行步骤S604;
S603:将该初始片段和所存在的满足第二切片条件的初始片段,切分为同一目标片段;
S604:将该初始片段之后的未切分至任一目标片段的各个初始片段中,所具有的场景类别与该初始片段的场景类别相同的各个初始片段与该初始片段,切分为同一目标片段。
在本具体实现方式中,在按照预设切分规则,将该初始片段切分至一个目标片段中时,所选取的是:位于该初始片段之后的,未切分至任一目标片段且满足第二切片条件的初始片段。基于此,在遍历到每个未切分至任一目标片段的初始片段时,位于该初始片段之前的初始片段均被切分至任一目标片段的初始片段;而在该初始片段不为最后一个初始片段的情况下,位于该初始片段之后的初始片段中,可以存在未切分至任一目标片段的初始片段和/或已经被切分至任一目标片段的初始片段。
这样,在遍历到某个初始片段,且该初始片段不满足第一切片条件时,可以首先判断该初始片段是否为最后一个初始片段。
如果该初始片段为最后一个初始片段,那么,便可以直接将初始片段切分为一个目标片段。这样,便可以完成对待分析视频的切分。
如果该初始片段不为最后一个初始片段,那么,便可以判断该初始片段之后,是否存在未切分至任一目标片段且满足第二切片条件的初始片段。
如果存在,那么,便可以将该初始片段和所存在的满足第二切片条件的初始片段,切分为同一目标片段。
从而,便可以确定是否存在位于该初始片段之后,且未切分至任一目标片段的初始片段,如果存在,则可以继续遍历该位于该初始片段之后,且未切分至任一目标片段的初始片段;如果不存在,则便可以完成对待分析视频的切分。
其中,可选的,在遍历到一初始片段时,对于位于该初始片段之后的且满足第二切片条件的初始片段,可以添加用于表征已经被切分至任一目标片段中的标识信息,从而,以便于在遍历之后的初始片段时,可以通过该标识信息,确定位于该初始片段之后且已经遍历过的初始片段中,已经被切分至任一目标片段中的初始片段,从而,进一步确定位于该初始片段之前且已经遍历过的初始片段中,未切分至任一目标片段中的初始片段。
如果不存在,那么,位于该初始片段之后的,且具有的场景类别与该初始片段的场景类别相同的各个初始片段和该初始片段的总时长,不会超过该初始片段所具有的场景类别所对应的切片时长,从而,可以直接将该初始片段之后的未切分至任一目标片段的各个初始片段中,所具有的场景类别与该初始片段的场景类别相同的各个初始片段与该初始片段,切分为同一目标片段。
进而,便可以确定是否存在位于该初始片段之后,且未切分至任一目标片段的初始片段,如果存在,则可以继续遍历该位于该初始片段之后,且未切分至任一目标片段的初始片段;如果不存在,则便可以完成对待分析视频的切分。
例如,待分析视频被划分10个初始片段,其中,各个初始片段的场景类别如下表1所示,表1的第一行为各个初始片段的编号,第二行为每个初始片段的场景列表。其中,场景类别包括:动态场景、一般场景和静态场景,且预设单位时长为Tmin,动态场景所对应的切片时长为Tmin,一般场景所对应的切片时长为2Tmin,静态场景所对应的切片时长为3Tmin。
表1
Figure GDA0003526395280000201
进而,遍历第1个初始片段,由于第1个初始片段满足第一切片条件,从而,将第1个初始片段切分为一个目标片段;
遍历第2个初始片段,由于第2个初始片段不满足第一切片条件、不是最后一个初始片段,且第5个初始片段满足第二切片条件,则将第2个初始片段和第5个初始片段,切分为同一目标片段;
遍历第3个初始片段,由于第3个初始片段不满足第一切片条件、不是最后一个初始片段,且第6个初始片段和第9个初始片段满足第二切片条件,则将第3个初始片段、第6个初始片段和第9个初始片段,切分为同一目标片段;
遍历第4个初始片段,由于第4个初始片段满足第一切片条件,从而,将第4个初始片段切分为一个目标片段;
遍历第7个初始片段,由于第7个初始片段满足第一切片条件,从而,将第7个初始片段切分为一个目标片段;
遍历第8个初始片段,由于第8个初始片段不满足第一切片条件、不是最后一个初始片段,且第10个初始片段不满足第二切片条件,则将第8个初始片段切分为一个目标片段;
遍历第10个初始片段,则第10个初始片段切分为目标片段,并将第8个初始片段切分为目标片段。
可选的,一种具体实现方式中,上述步骤S103,按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对待分析视频进行分片,得到多个目标片段,可以包括如下步骤C1-C2。
步骤C1:将所具有的场景类别相同的各个初始片段划分为一组,得到各个片段组;
步骤C2:针对每个片段组,按照该片段组中各个初始片段的场景类别对应的切片时长,将该片段组中的各个初始片段切分为各个目标片段。
在本具体实现方式中,在确定各个初始片段的场景类别后,便可以将所具有的场景类别相同的各个初始片段划分为一组,从而,得到各个片段组。其中,每个片段组中所包括的初始片段的场景类别相同。
进而,针对每个片段组,便可以按照该片段组中各个初始片段的场景类别对应的切片时长,将该片段组中的各个初始片段切分为各个目标片段。
其中,由于该片段组中,各个初始片段的场景类别对应的切片时长是属于预设单位时长的整数倍的时长,因此,便可以按照该倍数,将该片段组中的各个初始片段切分为各个目标片段。
并且,如果该片段组中所包括的初始片段的数量不是该倍数的整数倍时,那么,可以首先计算该片段组中所包括的初始片段的数量与上述倍数的商值,从而,可以首先切分得到上述商值个目标片段,并且,每个目标片段中包括上述倍数个初始片段,进而,将剩余的小于上述倍数个的初始片段切分为同一个目标片段。从而,得到上述商值加1个目标片段。
例如,针对某个片段组,该片段组中所包括的初始片段的数量为10,该,片段组中,各个初始片段的场景类别对应的切片时长是预设单位时长的3倍,即上述倍数为3。其中,10与3的商值为3,则针对该片段组,可以首先切分三个分别包括三个初始片段的目标片段,进而,将剩余的最后一个初始片段切分为一个目标片段,从而,得到四个目标片段。
此外,在目标片段中包括多个初始片段的情况下,该多个初始片段在待分析视频中的播放时间可以是连续的,也可以是非连续的。
可以理解的,当当前可用的分析单元的数量较少时,可以不对待分析视频进行切分;例如,只有一个当前可用的分析单元时,可以不对待分析视频进行切分,又例如,当前可用的分析单元的数量较少,且待分析视频的数量较多时,可以不对待分析视频进行切分。
基于此,可选的,一种具体实现方式中,如图7所示,本发明实施例提供的一种视频切分方法,还可以包括如下步骤:
S100:判断当前可用的分析单元的数量是否大于预设数值;如果是,执行步骤S101;其中,预设数值不小于1。
在本具体实现方式中,在对待分析视频进行切分之前,可以首先确定当前可用的分析单元的数量,并进一步判断当前可用的分析单元的数量是否大于预设数值。从而,在判断结果为是时,执行上述步骤S101,对待分析视频进行切分,得到多个目标视频。
其中,可选的,一种具体实现方式中,上述预设数值可以为2。
则当上述步骤S100的判断结果为否时,可以进一步确定当前可用的分析单元的数量是否为2,从而,根据所得到的确定结果,对待分析视频进行处理。
其中,若当前可用的分析单元的数量为2,则可以直接按照上述预设单位时长,对待分析视频进行切分,得到各个目标片段;
相应的,若当前可用的分析单元的数量为1,则可以不对待分析视频进行切分,而直接将待分析视频分配给当前可用的分析单元,以使得该分析单元可以对待分析视频进行分析,得到分析结果。
相应于上述本发明实施例提供的一种视频分析方法,本发明实施例还提供另一种视频分析装置。
图8为本发明实施例提供的一种视频分析装置的结构示意图。如图8所示,该装置可以包括如下模块:
片段划分模块810,用于按照预设单位时长,将待分析视频划分为多个初始片段;
类别确定模块820,用于根据每个初始片段的视频内容,确定该初始片段的场景类别;其中,不同场景类别下视频内容的动态变化的复杂程度不同,每个初始片段具有一种场景类别;
片段切分模块830,用于按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段;
其中,每个目标片段包括具有相同场景类别的至少一个初始片段,每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配,每个目标片段的目标场景类别为:该目标片段所包括的至少一个初始片段所具有的场景类别;并且,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为所述预设单位时长的整数倍的时长。
以上可见,应用本发明实施例提供的方案,在对待分析视频进行切分时,首先按照预设单位时长,将待分析视频划分为多个初始片段,进而,便可以根据每个初始片段的视频内容,确定该初始片段的场景类别,并且,每个初始片段具有一种场景类别。这样,便可以按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对待分析视频进行分片,得到多个目标片段。
其中,由于不同场景类别下视频内容的动态变化的复杂程度不同,从而,在对时长相同且所具有的场景类别不同的各个初始片段进行分析的情况下,分析单元针对上述每个初始片段所用的时间可以是不同的。从而,可以按照信息量均衡原则设定的每种场景类别对应的切片时长,并且,每种场景类别对应的切片时长是预设单位时长的倍数。这样,可以以预设单位时长为基准,根据不同场景类别下,时长为上述预设单位时长的各个视频内容的复杂程度,确定每种场景类别对应的切片时长,从而,针对每种场景类别,分析单元在分析具有该场景类别且时长为场景类别对应的切片时长的视频片段时,所需的分析时长可以是较为均衡的。
进而,由于所切分得到的每个目标片段包括具有相同场景类别的至少一个初始片段,并且,该目标片段的总时长与该目标片段所包括的至少一个初始片段所具有的场景类别对应的切片时长相匹配,从而,在对各个目标片段进行分析时,分析单元所用的时间可以是均衡的。
基于此,应用本发明实施例提供的方案,在对待分析视频进行切分时,关注了待分析视频的视频内容,从而,降低了各个分析单元所要分析的信息量的差异,从而,降低了各个分析单元的负载不均衡的程度,提高了待分析视频的分析效率。
可选的,一种具体实现方式中,所述片段切分模块830,包括:
片段遍历子模块,用于从第一个初始片段开始,遍历每个未切分至任一目标片段的初始片段,在遍历到每个初始片段时,若该初始片段满足第一切片条件,触发第一切分子模块,若该初始片段不满足所述第一切片条件,触发第二切分子模块;
所述第一切分子模块,用于将该初始片段切分为一个目标片段;其中,所述第一切片条件为:该初始片段的场景类别对应的切片时长为所述预设单位时长;
所述第二切分子模块,用于按照预设切分规则,将该初始片段切分至一个目标片段中;其中,所述预设切分规则包括:从未切分至任一目标片段的其他初始片段中,选取满足第二切片条件的片段与该初始片段进行合并切分的规则,所述第二切片条件为:所具有的场景类别与该初始片段的场景类别相同,并且,所具有的时长加该初始片段的时长所得到的时长之和与该初始片段的场景类别对应的切片时长相匹配。
可选的,一种具体实现方式中,所述第二切分子模块具体用于:当该初始片段不为最后一个初始片段时,则判断该初始片段之前,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;否则,遍历该初始片段的下一初始片段;当该初始片段为最后一个初始片段时,将未切分为目标片段,且所具有的场景类别相同的各个初始片段切分为同一目标片段。
可选的,一种具体实现方式中,所述所述第二切分子模块具体用于:当该初始片段为最后一个初始片段时,将该初始片段切分为一个目标片段;当该初始片段不为最后一个初始片段时,判断该初始片段之后,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;否则,将该初始片段之后的未切分至任一目标片段的各个初始片段中,所具有的场景类别与该初始片段的场景类别相同的各个初始片段与该初始片段,切分为同一目标片段。
可选的,一种具体实现方式中,所述片段切分模块830具体用于:将所具有的场景类别相同的各个初始片段划分为一组,得到各个片段组;针对每个片段组,按照该片段组中各个初始片段的场景类别对应的切片时长,将该片段组中的各个初始片段切分为各个目标片段。
可选的,一种具体实现方式中,所述类别确定模块820,包括:
目标值确定子模块,用于根据每个初始片段的视频内容,确定该初始片段的目标值;其中,所述目标值用于表征视频内容的动态变化的复杂程度;
类别确定子模块,用于根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别。
可选的,一种具体实现方式中,所述目标值确定子模块具体用于:计算每个初始片段的首帧和最后一帧的相似度,作为该初始片段的目标值;或者,计算每个初始片段中,每相邻两帧之间的相似度,将基于所得到的各个相似度确定的目标相似度,作为该初始片段的目标值;其中,所述目标相似度包括:所得到的各个相似度中的最大相似度、所得到的各个相似度中的最小相似度,或者,所得到的各个相似度的平均值。
可选的,一种具体实现方式中,预设的场景类别包括:动态场景、一般场景和静态场景;所述动态场景、所述一般场景和所述静态场景下,视频内容的动态变化的复杂程度依次降低;所述类别确定子模块具体用于:针对每个初始片段,若该初始片段的目标值不大于预设的第一相似度阈值,则确定该初始片段的场景类别为所述动态场景;针对每个初始片段,若该初始片段的目标值大于所述第一相似度阈值,且不大于预设的第二相似度阈值,则确定该初始片段的场景类别为所述一般场景;其中,所述第二相似度阈值大于所述第一相似度阈值;针对每个初始片段,若该初始片段的目标值大于所述第二相似度阈值,则确定该初始片段的场景类别为所述静态场景。
可选的,一种具体实现方式中,所述静态场景对应的切片时长是所述动态场景对应的切片时长的第一整数倍,所述一般场景对应的切片时长是所述动态场景对应的切片时长的第二整数倍,所述第一整数大于所述第二整数。
可选的,一种具体实现方式中,所述装置还包括:可用单元判断模块,用于在所述按照预设单位时长,将待分析视频划分为多个初始片段之前,判断当前可用的分析单元的数量是否大于预设数值;其中,所述预设数值不小于1;如果是,触发所述片段划分模块810。
可选的,一种具体实现方式中,所述装置还包括:片段分配模块,用于针对所得到的每个目标片段,将该目标片段分配至当前可用的一个分析单元,以使该分析单元对所接收到的目标片段进行分析,得到分析结果。
相应于上述本发明实施例提供的一种视频切分方法,本发明实施例还提供了一种电子设备,如图9所示,包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信,存储器903,用于存放计算机程序;处理器901,用于执行存储器903上所存放的程序时,实现上述本发明实施例提供的任一种视频切分方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(Random AccessMemory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述本发明实施例提供的任一种视频切分方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述本发明实施例提供的任一种视频切分方法的步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例,以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (24)

1.一种视频切片方法,其特征在于,所述方法包括:
按照预设单位时长,将待分析视频划分为多个初始片段;
根据每个初始片段的视频内容,确定该初始片段的场景类别;其中,不同场景类别下视频内容的动态变化的复杂程度不同,每个初始片段具有一种场景类别;
按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段;
其中,每个目标片段包括具有相同场景类别的至少一个初始片段,每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配,每个目标片段的目标场景类别为:该目标片段所包括的至少一个初始片段所具有的场景类别;并且,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为所述预设单位时长的整数倍的时长。
2.根据权利要求1所述的方法,其特征在于,所述按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段的步骤,包括:
从第一个初始片段开始,遍历每个未切分至任一目标片段的初始片段,在遍历到每个初始片段时:
若该初始片段满足第一切片条件,则将该初始片段切分为一个目标片段;其中,所述第一切片条件为:该初始片段的场景类别对应的切片时长为所述预设单位时长;
若该初始片段不满足所述第一切片条件,则按照预设切分规则,将该初始片段切分至一个目标片段中;
其中,所述预设切分规则包括:从未切分至任一目标片段的其他初始片段中,选取满足第二切片条件的片段与该初始片段进行合并切分的规则,所述第二切片条件为:所具有的场景类别与该初始片段的场景类别相同,并且,所具有的时长加该初始片段的时长所得到的时长之和与该初始片段的场景类别对应的切片时长相匹配。
3.根据权利要求2所述的方法,其特征在于,所述按照预设切分规则,将该初始片段切分至一个目标片段中的步骤,包括:
当该初始片段不为最后一个初始片段时,判断该初始片段之前,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;
如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;
否则,遍历该初始片段的下一初始片段;
当该初始片段为最后一个初始片段时,将未切分为目标片段,且所具有的场景类别相同的各个初始片段切分为同一目标片段。
4.根据权利要求2所述的方法,其特征在于,所述按照预设切分规则,将该初始片段切分至一个目标片段中的步骤,包括:
当该初始片段为最后一个初始片段时,将该初始片段切分为一个目标片段;
当该初始片段不为最后一个初始片段时,判断该初始片段之后,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;
如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;
否则,将该初始片段之后的未切分至任一目标片段的各个初始片段中,所具有的场景类别与该初始片段的场景类别相同的各个初始片段与该初始片段,切分为同一目标片段。
5.根据权利要求1所述的方法,其特征在于,所述按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段的步骤,包括:
将所具有的场景类别相同的各个初始片段划分为一组,得到各个片段组;
针对每个片段组,按照该片段组中各个初始片段的场景类别对应的切片时长,将该片段组中的各个初始片段切分为各个目标片段。
6.根据权利要求1所述的方法,其特征在于,所述根据每个初始片段的视频内容,确定该初始片段的场景类别的步骤,包括:
根据每个初始片段的视频内容,确定该初始片段的目标值;其中,所述目标值用于表征视频内容的动态变化的复杂程度;
根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别。
7.根据权利要求6所述的方法,其特征在于,所述根据每个初始片段的视频内容,确定该初始片段的目标值的步骤,包括:
计算每个初始片段的首帧和最后一帧的相似度,作为该初始片段的目标值;或者,
计算每个初始片段中,每相邻两帧之间的相似度,将基于所得到的各个相似度确定的目标相似度,作为该初始片段的目标值;其中,所述目标相似度包括:所得到的各个相似度中的最大相似度、所得到的各个相似度中的最小相似度,或者,所得到的各个相似度的平均值。
8.根据权利要求7所述的方法,其特征在于,预设的场景类别包括:动态场景、一般场景和静态场景;所述动态场景、所述一般场景和所述静态场景下,视频内容的动态变化的复杂程度依次降低;所述根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别的步骤,包括:
针对每个初始片段,若该初始片段的目标值不大于预设的第一相似度阈值,则确定该初始片段的场景类别为所述动态场景;
针对每个初始片段,若该初始片段的目标值大于所述第一相似度阈值,且不大于预设的第二相似度阈值,则确定该初始片段的场景类别为所述一般场景;其中,所述第二相似度阈值大于所述第一相似度阈值;
针对每个初始片段,若该初始片段的目标值大于所述第二相似度阈值,则确定该初始片段的场景类别为所述静态场景。
9.根据权利要求8所述的方法,其特征在于,所述静态场景对应的切片时长是所述动态场景对应的切片时长的第一整数倍,所述一般场景对应的切片时长是所述动态场景对应的切片时长的第二整数倍,所述第一整数大于所述第二整数。
10.根据权利要求1所述的方法,其特征在于,在所述按照预设单位时长,将待分析视频划分为多个初始片段的步骤之前,所述方法还包括:
判断当前可用的分析单元的数量是否大于预设数值;其中,所述预设数值不小于1;
如果是,执行所述按照预设单位时长,将待分析视频划分为多个初始片段的步骤。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述方法还包括:
针对所得到的每个目标片段,将该目标片段分配至当前可用的一个分析单元,以使该分析单元对所接收到的目标片段进行分析,得到分析结果。
12.一种视频切片装置,其特征在于,所述装置包括:
片段划分模块,用于按照预设单位时长,将待分析视频划分为多个初始片段;
类别确定模块,用于根据每个初始片段的视频内容,确定该初始片段的场景类别;其中,不同场景类别下视频内容的动态变化的复杂程度不同,每个初始片段具有一种场景类别;
片段切分模块,用于按照各个初始片段的场景类别和预设的每种场景类别对应的切片时长,对所述待分析视频进行分片,得到多个目标片段;
其中,每个目标片段包括具有相同场景类别的至少一个初始片段,每个目标片段的总时长与该目标片段的目标场景类别对应的切片时长相匹配,每个目标片段的目标场景类别为:该目标片段所包括的至少一个初始片段所具有的场景类别;并且,每种场景类别对应的切片时长为:按照信息量均衡原则所设定的,并且为所述预设单位时长的整数倍的时长。
13.根据权利要求12所述的装置,其特征在于,所述片段切分模块,包括:
片段遍历子模块,用于从第一个初始片段开始,遍历每个未切分至任一目标片段的初始片段,在遍历到每个初始片段时,若该初始片段满足第一切片条件,触发第一切分子模块,若该初始片段不满足所述第一切片条件,触发第二切分子模块;所述第一切分子模块,用于将该初始片段切分为一个目标片段;其中,所述第一切片条件为:该初始片段的场景类别对应的切片时长为所述预设单位时长;所述第二切分子模块,用于按照预设切分规则,将该初始片段切分至一个目标片段中;其中,所述预设切分规则包括:从未切分至任一目标片段的其他初始片段中,选取满足第二切片条件的片段与该初始片段进行合并切分的规则,所述第二切片条件为:所具有的场景类别与该初始片段的场景类别相同,并且,所具有的时长加该初始片段的时长所得到的时长之和与该初始片段的场景类别对应的切片时长相匹配。
14.根据权利要求13所述的装置,其特征在于,所述第二切分子模块具体用于:
当该初始片段不为最后一个初始片段时,则判断该初始片段之前,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;
如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;
否则,遍历该初始片段的下一初始片段;
当该初始片段为最后一个初始片段时,将未切分为目标片段,且所具有的场景类别相同的各个初始片段切分为同一目标片段。
15.根据权利要求13所述的装置,其特征在于,所述第二切分子模块具体用于:
当该初始片段为最后一个初始片段时,将该初始片段切分为一个目标片段;
当该初始片段不为最后一个初始片段时,判断该初始片段之后,是否存在未切分至任一目标片段且满足所述第二切片条件的初始片段;
如果存在,将该初始片段和所存在的满足所述第二切片条件的初始片段,切分为同一目标片段;
否则,将该初始片段之后的未切分至任一目标片段的各个初始片段中,所具有的场景类别与该初始片段的场景类别相同的各个初始片段与该初始片段,切分为同一目标片段。
16.根据权利要求12所述的装置,其特征在于,所述片段切分模块具体用于:
将所具有的场景类别相同的各个初始片段划分为一组,得到各个片段组;
针对每个片段组,按照该片段组中各个初始片段的场景类别对应的切片时长,将该片段组中的各个初始片段切分为各个目标片段。
17.根据权利要求12所述的装置,其特征在于,所述类别确定模块,包括:
目标值确定子模块,用于根据每个初始片段的视频内容,确定该初始片段的目标值;其中,所述目标值用于表征视频内容的动态变化的复杂程度;
类别确定子模块,用于根据每个初始片段的目标值与预设的相似度阈值的数值关系,确定每个初始片段的场景类别。
18.根据权利要求17所述的装置,其特征在于,所述目标值确定子模块具体用于:
计算每个初始片段的首帧和最后一帧的相似度,作为该初始片段的目标值;或者,
计算每个初始片段中,每相邻两帧之间的相似度,将基于所得到的各个相似度确定的目标相似度,作为该初始片段的目标值;其中,所述目标相似度包括:所得到的各个相似度中的最大相似度、所得到的各个相似度中的最小相似度,或者,所得到的各个相似度的平均值。
19.根据权利要求18所述的装置,其特征在于,预设的场景类别包括:动态场景、一般场景和静态场景;所述动态场景、所述一般场景和所述静态场景下,视频内容的动态变化的复杂程度依次降低;所述类别确定子模块具体用于:
针对每个初始片段,若该初始片段的目标值不大于预设的第一相似度阈值,则确定该初始片段的场景类别为所述动态场景;
针对每个初始片段,若该初始片段的目标值大于所述第一相似度阈值,且不大于预设的第二相似度阈值,则确定该初始片段的场景类别为所述一般场景;其中,所述第二相似度阈值大于所述第一相似度阈值;
针对每个初始片段,若该初始片段的目标值大于所述第二相似度阈值,则确定该初始片段的场景类别为所述静态场景。
20.根据权利要求19所述的装置,其特征在于,所述静态场景对应的切片时长是所述动态场景对应的切片时长的第一整数倍,所述一般场景对应的切片时长是所述动态场景对应的切片时长的第二整数倍,所述第一整数大于所述第二整数。
21.根据权利要求12所述的装置,其特征在于,所述装置还包括:
可用单元判断模块,用于在所述按照预设单位时长,将待分析视频划分为多个初始片段之前,判断当前可用的分析单元的数量是否大于预设数值;如果是,触发所述片段划分模块;其中,所述预设数值不小于1。
22.根据权利要求12-21任一项所述的装置,其特征在于,所述装置还包括:
片段分配模块,用于针对所得到的每个目标片段,将该目标片段分配至当前可用的一个分析单元,以使该分析单元对所接收到的目标片段进行分析,得到分析结果。
23.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-11任一所述的方法步骤。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-11任一所述的方法步骤。
CN202110346675.1A 2021-03-31 2021-03-31 一种视频切片方法、装置及电子设备 Active CN113099313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110346675.1A CN113099313B (zh) 2021-03-31 2021-03-31 一种视频切片方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110346675.1A CN113099313B (zh) 2021-03-31 2021-03-31 一种视频切片方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113099313A CN113099313A (zh) 2021-07-09
CN113099313B true CN113099313B (zh) 2022-07-05

Family

ID=76672016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110346675.1A Active CN113099313B (zh) 2021-03-31 2021-03-31 一种视频切片方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113099313B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923472B (zh) * 2021-09-01 2023-09-01 北京奇艺世纪科技有限公司 视频内容分析方法、装置、电子设备及存储介质
CN117499739B (zh) * 2024-01-02 2024-06-07 腾讯科技(深圳)有限公司 帧率控制方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737383A (zh) * 2011-03-31 2012-10-17 富士通株式会社 视频中的摄像机运动分析方法及装置
CN105898373A (zh) * 2015-12-17 2016-08-24 乐视云计算有限公司 视频切片方法和装置
CN108833973A (zh) * 2018-06-28 2018-11-16 腾讯科技(深圳)有限公司 视频特征的提取方法、装置和计算机设备
CN110012238A (zh) * 2019-03-19 2019-07-12 腾讯音乐娱乐科技(深圳)有限公司 多媒体拼接方法、装置、终端及存储介质
CN111641869A (zh) * 2020-06-04 2020-09-08 虎博网络技术(上海)有限公司 视频分镜方法、装置、电子设备和计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040143434A1 (en) * 2003-01-17 2004-07-22 Ajay Divakaran Audio-Assisted segmentation and browsing of news videos

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737383A (zh) * 2011-03-31 2012-10-17 富士通株式会社 视频中的摄像机运动分析方法及装置
CN105898373A (zh) * 2015-12-17 2016-08-24 乐视云计算有限公司 视频切片方法和装置
CN108833973A (zh) * 2018-06-28 2018-11-16 腾讯科技(深圳)有限公司 视频特征的提取方法、装置和计算机设备
CN110012238A (zh) * 2019-03-19 2019-07-12 腾讯音乐娱乐科技(深圳)有限公司 多媒体拼接方法、装置、终端及存储介质
CN111641869A (zh) * 2020-06-04 2020-09-08 虎博网络技术(上海)有限公司 视频分镜方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN113099313A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113099313B (zh) 一种视频切片方法、装置及电子设备
KR101609088B1 (ko) 검색 부하들에 따라 균형이 맞춰지는 지문 데이터베이스를 갖는 미디어 식별 시스템
US8849798B2 (en) Sampling analysis of search queries
CN109685144B (zh) 一种对视频模型做评估的方法、装置及电子设备
CN111538642A (zh) 一种异常行为的检测方法、装置、电子设备及存储介质
CN110290199B (zh) 内容推送方法、装置及设备
CN113254255B (zh) 一种云平台日志的分析方法、系统、设备及介质
CN113824986B (zh) 基于上下文直播音频审核方法、装置、存储介质及设备
US20200265054A1 (en) Ranking collections of document passages associated with an entity name by relevance to a query
CN111767713A (zh) 关键词的提取方法、装置、电子设备及存储介质
CN112261429A (zh) 无卡顿智能终端直播应用系统、方法、设备及存储介质
US11144793B2 (en) Incremental clustering of a data stream via an orthogonal transform based indexing
US8705800B2 (en) Profiling activity through video surveillance
US10637878B2 (en) Multi-dimensional data samples representing anomalous entities
CN111191591A (zh) 一种水印检测、视频处理方法和相关设备
US11361195B2 (en) Incremental update of a neighbor graph via an orthogonal transform based indexing
CN113886237A (zh) 分析报告的生成方法、装置、电子设备及存储介质
CN112612832B (zh) 节点分析方法、装置、设备及存储介质
CN113326064A (zh) 划分业务逻辑模块的方法、电子设备及存储介质
JP2023502910A (ja) 運用管理におけるイベント・ストームの構成要素イベントの識別
CN109617887B (zh) 一种信息处理方法、装置及存储介质
Aichroth et al. Mico-media in context
CN115391581A (zh) 索引创建、图像存储、图像检索方法、装置及电子设备
CN113392208A (zh) It运维故障处理经验积累的方法、装置及存储介质
CN111339360B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant