CN111428087B - 视频截取方法、装置、计算机设备和存储介质 - Google Patents
视频截取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111428087B CN111428087B CN202010199146.9A CN202010199146A CN111428087B CN 111428087 B CN111428087 B CN 111428087B CN 202010199146 A CN202010199146 A CN 202010199146A CN 111428087 B CN111428087 B CN 111428087B
- Authority
- CN
- China
- Prior art keywords
- video
- intercepted
- alternative
- target
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及机器学习技术领域,提供了一种视频截取方法、装置、计算机设备和存储介质。所述方法包括:获取待截取视频,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率;分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;根据备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合;将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从备选截取视频集合中筛选出目标短视频。采用本方法能够提高构建短视频的效率。
Description
技术领域
本申请涉及机器学习技术领域,特别是涉及一种视频截取方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,出现了视频截取技术,视频截取技术是指从长视频中选取片段来构建优质短视频,常见的长视频包括电影、电视剧、动漫、综艺等,优质短视频是指长视频中的亮点片段,亮点片段可通过月播放次数、播放完成度等线上指标进行评估。
传统技术中,在进行视频截取时,是采用用户观看长视频,在计算机上选取待截取时间节点,计算机响应用户操作确定待截取时间节点并显示,在用户选择确认截取时响应用户操作的方式来构建优质短视频的。
然而,传统方法由于在构建优质短视频时需要计算机与人工多次进行交互,操作繁琐,存在构建优质短视频效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高构建优质短视频效率的视频截取方法、装置、计算机设备和存储介质。
一种视频截取方法,所述方法包括:
获取待截取视频,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,视频识别模型是通过对预设数据库中各目标已截取视频进行视频指纹匹配,查找到对应的目标长视频,根据目标长视频训练得到的;
分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;
根据备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合;
将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从备选截取视频集合中筛选出目标短视频。
一种视频截取装置,所述装置包括:
识别模块,用于获取待截取视频,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,视频识别模型是通过对预设数据库中各目标已截取视频进行视频指纹匹配,查找到对应的目标长视频,根据目标长视频训练得到的;
排序模块,用于分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;
截取模块,用于根据备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合;
比对模块,用于将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从备选截取视频集合中筛选出目标短视频。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待截取视频,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,视频识别模型是通过对预设数据库中各目标已截取视频进行视频指纹匹配,查找到对应的目标长视频,根据目标长视频训练得到的;
分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;
根据备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合;
将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从备选截取视频集合中筛选出目标短视频。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待截取视频,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,视频识别模型是通过对预设数据库中各目标已截取视频进行视频指纹匹配,查找到对应的目标长视频,根据目标长视频训练得到的;
分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;
根据备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合;
将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从备选截取视频集合中筛选出目标短视频。
上述视频截取方法、装置、计算机设备和存储介质,基于通过对各目标已截取视频进行视频指纹匹配查找出来的目标长视频进行训练得到的视频识别模型,能够准确得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,通过分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,能够根据预设概率阈值确定备选起始位置集合以及备选结束位置集合,进而根据备选起始位置集合以及备选结束位置集合,能够截取出备选截取视频集合,通过将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,能够从备选截取视频集合中筛选出目标短视频。整个过程,能够实现从待截取视频中自动截取出短视频,提高了构建短视频的效率。
附图说明
图1为一个实施例中视频截取方法的流程示意图;
图2为一个实施例中视频截取方法的示意图;
图3为另一个实施例中视频截取方法的示意图;
图4为另一个实施例中视频截取方法的流程示意图;
图5为一个实施例中视频截取装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的方案涉及机器学习技术,机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
在一个实施例中,如图1所示,提供了一种视频截取方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤102,获取待截取视频,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,视频识别模型是通过对预设数据库中各目标已截取视频进行视频指纹匹配,查找到对应的目标长视频,根据目标长视频训练得到的。
其中,待截取视频是指预设视频库中的长视频。比如,待截取视频具体可以是一部电影。又比如,待截取视频具体可以是一集电视剧、一集动漫、一集综艺等。再比如,待截取视频具体可以是一个游戏解说或者体育解说视频。视频识别模型是指用于对待截取视频进行处理,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率的模型。在视频识别模型中包括分类模型以及视频帧特征时序模型,分类模型用于得到待截取视频中各视频帧的特征,视频帧特征时序模型用于根据各视频帧的特征得到各视频帧作为短视频的起始位置的概率和结束位置的概率。短视频的起始位置是指短视频开始的节点,短视频的结束位置是指短视频结束的节点。
其中,视频指纹是指根据视频内容生成的可唯一标识该视频的指纹字符。比如,视频指纹具体可以是由视频抽取出来的各视频帧的特征值组成的有序字符串,此处的有序是指按照各视频帧被抽取出来的顺序。目标已截取视频是指从预设数据库中各已截取视频中筛选出来的优质已截取视频,可以通过预先设置筛选参数进行筛选。比如,目标已截取视频具体可以是指长视频中的亮点片段,此处的亮点片段可以通过月播放次数、播放完成度等筛选参数进行筛选。举例说明,可以将月播放次数大于两万次、播放完成度大于85%的已截取视频作为长视频中的亮点片段。对应的目标长视频是指与目标已截取视频对应的未截取的完整视频,即目标已截取视频的原视频,目标已截取视频是从目标长视频中截取出来的。
具体的,终端会从预设数据库中各已截取视频中筛选出优质已截取视频作为目标已截取视频,再对各目标已截取视频进行视频指纹匹配,将各目标已截取视频的视频指纹与预设数据库中各长视频的视频指纹进行匹配,查找到与各目标已截取视频对应的长视频以及视频参数,根据长视频以及视频参数进行训练,得到视频识别模型。其中,视频参数包括目标已截取视频在对应的目标长视频中的起始位置和结束位置以及视频标签,根据长视频以及视频参数进行训练,得到视频识别模型的方式可以为:以长视频、目标已截取视频在对应的目标长视频中的起始位置和结束位置为输入,以视频标签为输出,进行有监督学习,得到视频识别模型。
具体的,终端会从预设数据库中获取待截取视频,将待截取视频输入已训练的视频识别模型,通过视频识别模型首先对待截取视频进行视频抽帧,得到待截取视频的视频帧集合,然后通过分类模型得到视频帧集合中各视频帧的特征值,最后通过视频帧特征时序模型根据各视频帧的特征值得到各视频帧作为短视频的起始位置的概率和结束位置的概率。
步骤104,分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合。
其中,预设概率阈值是指预先设定的概率值,用于分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行筛选,确定备选起始位置集合以及备选结束位置集合,可按照需要自行设置。备选起始位置集合是指根据预设概率阈值从各视频帧中筛选出的备选起始节点的集合。备选结束位置集合是指根据预设概率阈值从各视频帧中筛选出的备选结束节点的集合。
具体的,终端会分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值对各视频帧进行筛选,从各视频帧中筛选出备选起始位置集合以及备选结束位置集合。
步骤106,根据备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合。
其中,备选截取视频集合是指根据备选起始位置集合以及备选结束位置集合进行截取和筛选,得到的短视频集合,在备选截取视频集合中可能包括预设数据库中已存在的短视频,因此还需将备选截取视频集合中各备选截取视频与预设数据库中已存在的短视频进行比对,从备选截取视频集合中筛选出新的短视频。
具体的,终端会比对备选起始位置集合中各备选起始位置以及备选结束位置集合中各备选结束位置,从中筛选出待截取短视频的起始节点和结束节点,根据待截取短视频的起始节点和结束节点对待截取视频进行截取,得到待比对视频集合,通过对待比对视频集合中各待比对视频进行重排序,得到备选截取视频集合。其中,待截取短视频的起始节点和结束节点可能为一个,也可能为多个,当待截取短视频的起始节点和结束节点均为一个时,终端只能从待截取视频中截取出一个待比对截取视频,当待截取短视频的起始节点和结束节点不均为一个时,终端可以从待截取视频中截取出多个待比对截取视频。其中,对待比对视频集合中各待比对视频进行重排序的方式可以为:获取待比对视频集合中各待比对视频的特征参数,通过特征参数对各待比对视频进行重排序。
步骤108,将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从备选截取视频集合中筛选出目标短视频。
其中,已截取视频是指预设数据库中存在的、已经截取出来的短视频。目标短视频是指在备选截取视频集合中存在的且不属于已截取视频的短视频。
具体的,终端会通过将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,对各备选截取视频进行重复性判定,过滤掉与已截取视频重复度高的备选截取视频,从备选截取视频集合中筛选出目标短视频。
上述视频截取方法,基于通过对各目标已截取视频进行视频指纹匹配查找出来的目标长视频进行训练得到的视频识别模型,能够准确得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,通过分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,能够根据预设概率阈值确定备选起始位置集合以及备选结束位置集合,进而根据备选起始位置集合以及备选结束位置集合,能够截取出备选截取视频集合,通过将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,能够从备选截取视频集合中筛选出目标短视频。整个过程,能够实现从待截取视频中自动截取出短视频,提高了构建短视频的效率。
在一个实施例中,在获取待截取视频,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率之前,还包括:
获取各已截取视频以及预设视频库中各长视频的视频指纹,并得到视频帧-时间点对应表;
对各已截取视频进行筛选,得到目标已截取视频集合;
根据目标已截取视频集合中各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的目标长视频;
从视频帧-时间点对应表中获取各目标长视频的视频帧-时间点对应信息,根据各目标已截取视频的视频指纹和视频帧-时间点对应信息,得到各目标已截取视频在对应目标长视频中的起始位置和结束位置;
根据起始位置和结束位置,对各目标长视频进行标注,得到各目标长视频的视频标签;
根据各目标长视频、起始位置、结束位置以及视频标签得到视频识别模型训练数据;
根据视频识别模型训练数据进行模型训练,得到视频识别模型。
其中,长视频是指未截取的完整视频。比如,长视频具体可以是一部电影。又比如,长视频具体可以是一集电视剧、一集动漫、一集综艺等。再比如,长视频具体可以是一个游戏解说或者体育解说视频。视频指纹是指根据视频内容生成的可唯一标识该视频的指纹字符。比如,视频指纹具体可以是由视频抽取出来的各视频帧的特征值组成的有序字符串,此处的有序是指按照各视频帧被抽取出来的顺序。目标已截取视频集合是指从各已截取视频中筛选出来的优质已截取视频集合,可以通过预先设置筛选参数进行筛选。比如,目标已截取视频具体可以是指长视频中的亮点片段,此处的亮点片段可以通过月播放次数、播放完成度等筛选参数进行筛选。举例说明,可以将月播放次数大于两万次、播放完成度大于85%的已截取视频作为长视频中的亮点片段。与目标已截取视频对应的目标长视频是指与目标已截取视频对应的未截取的完整视频,即目标已截取视频的原视频,目标已截取视频是从目标长视频中截取出来的。
其中,视频帧-时间点对应表是指在获取各长视频的视频指纹过程中,根据被抽取出的视频帧,得到的视频帧与其对应时间点的对应关系表。视频帧-时间点对应信息是指目标长视频的各视频帧与其对应时间点的对应关系表。视频标签用于标识目标长视频中的正样例数据以及负样例数据,其中正样例数据是指目标长视频中与目标已截取视频对应的视频段,负样例数据可从非与目标已截取视频对应的视频段中选取。比如,视频标签具体可以是用于标识与目标已截取视频对应的视频段的优质短视频标签。又比如,视频标签具体可以是用于标识非与目标已截取视频对应的视频段的非优质短视频标签。视频识别模型训练数据是指用于进行视频识别模型训练的数据。比如,视频识别模型训练数据的具体形式可以为:长视频x长视频中起始时间time_x1长视频中结束时间time_x2优质短视频标签1。长视频x长视频中起始时间time_x3长视频中结束时间time_x4非优质短视频标签0。
具体的,终端会通过视频抽帧等获取各已截取视频以及预设视频库中各长视频的视频指纹,并在对各长视频进行视频抽帧,得到各长视频的视频帧集合时,记录下视频帧集合中各视频帧对应的时间节点,得到视频帧-时间点对应表。在获取到各已截取视频以及预设视频库中各长视频的视频指纹后,终端会利用预设筛选参数,如月播放次数阈值以及播放完成度阈值对各已截取视频进行筛选,得到目标已截取视频集合,根据目标已截取视频集合中各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的目标长视频,从视频帧-时间点对应表中获取各目标长视频的视频帧-时间点对应信息,通过比对各目标已截取视频的视频指纹中各视频帧的特征值以及视频帧-时间点对应信息中各视频帧的特征值,得到各目标已截取视频在对应目标长视频中的起始位置和结束位置。
具体的,在得到起始位置和结束位置后,终端会根据起始位置和结束位置,在各目标长视频中标注出与目标已截取视频对应的视频段以及非与目标已截取视频对应的时间段,根据与目标已截取视频对应的视频段标注优质短视频标签,对非与目标已截取视频对应的视频段进行检测,根据检测结果从非与目标已截取视频对应的视频段中选取出负样例数据,并标注非优质短视频标签。其中,对非与目标已截取视频对应的视频段进行检测的方式可以为:随机将视频段截取为多个子视频段,通过视频抽帧的方式得到与各子视频段对应的视频帧集合,对视频帧集合中各视频帧进行人物检测,当各视频帧中均不存在预设目标人物时,将该子视频段作为负样例数据。其中,预设目标人物可按照需要自行预先设置。比如,预设目标人物具体可以是电影、电视剧、动漫中的主角。又比如,预设目标人物具体可以是综艺中的主持人和嘉宾。再比如,预设目标人物具体可以是游戏解说或者体育解说中的解说人。
具体的,在得到各目标长视频的视频标签后,终端会根据各目标长视频、起始位置、结束位置以及视频标签构建视频识别模型训练数据,以各目标长视频、起始位置以及结束位置为输入,以视频标签为输出进行有监督学习,得到视频识别模型。
本实施例中,通过根据目标已截取视频集合中各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的目标长视频,从视频帧-时间点对应表中获取各目标长视频的视频帧-时间点对应信息,根据各目标已截取视频的视频指纹和视频帧-时间点对应信息,得到各目标已截取视频在对应目标长视频中的起始位置和结束位置,根据起始位置和结束位置,对各目标长视频进行标注,得到各目标长视频的视频标签,根据各目标长视频、起始位置、结束位置以及视频标签得到视频识别模型训练数据,根据视频识别模型训练数据进行模型训练,得到视频识别模型,能够实现对视频识别模型的获取。
在一个实施例中,获取各已截取视频以及预设视频库中各长视频的视频指纹包括:
对各已截取视频以及各长视频分别进行视频抽帧,得到各已截取视频以及各长视频的视频帧集合;
将视频帧集合中各视频帧输入已训练的分类模型,得到各视频帧的特征值;
根据各视频帧的特征值,得到各已截取视频的视频指纹以及各长视频的视频指纹。
其中,视频抽帧是指通过间隔一定帧的方式从视频中抽取若干视频帧。比如,视频抽帧具体可以是ffmpeg(Fast Forward Mpeg)均匀抽帧,每秒抽取一帧。已训练的分类模型是指预先训练的用于表征各视频帧的特征的模型,通过将各视频帧输入已训练的分类模型,可以得到用于表示各视频帧的多维向量。比如,已训练的分类模型具体可以是Vggish模型。又比如,已训练的分类模型具体也可以是Resnet(Residual Network,深度残差网络)模型。特征值是指视频帧的特征标识,用于表示视频帧的特征。比如,特征值具体可以是用于表示视频帧的特征的定长字符串。
具体的,终端会对各已截取视频以及各长视频分别进行视频抽帧,得到各已截取视频以及各长视频的视频帧集合,将视频帧集合中各视频帧输入已训练的分类模型,得到用于表示各视频帧的多维向量,通过预设特征值算法对各视频帧的多维向量进行特征值运算,得到各视频帧的特征值,根据各视频帧的特征值以及抽帧顺序,得到各已截取视频的视频指纹以及各长视频的视频指纹。其中,特征值算法可按照需要自行设置,举例说明,特征值算法具体可以为HASH算法。
举例说明,终端会采用ffmpeg均匀抽帧的方式,对各已截取视频以及长视频分别进行视频抽帧,得到各已截取视频以及各长视频的视频帧集合,将视频帧集合中各视频帧输入已训练的分类模型,用分类模型的最后全连接层输出的多维向量表示各视频帧,通过HASH函数将多维向量映射为定长字符串作为各视频帧的特征值,将各视频帧的特征值按照抽帧顺序有序排列,得到各已截取视频的视频指纹以及各长视频的视频指纹。
本实施例中,通过对各已截取视频以及各长视频分别进行视频抽帧得到视频帧集合,将视频帧集合中各视频帧输入已训练的分类模型,得到各视频帧的特征值,根据各视频帧的特征值,得到各已截取视频的视频指纹以及各长视频的视频指纹,能够实现对各已截取视频的视频指纹以及各长视频的视频指纹的获取。
在一个实施例中,根据各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的目标长视频包括:
根据各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的长视频列表;
对长视频列表中各长视频进行指纹特征时间有序重复度判定,根据预设指纹覆盖率阈值,从长视频列表中筛选出与目标已截取视频对应的目标长视频。
其中,与各目标已截取视频对应的长视频列表是指包括各目标已截取视频的视频指纹中各特征值的长视频组成的列表。视频指纹中的特征值是按照视频帧的被视频抽帧顺序排列的,指纹特征时间有序重复度判定是指对视频指纹中各特征值的顺序以及特征值重复度进行判定。指纹覆盖率是指目标已截取视频的视频指纹在长视频的视频指纹中的有序覆盖率,此处的有序是指特征值顺序,预设指纹覆盖率阈值可按照需要自行设置,通过预设指纹覆盖率阈值对长视频列表中各长视频进行筛选,能够得到与目标已截取视频对应的目标长视频。目标长视频是指目标已截取视频的出处来源,只有当目标已截取视频的视频指纹中各特征值以超过预设指纹覆盖率阈值时间有序出现在某个长视频的视频指纹中时,才能确定该长视频为该目标已截取视频对应的目标长视频,否则,则认为该目标已截取视频无对应的目标长视频。
具体的,终端会根据各目标已截取视频的视频指纹中各特征值匹配各长视频的视频指纹中各特征值,得到与各目标已截取视频对应的长视频列表,再对长视频列表中各长视频进行指纹特征时间有序重复度判定,得到各长视频与目标已截取视频的指纹覆盖率,根据预设指纹覆盖率阈值,从长视频列表中筛选出与目标已截取视频对应的目标长视频。
举例说明,长视频的视频指纹可存储在预设倒排库中,根据各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的长视频列表的方式可以为根据各目标已截取视频的视频指纹去查询各长视频的视频指纹的倒排索引,得到与各目标已截取视频对应的长视频列表。
本实施例中,通过根据各目标已截取视频的视频指纹匹配各长视频的视频指纹,能够得到与各目标已截取视频对应的长视频列表,进而通过对长视频列表中各长视频进行指纹特征时间有序重复度判定,根据预设指纹覆盖率阈值,能够从长视频列表中筛选出与目标已截取视频对应的目标长视频,实现对目标长视频的获取。
在一个实施例中,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率包括:
对待截取视频进行视频抽帧,得到待截取视频的视频帧集合;
将视频帧集合中各视频帧输入视频识别模型中的分类模型,得到各视频帧的特征值;
将各视频帧的特征值输入视频识别模型中的视频帧特征时序模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率。
具体的,在视频识别模型中,会首先通过对待截取视频进行视频抽帧,得到待截取视频的视频帧集合,然后将视频帧集合中各视频帧输入分类模型,得到表示各视频帧的多维向量,通过预设特征值算法对多维向量进行特征值运算,得到各视频帧的特征值,最后通过将各视频帧的特征值输入视频帧特征时序模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率。
举例说明,如图2所示,在视频识别模型中,会首先通过对视频库中符合类型要求的长视频采用ffmpeg抽取视频帧,得到各长视频的视频帧集合,然后将视频帧集合中各视频帧输入分类模型(Vggish/Resnet等模型),得到表示各视频帧的多维向量,通过预设特征值算法对多维向量进行特征值运算,得到各视频帧的特征,最后通过将各视频帧的特征输入视频帧特征时序模型(BiLSTM(Bi-directional Long Short-Term Memory,双向长短时记忆)/CRF(conditional random field,条件随机场)模型),得到各视频帧作为优质短视频的起始位置的概率和结束位置的概率。
本实施例中,通过将待截取视频输入已训练的视频识别模型,对待截取视频进行视频抽帧得到视频帧集合,将视频帧集合中各视频帧输入视频识别模型中的分类模型,得到各视频帧的特征值,将将各视频帧的特征值输入视频识别模型中的视频帧特征时序模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,能够实现对待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率的获取。
在一个实施例中,根据备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合包括:
比对备选起始位置集合中各备选起始位置以及备选结束位置集合中各备选结束位置,得到待截取短视频节点集合;
根据待截取短视频节点集合对待截取视频进行截取,得到待比对截取视频集合;
获取待比对截取视频集合中各待比对截取视频的特征参数;
根据特征参数对各待比对截取视频进行排序;
根据预设特征阈值和排序结果从待比对截取视频集合中筛选出备选截取视频集合。
其中,待截取短视频节点集合是指待截取短视频的时间段节点的集合,其中包括待截取短视频的起始节点-结束节点的时间段。各待比对截取视频的特征参数是指用于表征各待比对截取视频的受关注度以及热度的参数。比如,特征参数具体可以是长视频上与待比对截取视频对应视频片段的弹幕量,特征参数可从预设数据库中获取。预设特征阈值可按照需要自行设置。举例说明,预设特征阈值具体可以是弹幕量阈值。
具体的,终端会通过比对备选起始位置集合中各备选起始位置的相邻位置以及备选结束位置集合中各备选结束位置的相邻位置,得到待截取短视频节点集合,根据待截取短视频节点集合中的待截取短视频的起始节点-结束节点的时间段对待截取视频进行截取,得到待比对截取视频集合,通过与待比对截取视频集合中各待比对截取视频对应的长视频,获取各待比对截取视频的特征参数,根据特征参数对各待比对截取视频进行排序,根据预设特征阈值和排序结果从待比对截取视频集合中筛选出备选截取视频集合。其中,相邻位置是指在时间节点上相邻的备选起始位置或者备选起始位置。
举例说明,如图3所示,通过比对备选起始位置集合中各备选起始位置的相邻位置以及备选结束位置集合中各备选结束位置的相邻位置,得到待截取短视频节点集合的方式可以为:从备选起始位置集合中选取时间节点最小的备选起始位置作为备选起始节点,比对备选起始节点与其相邻位置,当其相邻位置也为备选起始位置时,根据两个备选起始位置作为短视频的起始位置的概率确定新的备选起始节点,并返回比对起始节点与其相邻位置的步骤,当其相邻位置为备选结束位置时,将该备选结束位置作为备选结束节点,比对备选结束节点与其相邻位置,当其相邻位置为备选起始位置时,得到根据当前备选起始节点和当前备选结束节点得到一个起始节点-结束节点的时间段,当其相邻位置为备选结束位置时,通过比对两个备选结束位置作为短视频的结束位置的概率确定新的备选结束节点,返回比对备选结束节点与其相邻位置的步骤。在得到一个起始节点-结束节点的时间段后,根据该时间段中的结束节点以及各备选起始位置的时间节点,确定新的备选起始节点,返回比对备选起始节点与其相邻位置的步骤。
本实施例中,通过比对备选起始位置集合中各备选起始位置以及备选结束位置集合中各备选结束位置,能够得到待截取短视频节点集合,进而通过根据待截取短视频节点集合对待截取视频进行截取,能够得到待比对截取视频集合,通过获取待比对截取视频集合中各待比对截取视频的特征参数,根据特征参数对各待比对截取视频进行排序,根据预设特征阈值和排序结果从待比对截取视频集合中筛选出备选截取视频集合,能够实现对备选截取视频集合的获取。
在一个实施例中,将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从备选截取视频集合中筛选出目标短视频包括:
获取备选截取视频集合中各备选截取视频的视频指纹,以及预设数据库中各已截取视频的视频指纹;
将各备选截取视频的视频指纹与各已截取视频的视频指纹进行比对,根据预设指纹重复率对各备选截取视频进行筛选,得到目标短视频。
其中,指纹重复率用于表征各备选截取视频的视频指纹在各已截取视频的视频指纹中的覆盖度,预设指纹重复率可按照需要自行设置。
具体的,终端会获取备选截取视频集合中各备选截取视频的视频指纹,以及预设数据库中各已截取视频的视频指纹,通过将各备选截取视频的视频指纹与各已截取视频的视频指纹进行比对,得到各备选截取视频的视频指纹与各已截取视频的视频指纹的指纹重复率,根据预设指纹重复率对各备选截取视频进行筛选,得到目标短视频。
本实施例中,通过获取备选截取视频集合中各备选截取视频的视频指纹,以及预设数据库中各已截取视频的视频指纹,将各备选截取视频的视频指纹与各已截取视频的视频指纹进行比对,根据预设指纹重复率对各备选截取视频进行筛选,能够实现对目标短视频的获取。
在一个实施例中,如图4所示,通过一个最具体实施例来说明本申请的视频截取方法,该视频截取方法包括以下步骤:
步骤402,对各已截取视频以及各长视频分别进行视频抽帧,得到各已截取视频以及各长视频的视频帧集合;
步骤404,将视频帧集合中各视频帧输入已训练的分类模型,得到各视频帧的特征值;
步骤406,根据各视频帧的特征值,得到各已截取视频的视频指纹以及各长视频的视频指纹,并得到视频帧-时间点对应表;
步骤408,对各已截取视频进行筛选,得到目标已截取视频集合;
步骤410,根据目标已截取视频集合中各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的长视频列表;
步骤412,对长视频列表中各长视频进行指纹特征时间有序重复度判定,根据预设指纹覆盖率阈值,从长视频列表中筛选出与目标已截取视频对应的目标长视频;
步骤414,从视频帧-时间点对应表中获取各目标长视频的视频帧-时间点对应信息,根据各目标已截取视频的视频指纹和视频帧-时间点对应信息,得到各目标已截取视频在对应目标长视频中的起始位置和结束位置;
步骤416,根据起始位置和结束位置,对各目标长视频进行标注,得到各目标长视频的视频标签;
步骤418,根据各目标长视频、起始位置、结束位置以及视频标签得到视频识别模型训练数据;
步骤420,根据视频识别模型训练数据进行模型训练,得到视频识别模型;
步骤422,获取待截取视频;
步骤424,对待截取视频进行视频抽帧,得到待截取视频的视频帧集合;
步骤426,将视频帧集合中各视频帧输入视频识别模型中的分类模型,得到各视频帧的特征值;
步骤428,将各视频帧的特征值输入视频识别模型中的视频帧特征时序模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率;
步骤430,分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;
步骤432,比对备选起始位置集合中各备选起始位置以及备选结束位置集合中各备选结束位置,得到待截取短视频节点集合;
步骤434,根据待截取短视频节点集合对待截取视频进行截取,得到待比对截取视频集合;
步骤436,获取待比对截取视频集合中各待比对截取视频的特征参数;
步骤438,根据特征参数对各待比对截取视频进行排序;
步骤440,根据预设特征阈值和排序结果从待比对截取视频集合中筛选出备选截取视频集合;
步骤442,获取备选截取视频集合中各备选截取视频的视频指纹,以及预设数据库中各已截取视频的视频指纹;
步骤444,将各备选截取视频的视频指纹与各已截取视频的视频指纹进行比对,根据预设指纹重复率对各备选截取视频进行筛选,得到目标短视频。
本申请还提供一种应用场景,该应用场景应用上述的视频截取方法。具体的,该视频截取方法在该应用场景的应用如下:
终端对各电视剧集的各已截取视频以及各集电视剧视频分别进行视频抽帧,得到各已截取视频以及各集电视剧视频的视频帧集合,将视频帧集合中各视频帧输入已训练的分类模型,得到各视频帧的特征值,根据各视频帧的特征值,得到各已截取视频的视频指纹以及各长视频的视频指纹,并得到视频帧-时间点对应表,对各已截取视频进行筛选,得到目标已截取视频集合,根据目标已截取视频集合中各目标已截取视频的视频指纹匹配各集电视剧视频的视频指纹,得到与各目标已截取视频对应的电视剧视频列表,对电视剧视频列表中各集电视剧视频进行指纹特征时间有序重复度判定,根据预设指纹覆盖率阈值,从电视剧视频列表中筛选出与目标已截取视频对应的目标电视剧视频,从视频帧-时间点对应表中获取各目标电视剧视频的视频帧-时间点对应信息,根据各目标已截取视频的视频指纹和视频帧-时间点对应信息,得到各目标已截取视频在对应目标电视剧视频中的起始位置和结束位置,根据起始位置和结束位置,对各目标电视剧视频进行标注,得到各目标电视剧视频的视频标签,根据各目标电视剧视频、起始位置、结束位置以及视频标签得到视频识别模型训练数据,根据视频识别模型训练数据进行模型训练,得到视频识别模型;
在得到视频识别模型后,终端会获取待截取电视剧视频,对待截取电视剧视频进行视频抽帧,得到待截取电视剧视频的视频帧集合,将视频帧集合中各视频帧输入视频识别模型中的分类模型,得到各视频帧的特征值,将各视频帧的特征值输入视频识别模型中的视频帧特征时序模型,得到待截取电视剧视频中各视频帧作为电视剧短视频的起始位置的概率和结束位置的概率,分别对各视频帧作为电视剧短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合,比对备选起始位置集合中各备选起始位置以及备选结束位置集合中各备选结束位置,得到待截取电视剧短视频节点集合,根据待截取电视剧短视频节点集合对待截取电视剧视频进行截取,得到待比对截取视频集合,获取待比对截取视频集合中各待比对截取视频的特征参数,根据特征参数对各待比对截取视频进行排序,根据预设特征阈值和排序结果从待比对截取视频集合中筛选出备选截取视频集合,获取备选截取视频集合中各备选截取视频的视频指纹,以及预设数据库中各电视剧集的各已截取视频的视频指纹,将各备选截取视频的视频指纹与各已截取视频的视频指纹进行比对,根据预设指纹重复率对各备选截取视频进行筛选,得到目标电视剧短视频。
应该理解的是,虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种视频截取装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:识别模块502、排序模块504、截取模块506和比对模块508,其中:
识别模块502,用于获取待截取视频,将待截取视频输入已训练的视频识别模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,视频识别模型是通过对预设数据库中各目标已截取视频进行视频指纹匹配,查找到对应的目标长视频,根据目标长视频训练得到的;
排序模块504,用于分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;
截取模块506,用于根据备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合;
比对模块508,用于将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从备选截取视频集合中筛选出目标短视频。
上述视频截取装置,基于通过对各目标已截取视频进行视频指纹匹配查找出来的目标长视频进行训练得到的视频识别模型,能够准确得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,通过分别对各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,能够根据预设概率阈值确定备选起始位置集合以及备选结束位置集合,进而根据备选起始位置集合以及备选结束位置集合,能够截取出备选截取视频集合,通过将备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,能够从备选截取视频集合中筛选出目标短视频。整个过程,能够实现从待截取视频中自动截取出短视频,提高了构建短视频的效率。
在一个实施例中,视频截取装置还包括模型构建模块,模型构建模块包括:
第一视频指纹获取单元,用于获取各已截取视频以及预设视频库中各长视频的视频指纹,并得到视频帧-时间点对应表;
已截取视频筛选单元,用于对各已截取视频进行筛选,得到目标已截取视频集合;
视频指纹匹配单元,用于根据目标已截取视频集合中各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的目标长视频;
第一处理单元,用于从视频帧-时间点对应表中获取各目标长视频的视频帧-时间点对应信息,根据各目标已截取视频的视频指纹和视频帧-时间点对应信息,得到各目标已截取视频在对应目标长视频中的起始位置和结束位置;
标注单元,用于根据起始位置和结束位置,对各目标长视频进行标注,得到各目标长视频的视频标签;
第二处理单元,用于根据各目标长视频、起始位置、结束位置以及视频标签得到视频识别模型训练数据;
训练单元,用于根据视频识别模型训练数据进行模型训练,得到视频识别模型。
在一个实施例中,视频指纹获取单元包括:
视频抽帧组件,用于对各已截取视频以及各长视频分别进行视频抽帧,得到各已截取视频以及各长视频的视频帧集合;
分类组件,用于将视频帧集合中各视频帧输入已训练的分类模型,得到各视频帧的特征值;
处理组件,用于根据各视频帧的特征值,得到各已截取视频的视频指纹以及各长视频的视频指纹。
在一个实施例中,视频指纹匹配单元包括:
视频指纹匹配组件,用于根据各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的长视频列表;
重复度判定组件,用于对长视频列表中各长视频进行指纹特征时间有序重复度判定,根据预设指纹覆盖率阈值,从长视频列表中筛选出与目标已截取视频对应的目标长视频。
在一个实施例中,识别模块包括:
视频抽帧单元,用于对待截取视频进行视频抽帧,得到待截取视频的视频帧集合;
分类单元,用于将视频帧集合中各视频帧输入视频识别模型中的分类模型,得到各视频帧的特征值;
概率计算单元,用于将各视频帧的特征值输入视频识别模型中的视频帧特征时序模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率。
在一个实施例中,截取模块包括:
比对单元,用于比对备选起始位置集合中各备选起始位置以及备选结束位置集合中各备选结束位置,得到待截取短视频节点集合;
截取单元,用于根据待截取短视频节点集合对待截取视频进行截取,得到待比对截取视频集合;
特征参数获取单元,用于获取待比对截取视频集合中各待比对截取视频的特征参数;
排序单元,用于根据特征参数对各待比对截取视频进行排序;
筛选单元,用于根据预设特征阈值和排序结果从待比对截取视频集合中筛选出备选截取视频集合。
在一个实施例中,比对模块包括:
第二视频指纹获取单元,用于获取备选截取视频集合中各备选截取视频的视频指纹,以及预设数据库中各已截取视频的视频指纹;
比对筛选单元,用于将各备选截取视频的视频指纹与各已截取视频的视频指纹进行比对,根据预设指纹重复率对各备选截取视频进行筛选,得到目标短视频。
关于视频截取装置的具体限定可以参见上文中对于视频截取方法的限定,在此不再赘述。上述视频截取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频截取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种视频截取方法,所述方法包括:
获取待截取视频,将所述待截取视频输入已训练的视频识别模型,得到所述待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,所述视频识别模型是通过对预设数据库中各目标已截取视频进行视频指纹匹配,查找到对应的目标长视频以及视频参数,根据所述目标长视频和所述视频参数训练得到的,所述视频参数包括目标已截取视频在对应的目标长视频中的起始位置和结束位置以及视频标签;
分别对所述各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;
根据所述备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合;
将所述备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从所述备选截取视频集合中筛选出目标短视频。
2.根据权利要求1所述的方法,其特征在于,在所述获取待截取视频,将所述待截取视频输入已训练的视频识别模型,得到所述待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率之前,还包括:
获取各所述已截取视频以及所述预设数据库中各长视频的视频指纹,并得到视频帧-时间点对应表;
对各所述已截取视频进行筛选,得到目标已截取视频集合;
根据所述目标已截取视频集合中各目标已截取视频的视频指纹匹配各所述长视频的视频指纹,得到与各所述目标已截取视频对应的目标长视频;
从所述视频帧-时间点对应表中获取各目标长视频的视频帧-时间点对应信息,根据各目标已截取视频的视频指纹和所述视频帧-时间点对应信息,得到各目标已截取视频在对应目标长视频中的起始位置和结束位置;
根据所述起始位置和所述结束位置,对各目标长视频进行标注,得到各目标长视频的视频标签;
根据各目标长视频、所述起始位置、所述结束位置以及所述视频标签得到视频识别模型训练数据;
根据所述视频识别模型训练数据进行模型训练,得到视频识别模型。
3.根据权利要求2所述的方法,其特征在于,所述获取各所述已截取视频以及所述预设数据库中各长视频的视频指纹包括:
对各所述已截取视频以及各长视频分别进行视频抽帧,得到各所述已截取视频以及各长视频的视频帧集合;
将所述视频帧集合中各视频帧输入已训练的分类模型,得到各视频帧的特征值;
根据各视频帧的特征值,得到各所述已截取视频的视频指纹以及各长视频的视频指纹。
4.根据权利要求2所述的方法,其特征在于,所述根据各所述目标已截取视频的视频指纹匹配各所述长视频的视频指纹,得到与各所述目标已截取视频对应的目标长视频包括:
根据各所述目标已截取视频的视频指纹匹配各所述长视频的视频指纹,得到与各目标已截取视频对应的长视频列表;
对所述长视频列表中各长视频进行指纹特征时间有序重复度判定,根据预设指纹覆盖率阈值,从所述长视频列表中筛选出与目标已截取视频对应的目标长视频。
5.根据权利要求1所述的方法,其特征在于,所述将所述待截取视频输入已训练的视频识别模型,得到所述待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率包括:
对所述待截取视频进行视频抽帧,得到待截取视频的视频帧集合;
将所述视频帧集合中各视频帧输入所述视频识别模型中的分类模型,得到各视频帧的特征值;
将各视频帧的特征值输入所述视频识别模型中的视频帧特征时序模型,得到所述待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率。
6.根据权利要求1所述的方法,其特征在于,所述根据所述备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合包括:
比对所述备选起始位置集合中各备选起始位置以及备选结束位置集合中各备选结束位置,得到待截取短视频节点集合;
根据所述待截取短视频节点集合对所述待截取视频进行截取,得到待比对截取视频集合;
获取所述待比对截取视频集合中各待比对截取视频的特征参数;
根据所述特征参数对各待比对截取视频进行排序;
根据预设特征阈值和排序结果从所述待比对截取视频集合中筛选出备选截取视频集合。
7.根据权利要求1所述的方法,其特征在于,所述将所述备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从所述备选截取视频集合中筛选出目标短视频包括:
获取所述备选截取视频集合中各备选截取视频的视频指纹,以及预设数据库中各已截取视频的视频指纹;
将各备选截取视频的视频指纹与各所述已截取视频的视频指纹进行比对,根据预设指纹重复率对各备选截取视频进行筛选,得到目标短视频。
8.一种视频截取装置,其特征在于,所述装置包括:
识别模块,用于获取待截取视频,将所述待截取视频输入已训练的视频识别模型,得到所述待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率,所述视频识别模型是通过对预设数据库中各目标已截取视频进行视频指纹匹配,查找到对应的目标长视频以及视频参数,根据所述目标长视频和所述视频参数训练得到的,所述视频参数包括目标已截取视频在对应的目标长视频中的起始位置和结束位置以及视频标签;
排序模块,用于分别对所述各视频帧作为短视频的起始位置的概率和结束位置的概率进行排序,根据预设概率阈值确定备选起始位置集合以及备选结束位置集合;
截取模块,用于根据所述备选起始位置集合以及备选结束位置集合,截取出备选截取视频集合;
比对模块,用于将所述备选截取视频集合中各备选截取视频与预设数据库中各已截取视频进行比对,从所述备选截取视频集合中筛选出目标短视频。
9.根据权利要求8所述的装置,其特征在于,视频截取装置还包括模型构建模块,模型构建模块包括:
第一视频指纹获取单元,用于获取各已截取视频以及预设数据库中各长视频的视频指纹,并得到视频帧-时间点对应表;
已截取视频筛选单元,用于对各已截取视频进行筛选,得到目标已截取视频集合;
视频指纹匹配单元,用于根据目标已截取视频集合中各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的目标长视频;
第一处理单元,用于从视频帧-时间点对应表中获取各目标长视频的视频帧-时间点对应信息,根据各目标已截取视频的视频指纹和视频帧-时间点对应信息,得到各目标已截取视频在对应目标长视频中的起始位置和结束位置;
标注单元,用于根据起始位置和结束位置,对各目标长视频进行标注,得到各目标长视频的视频标签;
第二处理单元,用于根据各目标长视频、起始位置、结束位置以及视频标签得到视频识别模型训练数据;
训练单元,用于根据视频识别模型训练数据进行模型训练,得到视频识别模型。
10.根据权利要求9所述的装置,其特征在于,视频指纹获取单元包括:
视频抽帧组件,用于对各已截取视频以及各长视频分别进行视频抽帧,得到各已截取视频以及各长视频的视频帧集合;
分类组件,用于将视频帧集合中各视频帧输入已训练的分类模型,得到各视频帧的特征值;
处理组件,用于根据各视频帧的特征值,得到各已截取视频的视频指纹以及各长视频的视频指纹。
11.根据权利要求9所述的装置,其特征在于,视频指纹匹配单元包括:
视频指纹匹配组件,用于根据各目标已截取视频的视频指纹匹配各长视频的视频指纹,得到与各目标已截取视频对应的长视频列表;
重复度判定组件,用于对长视频列表中各长视频进行指纹特征时间有序重复度判定,根据预设指纹覆盖率阈值,从长视频列表中筛选出与目标已截取视频对应的目标长视频。
12.根据权利要求8所述的装置,其特征在于,识别模块包括:
视频抽帧单元,用于对待截取视频进行视频抽帧,得到待截取视频的视频帧集合;
分类单元,用于将视频帧集合中各视频帧输入视频识别模型中的分类模型,得到各视频帧的特征值;
概率计算单元,用于将各视频帧的特征值输入视频识别模型中的视频帧特征时序模型,得到待截取视频中各视频帧作为短视频的起始位置的概率和结束位置的概率。
13.根据权利要求8所述的装置,其特征在于,截取模块包括:
比对单元,用于比对备选起始位置集合中各备选起始位置以及备选结束位置集合中各备选结束位置,得到待截取短视频节点集合;
截取单元,用于根据待截取短视频节点集合对待截取视频进行截取,得到待比对截取视频集合;
特征参数获取单元,用于获取待比对截取视频集合中各待比对截取视频的特征参数;
排序单元,用于根据特征参数对各待比对截取视频进行排序;
筛选单元,用于根据预设特征阈值和排序结果从待比对截取视频集合中筛选出备选截取视频集合。
14.根据权利要求8所述的装置,其特征在于,比对模块包括:
第二视频指纹获取单元,用于获取备选截取视频集合中各备选截取视频的视频指纹,以及预设数据库中各已截取视频的视频指纹;
比对筛选单元,用于将各备选截取视频的视频指纹与各已截取视频的视频指纹进行比对,根据预设指纹重复率对各备选截取视频进行筛选,得到目标短视频。
15.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
16.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010199146.9A CN111428087B (zh) | 2020-03-20 | 2020-03-20 | 视频截取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010199146.9A CN111428087B (zh) | 2020-03-20 | 2020-03-20 | 视频截取方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111428087A CN111428087A (zh) | 2020-07-17 |
CN111428087B true CN111428087B (zh) | 2022-10-25 |
Family
ID=71548270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010199146.9A Active CN111428087B (zh) | 2020-03-20 | 2020-03-20 | 视频截取方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111428087B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113038072B (zh) * | 2021-02-05 | 2023-05-16 | 深圳市深粮控股股份有限公司 | 基于视频信息的定位方法、装置、存储介质及终端设备 |
CN114363673B (zh) * | 2022-01-10 | 2022-12-27 | 北京百度网讯科技有限公司 | 视频裁剪方法、模型训练方法及装置 |
CN114782879B (zh) * | 2022-06-20 | 2022-08-23 | 腾讯科技(深圳)有限公司 | 视频识别方法、装置、计算机设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108024145A (zh) * | 2017-12-07 | 2018-05-11 | 北京百度网讯科技有限公司 | 视频推荐方法、装置、计算机设备和存储介质 |
CN108769801A (zh) * | 2018-05-28 | 2018-11-06 | 广州虎牙信息科技有限公司 | 短视频的合成方法、装置、设备及存储介质 |
CN110134829A (zh) * | 2019-04-28 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 视频定位方法和装置、存储介质及电子装置 |
CN110856042A (zh) * | 2019-11-18 | 2020-02-28 | 腾讯科技(深圳)有限公司 | 视频播放方法、装置、计算机可读存储介质和计算机设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8914534B2 (en) * | 2011-01-05 | 2014-12-16 | Sonic Ip, Inc. | Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol |
-
2020
- 2020-03-20 CN CN202010199146.9A patent/CN111428087B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108024145A (zh) * | 2017-12-07 | 2018-05-11 | 北京百度网讯科技有限公司 | 视频推荐方法、装置、计算机设备和存储介质 |
CN108769801A (zh) * | 2018-05-28 | 2018-11-06 | 广州虎牙信息科技有限公司 | 短视频的合成方法、装置、设备及存储介质 |
CN110134829A (zh) * | 2019-04-28 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 视频定位方法和装置、存储介质及电子装置 |
CN110856042A (zh) * | 2019-11-18 | 2020-02-28 | 腾讯科技(深圳)有限公司 | 视频播放方法、装置、计算机可读存储介质和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111428087A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10726313B2 (en) | Active learning method for temporal action localization in untrimmed videos | |
CN111428087B (zh) | 视频截取方法、装置、计算机设备和存储介质 | |
CN110362677B (zh) | 文本数据类别的识别方法及装置、存储介质、计算机设备 | |
US10642892B2 (en) | Video search method and apparatus | |
US10867212B2 (en) | Learning highlights using event detection | |
CN108537119B (zh) | 一种小样本视频识别方法 | |
EP3923182A1 (en) | Method for identifying a video frame of interest in a video sequence, method for generating highlights, associated systems | |
EP3989158A1 (en) | Method, apparatus and device for video similarity detection | |
CN114389966B (zh) | 基于图神经网络和流时空关联的网络流量识别方法和系统 | |
CN109871490B (zh) | 媒体资源匹配方法、装置、存储介质和计算机设备 | |
CN108337912A (zh) | 对视频段的未来收看的预测以优化系统资源利用 | |
CN110390033A (zh) | 图像分类模型的训练方法、装置、电子设备及存储介质 | |
JP7163397B2 (ja) | 画像処理方法、候補評価方法および関連装置 | |
CN110309795A (zh) | 视频检测方法、装置、电子设备及存储介质 | |
CN110166826B (zh) | 视频的场景识别方法、装置、存储介质及计算机设备 | |
CN111651636A (zh) | 视频相似片段搜索方法及装置 | |
CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
CN111314732A (zh) | 确定视频标签的方法、服务器及存储介质 | |
CN110147469A (zh) | 一种数据处理方法、设备及存储介质 | |
CN109214374A (zh) | 视频分类方法、装置、服务器及计算机可读存储介质 | |
CN112084812B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN111401238B (zh) | 一种视频中人物特写片段的检测方法及装置 | |
CN112199600A (zh) | 目标对象识别方法和装置 | |
CN110162664B (zh) | 视频推荐方法、装置、计算机设备及存储介质 | |
CN110781960A (zh) | 视频分类模型的训练方法、分类方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |