CN108391180A - 视频摘要生成装置及视频摘要生成方法 - Google Patents
视频摘要生成装置及视频摘要生成方法 Download PDFInfo
- Publication number
- CN108391180A CN108391180A CN201810135809.3A CN201810135809A CN108391180A CN 108391180 A CN108391180 A CN 108391180A CN 201810135809 A CN201810135809 A CN 201810135809A CN 108391180 A CN108391180 A CN 108391180A
- Authority
- CN
- China
- Prior art keywords
- key frame
- segments
- module
- sent
- personage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
Abstract
本发明提供了一种视频摘要生成装置及视频摘要生成方法。该装置包括片段参数提取模块、距离参数提取模块、系数参数提取模块,用于从接收的多个原始片段中提取出参数;待选片段集合计算模块,用于计算出待选片段集合,并发送至关键帧集合计算模块;关键帧集合计算模块,用于计算出关键帧集合,并发送至关键帧中主要人物与总人物的相关系数计算模块;关键帧中主要人物与总人物的相关系数计算模块,用于计算出关键帧中主要人物与总人物的相关系数,并发送至视频摘要制作模块;视频摘要制作模块,用于制作成视频摘要进行存储。本发明具有节省人工、成本较低的优点。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种视频摘要生成装置及视频摘要生成方法。
背景技术
作为一种信息量大、表现力强的媒体形式,视频一直是人们进行信息交流的重要载体,视频数据在近几年呈现出爆炸式的增长,在人们的日常生活中占据越来越重要的地位。随着硬件技术以及网络技术的飞速发展,越来越多的人开始选择使用计算机或者移动终端观看视频。广大用户对视频信息的呈现、编辑、浏览和检索等交互需求也越来越突出,尤其是视频摘要,能够从原视频中提取出有意义的部分,并将它以某种方式进行组合,形成简洁的、能够充分表现视频语义内容的概要。一个好的摘要形式,能够清楚的将视频的主要内容以更利于用户理解的方式呈现,同时,能够提供对视频摘要的自然交互方式,实现视频摘要的高效利用。
视频摘要在视频分析和基于内容的视频检索中扮演着重要角色。通常几个小时的录像,可以浓缩成几分钟的浓缩视频,大大加快了录像查看的速度。
现在大部分生成视频摘要的结果都不大理想,因为很多方法生成的视频摘要都是静态视频摘要,这种视频摘要不利于用户浏览,更不利于用户对视频内容的把握。因此需要对视频数据进行数据挖掘和图像处理得到一种实用性强的、能够真正基于全局重要性的视频摘要生成方法。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频摘要生成装置及视频摘要生成方法。
本发明的一个方面,提供了一种视频摘要生成装置,包括:
片段参数提取模块,用于从接收的多个原始片段中提取出片段参数,并发送给待选片段集合计算模块;
距离参数提取模块,用于从接收的多个原始片段中提取出距离参数,并发送给关键帧集合计算模块;
系数参数提取模块,用于从接收的多个原始片段中提取出系数参数,并发送给关键帧中主要人物与总人物的相关系数计算模块;
待选片段集合计算模块,用于根据片段参数计算出待选片段集合,并发送至关键帧集合计算模块;
关键帧集合计算模块,用于根据距离参数和待选片段集合计算出关键帧集合,并发送至关键帧中主要人物与总人物的相关系数计算模块;
关键帧中主要人物与总人物的相关系数计算模块,用于根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数,并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块;
视频摘要制作模块,用于根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序,并制作成视频摘要进行存储。
进一步地,片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子;
距离参数包括待选片段的开始时间集合、待选片段的结束时间集合;
系数参数包括人物关系集合。
进一步地,待选片段集合计算模块包含有如下计算模型:S=Q∩B×I,其中,S为待选片段集合,Q为原始片段集合,B为有码流变化的片段集合,I为码流变化控制因子;将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算,得到待选片段集合,并发送至关键帧集合计算模块。
进一步地,关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元,其中,
最长片段选择单元,用于将接收的待选片段集合中时间最长的一个片段作为最长片段,并将待选片段集合、最长片段发送至第一关键帧选择单元;
第一关键帧选择单元,用于将接收的最长片段中位于中间位置的一帧作为第一关键帧,并将待选片段集合、第一关键帧发送至计算单元;
计算单元,包含有如下模型其中,S为待选片段集合,b为待选片段的开始时间集合,e为待选片段的结束时间集合,r1为第一关键帧;将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算,得到关键帧集合,并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
进一步地,关键帧中主要人物与总人物的相关系数计算模块包括人物计算单元和相关系数计算单元,其中,
人物计算单元,用于根据接收到的人物关系集合、关键帧集合计算出每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合,并发送至相关系数计算单元;
相关系数计算单元,包含有如下模型其中,PNW为关键帧中主要人物与总人物的相关系数,N为每个关键帧中出现的主要人物个数的集合,W为每个关键帧中字幕出现的人物名称数量集合,E为数学期望,D为方差,D开根号为标准差,E((N-EN))((W-EW))为N与W的协方差;将接收的每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合代入计算,得到关键帧中主要人物与总人物的相关系数,并将关键帧、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块。
进一步地,Q={Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9,Q10},B={B1,B2,B3,B4,B5},I=0.2,b={00:40:02,01:01:01,01:12:01,01:23:01,01:24:01,01:35:01,01:46:01,01:57:01,01:58:01,01:59:00},e={00:40:04,01:01:15,01:12:03,01:23:15,01:23:15,01:23:15,01:23:15,01:23:15,01:23:15,01:23:15},人物关系集合为{P1P2,P1P3,P1P4,P1P5,P1P2P3,P1P2P4,P1P2P5,P1P3P4,P1P3P5,P1P2P3P4,P1P2P3P5,P1P3P4P5,P1P2P3P4P5},将Q、B、I代入S=Q∩B×I,将S、b、e代入公式得到F={r1,r2,r3,r4,r5,r6,r7,r8,r9,r10},N={3,5,3,2,1,2,4,4,3,2},W={2,1,3,4,2,3,2,1,3,2},代入公式根据得到的PNW={0.1,0.7,0.2,0.8,0.4,0.5,0.8,0.9,0.8,0.5},对F集合中的关键帧进行排序并制作视频摘要。
本发明的第二个方面,提供了一种视频摘要生成方法,包括以下步骤:
利用片段参数提取模块从接收的多个原始片段中提取出片段参数,并发送给待选片段集合计算模块;
利用距离参数提取模块从接收的多个原始片段中提取出距离参数,并发送给关键帧集合计算模块;
利用系数参数提取模块从接收的多个原始片段中提取出系数参数,并发送给关键帧中主要人物与总人物的相关系数计算模块;
利用待选片段集合计算模块根据片段参数计算出待选片段集合,并发送至关键帧集合计算模块;
利用关键帧集合计算模块根据距离参数和待选片段集合计算出关键帧集合,并发送至关键帧中主要人物与总人物的相关系数计算模块;
利用关键帧中主要人物与总人物的相关系数计算模块根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数,并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块;
利用视频摘要制作模块根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序,并制作成视频摘要进行存储。
进一步地,片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子;
距离参数包括待选片段的开始时间、待选片段的结束时间;
系数参数包括人物关系集合。
进一步地,待选片段集合计算模块包含有如下计算模型:S=Q∩B×I,其中,S为待选片段集合,Q为原始片段集合,B为有码流变化的片段集合,I为码流变化控制因子;将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算,得到待选片段集合,并发送至关键帧集合计算模块。
进一步地,关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元,其中,
利用最长片段选择单元将接收的待选片段集合中时间最长的一个片段作为最长片段,并将待选片段集合、最长片段发送至第一关键帧选择单元;
利用第一关键帧选择单元将接收的最长片段中位于中间位置的一帧作为第一关键帧,并将待选片段集合、第一关键帧发送至计算单元;
利用计算单元包含的如下模型其中,S为待选片段集合,b为待选片段的开始时间集合,e为待选片段的结束时间集合,r1为第一关键帧;将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算,得到关键帧集合,并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
本发明提供的视频摘要生成装置及视频摘要生成方法,与现有技术相比具有以下进步:从一个完整视频分成的多个连续的原始片段中,提取出视频里出现的人物、字幕、画面强度等视频摘要生成参数,经过待选片段集合计算模块、关键帧集合计算模块、关键帧中主要人物与总人物的相关系数计算模块的处理,得出关键帧集合及关键帧的排序,再根据关键帧的排序生成视频摘要。视频摘要具有原始完整视频的代表性,摘要以视频形式展示,更加直观、生动,生成的视频摘要可以做为原始完整视频的宣传片花以及其它用途,具有节省人工成本、提高工作效率的优点。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例中的视频摘要生成装置的器件连接框图;
图2为本发明实施例中的视频摘要生成方法的步骤图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
本发明实施例提供了视频摘要生成装置及视频摘要生成方法。
图1示意性示出了本发明一个实施例的视频摘要生成装置的器件连接框图。参照图1,本发明实施例的一种视频摘要生成装置,包括:
片段参数提取模块,用于从接收的多个原始片段中提取出片段参数,并发送给待选片段集合计算模块;
距离参数提取模块,用于从接收的多个原始片段中提取出距离参数,并发送给关键帧集合计算模块;
系数参数提取模块,用于从接收的多个原始片段中提取出系数参数,并发送给关键帧中主要人物与总人物的相关系数计算模块;
待选片段集合计算模块,用于根据片段参数计算出待选片段集合,并发送至关键帧集合计算模块;
关键帧集合计算模块,用于根据距离参数和待选片段集合计算出关键帧集合,并发送至关键帧中主要人物与总人物的相关系数计算模块;
关键帧中主要人物与总人物的相关系数计算模块,用于根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数,并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块;
视频摘要制作模块,用于根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序,并制作成视频摘要进行存储。
其中,待选片段集合计算模块分别与片段参数提取模块、关键帧集合计算模块电连接,关键帧集合计算模块电连接分别与距离参数提取模块、关键帧中主要人物与总人物的相关系数计算模块电连接,关键帧中主要人物与总人物的相关系数计算模块分别与系数参数提取模块、视频摘要制作模块电连接。
本实施例的视频摘要生成装置,通过从接收的多个原始视频片段中识别提取出视频摘要生成参数,即片段参数、距离参数和系数参数,并将这些参数代入到相关模型中进行计算,得出关键帧及其排序,根据排序生成视频摘要,结构比较简单。并且能够从庞大的视频文件中迅速定位与视频剧情相关的视频片段,找出有价值的视频信息。视频摘要用精简的方式代表了原视频的内容,同时保留了原视频内容的要点,节省了人力查找的成本。
本实施例中,还包括采集模块,用于采集多个原始片段,并分别发送给片段参数提取模块、距离参数提取模块、系数参数提取模块。采集模块分别与片段参数提取模块、距离参数提取模块、系数参数提取模块电连接。采集的方式可以是手工输入原始片段,或者是调取数据库中预存的原始片段,或者是从网上下载片段的数据包,根据具体情况进行选择。
本实施例中,片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子;距离参数包括待选片段的开始时间、待选片段的结束时间;系数参数包括人物关系集合。这些参数与视频的人物、场景变换等密切相关,对这些参数进行计算,更能体现原完整视频的要点和精彩度。
本实施例中,待选片段集合计算模块包含有如下计算模型:S=Q∩B×I,其中,S为待选片段集合,Q为原始片段集合,B为有码流变化的片段集合,I为码流变化控制因子;将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算,得到待选片段集合,并发送至关键帧集合计算模块。本实施例中,原始片段集合中的每个原始片段都是连续的视频,保留了整部视频的要点内容,上述计算模型是根据人物交流、字幕体现的语义化、高强度动作码流计算出的待选片段集合,根据该模型计算出的待选片段集合是整部视频中的精彩的部分,使最后制作出的视频摘要能够代表整部视频的要点、精彩内容。本实施例中,码流变化控制因子的取值范围为0-0.5,优选实施例中,码流变化控制因子为0.2。
本实施例中,关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元,其中,
最长片段选择单元,用于将接收的待选片段集合中时间最长的一个片段作为最长片段,并将待选片段集合、最长片段发送至第一关键帧选择单元;
第一关键帧选择单元,用于将接收的最长片段中位于中间位置的一帧作为第一关键帧,并将待选片段集合、第一关键帧发送至计算单元;
计算单元,包含有如下模型其中,S为待选片段集合,b为待选片段的开始时间集合,e为待选片段的结束时间集合,r1为第一关键帧;将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算,得到关键帧集合,并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
其中,最长片段选择单元分别与待选片段集合计算模块、第一关键帧选择单元电连接,计算单元分别与距离参数提取模块、第一关键帧选择单元、关键帧中主要人物与总人物的相关系数计算模块电连接。
最长片段选择单元接收的待选片段集合S={S1,S2,S3,…,Sm}后,选出时间最长的一个待选片段作为最长片段;第一关键帧选择单元再选择最长片段中位于中间位置的一帧,作为第一关键帧r1,此时,关键帧集合F={r1};计算单元将待选片段集合S={S1,S2,S3,…,Sm},以及待选片段的开始时间集合b,待选片段的结束时间集合e,代入公式选出距离第一关键帧最远的片段,并取中间帧作为第二关键帧r2,此时,F={r1,r2},再根据公式选出距离第二关键帧最远的片段,并取中间帧作为第三关键帧r3,此时,F={r1,r2,r3},将此步骤循环,直至找出所有的关键帧,组成关键帧集合F={r1,r2,……ri}。
本实施例中,关键帧中主要人物与总人物的相关系数计算模块包括人物计算单元和相关系数计算单元,其中,
人物计算单元,用于根据接收到的人物关系集合、关键帧集合计算出每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合,并发送至相关系数计算单元;
相关系数计算单元,包含有如下模型其中,PNW为关键帧中主要人物与总人物的相关系数,N为每个关键帧中出现的主要人物个数的集合,W为每个关键帧中字幕出现的人物名称数量集合,E为数学期望,D为方差,D开根号为标准差,E((N-EN))((W-EW))为N与W的协方差;将接收的每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合代入计算,得到关键帧中主要人物与总人物的相关系数,并将关键帧、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块。
一个具体实施例中,Q={Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9,Q10},其中,
Q1片段的起始结束时间是00:40:01-00:40:05;Q2片段的起始结束时间是01:01:01-01:01:15;Q3片段的起始结束时间是01:12:01-01:12:25;Q4片段的起始结束时间是01:23:01-01:23:15;Q5片段的起始结束时间是01:24:01-01:24:25;Q6片段的起始结束时间是01:35:01-01:35:15;Q7片段的起始结束时间是01:46:01-01:46:10;Q8片段的起始结束时间是01:57:01-01:57:08;Q9片段的起始结束时间是01:58:01-01:58:38;Q10片段的起始结束时间是01:59:00-00:59:11。
B={B1,B2,B3,B4,B5},其中,B1片段的起始结束时间是00:40:02-00:40:04;B2片段的起始结束时间是01:05:01-01:05:15;B3片段的起始结束时间是01:19:01-01:19:10;B4片段的起始结束时间是01:20:01-01:20:8;B5片段的起始结束时间是01:40:04-01:40:10;
根据公式S=Q∩B×I得到:
S={S1,S2,S3,S4,S5,S6,S7,S8,S9,S10},其中S1片段的起始结束时间是00:40:02-00:40:04,时长2秒;S2片段的起始结束时间是01:01:01-01:01:15,时长14秒;S3片段的起始结束时间是01:12:01-01:12:03,时长2秒;S4片段的起始结束时间是01:23:01-01:23:15,时长14秒;S5片段的起始结束时间是01:24:01-01:24:25,时长24秒;S6片段的起始结束时间是01:35:01-01:35:15,时长14秒;S7片段的起始结束时间是01:46:01-01:46:10,时长9秒;S8片段的起始结束时间是01:57:01-01:57:08,时长7秒;S9片段的起始结束时间是01:58:01-01:58:38,时长37秒;S1片段的起始结束时间是01:59:00-00:59:11,时长6秒。
S9片段是S集合中时长最长的一个片段,起始结束时间是00:08:01-00:08:37,中间帧就是00:08:19出现的帧,即该帧为第一关键帧r1,根据公式由r1得到r2,然后依次得到F集合为{r1,r2,r3,r4,r5,r6,r7,r8,r9,r10},其中,r1帧的时间是:01:58:16;r2帧的时间是:00:40:03;r3帧的时间是:01:59:06;r4帧的时间是:01:01:08;r5帧的时间是:01:57:05;r6帧的时间是:01:12:03;r7帧的时间是:01:46:05;r8帧的时间是:01:23:08;r9帧的时间是:01:35:08;r10帧的时间是:01:24:14。
F集合{r1,r2,r3,r4,r5,r6,r7,r8,r9,r10}中的每个关键帧中出现的主要人物个数的集合为W,W={2,1,3,4,2,3,2,1,3,2},
原始完整视频中有5个主要人物,分别是:P1、P2、P3、P4、P5,人物关系集合C={P1P2,P1P3,P1P4,P1P5,P1P2P3,P1P2P4,P1P2P5,P1P3P4,P1P3P5,P1P2P3P4,P1P2P3P5,P1P3P4P5,P1P2P3P4P5}。
F集合{r1,r2,r3,r4,r5,r6,r7,r8,r9,r10}中的每个帧画面出现的人物如果是主要人物集合其中的一个就标记为1,然后叠加。此集合称为每个关键帧中出现的主要人物个数的集合N,N={3,5,3,2,1,2,4,4,3,2}。由公式:
计算出关键帧中主要人物与总人物的相关系数PNW={0.1,0.7,0.2,0.8,0.4,0.5,0.8,0.9,0.8,0.5},其中,0.8-1.0极强相关,0.6-0.8强相关,0.4-0.6中等程度相关,0.2-0.4弱相关,0.0-0.2极弱相关或无相关,按照关键帧的时间顺序,取相关系数最大的前面多个关键帧拼接成短视频,短视频即整个视频的视频摘要。
图2示意性示出了本发明一个实施例的视频摘要生成装置的步骤图。参照图2,本发明实施例的视频摘要生成方法,包括以下步骤:
利用片段参数提取模块从接收的多个原始片段中提取出片段参数,并发送给待选片段集合计算模块;
利用距离参数提取模块从接收的多个原始片段中提取出距离参数,并发送给关键帧集合计算模块;
利用系数参数提取模块从接收的多个原始片段中提取出系数参数,并发送给关键帧中主要人物与总人物的相关系数计算模块;
利用待选片段集合计算模块根据片段参数计算出待选片段集合,并发送至关键帧集合计算模块;
利用关键帧集合计算模块根据距离参数和待选片段集合计算出关键帧集合,并发送至关键帧中主要人物与总人物的相关系数计算模块;
利用关键帧中主要人物与总人物的相关系数计算模块根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数,并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块;
利用视频摘要制作模块根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序,并制作成视频摘要进行存储。
本实施例的视频摘要生成方法,利用片段参数提取模块、距离参数提取模块、系数参数提取模块分别从接收的多个原始视频片段中识别提取出片段参数、距离参数和系数参数,并将这些参数代入到相关模型中进行计算,得出关键帧及其排序,根据排序生成视频摘要,能够从庞大的视频文件中迅速定位与视频剧情相关的视频片段,找出有价值的视频信息。视频摘要用精简的方式代表了原视频的内容,同时保留了原视频内容的要点,节省了人力查找的成本。
本实施例中,还包括采集模块,用于采集多个原始片段,并分别发送给片段参数提取模块、距离参数提取模块、系数参数提取模块。采集模块分别与片段参数提取模块、距离参数提取模块、系数参数提取模块电连接。采集的方式可以是手工输入原始片段,或者是调取数据库中预存的原始片段,或者是从网上下载片段的数据包,根据具体情况进行选择。
本实施例中,片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子;距离参数包括待选片段的开始时间、待选片段的结束时间;系数参数包括人物关系集合。这些参数与视频的人物、场景变换等密切相关,对这些参数进行计算,更能体现原完整视频的要点和精彩度。
本实施例中,待选片段集合计算模块包含有如下计算模型:S=Q∩B×I,其中,S为待选片段集合,Q为原始片段集合,B为有码流变化的片段集合,I为码流变化控制因子;将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算,得到待选片段集合,并发送至关键帧集合计算模块。本实施例中,原始片段集合中的每个原始片段都是连续的视频,保留了整部视频的要点内容,上述计算模型是根据人物交流、字幕体现的语义化、高强度动作码流计算出的待选片段集合,根据该模型计算出的待选片段集合是整部视频中的精彩的部分,使最后制作出的视频摘要能够代表整部视频的要点、精彩内容。本实施例中,码流变化控制因子的取值范围为0-0.5,优选实施例中,码流变化控制因子为0.2。
本实施例中,关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元,其中,
最长片段选择单元,用于将接收的待选片段集合中时间最长的一个片段作为最长片段,并将待选片段集合、最长片段发送至第一关键帧选择单元;
第一关键帧选择单元,用于将接收的最长片段中位于中间位置的一帧作为第一关键帧,并将待选片段集合、第一关键帧发送至计算单元;
计算单元,包含有如下模型其中,S为待选片段集合,b为待选片段的开始时间集合,e为待选片段的结束时间集合,r1为第一关键帧;将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算,得到关键帧集合,并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
其中,最长片段选择单元分别与待选片段集合计算模块、第一关键帧选择单元电连接,计算单元分别与距离参数提取模块、第一关键帧选择单元、关键帧中主要人物与总人物的相关系数计算模块电连接。
最长片段选择单元接收的待选片段集合S={S1,S2,S3,…,Sm}后,选出时间最长的一个待选片段作为最长片段;第一关键帧选择单元再选择最长片段中位于中间位置的一帧,作为第一关键帧r1,此时,关键帧集合F={r1};计算单元将待选片段集合S={S1,S2,S3,…,Sm},以及待选片段的开始时间集合b,待选片段的结束时间集合e,代入公式选出距离第一关键帧最远的片段,并取中间帧作为第二关键帧r2,此时,F={r1,r2},再根据公式选出距离第二关键帧最远的片段,并取中间帧作为第三关键帧r3,此时,F={r1,r2,r3},将此步骤循环,直至找出所有的关键帧,组成关键帧集合F={r1,r2,……ri}。
本实施例中,关键帧中主要人物与总人物的相关系数计算模块包括人物计算单元和相关系数计算单元,其中,
人物计算单元,用于根据接收到的人物关系集合、关键帧集合计算出每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合,并发送至相关系数计算单元;
相关系数计算单元,包含有如下模型其中,PNW为关键帧中主要人物与总人物的相关系数,N为每个关键帧中出现的主要人物个数的集合,W为每个关键帧中字幕出现的人物名称数量集合,E为数学期望,D为方差,D开根号为标准差,E((N-EN))((W-EW))为N与W的协方差;将接收的每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合代入计算,得到关键帧中主要人物与总人物的相关系数,并将关键帧、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块。
一个具体实施例中,Q={Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9,Q10},其中,
Q1片段的起始结束时间是00:40:01-00:40:05;Q2片段的起始结束时间是01:01:01-01:01:15;Q3片段的起始结束时间是01:12:01-01:12:25;Q4片段的起始结束时间是01:23:01-01:23:15;Q5片段的起始结束时间是01:24:01-01:24:25;Q6片段的起始结束时间是01:35:01-01:35:15;Q7片段的起始结束时间是01:46:01-01:46:10;Q8片段的起始结束时间是01:57:01-01:57:08;Q9片段的起始结束时间是01:58:01-01:58:38;Q10片段的起始结束时间是01:59:00-00:59:11。
B={B1,B2,B3,B4,B5},其中,B1片段的起始结束时间是00:40:02-00:40:04;B2片段的起始结束时间是01:05:01-01:05:15;B3片段的起始结束时间是01:19:01-01:19:10;B4片段的起始结束时间是01:20:01-01:20:8;B5片段的起始结束时间是01:40:04-01:40:10;
根据公式S=Q∩B×I得到:
S={S1,S2,S3,S4,S5,S6,S7,S8,S9,S10},其中S1片段的起始结束时间是00:40:02-00:40:04,时长2秒;S2片段的起始结束时间是01:01:01-01:01:15,时长14秒;S3片段的起始结束时间是01:12:01-01:12:03,时长2秒;S4片段的起始结束时间是01:23:01-01:23:15,时长14秒;S5片段的起始结束时间是01:24:01-01:24:25,时长24秒;S6片段的起始结束时间是01:35:01-01:35:15,时长14秒;S7片段的起始结束时间是01:46:01-01:46:10,时长9秒;S8片段的起始结束时间是01:57:01-01:57:08,时长7秒;S9片段的起始结束时间是01:58:01-01:58:38,时长37秒;S1片段的起始结束时间是01:59:00-00:59:11,时长6秒。
S9片段是S集合中时长最长的一个片段,起始结束时间是00:08:01-00:08:37,中间帧就是00:08:19出现的帧,即该帧为第一关键帧r1,根据公式由r1得到r2,然后依次得到F集合为{r1,r2,r3,r4,r5,r6,r7,r8,r9,r10},其中,r1帧的时间是:01:58:16;r2帧的时间是:00:40:03;r3帧的时间是:01:59:06;r4帧的时间是:01:01:08;r5帧的时间是:01:57:05;r6帧的时间是:01:12:03;r7帧的时间是:01:46:05;r8帧的时间是:01:23:08;r9帧的时间是:01:35:08;r10帧的时间是:01:24:14。
F集合{r1,r2,r3,r4,r5,r6,r7,r8,r9,r10}中的每个关键帧中出现的主要人物个数的集合为W,W={2,1,3,4,2,3,2,1,3,2},
原始完整视频中有5个主要人物,分别是:P1、P2、P3、P4、P5,人物关系集合C={P1P2,P1P3,P1P4,P1P5,P1P2P3,P1P2P4,P1P2P5,P1P3P4,P1P3P5,P1P2P3P4,P1P2P3P5,P1P3P4P5,P1P2P3P4P5}。
F集合{r1,r2,r3,r4,r5,r6,r7,r8,r9,r10}中的每个帧画面出现的人物如果是主要人物集合其中的一个就标记为1,然后叠加。此集合称为每个关键帧中出现的主要人物个数的集合N,N={3,5,3,2,1,2,4,4,3,2}。由公式:
计算出关键帧中主要人物与总人物的相关系数PNW={0.1,0.7,0.2,0.8,0.4,0.5,0.8,0.9,0.8,0.5},其中,0.8-1.0极强相关,0.6-0.8强相关,0.4-0.6中等程度相关,0.2-0.4弱相关,0.0-0.2极弱相关或无相关,按照关键帧的时间顺序,取相关系数最大的前面多个关键帧拼接成短视频,短视频即整个视频的视频摘要。
本发明提供的视频摘要生成装置及视频摘要生成方法,从一个完整视频分成的多个连续的原始片段中,提取出视频里出现的人物、字幕、画面强度等视频摘要生成的相关参数,经过待选片段集合计算模块、关键帧集合计算模块、关键帧与人物关系的相关系数计算模块内计算模型的处理,得出关键帧集合及关键帧的排序,再根据关键帧的排序生成视频摘要。视频摘要具有原始完整视频的代表性,摘要以视频形式展示,更加直观、生动,生成的视频摘要可以做为原始完整视频的宣传片花以及其它用途,具有节省人工成本、提高工作效率的优点。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种视频摘要生成装置,其特征在于,包括:
片段参数提取模块,用于从接收的多个原始片段中提取出片段参数,并发送给待选片段集合计算模块;
距离参数提取模块,用于从接收的多个原始片段中提取出距离参数,并发送给关键帧集合计算模块;
系数参数提取模块,用于从接收的多个原始片段中提取出系数参数,并发送给关键帧中主要人物与总人物的相关系数计算模块;
待选片段集合计算模块,用于根据片段参数计算出待选片段集合,并发送至关键帧集合计算模块;
关键帧集合计算模块,用于根据距离参数和待选片段集合计算出关键帧集合,并发送至关键帧中主要人物与总人物的相关系数计算模块;
关键帧中主要人物与总人物的相关系数计算模块,用于根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数,并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块;
视频摘要制作模块,用于根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序,并制作成视频摘要进行存储。
2.根据权利要求1所述的视频摘要生成装置,其特征在于,
片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子;
距离参数包括待选片段的开始时间集合、待选片段的结束时间集合;
系数参数包括人物关系集合。
3.根据权利要求2所述的视频摘要生成装置,其特征在于,待选片段集合计算模块包含有如下计算模型:S=Q∩B×I,其中,S为待选片段集合,Q为原始片段集合,B为有码流变化的片段集合,I为码流变化控制因子;将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算,得到待选片段集合,并发送至关键帧集合计算模块。
4.根据权利要求3所述的视频摘要生成装置,其特征在于,关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元,其中,
最长片段选择单元,用于将接收的待选片段集合中时间最长的一个片段作为最长片段,并将待选片段集合、最长片段发送至第一关键帧选择单元;
第一关键帧选择单元,用于将接收的最长片段中位于中间位置的一帧作为第一关键帧,并将待选片段集合、第一关键帧发送至计算单元;
计算单元,包含有如下模型其中,S为待选片段集合,b为待选片段的开始时间集合,e为待选片段的结束时间集合,r1为第一关键帧;将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算,得到关键帧集合,并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
5.根据权利要求4所述的视频摘要生成装置,其特征在于,关键帧中主要人物与总人物的相关系数计算模块包括人物计算单元和相关系数计算单元,其中,
人物计算单元,用于根据接收到的人物关系集合、关键帧集合计算出每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合,并发送至相关系数计算单元;
相关系数计算单元,包含有如下模型其中,PNW为关键帧中主要人物与总人物的相关系数,N为每个关键帧中出现的主要人物个数的集合,W为每个关键帧中字幕出现的人物名称数量集合,E为数学期望,D为方差,D开根号为标准差,E((N-EN))((W-EW))为N与W的协方差;将接收的每个关键帧中字幕出现的人物名称数量集合、每个关键帧中出现的主要人物个数的集合代入计算,得到关键帧中主要人物与总人物的相关系数,并将关键帧、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块。
6.根据权利要求5所述的视频摘要生成装置,其特征在于,Q={Q1,Q2,Q3,Q4,Q5,Q6,Q7,Q8,Q9,Q10},B={B1,B2,B3,B4,B5},I=0.2,b={00:40:02,01:01:01,01:12:01,01:23:01,01:24:01,01:35:01,01:46:01,01:57:01,01:58:01,01:59:00},e={00:40:04,01:01:15,01:12:03,01:23:15,01:23:15,01:23:15,01:23:15,01:23:15,01:23:15,01:23:15},人物关系集合为{P1P2,P1P3,P1P4,P1P5,P1P2P3,P1P2P4,P1P2P5,P1P3P4,P1P3P5,P1P2P3P4,P1P2P3P5,P1P3P4P5,P1P2P3P4P5},将Q、B、I代入S=Q∩B×I,将S、b、e代入公式得到F={r1,r2,r3,r4,r5,r6,r7,r8,r9,r10},N={3,5,3,2,1,2,4,4,3,2},W={2,1,3,4,2,3,2,1,3,2},代入公式根据得到的PNW={0.1,0.7,0.2,0.8,0.4,0.5,0.8,0.9,0.8,0.5},对F集合中的关键帧进行排序并制作视频摘要。
7.一种基于权利要求1所述的视频摘要生成装置实现的视频摘要生成方法,其特征在于,包括以下步骤:
利用片段参数提取模块从接收的多个原始片段中提取出片段参数,并发送给待选片段集合计算模块;
利用距离参数提取模块从接收的多个原始片段中提取出距离参数,并发送给关键帧集合计算模块;
利用系数参数提取模块从接收的多个原始片段中提取出系数参数,并发送给关键帧中主要人物与总人物的相关系数计算模块;
利用待选片段集合计算模块根据片段参数计算出待选片段集合,并发送至关键帧集合计算模块;
利用关键帧集合计算模块根据距离参数和待选片段集合计算出关键帧集合,并发送至关键帧中主要人物与总人物的相关系数计算模块;
利用关键帧中主要人物与总人物的相关系数计算模块根据系数参数和关键帧集合计算出关键帧中主要人物与总人物的相关系数,并将关键帧集合、关键帧中主要人物与总人物的相关系数发送至视频摘要制作模块;
利用视频摘要制作模块根据关键帧中主要人物与总人物的相关系数对关键帧集合中的关键帧进行排序,并制作成视频摘要进行存储。
8.根据权利要求7所述的视频摘要生成方法,其特征在于,
片段参数包括原始片段集合、有码流变化的片段集合、码流变化控制因子;
距离参数包括待选片段的开始时间、待选片段的结束时间;
系数参数包括人物关系集合。
9.根据权利要求8所述的视频摘要生成方法,其特征在于,待选片段集合计算模块包含有如下计算模型:S=Q∩B×I,其中,S为待选片段集合,Q为原始片段集合,B为有码流变化的片段集合,I为码流变化控制因子;将接收到的原始片段集合、有码流变化的片段集合、码流变化控制因子代入计算,得到待选片段集合,并发送至关键帧集合计算模块。
10.根据权利要求9所述的视频摘要生成方法,其特征在于,关键帧集合计算模块包括最长片段选择单元、第一关键帧选择单元和计算单元,其中,
利用最长片段选择单元将接收的待选片段集合中时间最长的一个片段作为最长片段,并将待选片段集合、最长片段发送至第一关键帧选择单元;
利用第一关键帧选择单元将接收的最长片段中位于中间位置的一帧作为第一关键帧,并将待选片段集合、第一关键帧发送至计算单元;
利用计算单元包含的如下模型其中,S为待选片段集合,b为待选片段的开始时间集合,e为待选片段的结束时间集合,r1为第一关键帧;将接收到的待选片段集合、待选片段的开始时间集合、待选片段的结束时间集合、第一关键帧代入计算,得到关键帧集合,并将关键帧集合发送至关键帧中主要人物与总人物的相关系数计算模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810135809.3A CN108391180B (zh) | 2018-02-09 | 2018-02-09 | 视频摘要生成装置及视频摘要生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810135809.3A CN108391180B (zh) | 2018-02-09 | 2018-02-09 | 视频摘要生成装置及视频摘要生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108391180A true CN108391180A (zh) | 2018-08-10 |
CN108391180B CN108391180B (zh) | 2020-06-26 |
Family
ID=63075723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810135809.3A Active CN108391180B (zh) | 2018-02-09 | 2018-02-09 | 视频摘要生成装置及视频摘要生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108391180B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109982109A (zh) * | 2019-04-03 | 2019-07-05 | 睿魔智能科技(深圳)有限公司 | 短视频的生成方法及装置、服务器和存储介质 |
CN112653918A (zh) * | 2020-12-15 | 2021-04-13 | 咪咕文化科技有限公司 | 预览视频生成方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1256580A (zh) * | 1998-12-05 | 2000-06-14 | Lg电子株式会社 | 以内容为基础的视频故事浏览系统 |
KR100792016B1 (ko) * | 2006-07-25 | 2008-01-04 | 한국항공대학교산학협력단 | 오디오 및 비디오 정보를 이용한 등장인물 기반 비디오요약 장치 및 그 방법 |
US20120263433A1 (en) * | 2011-04-12 | 2012-10-18 | Microsoft Corporation | Detecting Key Roles and Their Relationships from Video |
CN102799637A (zh) * | 2012-06-27 | 2012-11-28 | 北京邮电大学 | 一种电视节目内部自动生成主要人物摘要的方法 |
CN105744292A (zh) * | 2016-02-02 | 2016-07-06 | 广东欧珀移动通信有限公司 | 一种视频数据的处理方法及装置 |
-
2018
- 2018-02-09 CN CN201810135809.3A patent/CN108391180B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1256580A (zh) * | 1998-12-05 | 2000-06-14 | Lg电子株式会社 | 以内容为基础的视频故事浏览系统 |
KR100792016B1 (ko) * | 2006-07-25 | 2008-01-04 | 한국항공대학교산학협력단 | 오디오 및 비디오 정보를 이용한 등장인물 기반 비디오요약 장치 및 그 방법 |
US20120263433A1 (en) * | 2011-04-12 | 2012-10-18 | Microsoft Corporation | Detecting Key Roles and Their Relationships from Video |
CN102799637A (zh) * | 2012-06-27 | 2012-11-28 | 北京邮电大学 | 一种电视节目内部自动生成主要人物摘要的方法 |
CN105744292A (zh) * | 2016-02-02 | 2016-07-06 | 广东欧珀移动通信有限公司 | 一种视频数据的处理方法及装置 |
Non-Patent Citations (1)
Title |
---|
谷列先 等: "基于人物关系分析的视频自动摘要算法", 《高技术通讯》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109982109A (zh) * | 2019-04-03 | 2019-07-05 | 睿魔智能科技(深圳)有限公司 | 短视频的生成方法及装置、服务器和存储介质 |
CN109982109B (zh) * | 2019-04-03 | 2021-08-03 | 睿魔智能科技(深圳)有限公司 | 短视频的生成方法及装置、服务器和存储介质 |
CN112653918A (zh) * | 2020-12-15 | 2021-04-13 | 咪咕文化科技有限公司 | 预览视频生成方法、装置、电子设备及存储介质 |
CN112653918B (zh) * | 2020-12-15 | 2023-04-07 | 咪咕文化科技有限公司 | 预览视频生成方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108391180B (zh) | 2020-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109688463B (zh) | 一种剪辑视频生成方法、装置、终端设备及存储介质 | |
CN108769723B (zh) | 直播视频中优质内容的推送方法、装置、设备和存储介质 | |
CN107832434A (zh) | 基于语音交互生成多媒体播放列表的方法和装置 | |
EP2605153B1 (en) | Information processing device, method of processing information, and program | |
US20240107127A1 (en) | Video display method and apparatus, video processing method, apparatus, and system, device, and medium | |
CN113569088B (zh) | 一种音乐推荐方法、装置以及可读存储介质 | |
CN110430476A (zh) | 直播间搜索方法、系统、计算机设备和存储介质 | |
CN109756751A (zh) | 多媒体数据处理方法及装置、电子设备、存储介质 | |
CN111046225B (zh) | 音频资源处理方法、装置、设备及存储介质 | |
CN102103877A (zh) | 用于编辑图像/视频数据的图像/视频数据编辑设备和方法 | |
CN110929158A (zh) | 一种内容推荐方法、系统及存储介质和终端设备 | |
CN113746875B (zh) | 一种语音包推荐方法、装置、设备及存储介质 | |
JP7240505B2 (ja) | 音声パケット推薦方法、装置、電子機器およびプログラム | |
CN114254158B (zh) | 视频生成方法及其装置、神经网络的训练方法及其装置 | |
CN111526427B (zh) | 视频生成方法、装置及电子设备 | |
CN108391180A (zh) | 视频摘要生成装置及视频摘要生成方法 | |
CN102855317A (zh) | 一种基于演示视频的多模式索引方法及系统 | |
CN112287168A (zh) | 用于生成视频的方法和装置 | |
CN109348287A (zh) | 视频摘要生成方法、装置、存储介质和电子设备 | |
CN110148393B (zh) | 音乐生成方法、装置和系统以及数据处理方法 | |
CN110781346A (zh) | 基于虚拟形象的新闻生产方法、系统、装置和存储介质 | |
CN110457493A (zh) | 一种交互富媒体智能推荐及本地调用的方法 | |
CN109635277A (zh) | 一种获取实体信息的方法及相关装置 | |
CN110083726B (zh) | 一种基于ugc图片数据的目的地形象感知方法 | |
CN114513706B (zh) | 视频生成方法和装置、计算机设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |