CN102290082B - 视频精彩回放片段的处理方法及装置 - Google Patents
视频精彩回放片段的处理方法及装置 Download PDFInfo
- Publication number
- CN102290082B CN102290082B CN201110187325.1A CN201110187325A CN102290082B CN 102290082 B CN102290082 B CN 102290082B CN 201110187325 A CN201110187325 A CN 201110187325A CN 102290082 B CN102290082 B CN 102290082B
- Authority
- CN
- China
- Prior art keywords
- video
- identification
- time point
- highlight
- playback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 title claims abstract description 48
- 230000008569 process Effects 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种视频精彩回放片段的处理方法及装置。其中,该方法包括:在标识模板集中检测并获取视频中所有出现标识的时间点,其中,标识模板集用于存储预设的标识模板;通过对时间点作配对处理来获取视频的精彩回放片段信息,并将精彩回放片段信息保存至精彩回放数据库;当用户点播视频时,在精彩回放数据库中进行查询操作以获取精彩回放片段信息,并播放精彩回放片段信息对应的精彩回放片段。通过本发明,能够提高检测视频精彩回放准确率和灵活性,同时提高了用户体验。
Description
技术领域
本发明涉及视频领域,具体而言,涉及一种视频精彩回放片段的处理方法及装置。
背景技术
广播体育视频在比赛过程中有很多精彩部分,视频在直播时,编辑会将这些精彩片段以回放的方式播放出来,这些回放镜头一般出现在死球的时候或者比赛节奏缓慢的时候,这样既可以不影响观众观看比赛,又可以让观众可以更好地欣赏比赛的精彩部分。
对于足球视频,一场比赛一般会有十几个到几个精彩回放不等,这些精彩回放的内容包括:进球、精彩射门、犯规、精彩拼抢等。一般精彩回放的长度越长,回放的内容也就越精彩,对于进球这一类精彩片段,都会有精彩回放。精彩回放有时候会采用慢镜头从多个角度来回放精彩片段,给观众更全面清晰的观看体验。
足球比赛的时间较长,大部分时间都是在中场和前后场传球抢球等,相对来说比较枯燥,而精彩的进球和射门相对较少,这些较少的精彩部分往往是观众最关注的部分。用户在点播观看完整赛事的时候,如果耐心地看完整场比赛,需要花费较长的时间,如果想要只观看精彩部分,又无法获取精彩部分的位置。因此可以采用对足球的精彩片段进行精彩回放,如果找到所有的精彩回放,就间接地找到了所有的精彩片段。
现有技术中,在视频精彩片段检测方法包括如下方式:第一类是通过音视频底层特征来建模分析得到高层语义信息进而得到精彩片段,另一类是通过检测回放片段来检测精彩片段。但都有一定的局限性。
第一类技术基于精彩片段在体育视频中一般伴随着观众的欢呼、特殊镜头或事件等场景,因此在音频和视频的底层特征上有所不同,可以通过底层特征分析加上机器学习的策略来检测精彩片段。但由于视频的底层特征和高层语义之间的语义鸿沟难以逾越,这一类技术尚处在研究阶段,实际效果准确率相对较低,无法满足实际产品的准确率需求。
第二类技术的基本依据是,体育视频的精彩片段一般会用慢速播放方式从不同视角重复播放几次,如果检测到所有的回放,就间接地找到了视频的精彩片段。精彩回放分为两类:不带logo的回放和带logo的回放。带logo的回放是指在回放片段的开始和结束处有一个实况场景与重放场景之间的转换,这个转换过程通常会出现一个logo,比如足球世界杯的徽标,西甲的徽标等。对于带logo的回放的视频在遇到不同的logo的情况下,就无法保证每一种情况都达到最优效果。对于不带logo的重放场景,特征提取和模式描述都比较困难,准确率与实际应用要求差距较大。以上的方法都局限在精彩回放检测部分,对于精彩回放的展示没有做更多的工作。
目前针对相关技术的视频精彩回放方式准确率低、灵活性差的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术的视频精彩回放方式准确率低、灵活性差的问题,目前尚未提出有效的问题而提出本发明,为此,本发明的主要目的在于提供一种视频精彩回放片段的处理方法及装置,以解决上述问题。
为了实现上述目的,根据本发明的一个方面,提供了一种视频精彩回放片段的处理方法,该视频精彩回放片段的处理方法包括:在标识模板集中检测并获取视频中所有出现标识的时间点,其中,标识模板集用于存储预设的标识模板;通过对时间点作配对处理来获取视频的精彩回放片段信息,并将精彩回放片段信息保存至精彩回放数据库;当用户点播视频时,在精彩回放数据库中进行查询操作以获取精彩回放片段信息,并播放精彩回放片段信息对应的精彩回放片段。
进一步地,在标识模板集中检测并获取视频中所有出现标识的时间点之前,方法还包括:创建标识模板集,包括:截取视频画面中出现标识的所有帧,并选择满足预设条件的帧作为标识核心帧;在标识核心帧的邻域内前后各选取N帧标识参考帧,将标识核心帧和2N帧标识参考帧结合以获取标识模板的原始图;删除原始图中的背景像素,以得到标识模板集,其中,标识模板集包括标识核心帧对应的核心标识模板和2N帧标识参考帧对应的2N个参考标识模板。
进一步地,在标识模板集中检测并获取视频中所有出现标识的时间点包括:将视频解码成多个视频帧;将每个视频的每一帧与核心标识模板进行匹配处理,获取每个视频帧的初始匹配距离值;获取初始匹配距离值小于第一阈值的一个或多个第一视频帧;在每个第一视频帧的邻域内前后各选取N帧视频帧,将获取到的2N帧视频帧分别与对应的2N个参考标识模板进行匹配处理,得到多个匹配距离值;对获取到的初始匹配距离值和多个匹配距离值进行均值计算,以获取每个第一视频帧对应的最终匹配距离值;当最终匹配距离值小于第二阈值时,获取一个或多个标识的时间点。
进一步地,匹配处理包括:计算标识模板集上每一个logo像素点与视频帧上对应的像素点在HSV三个颜色通道上的差值,以获取所有像素的像素颜色距离值;以每一个所述视频帧上的像素点为中心,在预定邻域范围内选取最小的像素颜色距离值作为该像素点的像素优化距离值;计算所有像素点的像素优化距离值的均值,作为该帧的匹配距离值。
进一步地,标识模板集包括起始位置标识模板集和结束位置标识模板集,其中,将每个视频帧在起始位置标识模板集和结束位置标识模板集中都进行检测,以获取标识出现的时间点;在任意一个时间点上同时出现两种标识的情况下,选择最终匹配距离值最小的标识作为该时间点上的标识。
进一步地,在视频中出现一种标识的情况下,通过对时间点作配对处理来获取视频的精彩回放片段信息,并将精彩回放片段信息保存至精彩回放数据库包括:选择第一个出现标识的时间点为起始时间点,并选择距离起始时间点最近的时间点为结束时间点,起始时间点和结束时间点之间的视频片段为精彩回放片段;在精彩回放片段的长度小于第三阈值的情况下,将精彩回放片段的起始时间点和结束时间点保存至精彩回放数据库,否则,删除获取到的精彩回放片段,并将结束时间点作为下一个精彩回放片段的起始时间点。
进一步地,在视频中出现两种标识的情况下,通过对时间点作配对处理来获取视频的精彩回放片段,并将精彩回放片段保存至精彩回放数据库包括:检测两种标识的时间点,以获取第一标识的时间点和第二标识的时间点,其中,两种标识包括第一标识和第二标识;为每一个第一标识的时间点匹配时间最接近的第二标识的时间点,以获取一组标识时间片段,标识时间片段为精彩回放片段;在精彩回放片段的长度小于第三阈值的情况下,将精彩回放片段的第一标识的时间点和第二标识的时间点保存至精彩回放数据库,否则,删除获取到的精彩回放片段。
进一步地,在精彩回放数据库中进行查询操作以获取精彩回放片段信息,并播放精彩回放片段信息对应的精彩回放片段包括:获取用户的点播视频请求;播放器根据点播视频请求在精彩回放数据库中查询并获取一个或多个精彩回放片段信息;播放器播放长度大于等于第四阈值的精彩回放片段。
进一步地,在播放器播放长度大于等于第四阈值的精彩回放片段之后,方法还包括:如果播放长度大于等于第四阈值的精彩回放片段的数量大于第五阈值,则将获取到的精彩回放片段进行排序,以获取精彩回放片段队列;选择并播放精彩回放片段队列中预定数目的精彩回放片段。
进一步地,在将精彩回放片段信息保存至精彩回放数据库之后,方法还包括:将精彩回放片段的链接标记设置在播放器的时间进度条上;并在链接标记处显示提示标签。
为了实现上述目的,根据本发明的另一方面,提供了一种视频精彩回放片段的处理装置,该视频精彩回放片段的处理装置包括:时间点获取模块,用于在标识模板集中检测并获取视频中所有出现标识的时间点,其中,标识模板集用于存储预设的标识模板;配对处理模块,用于通过对时间点作配对处理来获取视频的精彩回放片段信息,并将精彩回放片段信息保存至精彩回放数据库;查询点播模块,用于当用户点播视频时,在精彩回放数据库中进行查询操作以获取精彩回放片段信息,并播放精彩回放片段信息对应的精彩回放片段。
进一步地,装置还包括:创建模块,用于创建标识模板集,包括:截取视频画面中出现标识的所有帧,并获取分辨率最高的标识核心帧;在标识核心帧的邻域内前后各选取N帧标识参考帧,将标识核心帧和2N帧标识参考帧结合以获取标识模板的原始图;删除原始图中的背景像素,以得到标识模板集,其中,标识模板集包括标识核心帧对应的核心标识模板和2N帧标识参考帧对应的2N个参考标识模板。
进一步地,时间点获取模块包括:解码模块,用于将视频解码成多个视频帧;第一匹配处理模块,用于将每个视频帧与核心标识模板进行匹配处理,获取每个视频的每一帧的初始匹配距离值;第一获取模块,用于获取初始匹配距离值小于第一阈值的一个或多个第一视频帧;第二匹配处理模块,用于在每个第一视频帧的邻域内前后各选取N帧视频帧,将获取到的2N帧视频帧分别与对应的2N个参考标识模板进行匹配处理,得到多个匹配距离值;计算模块,用于对获取到的初始匹配距离值和多个匹配距离值进行均值计算,以获取每个第一视频帧对应的最终匹配距离值;第二获取模块,用于当最终匹配距离值小于第二阈值时,获取一个或多个标识logo的时间点。
进一步地,时间点获取模块还包括:第一计算模块,用于计算标识模板集上每一个标识像素点与视频帧上对应的像素点在HSV三个颜色通道上的差值,以获取所有像素的像素颜色距离值;选择模块,用于以每一个所述视频帧上的像素点为中心,在预定邻域范围内选取最小的像素颜色距离值作为该像素点的像素优化距离值;第二计算模块,用于计算所有像素点的像素优化距离值的均值,作为该帧的匹配距离值。
进一步地,在视频中出现一种标识的情况下,配对处理模块包括:第一选择模块,用于选择第一个出现标识的时间点为起始时间点,并选择距离起始时间点最近的时间点为结束时间点,起始时间点和结束时间点之间的视频片段为精彩回放片段;第一处理模块,用于在精彩回放片段的长度小于第三阈值的情况下,将精彩回放片段的起始时间点和结束时间点保存至精彩回放数据库,否则,删除获取到的精彩回放片段,并将结束时间点作为下一个精彩回放片段的起始时间点。
进一步地,在视频中出现两种标识的情况下,配对处理模块包括:第二选择模块,用于检测两种标识的时间点,以获取第一标识的时间点和第二标识的时间点,其中,两种标识包括第一标识和第二标识,并为每一个第一标识的时间点匹配时间最接近的第二标识的时间点,以获取一组标识时间片段,标识时间片段为精彩回放片段;第二处理模块,用于在精彩回放片段的长度小于第三阈值的情况下,将精彩回放片段的第一标识的时间点和第二标识的时间点保存至精彩回放数据库,否则,删除获取到的精彩回放片段。
进一步地,查询点播模块包括:第三获取模块,用于获取用户的点播视频请求;查询模块,用于播放器根据点播视频请求在精彩回放数据库中查询并获取一个或多个精彩回放片段信息;播放模块,用于播放器播放长度大于等于第四阈值的精彩回放片段。
进一步地,装置还包括:标记模块,用于将精彩回放片段的链接标记设置在播放器的时间进度条上;显示模块,用于在链接标记处显示提示标签。
通过本发明,采用在标识模板集中检测并获取视频中所有出现标识的时间点,其中,标识模板集用于存储预设的标识模板;通过对时间点作配对处理来获取视频的精彩回放片段信息,并将精彩回放片段信息保存至精彩回放数据库;当用户点播视频时,在精彩回放数据库中进行查询操作以获取精彩回放片段信息,并播放精彩回放片段信息对应的精彩回放片段,解决了现有相关技术的视频精彩回放方式准确率低、灵活性差的问题,进而实现提高检测视频精彩回放准确率和灵活性,同时提高了用户体验的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的视频精彩回放片段的处理装置的结构示意图;
图2是根据本发明实施例的视频精彩回放片段的处理方法的流程图;以及
图3是根据本发明实施例的视频精彩回放片段的处理方法的详细流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是根据本发明实施例的视频精彩回放片段的处理装置的结构示意图。如图1所示,该装置包括:时间点获取模块10,用于在标识logo模板集中检测并获取视频中所有出现标识logo的时间点,其中,标识模板集用于存储预设的标识模板;配对处理模块30,用于通过对时间点作配对处理来获取视频的精彩回放片段信息,并将精彩回放片段信息保存至精彩回放数据库;查询点播模块50,用于当用户点播视频时,在精彩回放数据库中进行查询操作以获取精彩回放片段信息,并播放精彩回放片段信息对应的精彩回放片段。
本申请通过时间点获取模块10实现在提前设置好的模板进行logo检测,自动找到视频中所有出现标识logo的时间点,然后通过配对处理模块30根据所有时间点上的logo来得到所有精彩回放,即找到所有精彩回放的起始和结束时间,并将这些信息存入数据库。用户在点播足球视频的时候,系统会在播放视频之前查询数据库,如果找到了精彩回放的信息,就将这些精彩回放信息用一种新颖而友好方便的形式展示给用户,让用户可以方便快速地浏览一个足球比赛视频中的所有精彩片段,大大提高用户观看视频的体验。该实施例由于仅需要在配置好的logo模板集中检测标识的时间点,装置就可以自动分析处理得到精彩回放片段,整个过程操作方便、简洁,而且由于视频处理过程消耗时间很少,使得进行海量视频处理的过程速度快且效率高。由于该实施例根据获取到的时间点来确认精彩回放片段,因此,具有很高的准确性,同时,具有新颖友好的用户体验。
具体的,在广播电视直播和转播的体育比赛视频中,都会有大量的精彩回放片段,本申请利用这些精彩回放片段的一个明显的特征来获取精彩回放片段,该特征是指:在精彩回放的开始和结束的位置会有一个标识logo画面在屏幕上闪过,持续时间一般为一两秒。而详细的,对于足球比赛视频,标识logo也有显著的特征:对于同一个赛季的比赛,采用同样的logo。一般来说,一个赛季的周期为一年,在这一年的周期内,该赛季的比赛采用同样的logo。例如:2010-2011赛季的西班牙甲级联赛采用一种logo、2010-2011欧洲冠军杯联赛采用另一种logo等。
本申请上述装置还可以包括:创建模块70,用于创建标识logo模板集,包括:截取视频画面中出现标识logo的所有帧,并选择满足预设条件的帧作为标识logo核心帧;在标识logo核心帧的邻域内前后各选取N帧标识logo参考帧,将标识logo核心帧和2N帧标识logo参考帧结合以获取标识logo模板的原始图;删除原始图中的背景像素,以得到标识logo模板集,其中,标识logo模板集包括标识logo核心帧对应的核心标识模板和2N帧标识logo参考帧对应的2N个参考标识模板。
上述实施例中,涉及到的需要满足的预设条件可以包括:在所有帧中,将出现标识logo最显著的那个帧作为核心帧,即该标识logo处于这帧图像的中间位置;将分辨率最高的帧作为标识核心帧;将出现标识的所有帧中的中间一个帧作为核心帧,例如出现标识logo的帧共N帧,将第N/2个帧作为核心帧,且在不需要十分精确的情况下,也可以选择处于中间位置相邻的帧作为核心帧,例如也可以将第(N/2)+1个帧或第(N/2)-1个帧作为核心帧。
上述实施例实现了标识logo模板的建立。具体的,可以根据精彩回放片段的起始位置和结束位置出现的logo来确定模板,精彩回放片段出现的标识logo一般持续时间在0.5秒到两秒之间,在视频上表现出来就是连续的若干帧,在logo出现的这些帧中,有的视频帧上的logo画面很显著,与背景的视觉对比性很强,有的视频帧上的logo画面不太显著,与背景的视觉对比性较差。截取logo出现的所有帧,将标识logo最显著的视频帧作为标识logo核心帧,并在此帧的邻域内前后各选取n帧作为标识logo参考帧,加在一起共2n+1帧,这些帧共同组成了该足球赛季的logo模板的原始图。
在删除上述2n+1个logo模板原始图中的logo背景像素,保留logo本体的像素之后得到logo模板集。例如,可以采用windows操作系统自带的画图软件打开一个bmp图像帧,然后使用橡皮擦删除背景像素,并保存图像。经过背景像素删除过程,可以得到2n+1个logo模板图像,包括1个核心模板和2n个参考模板,作为一个标识logo模板集。
优选地,对于精彩回放的起始位置和结束位置的标识logo不同的情况,为该赛季的足球比赛分别配置起始logo和结束logo的模板集,可以得到两个logo模板集。
具体的,根据足球比赛视频的精彩回放片段的特点,本申请可以通过检测精彩回放片段起始和结束位置的logo来得到精彩回放的精确时间点。而且由于每一个赛季都有各自的logo,所以可以以赛季为单位配置模板和参数,一旦为一个赛季配置好了logo模板和参数,这些配置可以用完整个一年的赛季,这样既有很大的灵活性,又可以保证检测的准确率。对于所有的赛季,精彩回放的起始位置和结束位置的logo有所差异,这种情况为该赛季分别配置起始logo和结束logo的模板。
本申请上述实施例中的时间点获取模块10可以包括:解码模块101,用于将视频解码成多个视频帧;第一匹配处理模块102,用于将每个视频的每一帧与核心标识模板进行匹配处理,获取每个视频帧的初始匹配距离值;第一获取模块103,用于获取初始匹配距离值小于第一阈值的一个或多个第一视频帧;第二匹配处理模块104,用于在每个第一视频帧的邻域内前后各选取N帧视频帧,将获取到的2N帧视频帧分别与对应的2N个参考标识模板进行匹配处理,得到多个匹配距离值;计算模块105,用于对获取到的初始匹配距离值和多个匹配距离值进行均值计算,以获取每个第一视频帧对应的最终匹配距离值;第二获取模块106,用于当最终匹配距离值小于第二阈值时,获取一个或多个标识logo的时间点。
优选地,时间点获取模块还可以包括:第一计算模块,用于计算标识模板集上每一个标识像素点与视频帧上对应的像素点在HSV三个颜色通道上的差值,以获取所有像素的像素颜色距离值;选择模块,用于以每一个所述视频帧上的像素点为中心,在预定邻域范围内选取最小的像素颜色距离值作为该像素点的像素优化距离值;第二计算模块,用于计算所有像素点的像素优化距离值的均值,作为该帧的匹配距离值。
具体的,在本申请针对足球比赛视频的实施例中,首先将视频解码成视频帧,然后在每一帧图像上检测logo。检测的方式是使用核心标识模板与视频帧图像进行逐个匹配,得到每一帧的初始匹配距离值。如果初始匹配距离值小于第一阈值,说明该帧图像很可能出现了标识logo,然后进行进一步验证。在此帧的邻域内前后各选取n帧,加上该帧共2n+1帧图像,与对应的2n+1个模板图像进行分别匹配,得到各自的匹配距离值,并求均值作为最终匹配距离值。如果最终匹配距离值小于第二阈值,说明这个位置有logo出现,生成一个logo时间点。
在上述标识logo模板与视频帧图像进行匹配时,首先将颜色空间由RGB空间转化为HSV空间,HSV颜色空间比RGB颜色空间更加符合人眼的视觉特点。两个像素的距离计算方式为,分别取它们在HSV三个颜色通道的差值,然后求均值。
在上述视频帧与logo模板的匹配过程中,具体的采用对于logo模板上的每一个logo像素点,计算该点与它在视频帧图像上对应的像素点的距离,得到所有logo像素点的距离值。在每一个logo像素点位置上,可以取以该点为中心的3*3矩形区域内的最小值作为该点的距离值。然后对所有logo像素点的距离值求均值,作为Logo模板与视频帧图像的匹配距离值。
优选地,在对于精彩回放的起始位置和结束位置的logo不同的情况下,可以包括两个logo模板集,则对两个模板集都进行logo检测,如果一个时间点同时出现两种logo,则选取匹配距离值最小的logo。
本申请上述实施例中,在视频中仅会出现一种标识的情况下,的配对处理模块30可以包括:第一选择模块,用于选择第一个出现标识logo的时间点为起始时间点,并选择距离起始时间点最近的时间点为结束时间点,起始时间点和结束时间点之间的视频片段为精彩回放片段;第一处理模块,用于在精彩回放片段的长度小于第三阈值的情况下,将精彩回放片段的起始时间点和结束时间点保存至精彩回放数据库,否则,删除获取到的精彩回放片段,并将结束时间点作为下一个精彩回放片段的起始时间点。该实施例可以精确地找到精彩回放片段的起始位置,提高了获取精彩回放片段的精确度和准确率。
本申请上述实施例中,在视频中出现两种不同标识的情况下,的配对处理模块30也可以包括:第二选择模块,用于检测两种标识的时间点,以获取第一标识的时间点和第二标识的logo时间点,其中,两种标识包括第一标识和第二标识,并为每一个第一标识的时间点匹配时间最接近的第二标识的时间点,以获取一组标识时间片段,标识时间片段为精彩回放片段;第二处理模块,用于在精彩回放片段的长度小于第三阈值的情况下,将精彩回放片段的第一标识的时间点和第二标识的时间点保存至精彩回放数据库,否则,删除获取到的精彩回放片段,并将结束时间点作为下一个精彩回放片段的起始时间点。
优选地,在上述两个配对处理模块30工作的过程中,可以首先对logo时间点进行预处理。如果logo时间点连续出现,那么保留这几个连续时间点中距离最小的点,其他时间点删除。提高了配对处理的效率。
本申请上述实施例实现根据标识logo出现的时间点进行配对处理,即选择时间点接近的两个logo之间的视频片段为精彩回放片段。由于在实际应用中,精彩回放片段起始时间点和结束时间点上的logo可以相同,也可以不同。
具体的,对于精彩回放的起始位置和结束位置的logo不同的情况,视频会检测到两种logo时间点,它们成对出现,分别表示精彩回放的起始时间点和结束时间点。对每一个起始logo时间点,在它的后面寻找最近的一个结束logo时间点,组成一个配对,表示一个完整的精彩回放片段,这两个时间点的距离就是精彩回放的时间长度。如果精彩回放的长度小于阈值,则保留这个精彩回放记录,如果精彩回放的长度超过阈值,说明可能出现检测错误,则删除这个精彩回放记录。
对于精彩回放的起始位置和结束位置的logo完全相同的情况,视频会检测到一种logo时间点,它们分布在视频时间轴上,采用一个配对算法对所有的时间点进行两两配对。首先选取第一个出现的logo时间点作为起始点,在它的后面寻找最近的一个logo时间点作为结束点,将这两个时间点组成一个配对,表示一个完整的精彩回放。如果精彩回放的长度小于阈值,则保留这个精彩回放记录,并在结束时间点的后面寻找最近的一个logo时间点作为下一个精彩回放的起始点,开始下一个精彩回放的时间点配对过程。如果精彩回放的长度超过阈值,说明可能出现检测错误,删除这个精彩回放记录,并将该精彩回放的结束时间点作为另一个精彩回放的起始点,开始另一个精彩回放的时间点配对过程。不断重复时间点配对的过程,直到最后一个logo时间点。
最后保留下来的每一条精彩回放记录,包含视频的唯一标识PID、该精彩回放的起始时间点t1和结束时间点t2。一个足球比赛视频一般情况下会生成20至40个精彩回放记录,这些记录统一被保存到数据库中。
本申请上述实施例中的查询点播模块50可以包括:第三获取模块501,用于获取用户的点播视频请求;查询模块502,用于播放器根据点播视频请求在精彩回放数据库中查询并获取一个或多个精彩回放片段信息;播放模块503,用于播放器播放长度大于等于第四阈值的精彩回放片段。该实施例可以实现精彩回放信息查询,提供了一种新颖的用户体验。用全新的方式展示网页上的点播足球视频,给网友用户更好的体验。
具体的,在用户在点播一个足球比赛的时候,播放器在得到视频信息以后,会向服务器发一个请求命令,索求该视频PID对应的精彩回放记录。服务器会查询数据库,得到该视频PID对应的所有精彩回放记录,并打包发给播放器。如果没有查询到精彩回放记录,则返回一个空包。
播放器解析数据包,如果是空包,则正常播放视频,不做任何展示。如果数据包里包含若干条精彩回放记录,那么播放器预处理这些精彩回放记录,然后展示出来。预处理做的事情是过滤掉一些短暂的精彩回放,保留时间较长的精彩回放。对于足球比赛,精彩回放一般包括进球、精彩射门、精彩传球或过人、犯规、其他精彩镜头等。一般来说,精彩回放的时间越长,内容也相对越精彩,对于一些简单的犯规情况,它的精彩回放比较短暂。为了使用户看到最精彩的回放,避免精彩回放过多没有重点,需要在所有精彩回放中筛选掉时间短暂的回放。设置一个时间阈值T,只保留长度大于阈值的精彩回放。设置另一个数量第四阈值N,如果保留的精彩回放数量大于阈值,则将这些精彩回放按照时间顺序排序,选取前N个精彩回放用来展示,其他的删除。
本申请上述装置还可以包括:标记模块,用于将精彩回放片段的链接标记设置在播放器的时间进度条上;显示模块,用于在链接标记处显示提示标签。该实施例实现精彩回放片段时间点的标示。
具体的,系统根据精彩回放的起始时间点,将所有要展示的精彩回放在播放器的时间进度条上以标记点的样式标示出来。即在进度条上打上若干个标记点,每一个点表示该时间位置会出现一个精彩回放。用户将鼠标移动到标记点上,标记点上会显示一个标签,上面写着“精彩回放”的文字,提示用户这是一个精彩回放的位置。用户点击标记点,视频会自动跳转到该精彩回放的位置并开始播放,这样用户可以快速准确地直接观看精彩回放。为了用户快速浏览观看所有的精彩回放,可以加入两个按钮,分别表示上一点和下一点,用户点击下一点按钮,视频会自动跳转到下一个精彩回放的位置并开始播放,点击上一点按钮的作用相反。
图2是根据本发明实施例的视频精彩回放片段的处理方法的流程图,图3是根据本发明实施例的视频精彩回放片段的处理方法的详细流程图。
如图2所示该方法包括如下步骤:
步骤S102,通过图1中的时间点获取模块10实现在标识logo模板集中检测并获取视频中所有出现标识logo的时间点,其中,标识模板集用于存储预设的标识模板。
步骤S104,通过图1中的配对处理模块30对时间点作配对处理来获取视频的精彩回放片段信息,并将精彩回放片段信息保存至精彩回放数据库。具体的,该精彩回放片段信息可以包括视频的唯一标识PID、该精彩回放的起始时间点和结束时间点。
步骤S106,通过图1中的查询点播模块50实现当用户点播视频时,在精彩回放数据库中进行查询操作以获取精彩回放片段信息,并播放精彩回放片段信息对应的精彩回放片段。
本申请通过提前设置好的logo模板对视频帧图像进行logo检测,自动找到视频中所有出现标识logo的时间点,然后根据所有时间点上的logo来得到所有精彩回放,即找到所有精彩回放的起始和结束时间,并将这些信息存入数据库。用户在点播足球视频的时候,系统会在播放视频之前查询数据库,如果找到了精彩回放的信息,就将这些精彩回放信息用一种新颖而友好方便的形式展示给用户,让用户可以方便快速地浏览一个足球比赛视频中的所有精彩片段,大大提高用户观看视频的体验。该实施例由于仅需要获取到配置好的logo模板,装置就可以自动分析处理得到精彩回放片段,整个过程操作方便、简洁,而且由于视频处理过程消耗时间很少,使得进行海量视频处理的过程速度快且效率高。由于该实施例根据获取到的时间点来确认精彩回放片段,因此,具有很高的准确性,同时,具有新颖友好的用户体验。
本申请上述实施例中,在步骤S102标识logo模板集中检测并获取视频中所有出现标识logo的时间点之前,创建标识logo模板集,具体的,创建标识logo模板集包括:截取视频画面中出现标识logo的所有帧,并选择满足预设条件的帧作为标识logo核心帧;在标识logo核心帧的邻域内前后各选取N帧标识logo参考帧,将标识logo核心帧和2N帧标识logo参考帧结合以获取标识logo模板的原始图;删除原始图中的背景像素,以得到标识logo模板集,其中,标识logo模板集包括标识logo核心帧对应的核心标识模板和2N帧标识logo参考帧对应的2N个参考标识模板。
上述实施例中,涉及到的需要满足的预设条件可以包括:在所有帧中,将出现标识logo最显著的那个帧作为核心帧,即该标识logo处于这帧图像的中间位置;将分辨率最高的帧作为标识核心帧;将出现标识的所有帧中的中间一个帧作为核心帧,例如出现标识logo的帧共N帧,将第N/2个帧作为核心帧,且在不需要十分精确的情况下,也可以选择处于中间位置相邻的帧作为核心帧,例如也可以将第(N/2)+1个帧或第(N/2)-1个帧作为核心帧。
结合图2和3所示,在检测视频中的时间点之前,系统建立logo模板集。由于精彩回放的起始位置和结束位置出现的logo,一般持续时间在0.5秒到两秒之间,在视频上表现出来就是连续的若干帧。因此,本申请通过在截取logo出现的所有帧中选取标识logo最显著的帧作为logo核心帧,并在此帧的邻域内前后各选取n帧作为logo参考帧,加在一起共2n+1帧,这些帧共同组成了该足球赛季的logo模板的原始图。并对获取的2n+1个logo模板原始图中删除背景像素,以得到2n+1个logo模板图像,包括1个核心模板和2n个参考模板,作为一个标识logo模板集。
对于精彩回放的起始位置和结束位置的标识logo不同的情况,为该赛季的足球比赛分别配置起始logo和结束logo的模板集,得到两个logo模板集。
本申请上述实施例中,步骤S102在标识logo模板集中检测并获取视频中所有出现标识logo的时间点包括:将视频解码成多个视频帧;将每个视频的每一帧与核心标识模板进行匹配处理,获取每个视频帧的初始匹配距离值;获取初始匹配距离值小于第一阈值的一个或多个第一视频帧;在每个第一视频帧的邻域内前后各选取N帧视频帧,将获取到的2N帧视频帧分别与对应的2N个参考标识模板进行匹配处理,得到多个匹配距离值;对获取到的初始匹配距离值和多个匹配距离值进行均值计算,以获取每个第一视频帧对应的最终匹配距离值;当最终匹配距离值小于第二阈值时,获取一个或多个标识logo的时间点。
如图3所示,对于足球比赛视频进行logo检测,首先将视频解码成视频帧,然后在每一帧图像上检测logo。检测的方式是使用核心模板与视频帧图像进行逐个匹配,得到每一帧的初始匹配距离值。如果初始匹配距离值小于阈值,说明该帧图像很可能出现了logo,需要进一步验证。在此帧的邻域内前后各选取n帧,加上该帧共2n+1帧图像,与对应的2n+1个模板图像进行分别匹配,得到各自的匹配距离值,并求均值作为最终匹配距离值。如果最终匹配距离值小于阈值,说明这个位置有logo出现,生成一个标识logo时间点。
上述实施例中的匹配处理方式可以包括如下步骤:计算标识logo模板集上每一个logo像素点与视频帧上对应的像素点在HSV三个颜色通道上的差值,以获取像素的像素颜色距离值;以每.一个所述视频帧上的像素点为中心,在预定邻域范围内选取最小的像素颜色距离值作为该像素点的像素优化距离值;计算所有像素点的像素优化距离值的均值,作为该帧的匹配距离值,匹配距离值可以包括:初始匹配距离值和最终匹配距离值。
具体的,该实施例实现,在logo模板与视频帧图像进行匹配时,首先采用将颜色空间由RGB空间转化为HSV空间,HSV颜色空间比RGB颜色空间更加符合人眼的视觉特点。两个像素的距离计算方式为,分别取它们在HSV三个颜色通道的差值,然后求均值。对于logo模板上的每一个logo像素点,计算该点与它在视频帧图像上对应的像素点的距离,得到所有logo像素点的距离值。在每一个logo像素点位置上,取以该点为中心的3*3矩形区域内的最小值作为该点的距离值。然后对所有logo像素点的距离值求均值,作为Logo模板与视频帧图像的匹配距离值。
优选地,本申请中的标识logo模板集可以包括起始位置loge模板集和结束位置loge模板集,其中,将每个视频帧在起始位置loge模板集和结束位置loge模板集中都进行检测,以获取标识logo出现的时间点;在任意一个时间点上同时出现两种标识logo的情况下,选择最终匹配距离值最小的标识logo作为该时间点上的标识logo。
本申请上述实施例中,在视频中出现一种标识logo的情况下,步骤S104中,通过对时间点作配对处理来获取视频的精彩回放片段信息,并将精彩回放片段信息保存至精彩回放数据库可以包括:选择第一个出现标识logo的时间点为起始时间点,并选择距离起始时间点最近的时间点为结束时间点,起始时间点和结束时间点之间的视频片段为精彩回放片段;在精彩回放片段的长度小于第三阈值的情况下,将精彩回放片段的起始时间点和结束时间点保存至精彩回放数据库,否则,删除获取到的精彩回放片段,并将结束时间点作为下一个精彩回放片段的起始时间点。
优选地,在视频中出现两种标识logo的情况下,步骤S104中,通过对时间点作配对处理来获取视频的精彩回放片段,并将精彩回放片段保存至精彩回放数据库可以包括:检测两种标识logo的时间点,以获取第一标识的时间点和第二标识的时间点,其中,两种标识包括第一标识和第二标识;为每一个第一标识logo的时间点匹配时间最接近的第二标识logo的时间点,以获取一组标识logo时间片段,标识logo时间片段为精彩回放片段;在精彩回放片段的长度小于第三阈值的情况下,将精彩回放片段的第一标识的时间点和第二标识的时间点保存至精彩回放数据库,否则,删除获取到的精彩回放片段,并将结束时间点作为下一个精彩回放片段的起始时间点。
上述实施例的实现过程中,首先对logo时间点进行预处理。如果logo时间点连续出现,那么保留这几个连续时间点中距离最小的点,其他时间点删除。这种方式提高了系统采集精彩回放片段的效率。
具体的,本申请具体实施例中,对于精彩回放的起始位置和结束位置的logo不同的情况,视频会检测到两种logo时间点,它们成对出现,分别表示精彩回放的起始时间点和结束时间点。对每一个起始logo时间点,在它的后面寻找最近的一个结束logo时间点,组成一个配对,表示一个完整的精彩回放,这两个时间点的距离就是精彩回放的时间长度。如果精彩回放的长度小于阈值,则保留这个精彩回放记录,如果精彩回放的长度超过阈值,说明可能出现检测错误,则删除这个精彩回放记录。
对于精彩回放的起始位置和结束位置的logo完全相同的情况,视频会检测到一种logo时间点,它们分布在视频时间轴上,采用一个配对算法对所有的时间点进行两两配对。首先选取第一个出现的logo时间点作为起始点,在它的后面寻找最近的一个logo时间点作为结束点,将这两个时间点组成一个配对,表示一个完整的精彩回放。如果精彩回放的长度小于阈值,则保留这个精彩回放记录,并在结束时间点的后面寻找最近的一个logo时间点作为下一个精彩回放的起始点,开始下一个精彩回放的时间点配对过程。如果精彩回放的长度超过阈值,说明可能出现检测错误,删除这个精彩回放记录,并将该精彩回放的结束时间点作为另一个精彩回放的起始点,开始另一个精彩回放的时间点配对过程。不断重复时间点配对的过程,直到最后一个logo时间点。
最后保留下来的每一条精彩回放记录,包含视频的唯一标识PID、该精彩回放的起始时间点t1和结束时间点t2。一个足球比赛视频一般情况下会生成20至40个精彩回放记录,这些记录统一被保存到数据库中。
本申请上述实施例中的步骤S106当用户点播视频时,在精彩回放数据库中进行查询操作以获取精彩回放片段信息,并播放精彩回放片段信息对应的精彩回放片段包括:获取用户的点播视频请求;播放器根据点播视频请求在精彩回放数据库中查询并获取一个或多个精彩回放片段信息;播放器播放长度大于等于第四阈值的精彩回放片段。该实施例中的精彩回放片段信息对应一段精彩回放片段。
优选地,在播放器播放长度大于等于第四阈值的精彩回放片段之后,方法还包括:如果播放长度大于等于第四阈值的精彩回放片段的数量大于第五阈值,则将获取到的精彩回放片段进行排序,以获取精彩回放片段队列;选择并播放精彩回放片段队列中预定数目的精彩回放片段。
上述实施例实现了精彩回放片段信息的查询和播放过程。具体的,用户在点播一个足球比赛的时候,播放器在得到视频信息以后,会向服务器发一个请求命令,索求该视频PID对应的精彩回放记录。服务器会查询数据库,得到该视频PID对应的所有精彩回放记录,并打包发给播放器。如果没有查询到精彩回放记录,则返回一个空包。
播放器接收播放数据包之后,首先解析该数据包,如果是空包,则正常播放视频,不做任何展示。如果数据包里包含若干条精彩回放记录,那么播放器预处理这些精彩回放记录,然后展示出来。预处理做的事情是过滤掉一些短暂的精彩回放,保留时间较长的精彩回放。对于足球比赛,精彩回放一般包括进球、精彩射门、精彩传球或过人、犯规、其他精彩镜头等。一般来说,精彩回放的时间越长,内容也相对越精彩,对于一些简单的犯规情况,它的精彩回放比较短暂。为了使用户看到最精彩的回放,避免精彩回放过多没有重点,需要在所有精彩回放中筛选掉时间短暂的回放。设置一个时间阈值T,只保留长度大于阈值的精彩回放。设置另一个数量阈值N,如果保留的精彩回放数量大于阈值,则将这些精彩回放按照时间顺序排序,选取前N个精彩回放用来展示,其他的删除。
本申请中,在将精彩回放片段保存至精彩回放数据库之后,方法还包括:将精彩回放片段的链接标记设置在播放器的时间进度条上;并在链接标记处显示提示标签。该实施例实现了精彩回放时间点的标示。
具体的实现过程可以是:根据精彩回放的起始时间点,将所有要展示的精彩回放在播放器的时间进度条上以标记点的样式标示出来。即在进度条上打上若干个标记点,每一个点表示该时间位置会出现一个精彩回放。用户将鼠标移动到标记点上,标记点上会显示一个标签,上面写着“精彩回放”的文字,提示用户这是一个精彩回放的位置。用户点击标记点,视频会自动跳转到该精彩回放的位置并开始播放,这样用户可以快速准确地直接观看精彩回放。为了用户快速浏览观看所有的精彩回放,可以加入两个按钮,分别表示上一点和下一点,用户点击下一点按钮,视频会自动跳转到下一个精彩回放的位置并开始播放,点击上一点按钮的作用相反。。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
从以上的描述中,可以看出,本发明实现了如下技术效果:操作方便,只需要配置模板参数,就可以实现精彩视频片段的自动分析处理过程;速度快,由于视频处理需要的时间很小,使得可以进行海量视频处理;精确度高,可以精确地找到精彩回放片段的起始位置,并且有很高的准确率;新颖的用户体验,使用全新的方式展示网页上的点播足球视频,给网友用户更好的体验。
综上可知,本申请采用模板匹配的方式来检测足球视频的精彩回放,既可以保证很高的准确率,又可以灵活地处理不同的情况,并将精彩回放以一种新颖友好的方式展示给用户。实现了在提高检测视频精彩回放准确率和灵活性的同时,提高了用户体验提高了用户体验。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (15)
1.一种视频精彩回放片段的处理方法,其特征在于,包括:
在标识模板集中检测并获取视频中所有出现标识的时间点,其中,所述标识模板集用于存储预设的标识模板;
通过对所述时间点作配对处理来获取所述视频的精彩回放片段信息,并将所述精彩回放片段信息保存至精彩回放数据库;
当用户点播所述视频时,在所述精彩回放数据库中进行查询操作以获取所述精彩回放片段信息,并播放所述精彩回放片段信息对应的精彩回放片段;其中,
在标识模板集中检测并获取视频中所有出现标识的时间点之前,所述方法还包括:创建所述标识模板集,包括:截取视频画面中出现所述标识的所有帧,并选择满足预设条件的帧作为标识核心帧;在所述标识核心帧的邻域内前后各选取N帧标识参考帧,将所述标识核心帧和2N帧所述标识参考帧结合以获取所述标识模板的原始图;删除所述原始图中的背景像素,以得到所述标识模板集,其中,所述标识模板集包括所述标识核心帧对应的核心标识模板和所述2N帧标识参考帧对应的2N个参考标识模板。
2.根据权利要求1所述的方法,其特征在于,在标识模板集中检测并获取视频中所有出现标识的时间点包括:
将所述视频解码成多个视频帧;
将每个所述视频的每一帧与所述核心标识模板进行匹配处理,获取每个所述视频帧的初始匹配距离值;
获取所述初始匹配距离值小于第一阈值的一个或多个第一视频帧;
在每个所述第一视频帧的邻域内前后各选取N帧视频帧,将获取到的2N帧视频帧分别与对应的所述2N个参考标识模板进行匹配处理,得到多个匹配距离值;
对获取到的所述初始匹配距离值和多个匹配距离值进行均值计算,以获取每个所述第一视频帧对应的最终匹配距离值;
当所述最终匹配距离值小于第二阈值时,获取一个或多个所述标识的时间点。
3.根据权利要求2所述的方法,其特征在于,所述匹配处理包括:
计算所述标识模板集上每一个标识像素点与所述视频帧上对应的像素点在HSV三个颜色通道上的差值,以获取所有像素点的像素颜色距离值;
以每一个所述视频帧上的像素点为中心,在预定邻域范围内选取最小的像素颜色距离值作为该像素点的像素优化距离值;
计算所有像素点的像素优化距离值的均值,作为该帧的匹配距离值。
4.根据权利要求2所述的方法,其特征在于,所述标识模板集包括起始位置标识模板集和结束位置标识模板集,其中,
将每个所述视频帧在所述起始位置标识模板集和所述结束位置标识模板集中都进行检测,以获取所述标识出现的时间点;
在任意一个所述时间点上同时出现两种标识的情况下,选择所述最终匹配距离值最小的标识作为该时间点上的标识。
5.根据权利要求1所述的方法,其特征在于,在所述视频中出现一种标识的情况下,通过对所述时间点作配对处理来获取所述视频的精彩回放片段信息,并将所述精彩回放片段信息保存至精彩回放数据库包括:
选择第一个出现所述标识的时间点为起始时间点,并选择距离所述起始时间点最近的时间点为结束时间点,所述起始时间点和所述结束时间点之间的视频片段为所述精彩回放片段;
在所述精彩回放片段的长度小于第三阈值的情况下,将所述精彩回放片段的所述起始时间点和所述结束时间点保存至所述精彩回放数据库,否则,删除获取到的所述精彩回放片段,并将所述结束时间点作为下一个精彩回放片段的起始时间点。
6.根据权利要求1所述的方法,其特征在于,在所述视频中出现两种标识的情况下,通过对所述时间点作配对处理来获取所述视频的精彩回放片段,并将所述精彩回放片段保存至精彩回放数据库包括:
检测所述两种标识的时间点,以获取第一标识的时间点和第二标识的时间点,其中,所述两种标识包括第一标识和第二标识;
为每一个所述第一标识的时间点匹配时间最接近的所述第二标识的时间点,以获取一组标识时间片段,所述标识时间片段为所述精彩回放片段;
在所述精彩回放片段的长度小于第三阈值的情况下,将所述精彩回放片段的所述第一标识的时间点和所述第二标识的时间点保存至所述精彩回放数据库,否则,删除获取到的所述精彩回放片段。
7.根据权利要求1所述的方法,其特征在于,当用户点播所述视频时,在所述精彩回放数据库中进行查询操作以获取所述精彩回放片段信息,并播放所述精彩回放片段信息对应的精彩回放片段包括:
获取用户的点播视频请求;
播放器根据所述点播视频请求在所述精彩回放数据库中查询并获取一个或多个所述精彩回放片段信息;
所述播放器播放长度大于等于第四阈值的精彩回放片段。
8.根据权利要求7所述的方法,其特征在于,在所述播放器播放长度大于等于第四阈值的精彩回放片段之后,所述方法还包括:
如果播放长度大于等于所述第四阈值的精彩回放片段的数量大于第五阈值,则将获取到的所述精彩回放片段进行排序,以获取精彩回放片段队列;
选择并播放所述精彩回放片段队列中预定数目的精彩回放片段。
9.根据权利要求1-8中任一项所述的方法,其特征在于,在将所述精彩回放片段信息保存至精彩回放数据库之后,所述方法还包括:
将所述精彩回放片段的链接标记设置在播放器的时间进度条上;
并在所述链接标记处显示提示标签。
10.一种视频精彩回放片段的处理装置,其特征在于,包括:
时间点获取模块,用于在标识模板集中检测并获取视频中所有出现标识的时间点,其中,所述标识模板集用于存储预设的标识模板;
配对处理模块,用于通过对所述时间点作配对处理来获取所述视频的精彩回放片段信息,并将所述精彩回放片段信息保存至精彩回放数据库;
查询点播模块,用于当用户点播所述视频时,在所述精彩回放数据库中进行查询操作以获取所述精彩回放片段信息,并播放所述精彩回放片段信息对应的精彩回放片段;
其中,所述装置还包括:创建模块,用于创建所述标识模板集,包括:截取视频画面中出现所述标识的所有帧,并选择满足预设条件的帧作为标识核心帧;在所述标识核心帧的邻域内前后各选取N帧标识参考帧,将所述标识核心帧和2N帧所述标识参考帧结合以获取所述标识模板的原始图;删除所述原始图中的背景像素,以得到所述标识模板集,其中,所述标识模板集包括所述标识核心帧对应的核心标识模板和所述2N帧标识参考帧对应的2N个参考标识模板。
11.根据权利要求10所述的装置,其特征在于,所述时间点获取模块包括:
解码模块,用于将所述视频解码成多个视频帧;
第一匹配处理模块,用于将每个所述视频的每一帧与所述核心标识模板进行匹配处理,获取每个所述视频帧的初始匹配距离值;
第一获取模块,用于获取所述初始匹配距离值小于第一阈值的一个或多个第一视频帧;
第二匹配处理模块,用于在每个所述第一视频帧的邻域内前后各选取N帧视频帧,将获取到的2N帧视频帧分别与对应的所述2N个参考标识模板进行匹配处理,得到多个匹配距离值;
计算模块,用于对获取到的所述初始匹配距离值和多个匹配距离值进行均值计算,以获取每个所述第一视频帧对应的最终匹配距离值;
第二获取模块,用于当所述最终匹配距离值小于第二阈值时,获取一个或多个所述标识的时间点。
12.根据权利要求10所述的装置,其特征在于,在所述视频中出现一种标识的情况下,所述配对处理模块包括:
第一选择模块,用于选择第一个出现所述标识的时间点为起始时间点,并选择距离所述起始时间点最近的时间点为结束时间点,所述起始时间点和所述结束时间点之间的视频片段为所述精彩回放片段;
第一处理模块,用于在所述精彩回放片段的长度小于第三阈值的情况下,将所述精彩回放片段的所述起始时间点和所述结束时间点保存至所述精彩回放数据库,否则,删除获取到的所述精彩回放片段,并将所述结束时间点作为下一个精彩回放片段的起始时间点。
13.根据权利要求10所述的装置,其特征在于,在所述视频中出现两种标识的情况下,所述配对处理模块包括:
第二选择模块,用于检测所述两种标识的时间点,以获取第一标识的时间点和第二标识的时间点,其中,所述两种标识包括第一标识和第二标识,并为每一个所述第一标识的时间点匹配时间最接近的所述第二标识的时间点,以获取一组标识时间片段,所述标识时间片段为所述精彩回放片段;
第二处理模块,用于在所述精彩回放片段的长度小于第三阈值的情况下,将所述精彩回放片段的所述第一标识的时间点和所述第二标识的时间点保存至所述精彩回放数据库,否则,删除获取到的所述精彩回放片段。
14.根据权利要求10所述的装置,其特征在于,所述查询点播模块包括:
第三获取模块,用于获取用户的点播视频请求;
查询模块,用于播放器根据所述点播视频请求在所述精彩回放数据库中查询并获取一个或多个所述精彩回放片段信息;
播放模块,用于所述播放器播放长度大于等于第四阈值的精彩回放片段。
15.根据权利要求10-14中任一项所述的装置,其特征在于,所述装置还包括:
标记模块,用于将所述精彩回放片段的链接标记设置在播放器的时间进度条上;
显示模块,用于在所述链接标记处显示提示标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110187325.1A CN102290082B (zh) | 2011-07-05 | 2011-07-05 | 视频精彩回放片段的处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110187325.1A CN102290082B (zh) | 2011-07-05 | 2011-07-05 | 视频精彩回放片段的处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102290082A CN102290082A (zh) | 2011-12-21 |
CN102290082B true CN102290082B (zh) | 2014-03-26 |
Family
ID=45336418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110187325.1A Active CN102290082B (zh) | 2011-07-05 | 2011-07-05 | 视频精彩回放片段的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102290082B (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102595206B (zh) * | 2012-02-24 | 2014-07-02 | 央视国际网络有限公司 | 基于体育赛事视频的数据同步方法及装置 |
CN103024432B (zh) * | 2012-12-11 | 2015-04-08 | 上海卫星工程研究所 | 对地可见光遥感卫星图像数据自动高效全覆盖测试方法 |
CN104284249A (zh) * | 2013-07-11 | 2015-01-14 | 腾讯科技(深圳)有限公司 | 视频播放方法及装置 |
CN103514293B (zh) * | 2013-10-09 | 2017-01-11 | 北京中科模识科技有限公司 | 在视频模板库中进行视频匹配的方法 |
CN104837036B (zh) * | 2014-03-18 | 2018-04-10 | 腾讯科技(北京)有限公司 | 生成视频看点的方法、服务器、终端及系统 |
CN104168512A (zh) * | 2014-06-16 | 2014-11-26 | 乐视致新电子科技(天津)有限公司 | 一种显示视频信息的方法和装置 |
US10536758B2 (en) | 2014-10-09 | 2020-01-14 | Thuuz, Inc. | Customized generation of highlight show with narrative component |
US10433030B2 (en) | 2014-10-09 | 2019-10-01 | Thuuz, Inc. | Generating a customized highlight sequence depicting multiple events |
CN104581230A (zh) * | 2015-01-20 | 2015-04-29 | 卡内基投资科技有限公司 | 一种不用重新生成就可以连续播放不同视频片段的方法 |
US10965965B2 (en) | 2015-03-06 | 2021-03-30 | Arris Enterprises Llc | Detecting of graphical objects to identify video demarcations |
CN104731944A (zh) * | 2015-03-31 | 2015-06-24 | 努比亚技术有限公司 | 视频搜索方法及装置 |
WO2017003779A1 (en) | 2015-06-30 | 2017-01-05 | Thomson Licensing | Method and apparatus for controlling playback of media using a single control |
CN105007533A (zh) * | 2015-07-28 | 2015-10-28 | 米科互动教育科技(北京)有限公司 | 直播课程回放方法、装置以及系统 |
CN106448713B (zh) * | 2015-08-11 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 音频播放方法和装置 |
CN105657518A (zh) * | 2016-02-04 | 2016-06-08 | 厦门幻世网络科技有限公司 | 一种播放动画的方法及装置 |
CN105959804A (zh) * | 2016-04-28 | 2016-09-21 | 乐视控股(北京)有限公司 | 智能播放方法及装置 |
US10983688B2 (en) | 2016-06-12 | 2021-04-20 | Apple Inc. | Content scrubber bar with real-world time indications |
CN108109088B (zh) * | 2016-11-25 | 2021-08-20 | 网易(杭州)网络有限公司 | 一种停顿事件的处理方法和设备 |
CN106911967B (zh) * | 2017-02-27 | 2022-04-15 | 北京小米移动软件有限公司 | 直播回放方法及装置 |
CN107172487A (zh) * | 2017-06-09 | 2017-09-15 | 成都索贝数码科技股份有限公司 | 一种通过镜头回放特征提取精彩镜头的方法 |
CN109922375A (zh) * | 2017-12-13 | 2019-06-21 | 上海聚力传媒技术有限公司 | 直播中的事件展示方法、播放终端、视频系统及存储介质 |
CN109089128A (zh) * | 2018-07-10 | 2018-12-25 | 武汉斗鱼网络科技有限公司 | 一种视频处理方法、装置、设备及介质 |
CN110868631B (zh) * | 2018-08-28 | 2021-12-14 | 腾讯科技(深圳)有限公司 | 视频剪辑方法、装置、终端及存储介质 |
CN111147889B (zh) * | 2018-11-06 | 2022-09-27 | 阿里巴巴集团控股有限公司 | 多媒体资源回放方法及装置 |
US11170819B2 (en) * | 2019-05-14 | 2021-11-09 | Microsoft Technology Licensing, Llc | Dynamic video highlight |
CN110719440B (zh) * | 2019-09-26 | 2021-08-06 | 恒大智慧科技有限公司 | 一种视频回放方法、装置及存储介质 |
CN110830847B (zh) * | 2019-10-24 | 2022-05-06 | 杭州威佩网络科技有限公司 | 一种截取比赛视频片段的方法、装置及电子设备 |
US11442986B2 (en) * | 2020-02-15 | 2022-09-13 | International Business Machines Corporation | Graph convolutional networks for video grounding |
CN114363669B (zh) * | 2021-12-29 | 2023-05-30 | 北京达佳互联信息技术有限公司 | 信息显示方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101990093A (zh) * | 2009-08-06 | 2011-03-23 | 索尼株式会社 | 检测视频中的重放片段的方法和设备 |
-
2011
- 2011-07-05 CN CN201110187325.1A patent/CN102290082B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101990093A (zh) * | 2009-08-06 | 2011-03-23 | 索尼株式会社 | 检测视频中的重放片段的方法和设备 |
Non-Patent Citations (4)
Title |
---|
A Reliable LOGO AND Replay Detector FOR Sports Video;Qiao Huang等;《2007 IEEE International Conference on Multimedia and Expo》;20070705;第2-3页 * |
Qiao Huang等.A Reliable LOGO AND Replay Detector FOR Sports Video.《2007 IEEE International Conference on Multimedia and Expo》.2007,第2-3页. |
Replay Detection in Broadcasting Sports Video;Xiaofeng Tong等;《Proceedings or the Third International Congerence on Image and Graphics》;20041220;第2-5节 * |
Xiaofeng Tong等.Replay Detection in Broadcasting Sports Video.《Proceedings or the Third International Congerence on Image and Graphics》.2004,第2-5节. |
Also Published As
Publication number | Publication date |
---|---|
CN102290082A (zh) | 2011-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102290082B (zh) | 视频精彩回放片段的处理方法及装置 | |
EP3516583B1 (en) | Machine learning models for identifying objects depicted in image or video data | |
US9583144B2 (en) | System and method for creating a sports video | |
CN110012348B (zh) | 一种赛事节目自动集锦系统及方法 | |
US9124856B2 (en) | Method and system for video event detection for contextual annotation and synchronization | |
WO2021082668A1 (zh) | 一种弹幕编辑方法、智能终端及存储介质 | |
US9514381B1 (en) | Method of identifying and replacing an object or area in a digital image with another object or area | |
CN102547141B (zh) | 基于体育赛事视频的视频数据筛选方法及装置 | |
Niu et al. | Tactic analysis based on real-world ball trajectory in soccer video | |
US9530061B2 (en) | Extraction method for extracting a pitching scene and device for the same | |
CN105979387A (zh) | 视频片段的展示方法及系统 | |
US10965965B2 (en) | Detecting of graphical objects to identify video demarcations | |
KR20090093904A (ko) | 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템 | |
CN105847976A (zh) | 一种根据面部特征跳过广告的方法和装置 | |
CN106851395B (zh) | 视频播放方法和播放器 | |
RU2609071C2 (ru) | Навигация по видеопоследовательности через местоположение объекта | |
US11436788B2 (en) | File generation apparatus, image generation apparatus, file generation method, and storage medium | |
KR101403317B1 (ko) | 태깅 정보를 가지는 동영상을 이용한 정보 제공 시스템 | |
US10200764B2 (en) | Determination method and device | |
KR101573676B1 (ko) | 메타데이터 기반의 객체기반 가상시점 방송 서비스 방법 및 이를 위한 기록매체 | |
KR101583745B1 (ko) | 실시간 동영상 편집 장치 및 이를 이용한 턴제 게임 지원 장치 | |
KR101519021B1 (ko) | 감성광고 기능을 구비한 스마트 tv 기반의 광고 제공 방법 | |
US10229719B1 (en) | Systems and methods for generating highlights for a video | |
JP4214990B2 (ja) | イベント検出方法及び装置及びプログラム | |
CN117178285A (zh) | 信息处理装置、信息处理方法和程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |