CN106354736A - 一种重复视频的判断方法及装置 - Google Patents
一种重复视频的判断方法及装置 Download PDFInfo
- Publication number
- CN106354736A CN106354736A CN201510438580.7A CN201510438580A CN106354736A CN 106354736 A CN106354736 A CN 106354736A CN 201510438580 A CN201510438580 A CN 201510438580A CN 106354736 A CN106354736 A CN 106354736A
- Authority
- CN
- China
- Prior art keywords
- video
- template
- measured
- section
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种重复视频的判断方法及装置。所述方法包括:从实时数据流中,获取多段待测视频;获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量;计算每段待测视频的目标特征向量和每段模板视频的模板特征向量之间的矢量距离;当任一段待测视频的目标特征向量与任一段模板视频的模板特征向量之间的矢量距离小于或等于预设矢量距离时,判定任一段待测视频中的至少部分视频与任一段模板视频重复。通过本发明的技术方案,可以准确地进行视频重复性检测,并确保视频重复性检测的精度和效率,并最终实现准确地确定模板视频在待测视频中的具体开始时间,从而实现准确地进行节目预测。
Description
技术领域
本发明涉及视频处理技术领域,特别涉及一种重复视频的判断方法及装置。
背景技术
目前,在电子节目菜单(EPG,Electronic Program Guide)处理系统中,需要进行节目实时预测。而预测节目实际上就是要进行视频重复性检测。但人工进行重复性检测的任务量非常大,效率较低,且重复性检测的准确率和精度都比较低,因此,无法准确地进行节目实时预测,这给用户带来了很大不便。
发明内容
本发明提供一种重复视频的判断方法及装置,用以使用模板视频准确地进行视频重复性检测,并确保视频重复性检测的精度和效率,从而实现准确地进行节目预测。
本发明提供一种重复视频的判断方法,包括:从实时数据流中,获取多段待测视频;
获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,其中,所述目标特征向量和所述模板特征向量分别用于唯一标识每段所述待测视频和每段所述模板视频;
计算每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量之间的矢量距离,其中,所述矢量距离用于表征每段所述待测视频和每段所述模板视频之间的相似度,且矢量距离越小,相似度越高;
当任一段待测视频的目标特征向量与任一段模板视频的模板特征向量之间的矢量距离小于或等于预设矢量距离时,判定所述任一段待测视频中的至少部分视频与所述任一段模板视频重复;否则,判定所述任一段待测视频与所述任一段模板视频完全不重复。
在一个实施例中,在计算所述矢量距离之前,分别将每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量进行矢量量化;以及
所述计算每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量之间的矢量距离,包括:
根据矢量量化后的每段所述待测视频的目标特征向量和矢量量化后的每段所述模板视频的模板特征向量计算每段所述待测视频和每段所述模板视频之间的矢量距离。
在一个实施例中,所述从实时数据流中,获取多段待测视频,包括:
按照预设时间间隔从所述实时数据流中,获取多段所述待测视频,以使每段所述待测视频的时长均等于所述预设时间间隔;以及
在判定多段待测视频中的任一段待测视频中的至少部分视频与所述任一段模板视频重复后,按照所述实时数据流的时间顺序获取与所述任一段待测视频相邻的前一段待测视频;
按照所述时间顺序将所述前一段待测视频和所述任一段待测视频合并;
将合并后的所述任一段待测视频和所述前一段待测视频重新切分多段目标待测视频;
依次计算每段目标待测视频的特征向量与所述任一段模板视频的模板特征向量之间的矢量距离;
根据计算结果确定所述任一段模板视频在所述实时数据流中的开始时刻。
在一个实施例中,所述获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,包括:
获取每段所述待测视频中的多个目标图片和每段所述模板视频中的多个模板图片;
使用颜色布局特征分别将多个所述目标图片中的每个所述目标图片和多个所述模板图片中的每个所述模板图片按照YCbCr三色通道进行处理;
将处理后的每个所述目标图片和每个所述模板图片分别进行离散余弦变换转换,以得到每个所述目标图片的第一特征向量和每个所述模板图片的第二特征向量;
将多个所述目标图片中的每个所述目标图片的第一特征向量进行聚类,以得到每段所述待测视频的目标特征向量,以及将多个所述模板图片中的每个所述模板图片的第二特征向量进行聚类,以得到每段所述模板视频的模板特征向量。
在一个实施例中,通过以下预设公式确定所述矢量距离:
d(Xi,Qk)表示所述矢量距离,
Xi表示:多段模板视频中的第i段模板视频的模板特征向量,
Qk表示:多段所述待测视频中的第k段待测视频的目标特征向量,
M表示:多段所述待测视频的总数目,
Fi表示:将每段所述模板视频中的多个所述模板图片进行聚类后得到的目标图片的总数目,
表示:将第i段模板视频进行聚类后得到的Fi张目标图片中的第j张目标图片的特征向量。
本发明还提供一种重复视频的判断装置,包括:
第一获取模块,用于从实时数据流中,获取多段待测视频;
第二获取模块,用于获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,其中,所述目标特征向量和所述模板特征向量分别用于唯一标识每段所述待测视频和每段所述模板视频;
计算模块,用于计算每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量之间的矢量距离,其中,所述矢量距离用于表征每段所述待测视频和每段所述模板视频之间的相似度,且矢量距离越小,相似度越高;
判定模块,用于当任一段待测视频的目标特征向量与任一段模板视频的模板特征向量之间的矢量距离小于或等于预设矢量距离时,判定所述任一段待测视频中的至少部分视频与所述任一段模板视频重复;否则,判定所述任一段待测视频与所述任一段模板视频完全不重复。
在一个实施例中,所述装置还包括:量化模块,用于在计算所述矢量距离之前,分别将每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量进行矢量量化;以及
所述计算模块包括:
第一计算子模块,用于根据矢量量化后的每段所述待测视频的目标特征向量和矢量量化后的每段所述模板视频的模板特征向量计算每段所述待测视频和每段所述模板视频之间的矢量距离。
在一个实施例中,所述第一获取模块包括:
第一获取子模块,用于按照预设时间间隔从所述实时数据流中,获取多段所述待测视频,以使每段所述待测视频的时长均等于所述预设时间间隔;以及
第二获取子模块,用于在判定多段待测视频中的任一段待测视频中的至少部分视频与所述任一段模板视频重复后,按照所述实时数据流的时间顺序获取与所述任一段待测视频相邻的前一段待测视频;
合并子模块,用于按照所述时间顺序将所述前一段待测视频和所述任一段待测视频合并;
切分子模块,用于将合并后的所述任一段待测视频和所述前一段待测视频重新切分多段目标待测视频;
第二计算子模块,用于依次计算每段目标待测视频的特征向量与所述任一段模板视频的模板特征向量之间的矢量距离;
确定子模块,用于根据计算结果确定所述任一段模板视频在所述实时数据流中的开始时刻。
在一个实施例中,所述第二获取模块包括:
第三获取子模块,用于获取每段所述待测视频中的多个目标图片和每段所述模板视频中的多个模板图片;
处理子模块,用于使用颜色布局特征分别将多个所述目标图片中的每个所述目标图片和多个所述模板图片中的每个所述模板图片按照YCbCr三色通道进行处理;
转换子模块,用于将处理后的每个所述目标图片和每个所述模板图片分别进行离散余弦变换转换,以得到每个所述目标图片的第一特征向量和每个所述模板图片的第二特征向量;
聚类子模块,用于将多个所述目标图片中的每个所述目标图片的第一特征向量进行聚类,以得到每段所述待测视频的目标特征向量,以及将多个所述模板图片中的每个所述模板图片的第二特征向量进行聚类,以得到每段所述模板视频的模板特征向量。
在一个实施例中,所述计算模块还包括:
第三计算子模块,用于通过以下预设公式确定所述矢量距离:
d(Xi,Qk)表示所述矢量距离,
Xi表示:多段模板视频中的第i段模板视频的模板特征向量,
Qk表示:多段所述待测视频中的第k段待测视频的目标特征向量,
M表示:多段所述待测视频的总数目,
Fi表示:将每段所述模板视频中的多个所述模板图片进行聚类后得到的目标图片的总数目,
表示:将第i段模板视频进行聚类后得到的Fi张目标图片中的第j张目标图片的特征向量。
本公开的实施例提供的技术方案可以包括以下有益效果:
可以根据每段待测视频的目标特征向量和每段模板视频的模板特征向量之间的矢量距离,确定每段待测视频和每段模板视频的相似度,进而确定该段待测视频中的至少部分视频是否与该段模板视频重复,进而实现可准确地进行视频重复性检测,并确保视频重复性检测的精度和效率,并最终实现准确地确定模板视频在待测视频中的具体开始时间,从而实现准确地进行节目预测。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是根据一示例性实施例示出的一种重复视频的判断方法的流程图。
图2是根据一示例性实施例示出的一种重复视频的判断装置的框图。
图3是根据一示例性实施例示出的另一种重复视频的判断装置的框图。
图4是根据一示例性实施例示出的又一种重复视频的判断装置的框图。
图5是根据一示例性实施例示出的再一种重复视频的判断装置的框图。
图6是根据一示例性实施例示出的再一种重复视频的判断装置的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
相关技术中,在电子节目菜单(EPG,Electronic Program Guide)处理系统中,需要进行节目实时预测。而预测节目实际上就是要进行视频重复性检测。但人工进行重复性检测的任务量非常大,效率较低,且重复性检测的准确率和精度都比较低,因此,无法准确地进行节目实时预测,这给用户带来了很大不便。
为了解决上述技术问题,本公开实施例提供了一种重复视频的判断方法,该方法适用于重复视频的判断程序、系统或装置中,如图1所示,在步骤S101中,从实时数据流中,获取多段待测视频;
在步骤S102中,获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,其中,目标特征向量和模板特征向量分别用于唯一标识每段待测视频和每段模板视频;目标特征向量用于唯一标识每段待测视频,为每段待测视频的fingerprint即每段待测视频的视频指纹,同样地,模板特征向量用于唯一标识每段模板视频,为每段模板视频的fingerprint即每段模板视频的视频指纹,且多段模板视频可以是导出的N个定制频道,即最近两天内的历史节目、广告等视频数据,例如:可以是最近两天内的N个定制频道的节目、广告等视频数据,具体地:从节目开始时刻到结束时刻的所有节目、广告等图片,因此,使用该已知的模板视频(如节目或广告)可以在所有频道的实时节目流中搜索这个节目或广告,并在实时节目流中搜索到该节目或广告时,即可确定该节目或广告在正在播放的实时节目流中的具体开始时间,从而实现节目预测。当然,由于每段视频代表一个节目或广告,而如果预测节目信息,每段模板视频是一个节目头的视频段;如果预测广告信息,每段模板视频选自一个广告的视频段。
在步骤S103中,计算每段待测视频的目标特征向量和每段模板视频的模板特征向量之间的矢量距离,其中,矢量距离用于表征每段待测视频和每段模板视频之间的相似度,且矢量距离越小,相似度越高;通过依次计算每段待测视频的目标特征向量和每段模板视频的模板特征向量之间的矢量距离,可以准确地确定每段待测视频与每段模板视频之间的相似度,精确地锁定与每段模板视频重复率最高的待测视频段,确保视频重复性检测的精度和效率,并防止出现检测遗漏,且矢量距离越小,相似度越高,说明该段待测视频与该段模板视频的重复率较高。
在步骤S104中,当任一段待测视频的目标特征向量与任一段模板视频的模板特征向量之间的矢量距离小于或等于预设矢量距离时,判定任一段待测视频中的至少部分视频与任一段模板视频重复;否则,判定任一段待测视频与任一段模板视频完全不重复。
当任一段待测视频的目标特征向量与任一段模板视频的模板特征向量之间的矢量距离小于或等于预设矢量距离时,说明该段待测视频与该段模板视频的相似度极高,进而该段待测视频与该段模板视频的重复率极高,则可以认为该段待测视频中的至少部分视频与该段模板视频重复,即该段待测视频中的至少部分视频为该段模板视频中的数据,进而便于确定该段模板视频在该段待测视频中的开始位置,从而准确地对实时数据流中正在播放的节目进行预测。当然,在该矢量距离大于概预设矢量距离时,说明该段待测视频与该段模板视频的相似度极低,进而该段待测视频与该段模板视频的重复率极低,则可以认为该段待测视频与该段模板视频完全不重复。
在一个实施例中,在计算矢量距离之前,分别将每段待测视频的目标特征向量和每段模板视频的模板特征向量进行矢量量化;以及
计算每段待测视频的目标特征向量和每段模板视频的模板特征向量之间的矢量距离,包括:
根据矢量量化后的每段待测视频的目标特征向量和矢量量化后的每段模板视频的模板特征向量计算每段待测视频和每段模板视频之间的矢量距离。
由于每段待测视频中包括多个目标图片,而每个目标图片均有一个特征向量,而目标特征向量又是由每个目标图片的特征向量组成,因此,代表每段待测视频的目标特征向量中包括的向量数目可能为M个,而同样地代表每段模板视频的模板特征向量中包括的向量数目可能为N个,而M和N可能是不相等的,因而直接计算向量数目不同的目标特征向量和模板特征向量之间的矢量距离会增大系统的计算负担,减缓矢量距离的计算速率,无法确保计算矢量距离的实时性,因此,通过将每段待测视频的目标特征向量和每段模板视频的模板特征向量进行矢量量化,可以使每段待测视频的目标特征向量的向量数目M和每段模板视频的模板特征向量的向量数目N相等,而一旦目标特征向量和模板特征向量的向量数目相等,就会有效地降低系统中计算矢量距离的负担,加快矢量距离的计算速率,从而最大程度地确保计算矢量距离的实时性,进而增大判断该段待测视频与该段模板视频是否重复的实时性。
在一个实施例中,从实时数据流中,获取多段待测视频,包括:
按照预设时间间隔从实时数据流中,获取多段待测视频,以使每段待测视频的时长均等于预设时间间隔;其中,预设时间间隔可以为10s;以及
在判定多段待测视频中的任一段待测视频中的至少部分视频与任一段模板视频重复后,按照实时数据流的时间顺序获取与任一段待测视频相邻的前一段待测视频;
按照时间顺序将前一段待测视频和任一段待测视频合并;
将合并后的任一段待测视频和前一段待测视频重新切分多段目标待测视频;
依次计算每段目标待测视频的特征向量与任一段模板视频的模板特征向量之间的矢量距离;
根据计算结果确定任一段模板视频在实时数据流中的开始时刻。
在判定该任一段待测视频中的至少部分视频与该任一段模板视频重复后,不可避免会出现认为该任一段待测视频中夹杂有其他非模板的片段或者在该任一段待测视频之前有少许该任一段模板视频片段(但上个视频段多数是非模板片段),而如果节目预测允许5-6秒钟的误差,方法到此结束,但用户常常期望节目预测需要精确到具体到5秒之内,甚至是毫秒,因此,在确认该任一段待测视频中的至少部分视频是该任一段模板视频的一部分之后,需要将该任一段待测视频前面的一段10秒数据(即前一段待测视频)进行合并后再进行细分段,即使用二分法将合并后的该任一段待测视频和前一段待测视频重新切分多段目标待测视频,然后按照上述步骤重新计算切分后的每段目标待测视频的特征向量与该任一段模板视频的模板特征向量之间的矢量距离,从而最终定位实时数据(即待测视频数据流)中该段模板视频的确切开始时刻,从而准确地实现节目的预测。
在一个实施例中,获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,包括:
获取每段待测视频中的多个目标图片和每段模板视频中的多个模板图片;其中,目标图片之间的相似度应该低于某个阈值,以确保代表该段待测视频的目标图片均不相同,同样地,模板图片之间的相似度也应该低于某个阈值,以确保代表该段模板视频的模板图片均不相同。
使用颜色布局特征分别将多个目标图片中的每个目标图片和多个模板图片中的每个模板图片按照YCbCr三色通道进行处理;其中,YCbCr或Y'CbCr有的时候会被写作:YCBCR或是Y'CBCR,是色彩空间的一种,通常会用于影片中的影像连续处理,或是数字摄影系统中。Y'为颜色的亮度(luma)成分、而CB和CR则为蓝色和红色的浓度偏移量成份。Y'和Y是不同的,而Y就是所谓的流明(luminance),表示光的浓度且为非线性,使用伽马修正(gammacorrection)编码处理。
将处理后的每个目标图片和每个模板图片分别进行离散余弦变换转换,以得到每个目标图片的第一特征向量和每个模板图片的第二特征向量;其中,离散余弦变换转换为DCT(Discrete Cosine Transform)转换,经过DCT转换后,目标图片间的相关性和模板图片间的相关性均会明显下降,且抗干扰能力增强,例如:可以过滤掉目标图片和模板图片所处环境光线不均匀对图片的影响。且第一特征向量由18位数字表示,而YCbCr三色通道中的每个通道的参数均占18位数字中的6位数字。
将多个目标图片中的每个目标图片的第一特征向量进行聚类,以得到每段待测视频的目标特征向量,以及将多个模板图片中的每个模板图片的第二特征向量进行聚类,以得到每段模板视频的模板特征向量。
由于每个目标图片均对应一个18位的第一特征向量,而在每段待测视频包括的目标图过多时,第一特征向量的数目就会过多;同样地,第二特征向量的数目也会过多,因此,如果直接用每个目标图片的第一特征向量构成目标特征向量,直接用每个模板图片的第二特征向量构成模板特征向量,必然会使得由于目标特征向量和模板特征向量中包括的向量数目均过多,而影响矢量距离的计算速率,增大系统的计算负担,因此,通过将相似度基本相同的目标图片的第一特征向量进行聚类,可以使得聚类后的目标特征向量中包括的向量数目大幅度地减少(例如:聚类后的目标特征向量中的向量的数量是聚类前的5%),同样地,通过将相似度基本相同的模板图片的第二特征向量进行聚类,可以使得聚类后的模板特征向量中包括的向量数目大幅度地减少(例如:聚类后的模板特征向量中的向量的数量是聚类前的5%)。
而由于聚类后的目标特征向量和模板特征向量中包括的向量数目减少了,因此,利用聚类后的目标特征向量和模板特征向量可以快速地计算矢量距离,进而最大程度地确保计算矢量距离的实时性,并增大判断该段待测视频与该段模板视频是否重复的实时性,实现节目预测的实时性。
而在聚类时可以使用K-means聚类算法,其中K-means算法是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标,即在使用K-means聚类时,会将第一特征向量按照矢量距离(即多个目标图片之间的相似度)进行聚类,从而使得目标特征向量中包括的每类特征向量均代表相似度基本相同的目标图片,同样地,也使得模板特征向量中包括的每类特征向量均代表相似度基本相同的模板图片。
在一个实施例中,通过以下预设公式确定矢量距离:
d(Xi,Qk)表示矢量距离,
Xi表示:多段模板视频中的第i段模板视频的模板特征向量,
Qk表示:多段待测视频中的第k段待测视频的目标特征向量,
M表示:多段待测视频的总数目,
Fi表示:将每段模板视频中的多个模板图片进行聚类后得到的目标图片的总数目,
表示:将第i段模板视频进行聚类后得到的Fi张目标图片中的第j张目标图片的特征向量。
通过使用上述公式,可以实时地确定矢量距离,进而实现实时性地判断该段待测视频与该段模板视频是否重复,并最终实现实时地预测节目,准确地定位出模板视频在实时节目流中的具体播放时间,从而及时地提醒用户。
如图2所示,本发明还提供一种重复视频的判断装置,包括:第一获取模块201,被配置为从待测视频数据流中,获取多段待测视频;
第二获取模块202,被配置为获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,其中,所述目标特征向量和所述模板特征向量分别被配置为唯一标识每段所述待测视频和每段所述模板视频;
计算模块203,被配置为计算每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量之间的矢量距离,其中,所述矢量距离被配置为表征每段所述待测视频和每段所述模板视频之间的相似度,且矢量距离越小,相似度越高;
判定模块204,被配置为当任一段待测视频的目标特征向量与任一段模板视频的模板特征向量之间的矢量距离小于或等于预设矢量距离时,判定所述任一段待测视频中的至少部分视频与所述任一段模板视频重复;否则,判定所述任一段待测视频与所述任一段模板视频完全不重复。
如图3所示,在一个实施例中,所述装置还包括:量化模块301,被配置为在计算所述矢量距离之前,分别将每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量进行矢量量化;以及
所述计算模块203包括:
第一计算子模块2031,被配置为根据矢量量化后的每段所述待测视频的目标特征向量和矢量量化后的每段所述模板视频的模板特征向量计算每段所述待测视频和每段所述模板视频之间的矢量距离。
如图4所示,在一个实施例中,所述第一获取模块201包括:
第一获取子模块2011,被配置为按照预设时间间隔从所述实时数据流中,获取多段所述待测视频,以使每段所述待测视频的时长均等于所述预设时间间隔;以及
第二获取子模块2012,被配置为在判定多段待测视频中的任一段待测视频中的至少部分视频与所述任一段模板视频重复后,按照所述实时数据流的时间顺序获取与所述任一段待测视频相邻的前一段待测视频;
合并子模块2013,被配置为按照所述时间顺序将所述前一段待测视频和所述任一段待测视频合并;
切分子模块2014,被配置为将合并后的所述任一段待测视频和所述前一段待测视频重新切分多段目标待测视频;
第二计算子模块2015,被配置为依次计算每段目标待测视频的特征向量与所述任一段模板视频的模板特征向量之间的矢量距离;
确定子模块2016,被配置为根据计算结果确定所述任一段模板视频在所述实时数据流中的开始时刻。
如图5所示,在一个实施例中,所述第二获取模块202包括:
第三获取子模块2021,被配置为获取每段所述待测视频中的多个目标图片和每段所述模板视频中的多个模板图片;
处理子模块2022,被配置为使用颜色布局特征分别将多个所述目标图片中的每个所述目标图片和多个所述模板图片中的每个所述模板图片按照YCbCr三色通道进行处理;
转换子模块2023,被配置为将处理后的每个所述目标图片和每个所述模板图片分别进行离散余弦变换转换,以得到每个所述目标图片的第一特征向量和每个所述模板图片的第二特征向量;
聚类子模块2024,被配置为将多个所述目标图片中的每个所述目标图片的第一特征向量进行聚类,以得到每段所述待测视频的目标特征向量,以及将多个所述模板图片中的每个所述模板图片的第二特征向量进行聚类,以得到每段所述模板视频的模板特征向量。
如图6所示,在一个实施例中,所述计算模块203还包括:
第三计算子模块2032,被配置为通过以下预设公式确定所述矢量距离:
d(Xi,Qk)表示所述矢量距离,
Xi表示:多段模板视频中的第i段模板视频的模板特征向量,
Qk表示:多段所述待测视频中的第k段待测视频的目标特征向量,
M表示:多段所述待测视频的总数目,
Fi表示:将每段所述模板视频中的多个所述模板图片进行聚类后得到的目标图片的总数目,
表示:将第i段模板视频进行聚类后得到的Fi张目标图片中的第j张目标图片的特征向量。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
最后,本发明中的重复视频的判断装置适被配置为终端设备。例如,可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种重复视频的判断方法,其特征在于,包括:
从实时数据流中,获取多段待测视频;
获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,其中,所述目标特征向量和所述模板特征向量分别用于唯一标识每段所述待测视频和每段所述模板视频;
计算每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量之间的矢量距离,其中,所述矢量距离用于表征每段所述待测视频和每段所述模板视频之间的相似度,且矢量距离越小,相似度越高;
当任一段待测视频的目标特征向量与任一段模板视频的模板特征向量之间的矢量距离小于或等于预设矢量距离时,判定所述任一段待测视频中的至少部分视频与所述任一段模板视频重复;否则,判定所述任一段待测视频与所述任一段模板视频完全不重复。
2.根据权利要1所述的方法,其特征在于,
在计算所述矢量距离之前,分别将每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量进行矢量量化;以及
所述计算每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量之间的矢量距离,包括:
根据矢量量化后的每段所述待测视频的目标特征向量和矢量量化后的每段所述模板视频的模板特征向量计算每段所述待测视频和每段所述模板视频之间的矢量距离。
3.根据权利要1所述的方法,其特征在于,
所述从实时数据流中,获取多段待测视频,包括:
按照预设时间间隔从所述实时数据流中,获取多段所述待测视频,以使每段所述待测视频的时长均等于所述预设时间间隔;以及
在判定多段待测视频中的任一段待测视频中的至少部分视频与所述任一段模板视频重复后,按照所述实时数据流的时间顺序获取与所述任一段待测视频相邻的前一段待测视频;
按照所述时间顺序将所述前一段待测视频和所述任一段待测视频合并;
将合并后的所述任一段待测视频和所述前一段待测视频重新切分多段目标待测视频;
依次计算每段目标待测视频的特征向量与所述任一段模板视频的模板特征向量之间的矢量距离;
根据计算结果确定所述任一段模板视频在所述实时数据流中的开始时刻。
4.根据权利要1至3中任一项所述的方法,其特征在于,
所述获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,包括:
获取每段所述待测视频中的多个目标图片和每段所述模板视频中的多个模板图片;
使用颜色布局特征分别将多个所述目标图片中的每个所述目标图片和多个所述模板图片中的每个所述模板图片按照YCbCr三色通道进行处理;
将处理后的每个所述目标图片和每个所述模板图片分别进行离散余弦变换转换,以得到每个所述目标图片的第一特征向量和每个所述模板图片的第二特征向量;
将多个所述目标图片中的每个所述目标图片的第一特征向量进行聚类,以得到每段所述待测视频的目标特征向量,以及将多个所述模板图片中的每个所述模板图片的第二特征向量进行聚类,以得到每段所述模板视频的模板特征向量。
5.根据权利要求4所述的方法,其特征在于,
通过以下预设公式确定所述矢量距离:
d(Xi,Qk)表示所述矢量距离,
Xi表示:多段模板视频中的第i段模板视频的模板特征向量,
Qk表示:多段所述待测视频中的第k段待测视频的目标特征向量,
M表示:多段所述待测视频的总数目,
Fi表示:将每段所述模板视频中的多个所述模板图片进行聚类后得到的目标图片的总数目,
Xi j表示:将第i段模板视频进行聚类后得到的Fi张目标图片中的第j张目标图片的特征向量。
6.一种重复视频的判断装置,其特征在于,包括:
第一获取模块,用于从实时数据流中,获取多段待测视频;
第二获取模块,用于获取多段待测视频中的每段待测视频的目标特征向量和多段模板视频中的每段模板视频的模板特征向量,其中,所述目标特征向量和所述模板特征向量分别用于唯一标识每段所述待测视频和每段所述模板视频;
计算模块,用于计算每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量之间的矢量距离,其中,所述矢量距离用于表征每段所述待测视频和每段所述模板视频之间的相似度,且矢量距离越小,相似度越高;
判定模块,用于当任一段待测视频的目标特征向量与任一段模板视频的模板特征向量之间的矢量距离小于或等于预设矢量距离时,判定所述任一段待测视频中的至少部分视频与所述任一段模板视频重复;否则,判定所述任一段待测视频与所述任一段模板视频完全不重复。
7.根据权利要6所述的装置,其特征在于,所述装置还包括:
量化模块,用于在计算所述矢量距离之前,分别将每段所述待测视频的目标特征向量和每段所述模板视频的模板特征向量进行矢量量化;以及
所述计算模块包括:
第一计算子模块,用于根据矢量量化后的每段所述待测视频的目标特征向量和矢量量化后的每段所述模板视频的模板特征向量计算每段所述待测视频和每段所述模板视频之间的矢量距离。
8.根据权利要6所述的装置,其特征在于,
所述第一获取模块包括:
第一获取子模块,用于按照预设时间间隔从所述实时数据流中,获取多段所述待测视频,以使每段所述待测视频的时长均等于所述预设时间间隔;以及
第二获取子模块,用于在判定多段待测视频中的任一段待测视频中的至少部分视频与所述任一段模板视频重复后,按照所述实时数据流的时间顺序获取与所述任一段待测视频相邻的前一段待测视频;
合并子模块,用于按照所述时间顺序将所述前一段待测视频和所述任一段待测视频合并;
切分子模块,用于将合并后的所述任一段待测视频和所述前一段待测视频重新切分多段目标待测视频;
第二计算子模块,用于依次计算每段目标待测视频的特征向量与所述任一段模板视频的模板特征向量之间的矢量距离;
确定子模块,用于根据计算结果确定所述任一段模板视频在所述实时数据流中的开始时刻。
9.根据权利要6至8中任一项所述的装置,其特征在于,
所述第二获取模块包括:
第三获取子模块,用于获取每段所述待测视频中的多个目标图片和每段所述模板视频中的多个模板图片;
处理子模块,用于使用颜色布局特征分别将多个所述目标图片中的每个所述目标图片和多个所述模板图片中的每个所述模板图片按照YCbCr三色通道进行处理;
转换子模块,用于将处理后的每个所述目标图片和每个所述模板图片分别进行离散余弦变换转换,以得到每个所述目标图片的第一特征向量和每个所述模板图片的第二特征向量;
聚类子模块,用于将多个所述目标图片中的每个所述目标图片的第一特征向量进行聚类,以得到每段所述待测视频的目标特征向量,以及将多个所述模板图片中的每个所述模板图片的第二特征向量进行聚类,以得到每段所述模板视频的模板特征向量。
10.根据权利要求9所述的装置,其特征在于,所述计算模块还包括:
第三计算子模块,用于通过以下预设公式确定所述矢量距离:
d(Xi,Qk)表示所述矢量距离,
Xi表示:多段模板视频中的第i段模板视频的模板特征向量,
Qk表示:多段所述待测视频中的第k段待测视频的目标特征向量,
M表示:多段所述待测视频的总数目,
Fi表示:将每段所述模板视频中的多个所述模板图片进行聚类后得到的目标图片的总数目,
Xi j表示:将第i段模板视频进行聚类后得到的Fi张目标图片中的第j张目标图片的特征向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510438580.7A CN106354736A (zh) | 2015-07-23 | 2015-07-23 | 一种重复视频的判断方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510438580.7A CN106354736A (zh) | 2015-07-23 | 2015-07-23 | 一种重复视频的判断方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106354736A true CN106354736A (zh) | 2017-01-25 |
Family
ID=57842974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510438580.7A Pending CN106354736A (zh) | 2015-07-23 | 2015-07-23 | 一种重复视频的判断方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106354736A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919220A (zh) * | 2019-03-04 | 2019-06-21 | 北京字节跳动网络技术有限公司 | 用于生成视频的特征向量的方法和装置 |
CN109934142A (zh) * | 2019-03-04 | 2019-06-25 | 北京字节跳动网络技术有限公司 | 用于生成视频的特征向量的方法和装置 |
CN111241345A (zh) * | 2020-02-18 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 一种视频检索方法、装置、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101374234A (zh) * | 2008-09-25 | 2009-02-25 | 清华大学 | 一种基于内容的视频拷贝监测方法及装置 |
CN101442641A (zh) * | 2008-11-21 | 2009-05-27 | 清华大学 | 一种基于内容的视频拷贝监测的方法及系统 |
CN102117313A (zh) * | 2010-12-29 | 2011-07-06 | 天脉聚源(北京)传媒科技有限公司 | 一种视频检索方法和系统 |
CN102760169A (zh) * | 2012-06-13 | 2012-10-31 | 天脉聚源(北京)传媒科技有限公司 | 一种电视直播流中的广告段检测方法 |
CN104166685A (zh) * | 2014-07-24 | 2014-11-26 | 北京捷成世纪科技股份有限公司 | 一种检测视频片段的方法和装置 |
CN104185017A (zh) * | 2013-05-23 | 2014-12-03 | 中国科学院深圳先进技术研究院 | 视频匹配方法和系统 |
-
2015
- 2015-07-23 CN CN201510438580.7A patent/CN106354736A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101374234A (zh) * | 2008-09-25 | 2009-02-25 | 清华大学 | 一种基于内容的视频拷贝监测方法及装置 |
CN101442641A (zh) * | 2008-11-21 | 2009-05-27 | 清华大学 | 一种基于内容的视频拷贝监测的方法及系统 |
CN102117313A (zh) * | 2010-12-29 | 2011-07-06 | 天脉聚源(北京)传媒科技有限公司 | 一种视频检索方法和系统 |
CN102760169A (zh) * | 2012-06-13 | 2012-10-31 | 天脉聚源(北京)传媒科技有限公司 | 一种电视直播流中的广告段检测方法 |
CN104185017A (zh) * | 2013-05-23 | 2014-12-03 | 中国科学院深圳先进技术研究院 | 视频匹配方法和系统 |
CN104166685A (zh) * | 2014-07-24 | 2014-11-26 | 北京捷成世纪科技股份有限公司 | 一种检测视频片段的方法和装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919220A (zh) * | 2019-03-04 | 2019-06-21 | 北京字节跳动网络技术有限公司 | 用于生成视频的特征向量的方法和装置 |
CN109934142A (zh) * | 2019-03-04 | 2019-06-25 | 北京字节跳动网络技术有限公司 | 用于生成视频的特征向量的方法和装置 |
CN109934142B (zh) * | 2019-03-04 | 2021-07-06 | 北京字节跳动网络技术有限公司 | 用于生成视频的特征向量的方法和装置 |
CN111241345A (zh) * | 2020-02-18 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 一种视频检索方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110147700B (zh) | 视频分类方法、装置、存储介质以及设备 | |
US9361511B2 (en) | Information processing apparatus, information processing method, and program | |
US11055516B2 (en) | Behavior prediction method, behavior prediction system, and non-transitory recording medium | |
CN111031346B (zh) | 一种增强视频画质的方法和装置 | |
CN112511854B (zh) | 一种直播视频精彩片段生成方法、装置、介质和设备 | |
US8938740B2 (en) | Resource allocation apparatus, resource allocation method, and computer readable medium | |
US11259029B2 (en) | Method, device, apparatus for predicting video coding complexity and storage medium | |
US9396757B2 (en) | Video remixing system | |
US20180007269A1 (en) | Neural network to optimize video stabilization parameters | |
CN106375781B (zh) | 一种重复视频的判断方法及装置 | |
CN106651797B (zh) | 一种信号灯有效区域的确定方法和装置 | |
CN109740530B (zh) | 视频段的提取方法、装置、设备及计算机可读存储介质 | |
CN112348110B (zh) | 模型训练及图像处理方法、装置、电子设备和存储介质 | |
US20210319230A1 (en) | Keyframe Extractor | |
CN106354736A (zh) | 一种重复视频的判断方法及装置 | |
CN100593948C (zh) | 一种拼合视频的方法和装置 | |
CN113891017A (zh) | 一种视频自动生成方法、装置、终端设备及存储装置 | |
US9699501B2 (en) | Information processing device and method, and program | |
CN109492545B (zh) | 一种基于场景及压缩信息的五官定位方法和系统 | |
CN106375849A (zh) | 一种生成模板的方法、装置、视频的更新方法及装置 | |
CN110418148B (zh) | 视频生成方法、视频生成设备及可读存储介质 | |
CN109218728B (zh) | 一种场景切换检测方法和系统 | |
CN111428125B (zh) | 排序方法、装置、电子设备及可读存储介质 | |
CN106372092A (zh) | 一种生成模板的方法、装置、视频的更新方法及装置 | |
CN113497954A (zh) | 一种视频调色方法、媒体数据处理方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170125 |