CN107135401B - 关键帧选取方法及系统 - Google Patents

关键帧选取方法及系统 Download PDF

Info

Publication number
CN107135401B
CN107135401B CN201710208983.1A CN201710208983A CN107135401B CN 107135401 B CN107135401 B CN 107135401B CN 201710208983 A CN201710208983 A CN 201710208983A CN 107135401 B CN107135401 B CN 107135401B
Authority
CN
China
Prior art keywords
extracted
lens
shot
video
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710208983.1A
Other languages
English (en)
Other versions
CN107135401A (zh
Inventor
刘楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710208983.1A priority Critical patent/CN107135401B/zh
Publication of CN107135401A publication Critical patent/CN107135401A/zh
Application granted granted Critical
Publication of CN107135401B publication Critical patent/CN107135401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种关键帧选取方法及系统，应用于多媒体分析技术领域，该方法包括：获取待提取视频，根据待提取视频中视频帧之间的时域相关性，将待提取视频分割为至少一个待提取镜头，其中，待提取视频包括：待检测视频和/或模板视频，待提取镜头包括：待检测镜头和/或模板镜头；分别计算每个待提取镜头中视频帧之间的帧间变化幅度；根据帧间变化幅度，分别确定每个待提取镜头的关键帧提取数量，并提取每个待提取镜头的关键帧，其中，关键帧提取数量与帧间变化幅度正相关。通过本发明的关键帧选取方法所选取的关键帧，能够全面的表达待提取视频的内容。

Description

关键帧选取方法及系统
技术领域
本发明涉及多媒体分析技术领域，特别是涉及关键帧选取方法及系统。
背景技术
视频重复片段检测是一项关键性的技术，有着诸多的应用。例如视频网站每天都需要同时接收大量电视台的直播信号，以供用户点播观看，其中电视节目的处理包括：去除电视节目中的广告、确定片头片尾的位置及将新闻视频分割为多个子新闻。如果这些操作要求实时处理的话，工作量很大，若全部由人工完成，每周需要进行7×24小时的工作。故而现有的做法是，利用算法对视频进行重复片段检测，根据检测结果自动拆分视频，同时采取人工辅助检查拆分结果。
视频是一系列视频帧按时序组织、播放的内容，其本质是一系列图像的序列。在对视频进行重复片段检测时，视频帧之间存在大量的冗余性，对整个视频中所有的视频帧进行处理计算量巨大效率低，所以选取镜头的关键帧来进行处理比对。
现有的关键帧选取技术，根据预设的帧数，在每段视频中选取预设数量的关键帧。对于一些运动变化较小的视频，其内部的视频帧相对稳定，简单选取预设数量的关键帧可以表达镜头的内容。但是对于运动较大的视频，仅用简单选取预设数量的关键帧的方法，不能够全面的表达视频内容。
发明内容
本发明实施例的目的在于提供一种关键帧选取方法及系统，以实现能够全面的表达视频内容。具体技术方案如下：
一种关键帧选取方法，包括：
获取待提取视频，根据所述待提取视频中视频帧之间的时域相关性，将所述待提取视频分割为至少一个待提取镜头，其中，所述待提取视频包括：待检测视频和/或模板视频，所述待提取镜头包括：待检测镜头和/或模板镜头；
分别计算每个所述待提取镜头中视频帧之间的帧间变化幅度；
根据所述帧间变化幅度，分别确定每个所述待提取镜头的关键帧提取数量，并提取每个所述待提取镜头的关键帧，其中，所述关键帧提取数量与所述帧间变化幅度正相关。
可选的，所述获取待提取视频，根据所述待提取视频中视频帧之间的时域相关性，将所述待提取视频分割为至少一个待提取镜头，包括：
获取所述待提取视频，确定所述待提取视频中每一帧视频帧的RGB色彩模式的颜色直方图；
分别计算并将所述待提取视频中时域相邻的每两个视频帧的颜色直方图之间的欧式距离，按照时域顺序保存到欧式距离集合；
根据所述欧式距离集合，将所述待提取视频进行分割，得到至少一个所述待提取镜头。
可选的，所述分别计算每个所述待提取镜头中视频帧之间的帧间变化幅度，包括：
在所述欧式距离集合中，分别获取每个所述待提取镜头对应的欧式距离；
分别计算并将每个所述待提取镜头对应的欧式距离中，所有欧式距离的和，作为所述帧间变化幅度。
可选的，所述根据所述帧间变化幅度，分别确定每个所述待提取镜头的关键帧提取数量，并提取每个所述待提取镜头的关键帧，包括：
在所述待提取镜头为待检测镜头时，获取预设的第一抽取帧数，分别在每个所述待提取镜头中抽取所述第一抽取帧数的关键帧；
根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数；
分别在每个所述待提取镜头中抽取所述待提取镜头对应的第二抽取帧数的关键帧。
可选的，所述根据所述帧间变化幅度，分别确定每个所述待提取镜头的关键帧提取数量，并提取每个所述待提取镜头的关键帧，包括：
在所述待提取镜头为模板镜头时，根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数；
分别在每个所述待提取镜头中抽取所述待提取镜头对应的第二抽取帧数的关键帧。
可选的，所述根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数，包括：
分别获取所述帧间变化幅度中，每个所述待提取镜头对应的欧式距离的和d；
获取预设的提取系数F，根据L2＝round(d/F)，分别确定每个所述待提取镜头的第二抽取帧数，其中，所述L2为所述待提取镜头的第二抽取帧数。
可选的，所述分别在每个所述待提取镜头中抽取所述待提取镜头对应的第二抽取帧数的关键帧，包括：
根据所述帧间变化幅度中每个所述待提取镜头对应的欧式距离，分别确定每个所述模板镜头的稳定区及运动区，其中，所述稳定区为帧间欧式距离小于预设帧间距离的关键帧的集合，所述运动区为帧间欧式距离大于或等于预设帧间距离的关键帧的集合；
获取预设的第三抽取帧数，分别在每个所述待提取镜头的稳定区抽取所述第三抽取帧数的关键帧，分别在每个所述待提取镜头的运动区抽取第四抽取帧数的关键帧，其中，在每个所述待提取镜头中，所述第三抽取帧数与所述第四抽取帧数的和为所述第二抽取帧数。
可选的，在所述根据所述帧间变化幅度，分别确定每个所述待提取镜头的关键帧提取数量，并提取每个所述待提取镜头的关键帧之后，所述方法还包括：
分别获取每个所述模板镜头的视觉特征；
根据每个所述待检测镜头的关键帧，分别确定每个所述待检测镜头的视觉特征；
分别将每个所述待检测镜头对应的视觉特征与每个所述模板镜头对应的视觉特征进行比较，确定所述镜头比较结果。
可选的，所述根据每个所述待检测镜头的关键帧，分别确定每个所述待检测镜头的视觉特征，包括：
根据预设的区域截取方法，分别截取每个所述待检测镜头的关键帧中的有效区域；
分别将每个所述有效区域转化为灰度图像；
分别将每个所述灰度图像进行高斯模糊滤波及去除噪声干扰，得到去噪后的灰度图像；
分别将每幅所述去噪后的灰度图像划分为N块子灰度图像，其中，N为正整数；
分别将每块所述子灰度图像进行离散余弦变换，并确定每块所述子灰度图像进行离散余弦变换后对应的哈希码；
分别将每个所述待提取镜头对应的哈希码进行组合，作为每个所述待提取镜头对应的视觉特征。
可选的，在所述分别获取每个所述模板镜头的视觉特征之前，所述方法还包括：
根据每个所述模板镜头的关键帧，确定每个所述模板镜头对应的视觉特征。
一种关键帧选取系统，包括：
镜头分割模块，用于获取待提取视频，根据所述待提取视频中视频帧之间的时域相关性，将所述待提取视频分割为至少一个待提取镜头，其中，所述待提取视频包括：待检测视频和/或模板视频，所述待提取镜头包括：待检测镜头和/或模板镜头；
第一计算模块，用于分别计算每个所述待提取镜头中视频帧之间的帧间变化幅度；
第二计算模块，用于根据所述帧间变化幅度，分别确定每个所述待提取镜头的关键帧提取数量，并提取每个所述待提取镜头的关键帧，其中，所述关键帧提取数量与所述帧间变化幅度正相关。
可选的，所述镜头分割模块，包括：
颜色直方图确定子模块，用于获取所述待提取视频，确定所述待提取视频中每一帧视频帧的RGB色彩模式的颜色直方图；
欧式距离计算子模块，用于分别计算并将所述待提取视频中时域相邻的每两个视频帧的颜色直方图之间的欧式距离，按照时域顺序保存到欧式距离集合；
待提取镜头确定子模块，用于根据所述欧式距离集合，将所述待提取视频进行分割，得到至少一个所述待提取镜头。
可选的，所述第一计算模块，包括：
欧式距离获取子模块，用于在所述欧式距离集合中，分别获取每个所述待提取镜头对应的欧式距离；
变化幅度确定子模块，用于分别计算并将每个所述待提取镜头对应的欧式距离中，所有欧式距离的和，作为所述帧间变化幅度。
可选的，在所述待提取镜头为待检测镜头时，所述第二计算模块，包括：
第一抽取子模块，用于获取预设的第一抽取帧数，分别在每个所述待提取镜头中抽取所述第一抽取帧数的关键帧；
帧数计算子模块，用于根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数；
第二抽取子模块，用于分别在每个所述待提取镜头中抽取所述待提取镜头对应的第二抽取帧数的关键帧。
可选的，在所述待提取镜头为模板镜头时，所述第二计算模块，包括：
帧数计算子模块，用于根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数；
第二抽取子模块，用于分别在每个所述待提取镜头中抽取所述待提取镜头对应的第二抽取帧数的关键帧。
可选的，所述帧数计算子模块，包括：
数据获取单元，用于分别获取所述帧间变化幅度中，每个所述待提取镜头对应的欧式距离的和d；
第二抽取帧数计算单元，用于获取预设的提取系数F，根据L2＝round(d/F)，分别确定每个所述待提取镜头的第二抽取帧数，其中，所述L2为所述待提取镜头的第二抽取帧数。
可选的，所述第二抽取子模块，包括：
区域划分单元，用于根据所述帧间变化幅度中每个所述待提取镜头对应的欧式距离，分别确定每个所述模板镜头的稳定区及运动区，其中，所述稳定区为帧间欧式距离小于预设帧间距离的关键帧的集合，所述运动区为帧间欧式距离大于或等于预设帧间距离的关键帧的集合；
区域抽取单元，用于获取预设的第三抽取帧数，分别在每个所述待提取镜头的稳定区抽取所述第三抽取帧数的关键帧，分别在每个所述待提取镜头的运动区抽取第四抽取帧数的关键帧，其中，在每个所述待提取镜头中，所述第三抽取帧数与所述第四抽取帧数的和为所述第二抽取帧数。
可选的，所述系统还包括：
视觉特征获取模块，用于分别获取每个所述模板镜头的视觉特征；
第三计算模块，用于根据每个所述待检测镜头的关键帧，分别确定每个所述待检测镜头的视觉特征；
视觉特征比较模块，用于分别将每个所述待检测镜头对应的视觉特征与每个所述模板镜头对应的视觉特征进行比较，确定所述镜头比较结果。
可选的，所述第三计算模块，包括：
有效区域截取子模块，用于根据预设的区域截取方法，分别截取每个所述待检测镜头的关键帧中的有效区域；
图像转换子模块，用于分别将每个所述有效区域转化为灰度图像；
噪声过滤子模块，用于分别将每个所述灰度图像进行高斯模糊滤波及去除噪声干扰，得到去噪后的灰度图像；
图像划分子模块，用于分别将每幅所述去噪后的灰度图像划分为N块子灰度图像，其中，N为正整数；
哈希码确定子模块，用于分别将每块所述子灰度图像进行离散余弦变换，并确定每块所述子灰度图像进行离散余弦变换后对应的哈希码；
视觉特征确定子模块，用于分别将每个所述待提取镜头对应的哈希码进行组合，作为每个所述待提取镜头对应的视觉特征。
可选的，所述系统还包括：
第四计算模块，用于根据每个所述模板镜头的关键帧，确定每个所述模板镜头对应的视觉特征。
本发明实施例提供的关键帧选取方法及系统，根据视频中视频帧之间的帧间变化幅度，确定关键帧的提取数量，能够全面的表达视频内容。另外，利用本发明实施例的关键帧选取方法进行视频重复性检测，视频重复性检测的可靠性高。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的关键帧选取方法的流程示意图；
图2为应用本发明实施例的关键帧选取方法的视频重复检测系统的示意图；
图3为本发明实施例的视频重复检测系统的应用方法的流程示意图；
图4为本发明实施例的关键帧选取系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
视频重复性检测技术是视频识别中的关键技术，视频重复性检测技术除了应用于视频中广告的剥离，还可以应用于数据库中重复片段的检测，以节省存储空间；进行版权保护，将待检测视频与有版权的视频进行对比，可以确定待检测视频是否侵权。
视频重复性检测技术的基本流程为：入库，对模板视频进行镜头检测，关键帧提取，提取视觉特征，存入相应的数据库；匹配，对待检测视频进行镜头检测，关键帧提取，提取视觉特征，查询数据库。
在视频重复性检测技术中，关键帧提取对检测的成功与否起着关键性的作用。因此，本发明实施例提供了一种关键帧选取方法，参见图1，图1为本发明实施例的关键帧选取方法的流程示意图，包括：
S101，获取待提取视频，根据待提取视频中视频帧之间的时域相关性，将待提取视频分割为至少一个待提取镜头，其中，待提取视频包括：待检测视频和/或模板视频，待提取镜头包括：待检测镜头和/或模板镜头。
根据待提取视频中视频帧之间的时域相关性，如利用基于直方图的算法、基于运动的算法、基于轮廓的算法或针对压缩视频的算法，将待提取视频分割成至少一个待提取镜头。
S102，分别计算每个待提取镜头中视频帧之间的帧间变化幅度。
帧间变化幅度标识了视频帧之间显示内容改变的大小。利用基于直方图的算法、基于运动的算法、基于轮廓的算法和针对压缩视频的算法，中的一种或多种算法，计算出每个待提取镜头中视频帧之间的帧间变化幅度。
S103，根据帧间变化幅度，分别确定每个待提取镜头的关键帧提取数量，并提取每个待提取镜头的关键帧，其中，关键帧提取数量与帧间变化幅度正相关。
待提取镜头的帧间变化幅度越大，在该待提取镜头中提取的关键帧越多。根据每个待提取镜头各自的帧间变化幅度，分别确定每个待提取镜头的关键帧提取数量。
在本发明实施例中，将视频分割成若干个镜头，根据每个镜头中视频帧之间的帧间变化幅度，确定该镜头得关键帧的提取数量，并提取相应数量的关键帧，能够全面的表达视频内容。
可选的，S101，包括：
步骤一，获取待提取视频，确定待提取视频中每一帧视频帧的RGB色彩模式的颜色直方图。
步骤二，分别计算并将待提取视频中时域相邻的每两个视频帧的颜色直方图之间的欧式距离，按照时域顺序保存到欧式距离集合。
欧式距离集合用于记录相邻视频帧之间的欧式距离，且欧式距离集合中的欧式距离是按照该欧式距离对应的视频帧的时域顺序进行存储的。
步骤三，根据欧式距离集合，将待提取视频进行分割，得到至少一个待提取镜头。
获取欧式距离集合中大于第一预设距离阈值的欧式距离，在欧式距离集合中大于第一预设距离阈值的欧式距离对应的两帧视频帧之间进行镜头分割，此时镜头发生了切变。然后按照时域顺序，依次计算根据第一预设距离阈值分割后的每镜头中的欧式距离集合中的当前欧式距离，与当前欧式距离之前的n(n为正整数)个欧式距离的和，作为待比较距离。在待比较距离大于第二预设距离阈值时，在当前欧式距离对应的两帧视频帧之间进行镜头分割，此时镜头发生了渐变。
第一预设距离阈值与第二预设距离阈值根据直方图计算差距使用的方法及直方图的值域范围进行设定。例如将第一预设距离阈值设定为0.5，第二预设距离阈值设定为0.3，在欧式距离集合中的欧式距离为0.01，0.05，0.04，0.11，0.6，0.01，0.04，0.06，0.10，0.12，0.10时，首先根据第一预设距离阈值，将待检测视频从欧式距离为0.6的两帧视频帧之间进行分割成两个镜头，第一个镜头对应的欧式距离为0.01，0.05，0.04，0.11，第二个镜头对应的欧式距离为0.01，0.04，0.06，0.10，0.12，0.10，根据第二预设距离阈值将第二个镜头从欧式距离为0.12对应的两帧视频帧之间进行分割，将第二个镜头分割成两个镜头。
在本发明实施例中，将待提取视频的视频帧转化为颜色直方图，并计算出各颜色直方图之间的欧式距离，根据欧式距离将待提取视频进行镜头分割，给出了将待提取视频分割成待提取镜头的具体方法，镜头分割准确。
可选的，S102，包括：
步骤一，在欧式距离集合中，分别获取每个待提取镜头对应的欧式距离。
例如，例如将第一预设距离阈值设定为0.5，第二预设距离阈值设定为0.3，在欧式距离集合中的欧式距离为0.01，0.05，0.04，0.11，0.6，0.01，0.04，0.06，0.10，0.12，0.10时，获取镜头一对应的欧式距离0.01，0.05，0.04，0.11，获取镜头二对应的欧式距离0.01，0.04，0.06，0.10，获取镜头三对应的欧式距离0.10。
步骤二，分别计算并将每个待提取镜头对应的欧式距离中，所有欧式距离的和，作为帧间变化幅度。
例如，镜头一对应的欧式距离为0.01，0.05，0.04，0.11，镜头二对应的欧式距离为0.01，0.04，0.06，0.10，镜头三对应的欧式距离为0.10。则镜头一的帧间变化幅度为0.21，镜头二的帧间变化幅度为0.21，镜头三的帧间变化幅度为0.10。
在本发明实施例中，给出了帧间变化幅度的具体计算方法，为后续根据帧间变化幅度，确定每个镜头的关键帧提取数量，提供了技术上的支持。
可选的，S103，包括：
步骤一，在待提取镜头为待检测镜头时，获取预设的第一抽取帧数，分别在每个待提取镜头中抽取第一抽取帧数的关键帧。
预设的第一抽取帧数为符合本发明实施例的任意帧数，例如10帧。分别获取每个待检测镜头中的视频帧的总帧数H，根据gap_shot＝H/L1计算每个镜头中的第一关键帧抽取间隔，其中，gap_shot为第一关键帧抽取间隔，L1为第一抽取帧数。从待检测镜头的第一帧开始，以gap_shot为间隔，抽取L1个关键帧。
步骤二，根据帧间变化幅度，分别确定每个待提取镜头的第二抽取帧数。
待检测镜头的帧间变化幅度越大，在该待检测镜头中提取的关键帧越多。
步骤三，分别在每个待提取镜头中抽取待提取镜头对应的第二抽取帧数的关键帧。
分别获取每个待检测镜头中的视频帧的总帧数H，根据gap1＝H/L2计算每个待检测镜头中的第二关键帧抽取间隔，其中，gap1为第二关键帧抽取间隔，L2为第二抽取帧数。从待检测镜头的第一帧开始，以gap1为间隔，抽取L2个关键帧。
在本发明实施例中，给出了在待提取镜头为待检测镜头时，关键帧的提取方法，在每个待检测镜头中，分别提取第一抽取帧数和第二抽取帧数的关键帧，抽取关键帧能够全面的表达待检测镜头的内容。
可选的，S103，包括：
步骤一，在待提取镜头为模板镜头时，根据帧间变化幅度，分别确定每个待提取镜头的第二抽取帧数。
模板镜头的帧间变化幅度越大，在该模板镜头中提取的关键帧越多。
步骤二，分别在每个待提取镜头中抽取待提取镜头对应的第二抽取帧数的关键帧。
分别获取每个模板镜头中的视频帧的总帧数h，根据gap1＝h/L2计算每个模板镜头中的第二关键帧抽取间隔，其中，gap2为第二关键帧抽取间隔，L2为第二抽取帧数。从模板镜头的第一帧开始，以gap2为间隔，抽取L2个关键帧。
在本发明实施例中，给出了在待提取镜头为模板镜头时，关键帧的提取方法，在每个模板镜头中，抽取第二抽取帧数的关键帧，抽取关键帧能够全面的表达待检测镜头的内容。
可选的，根据帧间变化幅度，分别确定每个待提取镜头的第二抽取帧数，包括：
步骤一，分别获取帧间变化幅度中，每个待提取镜头对应的欧式距离的和d。
步骤二，获取预设的提取系数F，根据L2＝round(d/F)，分别确定每个待提取镜头的第二抽取帧数，其中，L2为待提取镜头的第二抽取帧数。
提取系数F根据计算帧间变化幅度的算法进行设定，例如，若采用基于直方图的算法时，预设的提取系数可以设定为0.02。
在本发明实施例中，根据L2＝round(d/F)，分别确定每个待提取镜头的第二抽取帧数，给出了第二抽取帧数的具体计算方法，利用该第二抽取帧数抽取关键帧，能够全面的表达待检测镜头的内容。
可选的，分别在每个待提取镜头中抽取待提取镜头对应的第二抽取帧数的关键帧，包括：
步骤一，根据帧间变化幅度中每个待提取镜头对应的欧式距离，分别确定每个模板镜头的稳定区及运动区，其中，稳定区为帧间欧式距离小于预设帧间距离的关键帧的集合，运动区为帧间欧式距离大于或等于预设帧间距离的关键帧的集合。
分别获取欧式距离集合中每个待提取镜头对应的欧式距离，将大于或等于预设帧间距离的欧式距离所对应的视频帧，划分到该视频帧对应的待提取镜头的运动区；将小于预设帧间距离的欧式距离所对应的视频帧，划分到该视频帧对应的待提取镜头的稳定区。其中，预设帧间距离是根据计算帧间变化幅度的算法进行设定，例如若采用基于直方图的算法时，预设的提取系数可以设定为0.06。
步骤二，获取预设的第三抽取帧数，分别在每个待提取镜头的稳定区抽取第三抽取帧数的关键帧，分别在每个待提取镜头的运动区抽取第四抽取帧数的关键帧，其中，在每个待提取镜头中，第三抽取帧数与第四抽取帧数的和为第二抽取帧数。
第三抽取帧数为符合本发明实施例的任意帧数，例如，可以将第三抽取帧数设定为3。根据每个待提取镜头中的第二抽取帧数L2，分别确定每个待提取镜头的运动区中抽取该待提取镜头对应的第四抽取帧数的关键帧，其中，L4＝L2-L3，L3为第三抽取帧数，L4为第四抽取帧数。
在本发明实施例中，将待提取镜头划分为运动区和稳定区，在稳定区中提取第三抽取帧数的关键帧，在运动区中抽取第四抽取帧数的关键帧，关键帧抽取方法合理，能够全面的表达待检测镜头的内容。
可选的，在S103之后，该方法还包括：
步骤一，分别获取每个模板镜头的视觉特征。
在预设的数据库中获取每个模板镜头的视觉特征。
步骤二，根据每个待检测镜头的关键帧，分别确定每个待检测镜头的视觉特征。
此处的根据每个待检测镜头的关键帧，分别确定每个待检测镜头的视觉特征的方法为符合本发明实施例的任意视觉特征提取方法，包括：颜色特征提取、纹理特征提取及形状特征提取中的一种或多种提取方法。
颜色是图像视觉信息的一个重要特征，颜色特征提取是指提取图像中颜色的特征，并将图像中颜色的特征进行量化，如计算颜色直方图、颜色距、颜色聚合向量及颜色集。
纹理不仅能够反映图像的灰度统计信息，还能够反映图像的空间分布信息和结构信息，将纹理特征进行量化，提取纹理特征的方法包括：统计法(如计算灰度共生矩阵)、结构法(如Tamura纹理特征)、模型法(如建立自回归纹理模型)及频谱法(如进行小波变换)。
形状特征主要分为基于边界的形状特征和基于区域的形状特征两大类，基于边界的形状，基于边界的形状特征的描述关键在于边缘检测，在提取边缘的基础上，定义边缘的特征描述，如Fourier shape decors(傅立叶形状描述符法)。基于区域的形状特征的描述关键在于图像分割，然后利用整个已经被分割出来的区域块，提取其相应特征向量作为其形状特征的表示参数，如区域不变矩法。
步骤三，分别将每个待检测镜头对应的视觉特征与每个模板镜头对应的视觉特征进行比较，确定镜头比较结果。
镜头比较结果包括：待检测镜头与模板镜头为相同镜头，及待检测镜头与模板镜头为不同镜头。当待检测镜头的视觉特征与模板镜头的视觉特征的相似度超过预设的相似度阈值时，则认为待检测镜头与模板镜头为同一个镜头。相似度阈值为符合本发明实施例的任意数值，根据视觉特征提取方法进行设定，例如，在根据纹理特征提取视觉特征时，相似度阈值可以设定为90％。
在本发明实施例中，根据待检测镜头的关键帧，确定待检测镜头的视觉特征，通过比较待检测镜头的视觉特征及模板镜头的视觉特征，判断待检测镜头与模板镜头是否为同一镜头，给出了本发明实施例的关键帧选取方法的后续应用场景，通过本发明实施例的关键帧选取方法所获取的关键帧进行重复性检测，判断结果更加准确。
可选的，根据每个待检测镜头的关键帧，分别确定每个待检测镜头的视觉特征，包括：
步骤一，根据预设的区域截取方法，分别截取每个待检测镜头的关键帧中的有效区域。
选择预设的区域截取方法中规定的图像区域：(x，y，roi_width，roi_height)即有效区域，将有效区域中的像素进行视觉特征计算。(x，y)代表规定的图像区域的起始点，roi_width代表规定的图像区域的宽，roi_height代表规定的图像区域的高。截取关键帧中的有效区域，能够避免电视台台标、外加字幕、外加商标及其他外加信息对视觉特征的干扰。
步骤二，分别将每个有效区域转化为灰度图像。
步骤三，分别将每个灰度图像进行高斯模糊滤波及去除噪声干扰，得到去噪后的灰度图像。
步骤四，分别将每幅去噪后的灰度图像划分为N块子灰度图像，其中，N为正整数。
例如，将灰度图像平均划分为四块。
步骤五，分别将每块子灰度图像进行离散余弦变换，并确定每块子灰度图像进行离散余弦变换后对应的哈希码。
步骤六，分别将每个待提取镜头对应的哈希码进行组合，作为每个待提取镜头对应的视觉特征。
在本发明实施例中，给出了获取关键帧的视觉特征的具体计算方法，有效的确定了关键帧的视觉特征，为根据视觉特征判定待检测镜头与模板镜头是否相同提供了技术上的支持。
可选的，在分别获取每个模板镜头的视觉特征之前，该方法还包括：
根据每个模板镜头的关键帧，确定每个模板镜头对应的视觉特征。
此处根据每个模板镜头的关键帧，确定每个模板镜头对应的视觉特征的方法为符合本发明实施例的任意视觉特征提取方法，包括：颜色特征提取、纹理特征提取及形状特征提取中的一种或多种提取方法。例如，分别截取每个模板镜头的关键帧中的有效区域，将每个有效区域转化为灰度图像。分别将每个灰度图像进行高斯模糊滤波及去除噪声干扰，得到去噪后的灰度图像，并将每幅去噪后的灰度图像划分为N块子灰度图像。分别将每块子灰度图像进行离散余弦变换，并确定每块子灰度图像进行离散余弦变换后对应的哈希码。分别将每个待提取镜头对应的哈希码进行组合，作为每个模板镜头对应的视觉特征。将模板镜头的视觉特征保存到预设的数据库中。
在本发明实施例中，根据每个模板镜头的关键帧，确定每个模板镜头对应的视觉特征，为根据视觉特征判定待检测镜头与模板镜头是否相同提供了技术上的支持。
从镜头中提取出关键帧是视频重复性检测的重要环节。通常的做法是在镜头中等间隔的选取预设数量的关键帧，但是这种通常的做法存在一定的问题，当镜头内的视频帧之间的变化较大时，容易造成视频重复性检测的失败。尤其在镜头检测与关键帧抽取方法不够鲁棒，传输过程中造成丢帧导致算法失败等多种因素造成的抽取位置发生变化时，视频重复性检测的可靠性大大降低。总之，利用现有的关键帧提取技术，在视频重复性检测时的可靠性低。
因此结合上述的关键帧选取系统，本发明实施例还提供了一种视频重复检测的系统，如图2所示，包括：
镜头分割模块201：用于获取输入的待提取视频，根据视频帧之间的时域相关性，将输入的待提取视频分割为一系列的连续镜头，并分别计算每个镜头中的帧间变化幅度。
获取输入的待提取视频(模板视频或待检测视频)，按照时域顺序，根据视频帧之间的变化幅度，将模板视频和/或待检测视频分割为至少一个镜头，并分别计算每个镜头中视频帧之间的帧间变化幅度。
根据待提取视频中视频帧之间的时域相关性，如利用基于直方图的算法、基于运动的算法、基于轮廓的算法或针对压缩视频的算法，将待提取视频分割成至少一个待提取镜头。
获取待提取视频，确定待提取视频中每一帧视频帧的RGB色彩模式的颜色直方图。分别计算并将待提取视频中时域相邻的每两个视频帧的颜色直方图之间的欧式距离，按照时域顺序保存到欧式距离集合。根据欧式距离集合，将待提取视频进行分割，得到至少一个待提取镜头。
获取欧式距离集合中大于第一预设距离阈值的欧式距离，在欧式距离集合中大于第一预设距离阈值的欧式距离对应的两帧视频帧之间进行镜头分割，此时镜头发生了切变。然后按照时域顺序，依次计算根据第一预设距离阈值分割后的每镜头中的欧式距离集合中的当前欧式距离，与当前欧式距离之前的n(n为正整数)个欧式距离的和，作为待比较距离。在待比较距离大于第二预设距离阈值时，在当前欧式距离对应的两帧视频帧之间进行镜头分割，此时镜头发生了渐变。
重复性检测入库关键帧选取模块202：用于在模板镜头入库过程中选取关键帧，并计算视觉特征进行入库。
在将模板视频对应的数据进行入库时，根据模板视频中每个镜头中的帧间变化幅度分别选取每个镜头的关键帧，帧间变化幅度越大抽取的关键帧越多，帧间变化幅度越小选用的关键帧的数量越小，分别计算模板视频中的每个镜头的关键帧的视觉特征，并将模板视频中的每个镜头的关键帧的视觉特征保存到数据库。
获取待提取视频，确定待提取视频中每一帧视频帧的RGB色彩模式的颜色直方图。分别计算并将待提取视频中时域相邻的每两个视频帧的颜色直方图之间的欧式距离。分别计算并将每个待提取镜头对应的欧式距离中，所有欧式距离的和，作为帧间变化幅度，并根据帧间变化幅度，分别确定每个待提取镜头的第二抽取帧数。分别在每个模板镜头中抽取待提取镜头对应的第二抽取帧数的关键帧。
视觉特征提取方法为符合本发明实施例的任意视觉特征提取方法，包括：颜色特征提取、纹理特征提取及形状特征提取中的一种或多种提取方法。例如，分别截取每个模板镜头的关键帧中的有效区域，将每个有效区域转化为灰度图像。分别将每个灰度图像进行高斯模糊滤波及去除噪声干扰，得到去噪后的灰度图像，并将每幅去噪后的灰度图像划分为N块子灰度图像。分别将每块子灰度图像进行离散余弦变换，并确定每块子灰度图像进行离散余弦变换后对应的哈希码。分别将每个待提取镜头对应的哈希码进行组合，作为每个模板镜头对应的视觉特征。将模板镜头的视觉特征保存到预设的数据库中。
重复性检测匹配关键帧选取模块203：用于在镜头进行匹配过程中选取关键帧，并计算视觉特征进行匹配。
在进行重复性检测时，根据待检测视频中每个镜头中的帧间变化幅度分别选取每个镜头的关键帧，帧间变化幅度越大抽取的关键帧越多，帧间变化幅度越小选用的关键帧的数量越小，分别计算待检测视频中的每个镜头的关键帧的视觉特征。根据待检测视频中的每个镜头的关键帧的视觉特征及模板视频中的每个镜头的关键帧的视觉特征，将待检测视频中的每个镜头分别与模板视频中的每个镜头进行匹配，确定匹配结果。
参见图3，镜头分割模块201获取模板视频，并将模板视频分割成为至少一个模板镜头；重复性检测入库关键帧选取模块202提取模板镜头的关键帧，计算出模板镜头关键帧的视觉特征，并将模板镜头的视觉特征存储到数据库中。当输入待检测视频时，镜头分割模块201获取待检测视频，并将待检测视频分割成为至少一个待检测镜头；重复性检测匹配关键帧选取模块203提取待检测镜头的关键帧，计算出待检测镜头关键帧的视觉特征，重复性检测匹配关键帧选取模块203从数据库中获取模板镜头的视觉特征，将待检测镜头的视觉特征与模板镜头的视觉特征进行对比，判断待检测镜头与模板镜头是否相同。
在本发明实施例中，确定镜头中视频帧之间的帧间变化幅度，根据帧间变化幅度，决定抽取关键帧的数量，帧间变化幅度越大抽取的关键帧越多，根据关键帧的视觉特征进行匹配，增大了视频重复性检测的匹配精度，提高了视频重复性检测时的可靠性。
参见图4，图4为本发明实施例的关键帧选取系统的示意图，包括：
镜头分割模块401，用于获取待提取视频，根据待提取视频中视频帧之间的时域相关性，将待提取视频分割为至少一个待提取镜头，其中，待提取视频包括：待检测视频和/或模板视频，待提取镜头包括：待检测镜头和/或模板镜头；
第一计算模块402，用于分别计算每个待提取镜头中视频帧之间的帧间变化幅度；
第二计算模块403，用于根据帧间变化幅度，分别确定每个待提取镜头的关键帧提取数量，并提取每个待提取镜头的关键帧，其中，关键帧提取数量与帧间变化幅度正相关。
在本发明实施例中，将视频分割成若干个镜头，根据每个镜头中视频帧之间的帧间变化幅度，确定该镜头得关键帧的提取数量，并提取相应数量的关键帧，能够全面的表达视频内容。
需要说明的是本发明实施例中的系统是应用上述关键帧选取方法的系统，则上述的关键帧选取方法的所有实施例均适用于该系统，且均能达到相同或相似的有益效果。
可选的，镜头分割模块401，包括：
颜色直方图确定子模块，用于获取待提取视频，确定待提取视频中每一帧视频帧的RGB色彩模式的颜色直方图。
欧式距离计算子模块，用于分别计算并将待提取视频中时域相邻的每两个视频帧的颜色直方图之间的欧式距离，按照时域顺序保存到欧式距离集合。
待提取镜头确定子模块，用于根据欧式距离集合，将待提取视频进行分割，得到至少一个待提取镜头。
在本发明实施例中，将待提取视频的视频帧转化为颜色直方图，并计算出各颜色直方图之间的欧式距离，根据欧式距离将待提取视频进行镜头分割，给出了将待提取视频分割成待提取镜头的具体方法，镜头分割准确。
可选的，第一计算模块402，包括：
欧式距离获取子模块，用于在欧式距离集合中，分别获取每个待提取镜头对应的欧式距离。
变化幅度确定子模块，用于分别计算并将每个待提取镜头对应的欧式距离中，所有欧式距离的和，作为帧间变化幅度。
在本发明实施例中，给出了帧间变化幅度的具体计算方法，为后续根据帧间变化幅度，确定每个镜头的关键帧提取数量，提供了技术上的支持。
可选的，在待提取镜头为待检测镜头时，第二计算模块403，包括：
第一抽取子模块，用于获取预设的第一抽取帧数，分别在每个待提取镜头中抽取第一抽取帧数的关键帧；
帧数计算子模块，用于根据帧间变化幅度，分别确定每个待提取镜头的第二抽取帧数；
第二抽取子模块，用于分别在每个待提取镜头中抽取待提取镜头对应的第二抽取帧数的关键帧。
在本发明实施例中，给出了在待提取镜头为待检测镜头时，关键帧的提取方法，在每个待检测镜头中，分别提取第一抽取帧数和第二抽取帧数的关键帧，抽取关键帧能够全面的表达待检测镜头的内容。
可选的，在待提取镜头为模板镜头时，第二计算模块403，包括：
帧数计算子模块，用于根据帧间变化幅度，分别确定每个待提取镜头的第二抽取帧数；
第二抽取子模块，用于分别在每个待提取镜头中抽取待提取镜头对应的第二抽取帧数的关键帧。
在本发明实施例中，给出了在待提取镜头为模板镜头时，关键帧的提取方法，在每个模板镜头中，抽取第二抽取帧数的关键帧，抽取关键帧能够全面的表达待检测镜头的内容。
可选的，帧数计算子模块，包括：
数据获取单元，用于分别获取帧间变化幅度中，每个待提取镜头对应的欧式距离的和d；
第二抽取帧数计算单元，用于获取预设的提取系数F，根据m＝round(d/F)，分别确定每个待提取镜头的第二抽取帧数，其中，m为待提取镜头的第二抽取帧数。
在本发明实施例中，根据L2＝round(d/F)，分别确定每个待提取镜头的第二抽取帧数，给出了第二抽取帧数的具体计算方法，利用该第二抽取帧数抽取关键帧，能够全面的表达待检测镜头的内容。
可选的，第二抽取子模块，包括：
区域划分单元，用于根据帧间变化幅度中每个待提取镜头对应的欧式距离，分别确定每个模板镜头的稳定区及运动区，其中，稳定区为帧间欧式距离小于预设帧间距离的关键帧的集合，运动区为帧间欧式距离大于或等于预设帧间距离的关键帧的集合。
区域抽取单元，用于获取预设的第三抽取帧数，分别在每个待提取镜头的稳定区抽取第三抽取帧数的关键帧，分别在每个待提取镜头的运动区抽取第四抽取帧数的关键帧，其中，在每个待提取镜头中，第三抽取帧数与第四抽取帧数的和为第二抽取帧数。
在本发明实施例中，将待提取镜头划分为运动区和稳定区，在稳定区中提取第三抽取帧数的关键帧，在运动区中抽取第四抽取帧数的关键帧，关键帧抽取方法合理，能够全面的表达待检测镜头的内容。
可选的，本发明实施例的关键帧抽取系统还包括：
视觉特征获取模块，用于分别获取每个模板镜头的视觉特征。
第三计算模块，用于根据每个待检测镜头的关键帧，分别确定每个待检测镜头的视觉特征。
视觉特征比较模块，用于分别将每个待检测镜头对应的视觉特征与每个模板镜头对应的视觉特征进行比较，确定镜头比较结果。
在本发明实施例中，根据待检测镜头的关键帧，确定待检测镜头的视觉特征，通过比较待检测镜头的视觉特征及模板镜头的视觉特征，判断待检测镜头与模板镜头是否为同一镜头，给出了本发明实施例的关键帧选取方法的后续应用场景，通过本发明实施例的关键帧选取方法所获取的关键帧进行重复性检测，判断结果更加准确。
可选的，第三计算模块，包括：
有效区域截取子模块，用于根据预设的区域截取方法，分别截取每个待检测镜头的关键帧中的有效区域。
图像转换子模块，用于分别将每个有效区域转化为灰度图像。
噪声过滤子模块，用于分别将每个灰度图像进行高斯模糊滤波及去除噪声干扰，得到去噪后的灰度图像。
图像划分子模块，用于分别将每幅去噪后的灰度图像划分为N块子灰度图像，其中，N为正整数。
哈希码确定子模块，用于分别将每块子灰度图像进行离散余弦变换，并确定每块子灰度图像进行离散余弦变换后对应的哈希码。
视觉特征确定子模块，用于分别将每个待提取镜头对应的哈希码进行组合，作为每个待提取镜头对应的视觉特征。
在本发明实施例中，给出了获取关键帧的视觉特征的具体计算方法，有效的确定了关键帧的视觉特征，为根据视觉特征判定待检测镜头与模板镜头是否相同提供了技术上的支持。
可选的，本发明实施例的关键帧抽取系统还包括：
第四计算模块，用于根据每个模板镜头的关键帧，确定每个模板镜头对应的视觉特征。
在本发明实施例中，根据每个模板镜头的关键帧，确定每个模板镜头对应的视觉特征，为根据视觉特征判定待检测镜头与模板镜头是否相同提供了技术上的支持。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种关键帧选取方法，其特征在于，包括：
获取待提取视频，根据所述待提取视频中视频帧之间的时域相关性，将所述待提取视频分割为至少一个待提取镜头，其中，所述待提取视频包括：待检测视频和/或模板视频，所述待提取镜头包括：待检测镜头和/或模板镜头；
分别计算每个所述待提取镜头中视频帧之间的帧间变化幅度；
在所述待提取镜头为待检测镜头时，获取预设的第一抽取帧数，分别在每个所述待提取镜头中抽取所述第一抽取帧数的关键帧；根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数；根据所述帧间变化幅度中每个所述待提取镜头对应的欧式距离，分别确定每个所述待提取镜头的稳定区及运动区，其中，所述稳定区为帧间欧式距离小于预设帧间距离的关键帧的集合，所述运动区为帧间欧式距离大于或等于预设帧间距离的关键帧的集合；获取预设的第三抽取帧数，分别在每个所述待提取镜头的稳定区抽取所述第三抽取帧数的关键帧，分别在每个所述待提取镜头的运动区抽取第四抽取帧数的关键帧，其中，在每个所述待提取镜头中，所述第三抽取帧数与所述第四抽取帧数的和为所述第二抽取帧数，所述关键帧提取数量与所述帧间变化幅度正相关；
在所述待提取镜头为模板镜头时，根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数；根据所述帧间变化幅度中每个所述待提取镜头对应的欧式距离，分别确定每个所述待提取镜头的稳定区及运动区，其中，所述稳定区为帧间欧式距离小于预设帧间距离的关键帧的集合，所述运动区为帧间欧式距离大于或等于预设帧间距离的关键帧的集合；获取预设的第三抽取帧数，分别在每个所述待提取镜头的稳定区抽取所述第三抽取帧数的关键帧，分别在每个所述待提取镜头的运动区抽取第四抽取帧数的关键帧，其中，在每个所述待提取镜头中，所述第三抽取帧数与所述第四抽取帧数的和为所述第二抽取帧数，所述关键帧提取数量与所述帧间变化幅度正相关。
2.根据权利要求1所述的关键帧选取方法，其特征在于，所述获取待提取视频，根据所述待提取视频中视频帧之间的时域相关性，将所述待提取视频分割为至少一个待提取镜头，包括：
获取所述待提取视频，确定所述待提取视频中每一帧视频帧的RGB色彩模式的颜色直方图；
分别计算并将所述待提取视频中时域相邻的每两个视频帧的颜色直方图之间的欧式距离，按照时域顺序保存到欧式距离集合；
根据所述欧式距离集合，将所述待提取视频进行分割，得到至少一个所述待提取镜头。
3.根据权利要求2所述的关键帧选取方法，其特征在于，所述分别计算每个所述待提取镜头中视频帧之间的帧间变化幅度，包括：
在所述欧式距离集合中，分别获取每个所述待提取镜头对应的欧式距离；
分别计算并将每个所述待提取镜头对应的欧式距离中，所有欧式距离的和，作为所述帧间变化幅度。
4.根据权利要求1所述的关键帧选取方法，其特征在于，所述根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数，包括：
分别获取所述帧间变化幅度中，每个所述待提取镜头对应的欧式距离的和d；
获取预设的提取系数F，根据L2＝round(d/F)，分别确定每个所述待提取镜头的第二抽取帧数，其中，所述L2为所述待提取镜头的第二抽取帧数。
5.根据权利要求1所述的关键帧选取方法，其特征在于，在所述根据所述帧间变化幅度，分别确定每个所述待提取镜头的关键帧提取数量，并提取每个所述待提取镜头的关键帧之后，所述方法还包括：
分别获取每个所述模板镜头的视觉特征；
根据每个所述待检测镜头的关键帧，分别确定每个所述待检测镜头的视觉特征；
分别将每个所述待检测镜头对应的视觉特征与每个所述模板镜头对应的视觉特征进行比较，确定所述镜头比较结果。
6.根据权利要求5所述的关键帧选取方法，其特征在于，所述根据每个所述待检测镜头的关键帧，分别确定每个所述待检测镜头的视觉特征，包括：
根据预设的区域截取方法，分别截取每个所述待检测镜头的关键帧中的有效区域；
分别将每个所述有效区域转化为灰度图像；
分别将每个所述灰度图像进行高斯模糊滤波及去除噪声干扰，得到去噪后的灰度图像；
分别将每幅所述去噪后的灰度图像划分为N块子灰度图像，其中，N为正整数；
分别将每块所述子灰度图像进行离散余弦变换，并确定每块所述子灰度图像进行离散余弦变换后对应的哈希码；
分别将每个所述待提取镜头对应的哈希码进行组合，作为每个所述待提取镜头对应的视觉特征。
7.根据权利要求5所述的关键帧选取方法，其特征在于，在所述分别获取每个所述模板镜头的视觉特征之前，所述方法还包括：
根据每个所述模板镜头的关键帧，确定每个所述模板镜头对应的视觉特征。
8.一种关键帧选取系统，其特征在于，包括：
镜头分割模块，用于获取待提取视频，根据所述待提取视频中视频帧之间的时域相关性，将所述待提取视频分割为至少一个待提取镜头，其中，所述待提取视频包括：待检测视频和/或模板视频，所述待提取镜头包括：待检测镜头和/或模板镜头；
第一计算模块，用于分别计算每个所述待提取镜头中视频帧之间的帧间变化幅度；
第二计算模块；
在所述待提取镜头为待检测镜头时，所述第二计算模块，包括：
第一抽取子模块，用于获取预设的第一抽取帧数，分别在每个所述待提取镜头中抽取所述第一抽取帧数的关键帧；
帧数计算子模块，用于根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数；
第二抽取子模块，用于根据所述帧间变化幅度中每个所述待提取镜头对应的欧式距离，分别确定每个所述模板镜头的稳定区及运动区，其中，所述稳定区为帧间欧式距离小于预设帧间距离的关键帧的集合，所述运动区为帧间欧式距离大于或等于预设帧间距离的关键帧的集合；获取预设的第三抽取帧数，分别在每个所述待提取镜头的稳定区抽取所述第三抽取帧数的关键帧，分别在每个所述待提取镜头的运动区抽取第四抽取帧数的关键帧，其中，在每个所述待提取镜头中，所述第三抽取帧数与所述第四抽取帧数的和为所述第二抽取帧数，所述关键帧提取数量与所述帧间变化幅度正相关；
在所述待提取镜头为模板镜头时，所述第二计算模块，包括：
帧数计算子模块，用于根据所述帧间变化幅度，分别确定每个所述待提取镜头的第二抽取帧数；
第二抽取子模块，用于根据所述帧间变化幅度中每个所述待提取镜头对应的欧式距离，分别确定每个所述模板镜头的稳定区及运动区，其中，所述稳定区为帧间欧式距离小于预设帧间距离的关键帧的集合，所述运动区为帧间欧式距离大于或等于预设帧间距离的关键帧的集合；获取预设的第三抽取帧数，分别在每个所述待提取镜头的稳定区抽取所述第三抽取帧数的关键帧，分别在每个所述待提取镜头的运动区抽取第四抽取帧数的关键帧，其中，在每个所述待提取镜头中，所述第三抽取帧数与所述第四抽取帧数的和为所述第二抽取帧数，所述关键帧提取数量与所述帧间变化幅度正相关。
9.根据权利要求8所述的关键帧选取系统，其特征在于，所述镜头分割模块，包括：
颜色直方图确定子模块，用于获取所述待提取视频，确定所述待提取视频中每一帧视频帧的RGB色彩模式的颜色直方图；
欧式距离计算子模块，用于分别计算并将所述待提取视频中时域相邻的每两个视频帧的颜色直方图之间的欧式距离，按照时域顺序保存到欧式距离集合；
待提取镜头确定子模块，用于根据所述欧式距离集合，将所述待提取视频进行分割，得到至少一个所述待提取镜头。
10.根据权利要求9所述的关键帧选取系统，其特征在于，所述第一计算模块，包括：
欧式距离获取子模块，用于在所述欧式距离集合中，分别获取每个所述待提取镜头对应的欧式距离；
变化幅度确定子模块，用于分别计算并将每个所述待提取镜头对应的欧式距离中，所有欧式距离的和，作为所述帧间变化幅度。
11.根据权利要求8所述的关键帧选取系统，其特征在于，所述帧数计算子模块，包括：
数据获取单元，用于分别获取所述帧间变化幅度中，每个所述待提取镜头对应的欧式距离的和d；
第二抽取帧数计算单元，用于获取预设的提取系数F，根据L2＝round(d/F)，分别确定每个所述待提取镜头的第二抽取帧数，其中，所述L2为所述待提取镜头的第二抽取帧数。
12.根据权利要求8所述的关键帧选取系统，其特征在于，所述系统还包括：
视觉特征获取模块，用于分别获取每个所述模板镜头的视觉特征；
第三计算模块，用于根据每个所述待检测镜头的关键帧，分别确定每个所述待检测镜头的视觉特征；
视觉特征比较模块，用于分别将每个所述待检测镜头对应的视觉特征与每个所述模板镜头对应的视觉特征进行比较，确定所述镜头比较结果。
13.根据权利要求12所述的关键帧选取系统，其特征在于，所述第三计算模块，包括：
有效区域截取子模块，用于根据预设的区域截取方法，分别截取每个所述待检测镜头的关键帧中的有效区域；
图像转换子模块，用于分别将每个所述有效区域转化为灰度图像；
噪声过滤子模块，用于分别将每个所述灰度图像进行高斯模糊滤波及去除噪声干扰，得到去噪后的灰度图像；
图像划分子模块，用于分别将每幅所述去噪后的灰度图像划分为N块子灰度图像，其中，N为正整数；
哈希码确定子模块，用于分别将每块所述子灰度图像进行离散余弦变换，并确定每块所述子灰度图像进行离散余弦变换后对应的哈希码；
视觉特征确定子模块，用于分别将每个所述待提取镜头对应的哈希码进行组合，作为每个所述待提取镜头对应的视觉特征。
14.根据权利要求12所述的关键帧选取系统，其特征在于，所述系统还包括：
第四计算模块，用于根据每个所述模板镜头的关键帧，确定每个所述模板镜头对应的视觉特征。
CN201710208983.1A 2017-03-31 2017-03-31 关键帧选取方法及系统 Active CN107135401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710208983.1A CN107135401B (zh) 2017-03-31 2017-03-31 关键帧选取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710208983.1A CN107135401B (zh) 2017-03-31 2017-03-31 关键帧选取方法及系统

Publications (2)

Publication Number Publication Date
CN107135401A CN107135401A (zh) 2017-09-05
CN107135401B true CN107135401B (zh) 2020-03-27

Family

ID=59716337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710208983.1A Active CN107135401B (zh) 2017-03-31 2017-03-31 关键帧选取方法及系统

Country Status (1)

Country Link
CN (1) CN107135401B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924586B (zh) * 2018-06-20 2021-01-08 北京奇艺世纪科技有限公司 一种视频帧的检测方法、装置及电子设备
CN110087145B (zh) * 2019-06-06 2020-04-21 北京字节跳动网络技术有限公司 用于处理视频的方法和装置
CN111105406B (zh) * 2019-12-24 2023-05-30 杭州当虹科技股份有限公司 一种公共电子屏视频流同一性检测的方法
CN113286194A (zh) * 2020-02-20 2021-08-20 北京三星通信技术研究有限公司 视频处理方法、装置、电子设备及可读存储介质
CN112149751A (zh) * 2020-09-29 2020-12-29 北京邮电大学 一种基于3d-cnn与cvv-glcm的融媒体信息获取方法
CN112989113B (zh) * 2021-04-21 2021-08-31 北京金和网络股份有限公司 图片的筛查方法、装置和设备
CN116405745B (zh) * 2023-06-09 2023-11-17 深圳市信润富联数字科技有限公司 视频信息的提取方法、装置、终端设备及计算机介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
CN101394522A (zh) * 2007-09-19 2009-03-25 中国科学院计算技术研究所 一种视频拷贝的检测方法和系统
CN101650740A (zh) * 2009-08-27 2010-02-17 中国科学技术大学 一种电视广告检测方法及装置
CN102314681A (zh) * 2011-07-08 2012-01-11 太原理工大学 基于子镜头分割的自适应关键帧提取方法
CN102959542A (zh) * 2010-06-30 2013-03-06 阿尔卡特朗讯公司 用于管理视频内容的方法和装置
CN103065153A (zh) * 2012-12-17 2013-04-24 西南科技大学 一种基于色彩量化和聚类的视频关键帧提取方法
CN104811745A (zh) * 2015-04-28 2015-07-29 无锡天脉聚源传媒科技有限公司 一种视频内容的展示方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107015B1 (en) * 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
CN101394522A (zh) * 2007-09-19 2009-03-25 中国科学院计算技术研究所 一种视频拷贝的检测方法和系统
CN101650740A (zh) * 2009-08-27 2010-02-17 中国科学技术大学 一种电视广告检测方法及装置
CN102959542A (zh) * 2010-06-30 2013-03-06 阿尔卡特朗讯公司 用于管理视频内容的方法和装置
CN102314681A (zh) * 2011-07-08 2012-01-11 太原理工大学 基于子镜头分割的自适应关键帧提取方法
CN103065153A (zh) * 2012-12-17 2013-04-24 西南科技大学 一种基于色彩量化和聚类的视频关键帧提取方法
CN104811745A (zh) * 2015-04-28 2015-07-29 无锡天脉聚源传媒科技有限公司 一种视频内容的展示方法及装置

Also Published As

Publication number Publication date
CN107135401A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107135401B (zh) 关键帧选取方法及系统
CN109151501B (zh) 一种视频关键帧提取方法、装置、终端设备及存储介质
US8494234B1 (en) Video hashing system and method
US9596520B2 (en) Method and system for pushing information to a client
EP2259207B1 (en) Method of detection and recognition of logos in a video data stream
CN107358141B (zh) 数据识别的方法及装置
Priya et al. Edge strength extraction using orthogonal vectors for shot boundary detection
CN114640881A (zh) 视频帧对齐方法、装置、终端设备及计算机可读存储介质
CN113297420A (zh) 视频图像处理方法、装置、存储介质及电子设备
CN116030396A (zh) 一种用于视频结构化提取的精确分割方法
CN102301697A (zh) 视频签名产生设备
KR101195978B1 (ko) 동영상에 포함된 오브젝트를 처리하는 방법 및 장치
CN107169004B (zh) 一种特征数据库更新方法及装置
Ouyang et al. The comparison and analysis of extracting video key frame
EP2355041A1 (en) Methods of representing and analysing images
CN109741300B (zh) 一种适用于视频编码的图像显著性快速检测方法和装置
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
Lee et al. Video copy detection using histogram based spatio-temporal features
Jamil et al. Local statistical features for multilingual artificial text detection from video images
Hong et al. Saliency-based feature learning for no-reference image quality assessment
CN111814565A (zh) 一种目标检测方法和装置
CN112396551A (zh) 一种水印嵌入方法及装置
Ouali et al. Robust video fingerprints using positions of salient regions
Li et al. A robust and low-complexity video fingerprint for multimedia security
KR101484531B1 (ko) 영상 조각 기반 희소 표현을 활용한 번호판 영역 검출 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant