CN113269205A - 视频关键帧提取方法、装置、电子设备及存储介质 - Google Patents

视频关键帧提取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113269205A
CN113269205A CN202110541820.1A CN202110541820A CN113269205A CN 113269205 A CN113269205 A CN 113269205A CN 202110541820 A CN202110541820 A CN 202110541820A CN 113269205 A CN113269205 A CN 113269205A
Authority
CN
China
Prior art keywords
video frame
initial video
current initial
determining
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110541820.1A
Other languages
English (en)
Inventor
尹芳
马晶
马杰
张晓璐
张晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lianren Healthcare Big Data Technology Co Ltd
Original Assignee
Lianren Healthcare Big Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianren Healthcare Big Data Technology Co Ltd filed Critical Lianren Healthcare Big Data Technology Co Ltd
Priority to CN202110541820.1A priority Critical patent/CN113269205A/zh
Publication of CN113269205A publication Critical patent/CN113269205A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种视频关键帧提取方法、装置、电子设备及存储介质，该方法包括：获取各初始视频帧；确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。通过本实施例的技术方案，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

Description

视频关键帧提取方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种视频关键帧提取方法、装置、电子设备及存储介质。
背景技术
视频的关键帧提取在信息抽取、语义转换、检索、分类等方面具有重要的意义。举例说明，在对视频文件进行内容审核时，可以利用关键帧提取技术来提高审核效率。原本的内容审核是对整个视频，即全部视频帧进行审核的，现在只需要对提取出的关键帧进行审核，能够在提高审核效率的同时，降低了无效视频帧对审核结果的干扰。
关键帧提取技术的应用场景除了视频的内容审核之外，还可以包括视频检索，视频结构化，视频摘要等。传统的关键帧提取方法是基于全局特征和基于局部特征的关键帧提取方法，然而，这种选取关键帧的方法存在误差较大，计算资源消耗大，提取的关键帧存在冗余以及关键帧的图片质量不高的问题。
发明内容
本发明实施例提供了一种视频关键帧提取方法、装置、电子设备及存储介质，以实现过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。
第一方面，本发明实施例提供了一种视频关键帧提取方法，该方法包括：
获取各初始视频帧；
确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；
基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；
对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。
第二方面，本发明实施例还提供了一种视频关键帧提取装置，该装置包括：
初始视频帧获取模块，用于获取各初始视频帧；
目标参考参数确定模块，用于确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；
待处理视频帧确定模块，用于基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；
目标关键帧确定模块，用于对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的视频关键帧提取方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例任一所述的视频关键帧提取方法。
本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的目标参考参数，进而，基于目标参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧和转换视频帧，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1为本发明实施例一所提供的一种视频关键帧提取方法的流程示意图；
图2为本发明实施例二所提供的一种视频关键帧提取方法的流程示意图；
图3为本发明实施例三所提供的一种视频关键帧提取方法的流程示意图；
图4为本发明实施例四所提供的一种视频关键帧提取方法的流程示意图；
图5为本发明实施例五所提供的一种视频关键帧提取方法的流程示意图；
图6为本发明实施例六所提供的一种视频关键帧提取装置的结构示意图；
图7为本发明实施例七所提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种视频关键帧提取方法的流程示意图，本实施例可适用于从视频的大量视频帧中提取高质量关键帧的情况，该方法可以由视频关键帧提取装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，可选的，电子设备可以是移动终端等。
如图1所述，本实施例的方法具体包括如下步骤：
S110、获取各初始视频帧。
其中，初始视频帧可以是待提取关键帧的视频中的全部视频帧。
具体的，在确定为某一视频提取关键帧时，可以将该对视频进行分解，得到全部的视频帧。例如，可以使用OpenCV(跨平台计算机视觉和机器学习软件库)分解视频，得到每一帧的视频帧。
S120、确定各初始视频帧的目标参考参数。
其中，目标参考参数包括空间参考参数和/或时间参考参数。空间参考参数可以是针对视频帧内容提取的参考参数。时间参考参数可以是通过前后视频帧的对比提取的参考参数。
具体的，可以根据视频关键帧提取的需求，从时间维度和/或空间维度确定各初始视频帧的目的参考参数。例如，可以从空间维度提取各初始视频帧的明暗度参数，对比度参数，均衡度参数等目标参考参数，还可以从时间维度提取各初始视频帧的镜头边缘变化率等目标参考参数。
S130、基于目标参考参数对各初始视频帧进行过滤，确定至少一个待处理视频帧。
其中，待处理视频帧可以是经过过滤后剩余的初始视频帧，用于后续聚类处理。
具体的，可以根据各初始视频帧的空间参考参数确定各初始视频帧是否为低质量视频帧，例如：是否过暗，是否模糊，是否不均匀等，还可以根据各初始视频帧的时间参考参数确定各初始视频帧是否为转换视频帧等。进而，可以根据目标参考参数对低质量视频帧和转换视频帧进行过滤，以确定至少一个待处理视频帧。
可选的，可以根据目标参考参数阈值确定待处理视频帧：根据目标参考参数阈值以及目标参考参数，对各初始视频帧进行过滤，确定至少一个待处理视频帧。
其中，目标参考参数阈值可以是根据对视频关键帧相关的需求设置的阈值，用于确定各初始视频帧是否适合用于聚类处理提取关键帧。
具体的，若初始视频帧的目标参考参数符合目标参考参数阈值，则可以将该初始视频帧作为待处理视频帧。若初始视频帧的目标参考参数不符合目标参考参数阈值，则可以将该初始视频帧过滤掉。
S140、对待处理视频帧进行聚类处理，确定至少一个目标关键帧。
其中，目标关键帧可以是用于代表视频的待处理视频帧。
具体的，可以是对待处理视频帧的特征进行提取，例如：待处理视频帧的颜色直方图特征等全局特征，利用VGG(Visual Geometry Group，计算机视觉组)提取的特征等。进而，根据提取的特征通过聚类算法进行聚类处理，得到至少一个目标关键帧。
示例性的，可以通过K-means(K-means clustering algorithm，均值聚类算法)对各待处理视频帧的特征进行聚类，聚类可以产生K个类，将每一个类中离聚类中心最近的帧作为该类对应的目标关键帧。
本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的目标参考参数，进而，基于目标参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧和转换视频帧，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。
实施例二
图2为本发明实施例二所提供的一种视频关键帧提取方法的流程示意图，本实施例在上述各实施例的基础上，针对空间参考参数的确定方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图2所示，本实施例的方法具体包括如下步骤：
S210、获取各初始视频帧。
S220、确定各初始视频帧的空间参考参数。
具体的，可以根据各初始视频帧计算得到空间参考参数，以根据各初始视频帧的空间参考参数确定各初始视频帧是否低质量，例如：根据各初始视频帧的空间参考参数中的明暗度参数确定各初始视频帧是否过暗，根据各初始视频帧的空间参考参数中的对比度参数确定各初始视频帧是否模糊，根据各初始视频帧的空间参考参数中的均衡度参数确定各初始视频帧是否不均匀等。
可选的，可以通过下述步骤确定初始视频帧的明暗度参数：
步骤一、确定与当前初始视频帧中与各像素点对应的各通道分量。
其中，初始视频帧是由RGB(红色，绿色，蓝色)三通道组成，通道分量可以是初始视频帧中像素点的红色通道分量，绿色通道分量和蓝色通道分量。
具体的，可以将当前初始视频帧进行分通道处理，例如：使用OpenCV等分解当前初始视频帧。针对分解得到的各通道帧，可以确定各像素点对应的各通道分量。
步骤二、根据当前初始视频帧的宽度，高度以及各通道分量，确定当前初始视频帧的明暗度参数。
其中，明暗度参数可以是用于衡量视频帧亮暗的空间参考参数。
具体的，可以针对各通道赋予对应的权重，根据各通道分量和各权重可以确定当前初始视频帧的明暗图。进而，可以对明暗图中的像素点进行归一化操作并取平均值，得到当前初始视频帧的明暗度参数。
可选的，可以按照如下公式确定当前初始视频帧的明暗度参数：
Figure BDA0003072103310000071
其中，y1表示当前初始视频帧的明暗度参数，i表示当前初始视频帧的第i行，j表示当前初始视频帧的第j列，m表示当前初始视频帧的高度，n表示当前初始视频帧的宽度，Ir表示当前初始视频帧的红色通道图，ωr表示红色通道图所对应的权重，Ig表示当前初始视频帧的绿色通道图，ωg表示绿色通道图所对应的权重，Ib表示当前初始视频帧的蓝色通道图，ωb表示蓝色通道图所对应的权重。
具体的，对当前初始视频帧的各像素点的各通道分量进行加权求和，并将全部像素点的和值进行累加处理，得到当前初始视频帧的明暗度参数和值。进而，将明暗度参数和值除以255得到归一化后的值，再除以m×n得到求平均后得到的平均值，以将得到的值作为当前初始视频帧的明暗度参数。
需要说明的是，通过除以255进行归一化处理和通过除以m×n进行求平均处理，均是为了便于比较不同初始视频帧的明暗度参数。在实际应用中，归一化处理和求平均处理可以全部使用，可以择一使用，也可以都不使用，具体方式可以根据实际应用需求调整。
还需要说明的是，明暗度参数的范围为[0,1]，参数值越大，当前视频帧越亮，参数值越小，当前视频帧越暗。各通道所对应的权重可以根据实际需求进行设定，例如：ωr＝0.2，ωg＝0.7，ωb＝0.1等。
可选的，可以通过下述步骤确定初始视频帧的对比度参数：
步骤一、将当前初始视频帧转化为当前灰度视频帧，并确定当前灰度视频帧中与各像素点对应的灰度值。
其中，灰度视频帧可以是初始视频帧用灰度表示后得到的灰度图。灰度值可以是灰度视频帧中各像素点对应的值。
具体的，可以将当前初始视频帧进行灰度处理得到当前灰度视频帧，进而可以得到当前灰度视频帧中各像素点的灰度值。
步骤二、根据各灰度值，确定与各像素点对应的梯度值。
其中，梯度值包括横向梯度和纵向梯度。
具体的，根据梯度值的计算方式可以计算各像素点在水平方向的横向梯度，和竖直方向的纵向梯度。
步骤三、根据当前初始视频帧的宽度，高度，灰度值以及梯度值确定对比度参数。
其中，对比度参数可以是用于衡量视频帧模糊与否的空间参考参数。
具体的，可以根据各像素点的梯度值和灰度值确定当前初始视频帧的对比度图。进而，可以对对比度图中的像素点取平均值，得到当前初始视频帧的对比度参数。
可选的，可以按照如下公式确定当前初始视频帧的对比度参数：
Figure BDA0003072103310000091
或者，
Figure BDA0003072103310000092
其中，y2表示当前初始视频帧的对比度参数，i表示当前初始视频帧的第i行，j表示当前初始视频帧的第j列，m表示当前初始视频帧的高度，n表示当前初始视频帧的宽度，Igray表示当前初始视频帧的灰度图，Δxij表示当前初始视频帧的第i行第j列的像素点的横向梯度，Δyij表示当前初始视频帧的第i行第j列的像素点的纵向梯度。
具体的，可以将当前初始视频帧的各像素点的灰度值分别乘以该像素点的横向梯度和纵向梯度，得到横向梯度灰度值ΔxijIgray(i,j)和纵向梯度灰度值ΔyijIgray(i,j)。进而，可以对横向梯度灰度值和纵向梯度灰度值分别求平方后求和再进行开方处理，确定当前像素点的对比度参数。还可以是对横向梯度灰度值和纵向梯度灰度值分别求绝对值后在求和，确定当前像素点的对比度参数。上述两种方式均是为了使对比度参数为非负数。在确定各像素点对应的对比度参数后，可以将全部对比度参数求和处理后除以当前初始视频帧的大小(高度×宽度)，以求均值，得到当前初始视频帧的对比度参数。
需要说明的是，通过除以m×n进行求平均处理，是为了便于比较不同初始视频帧的对比度参数。在实际应用中，求平均处理的使用与否可以根据实际应用需求调整。
还需要说明的是，对比度参数的参数值越大，当前视频帧越清晰，参数值越小，当前视频帧越模糊。
可选的，可以通过下述步骤确定初始视频帧的均衡度参数：
步骤一、对当前初始视频帧进行直方图均衡化处理，确定与各灰度级对应的灰度均衡值。
其中，灰度级可以使直方图均衡化处理后确定的不同级别。灰度均衡值可以是与各灰度级对应的频数值。
具体的，对当前初始视频帧进行直方图均衡化处理，可以增强当前初始视频帧的对比度，以使当前初始视频帧近似均匀。进而，可以确定各灰度级对应的频数为灰度均衡值。
步骤二、根据灰度均衡值以及预设均衡比例，确定均衡度参数。
其中，预设均衡比例可以是预先设置的百分比，用于对灰度均衡值进行求和。均衡度参数可以是用于衡量视频帧是否均匀的空间参考参数。
具体的，将各灰度级的灰度均衡值从大至小排列，求排在前预设均衡比例的灰度均衡值的和，作为均衡度参数。
可选的，按照如下公式确定当前初始视频帧的均衡度参数：
y3＝topper(norm_hist(Igray))
其中，y3表示当前初始视频帧的均衡度参数，Igray表示当前初始视频帧的灰度图，norm_hist(Igray)表示灰度均衡值，per表示预设均衡比例，topper表示前预设均衡比例的值。
具体的，统计前预设均衡比例的灰度均衡值，作为均衡度参数。均衡度参数越小，表示当前初始视频帧越均匀，均衡度参数越大，表示当前初始视频帧越不均匀。
需要说明的是，预设均衡比例可以是根据需求设置的值，例如：5％等。预设均衡比例内的灰度均衡值的和值越大，表明当前初始视频帧的灰度级越集中，也就表明当前初始视频帧的灰度值越不均匀。
S230、基于空间参考参数对各初始视频帧进行过滤，确定至少一个待处理视频帧。
S240、对待处理视频帧进行聚类处理，确定至少一个目标关键帧。
本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的空间参考参数，进而，基于空间参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧，提高视频帧的质量，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。
实施例三
图3为本发明实施例三所提供的一种视频关键帧提取方法的流程示意图，本实施例在上述各实施例的基础上，针对时间参考参数的确定方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图3所示，本实施例的方法具体包括如下步骤：
S310、获取各初始视频帧。
S320、确定各初始视频帧的时间参考参数。
具体的，可以根据各初始视频帧计算得到时间参考参数，以根据各初始视频帧的空间参考参数确定各初始视频帧是否为转换视频帧。
需要说明的是，每个视频可以由不同的镜头组合合成，并且，在镜头转换期间可能存在一些特效，这部分视频帧属于转换视频帧，可以通过前后视频帧的对比来去除。
可选的，可以通过如下两种方式确定初始视频帧的时间参考参数：
方式一、根据当前初始视频帧和与当前初始视频帧相邻的前一初始视频帧，确定第一范数；根据当前初始视频帧和与当前初始视频帧相邻的后一初始视频帧，确定第二范数；根据当前初始视频帧的宽度，高度，第一范数和第二范数，确定当前初始视频帧的镜头边缘变化率。
具体的，通过帧间差值可以确定镜头转换期间的初始视频帧。可选的，由于镜头转换期间的帧间差值较大，因此，可以设置预设变化率比例，以确定待过滤初始视频帧的范围，为后续过滤缩小范围。
可选的，按照如下公式确定当前初始视频帧的镜头边缘变化率：
Figure BDA0003072103310000121
其中，y4表示当前初始视频帧的镜头边缘变化率，i表示当前初始视频帧的序号，I(i)表示第i帧初始视频帧，即当前初始视频帧，I(i-1)表示第i-1帧初始视频帧，即与当前初始视频帧相邻的前一初始视频帧，I(i+1)表示第i+1帧初始视频帧，即与当前初始视频帧相邻的后一初始视频帧，m表示当前初始视频帧的高度，n表示当前初始视频帧的宽度，norm(I(i)-I(i-1))表示第一范数，norm(I(i)-I(i+1))表示第二范数，per表示预设变化率比例，topper表示前预设变化率比例的值。
具体的，可以将当前初始视频帧和与当前初始视频帧相邻的前一初始视频帧求差值，并将当前初始视频帧和与当前初始视频帧相邻的后一初始视频帧求差值，以得到两个帧间差值。进而，对两个帧间差值求范数处理，以确定帧间差异度。通过除以2可以确定当前初始视频帧与前后初始视频帧的平均帧间差异度，通过除以m×n可以确定当前初始视频帧的各像素点的平均帧间差异度，并将该平均帧间差异度作为当前初始视频帧的镜头边缘变化率。
方式二、对当前初始视频帧和与当前初始视频帧相邻的前一初始视频帧，确定当前边缘值和邻居边缘值；基于邻居边缘值以及当前边缘值所对应的当前膨胀边缘值，确定淡入边缘变化率；基于邻居边缘值，当前边缘值以及邻居边缘值所对应的邻居膨胀边缘值，确定淡出边缘变化率；基于淡入边缘变化率和淡出边缘变化率，确定当前初始视频帧的镜头边缘变化率。
具体的，镜头转换期间可能会出现如淡入淡出，溶解等特效。此种情况下，可以通过对当前初始视频帧和与当前初始视频帧相邻的前一初始视频帧进行边缘提取，来判断是否存在淡入淡出等特效。
示例性的，针对淡入特效来说，镜头转换期间通常是视频帧由模糊到清晰，此时可以通过对比当前初始视频帧的边缘图像做形态学上的膨胀处理，即模糊化处理。根据模糊化处理后当前膨胀边缘值与前一初始视频帧的邻居边缘值进行“与”操作后求和值，在同前一初始视频帧的邻居边缘值的和值进行点除。最后，同1求差可以得到淡入边缘变化率。同理，可知淡出边缘变化率的计算原理。
可选的，按照如下公式确定当前初始视频帧的淡入边缘变化率：
Figure BDA0003072103310000141
其中，yin表示当前初始视频帧的淡入边缘变化率，i表示当前初始视频帧的序号，Iedge(i-1)表示邻居边缘值，Iedge_dilate(i)表示当前膨胀边缘值。
按照如下公式确定当前初始视频帧的淡出边缘变化率：
Figure BDA0003072103310000142
其中，yout表示当前初始视频帧的淡出边缘变化率，i表示前初始视频帧的序号，Iedge(i)表示当前边缘值，Iedge(i-1)表示邻居边缘值，Iedge_dilate(i-1)表示邻居膨胀边缘值。
按照如下公式确定当前初始视频帧的镜头边缘变化率：
y5＝max(yin,yout)
其中，y5表示当前初始视频帧的镜头边缘变化率，yin表示当前初始视频帧的淡入边缘变化率，yout表示当前初始视频帧的淡出边缘变化率。
具体的，以淡入特效为例，当前初始视频帧和与当前初始视频帧相邻的前一视频帧的画面内容基本一致，只是淡入特效会产生边缘模糊。所以，当前初始视频帧的膨胀后的边缘图像与前一初始视频帧的边缘图像重合率较大。用1.0减去后的值yin就会比较小，便于后续设置阈值判断转换视频帧使用。淡出特效与上述内容类似，因此不再赘述。
需要说明的是，用1.0减去重合率只是为了计算和比较便捷，若不进行减法计算也是符合镜头边缘变化率计算原理的。使用max(yin,yout)可以综合判断当前初始视频帧是否存在淡入或淡出特效，若分别作为时间参考参数进行后续过滤，也是符合本方案需求的。
S330、基于时间参考参数对各初始视频帧进行过滤，确定至少一个待处理视频帧。
S340、对待处理视频帧进行聚类处理，确定至少一个目标关键帧。
本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的时间参考参数，进而，基于时间参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除镜头转换时的视频帧，提高视频帧的质量，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤镜头转换时的视频帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。
实施例四
图4为本发明实施例四所提供的一种视频关键帧提取方法的流程示意图，本实施例在上述各实施例的基础上，针对对待处理视频帧进行聚类处理的方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图4所示，本实施例的方法具体包括如下步骤：
S410、获取各初始视频帧。
S420、确定各初始视频帧的目标参考参数。
S430、基于目标参考参数对各初始视频帧进行过滤，确定至少一个待处理视频帧。
S440、根据各待处理视频帧的序号以及预设步长，确定目标镜头数量。
其中，序号可以是为每个初始视频帧按顺序分配的序号。预设步长可以是预先设置的用于判断镜头数量的序号间隔。目标镜头数量可以是当前视频中包含的镜头数量。
具体的，由于基于目标参考参数进行了低质量视频帧和转换视频帧的过滤，相邻待处理视频帧的序号可能是不连续的。若相邻待处理视频帧的序号间隔过大，则可以认为这两个待处理视频帧分属于两个镜头。也就是，可以通过相邻待处理视频帧的序号的差值与预设步长的比较，确定目标镜头数量。
可选的，可以通过下述方式确定镜头数量：若相邻两个待处理视频帧的序号差值大于或等于预设步长，则目标镜头数量加一；若相邻两个待处理视频帧的序号差值小于预设步长，则目标镜头数量不变。
示例性的，初始视频帧的序号为1-200，通过过滤得到的待处理视频帧的序号为1-25，30-36，38-45，55-70，72-75，88-97，105-120，130-150，155-169，175-199。若预设步长为3，则可以将1-25，30-45，55-75，88-97，105-120，130-150，155-169，175-199分别作为不同目标镜头中的视频帧，即目标镜头数量为8个。
S450、基于目标镜头数量以及各待处理视频帧进行聚类处理，并将各聚类中心所对应的待处理视频帧作为目标关键帧。
具体的，将目标镜头数量作为聚类中心的数量，基于该数量对各待处理视频帧进行聚类处理，在确定各聚类中心后，将每个类中最为接近聚类中心的视频帧确定为与聚类中心对应的待处理视频帧，进而，将这些待处理视频帧作为目标关键帧。
需要说明的是，通常1秒的视频包括24帧初始视频帧。一个2分钟的视频通过过滤和聚类处理可以得到7～8秒的目标关键帧。
本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的目标参考参数，进而，基于目标参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧和转换视频帧，根据各待处理视频帧的序号以及预设步长，确定目标镜头数量，以确定聚类中心的数量，并且，基于目标镜头数量以及各待处理视频帧进行聚类处理，并将各聚类中心所对应的待处理视频帧作为目标关键帧解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。
实施例五
作为上述各实施例的可选实施方案，图5为本发明实施例五所提供的一种视频关键帧提取方法的流程示意图。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
如图5所示，本实施例的方法具体包括如下步骤：
1、输入视频帧(初始视频帧)。
具体的，获取待选取关键帧的视频数据，使用开源工具(如：OpenCV)得到每一帧视频帧(通常1秒视频24帧左右)。
2、过滤视频帧中的低质量视频帧。
其中，低质量视频帧可以是模糊的视频帧，清晰度较差的视频帧，灰度不均匀的视频帧等。
具体的，可以过滤较暗的视频帧，即根据视频帧的明暗程度进行过滤。在确定视频帧的明暗值(明暗度参数)后，通过明暗度阈值T1(如：0.08等)，过滤掉明暗值小于等于T1的视频帧，保留明暗值大于T1的视频帧以进行后续判断。还可以过滤模糊的视频帧，即根据视频帧的模糊程度进行过滤。对于模糊的视频帧判断可以减弱颜色信息，使用灰度图片判别即可。从视频帧的图片内容来看，如果图片内容的锐度越高，说明图片内容细节对比度越高，视频帧越清晰。反之，模糊的视频帧的图片内容细节对比度较低，即锐度较低。在确定视频帧的模糊值(对比度参数)后，通过模糊度阈值T2(如：0.1等)，过滤掉模糊值小于等于T2的视频帧，保留模糊值大于T2的视频帧以进行后续判断。也可以过滤灰度级不均匀的视频帧。在确定视频帧的均衡值(均衡度参数)后，通过均衡度阈值T3(如：0.8等)，过滤掉均衡值大于等于T3的视频帧，保留均衡值小于T3的视频帧以进行后续判断。
3、过滤视频帧中的转换视频帧。
其中，转换视频帧可以是镜头转换期间存在特效的视频帧。
具体的，可以根据前后视频帧的对比来过滤视频转换帧。若是通过帧间差分值确定镜头边缘变化率，通过超参数阈值T4可以过滤掉部分转换视频帧。因为一般镜头的转换视频帧的帧间差分值较大。若是通过淡入边缘变化率和淡出边缘变化率确定镜头边缘变化率，通过超参数阈值T5可以过滤掉镜头转换特效相关的转换视频帧。
4、过滤视频帧中的冗余视频帧，确定目标关键帧。
其中，冗余视频帧可以是与目标关键帧相似度较高的视频帧。
具体的，从空间维度和时间维度过滤低质量视频帧和转换视频帧后，可以获得高质量视频帧。进而，可以通过特征聚类从高质量视频帧中过滤冗余视频帧。可以计算相邻两个视频帧的序号差值，即后一个视频帧的序号Index减去前一个视频帧的序号Index。若差值大于预设的步长Step，则可以将前后两个视频帧判断为前后两个镜头。原因在于：通过步骤2和步骤3可以过滤掉低质量视频帧和转换视频帧，此时余下的视频帧是存在间隔的，间隔过大的两个视频帧可以视为不同镜头的视频帧。在确定目标镜头数量后，将目标镜头数量作为聚类中心的数量，使用Kmeans聚类方法根据视频帧的图像内容的底层特征进行聚类，例如：颜色直方图，LBP(Local Binary Pattern，局部二值模式)特征，HOG(Histogramof Oriented Gradient，方向梯度直方图)特征等。最终，在确定各类心后，可以确定每个镜头中最为接近类心的视频帧，作为目标关键帧。
本发明实施例的技术方案，通过输入视频帧，过滤视频帧中的低质量视频帧和转换视频帧，进而，过滤视频帧中的冗余视频帧，确定目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。
实施例六
图6为本发明实施例六所提供的一种视频关键帧提取装置的结构示意图，该装置包括：初始视频帧获取模块610，目标参考参数确定模块620，待处理视频帧确定模块630和目标关键帧确定模块640。
其中，初始视频帧获取模块610，用于获取各初始视频帧；目标参考参数确定模块620，用于确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；待处理视频帧确定模块630，用于基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；目标关键帧确定模块640，用于对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。
可选的，空间参考参数包括明暗度参数，目标参考参数确定模块620，还用于确定与当前初始视频帧中与各像素点对应的各通道分量；根据当前初始视频帧的宽度，高度以及所述各通道分量，确定所述当前初始视频帧的明暗度参数。
可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的明暗度参数：
Figure BDA0003072103310000201
其中，y1表示所述当前初始视频帧的明暗度参数，i表示所述当前初始视频帧的第i行，j表示所述当前初始视频帧的第j列，m表示所述当前初始视频帧的高度，n表示所述当前初始视频帧的宽度，Ir表示所述当前初始视频帧的红色通道图，ωr表示所述红色通道图所对应的权重，Ig表示所述当前初始视频帧的绿色通道图，ωg表示所述绿色通道图所对应的权重，Ib表示所述当前初始视频帧的蓝色通道图，ωb表示所述蓝色通道图所对应的权重。
可选的，空间参考参数包括对比度参数，目标参考参数确定模块620，还用于将当前初始视频帧转化为当前灰度视频帧，并确定所述当前灰度视频帧中与各像素点对应的灰度值；根据所述各灰度值，确定与所述各像素点对应的梯度值；所述梯度值包括横向梯度和纵向梯度；根据当前初始视频帧的宽度，高度，所述灰度值以及所述梯度值确定对比度参数。
可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的对比度参数：
Figure BDA0003072103310000211
或者，
Figure BDA0003072103310000212
其中，y2表示所述当前初始视频帧的对比度参数，i表示所述当前初始视频帧的第i行，j表示所述当前初始视频帧的第j列，m表示所述当前初始视频帧的高度，n表示所述当前初始视频帧的宽度，Igray表示所述当前初始视频帧的灰度图，Δxij表示所述当前初始视频帧的第i行第j列的像素点的横向梯度，Δyij表示所述当前初始视频帧的第i行第j列的像素点的纵向梯度。
可选的，空间参考参数包括均衡度参数，目标参考参数确定模块620，还用于对当前初始视频帧进行直方图均衡化处理，确定与各灰度级对应的灰度均衡值；根据所述灰度均衡值以及预设均衡比例，确定均衡度参数。
可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的均衡度参数：
y3＝topper(norm_hist(Igray))
其中，y3表示所述当前初始视频帧的均衡度参数，Igray表示所述当前初始视频帧的灰度图，norm_hist(Igray)表示所述灰度均衡值，per表示所述预设均衡比例，topper表示前所述预设均衡比例的值。
可选的，时间参考参数包括镜头边缘变化率，目标参考参数确定模块620，还用于根据当前初始视频帧和与所述当前初始视频帧相邻的前一初始视频帧，确定第一范数；根据所述当前初始视频帧和与所述当前初始视频帧相邻的后一初始视频帧，确定第二范数；根据所述当前初始视频帧的宽度，高度，所述第一范数和所述第二范数，确定所述当前初始视频帧的镜头边缘变化率。
可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的镜头边缘变化率：
Figure BDA0003072103310000221
其中，y4表示所述当前初始视频帧的镜头边缘变化率，i表示所述当前初始视频帧的序号，I(i)表示第i帧初始视频帧，即所述当前初始视频帧，I(i-1)表示第i-1帧初始视频帧，即与所述当前初始视频帧相邻的前一初始视频帧，I(i+1)表示第i+1帧初始视频帧，即与所述当前初始视频帧相邻的后一初始视频帧，m表示所述当前初始视频帧的高度，n表示所述当前初始视频帧的宽度，norm(I(i)-I(i-1))表示所述第一范数，norm(I(i)-I(i+1))表示所述第二范数，per表示预设变化率比例，topper表示前所述预设变化率比例的值。
可选的，时间参考参数包括镜头边缘变化率，目标参考参数确定模块620，还用于对当前初始视频帧和与所述当前初始视频帧相邻的前一初始视频帧，确定当前边缘值和邻居边缘值；基于所述邻居边缘值以及所述当前边缘值所对应的当前膨胀边缘值，确定淡入边缘变化率；基于所述邻居边缘值，所述当前边缘值以及所述邻居边缘值所对应的邻居膨胀边缘值，确定淡出边缘变化率；基于所述淡入边缘变化率和所述淡出边缘变化率，确定所述当前初始视频帧的镜头边缘变化率。
可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的淡入边缘变化率：
Figure BDA0003072103310000231
其中，yin表示所述当前初始视频帧的淡入边缘变化率，i表示所述当前初始视频帧的序号，Iedge(i-1)表示所述邻居边缘值，Iedge_dilate(i)表示所述当前膨胀边缘值；
按照如下公式确定所述当前初始视频帧的淡出边缘变化率：
Figure BDA0003072103310000232
其中，yout表示所述当前初始视频帧的淡出边缘变化率，i表示所述当前初始视频帧的序号，Iedge(i)表示所述当前边缘值，Iedge(i-1)表示所述邻居边缘值，Iedge_dilate(i-1)表示邻居膨胀边缘值；
按照如下公式确定所述当前初始视频帧的镜头边缘变化率：
y5＝max(yin,yout)
其中，y5表示所述当前初始视频帧的镜头边缘变化率，yin表示所述当前初始视频帧的淡入边缘变化率，yout表示所述当前初始视频帧的淡出边缘变化率。
可选的，目标关键帧确定模块640，还用于根据各待处理视频帧的序号以及预设步长，确定目标镜头数量；基于所述目标镜头数量以及所述各待处理视频帧进行聚类处理，并将各聚类中心所对应的待处理视频帧作为目标关键帧。
可选的，目标关键帧确定模块640，还用于若相邻两个待处理视频帧的序号差值大于或等于预设步长，则目标镜头数量加一；若相邻两个待处理视频帧的序号差值小于预设步长，则目标镜头数量不变。
本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的目标参考参数，进而，基于目标参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧和转换视频帧，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。
本发明实施例所提供的视频关键帧提取装置可执行本发明任意实施例所提供的视频关键帧提取方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
实施例七
图7为本发明实施例七所提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施例实施方式的示例性电子设备70的框图。图7显示的电子设备70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备70以通用计算设备的形式表现。电子设备70的组件可以包括但不限于：一个或者多个处理器或者处理单元701，系统存储器702，连接不同系统组件(包括系统存储器702和处理单元701)的总线703。
总线703表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备70典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备70访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器702可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)704和/或高速缓存存储器705。电子设备70可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统706可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线703相连。系统存储器702可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块707的程序/实用工具708，可以存储在例如系统存储器702中，这样的程序模块707包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块707通常执行本发明所描述的实施例中的功能和/或方法。
电子设备70也可以与一个或多个外部设备709(例如键盘、指向设备、显示器710等)通信，还可与一个或者多个使得用户能与该电子设备70交互的设备通信，和/或与使得该电子设备70能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口711进行。并且，电子设备70还可以通过网络适配器712与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器712通过总线703与电子设备70的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备70使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元701通过运行存储在系统存储器702中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的视频关键帧提取方法。
实施例八
本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种视频关键帧提取方法，该方法包括：
获取各初始视频帧；
确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；
基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；
对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种视频关键帧提取方法，其特征在于，包括：
获取各初始视频帧；
确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；
基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；
对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。
2.根据权利要求1所述的方法，其特征在于，所述空间参考参数包括明暗度参数，所述确定所述各初始视频帧的目标参考参数，包括：
确定与当前初始视频帧中与各像素点对应的各通道分量；
根据当前初始视频帧的宽度，高度以及所述各通道分量，确定所述当前初始视频帧的明暗度参数。
3.根据权利要求2所述的方法，其特征在于，所述根据当前初始视频帧的宽度，高度以及所述各通道分量，确定所述当前初始视频帧的明暗度参数，包括：
按照如下公式确定所述当前初始视频帧的明暗度参数：
Figure FDA0003072103300000011
其中，y1表示所述当前初始视频帧的明暗度参数，i表示所述当前初始视频帧的第i行，j表示所述当前初始视频帧的第j列，m表示所述当前初始视频帧的高度，n表示所述当前初始视频帧的宽度，Ir表示所述当前初始视频帧的红色通道图，ωr表示所述红色通道图所对应的权重，Ig表示所述当前初始视频帧的绿色通道图，ωg表示所述绿色通道图所对应的权重，Ib表示所述当前初始视频帧的蓝色通道图，ωb表示所述蓝色通道图所对应的权重。
4.根据权利要求1所述的方法，其特征在于，所述空间参考参数包括对比度参数，所述确定所述各初始视频帧的目标参考参数，包括：
将当前初始视频帧转化为当前灰度视频帧，并确定所述当前灰度视频帧中与各像素点对应的灰度值；
根据所述各灰度值，确定与所述各像素点对应的梯度值；所述梯度值包括横向梯度和纵向梯度；
根据当前初始视频帧的宽度，高度，所述灰度值以及所述梯度值确定对比度参数。
5.根据权利要求4所述的方法，其特征在于，所述根据当前初始视频帧的宽度，高度，所述灰度值以及所述梯度值确定对比度参数，包括：
按照如下公式确定所述当前初始视频帧的对比度参数：
Figure FDA0003072103300000021
或者，
Figure FDA0003072103300000022
其中，y2表示所述当前初始视频帧的对比度参数，i表示所述当前初始视频帧的第i行，j表示所述当前初始视频帧的第j列，m表示所述当前初始视频帧的高度，n表示所述当前初始视频帧的宽度，Igray表示所述当前初始视频帧的灰度图，Δxij表示所述当前初始视频帧的第i行第j列的像素点的横向梯度，Δyij表示所述当前初始视频帧的第i行第j列的像素点的纵向梯度。
6.根据权利要求1所述的方法，其特征在于，所述空间参考参数包括均衡度参数，所述确定所述各初始视频帧的目标参考参数，包括：
对当前初始视频帧进行直方图均衡化处理，确定与各灰度级对应的灰度均衡值；
根据所述灰度均衡值以及预设均衡比例，确定均衡度参数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述灰度均衡值以及预设均衡比例，确定均衡度参数，包括：
按照如下公式确定所述当前初始视频帧的均衡度参数：
y3＝topper(norm_hist(Igray))
其中，y3表示所述当前初始视频帧的均衡度参数，Igray表示所述当前初始视频帧的灰度图，norm_hist(Igray)表示所述灰度均衡值，per表示所述预设均衡比例，topper表示前所述预设均衡比例的值。
8.根据权利要求1所述的方法，其特征在于，所述时间参考参数包括镜头边缘变化率，所述确定所述各初始视频帧的目标参考参数，包括：
根据当前初始视频帧和与所述当前初始视频帧相邻的前一初始视频帧，确定第一范数；
根据所述当前初始视频帧和与所述当前初始视频帧相邻的后一初始视频帧，确定第二范数；
根据所述当前初始视频帧的宽度，高度，所述第一范数和所述第二范数，确定所述当前初始视频帧的镜头边缘变化率。
9.根据权利要求8所述的方法，其特征在于，所述根据所述当前初始视频帧的宽度，高度，所述第一范数和所述第二范数，确定所述当前初始视频帧的镜头边缘变化率，包括：
按照如下公式确定所述当前初始视频帧的镜头边缘变化率：
Figure FDA0003072103300000041
其中，y4表示所述当前初始视频帧的镜头边缘变化率，i表示所述当前初始视频帧的序号，I(i)表示第i帧初始视频帧，即所述当前初始视频帧，I(i-1)表示第i-1帧初始视频帧，即与所述当前初始视频帧相邻的前一初始视频帧，I(i+1)表示第i+1帧初始视频帧，即与所述当前初始视频帧相邻的后一初始视频帧，m表示所述当前初始视频帧的高度，n表示所述当前初始视频帧的宽度，norm(I(i)-I(i-1))表示所述第一范数，norm(I(i)-I(i+1))表示所述第二范数，per表示预设变化率比例，topper表示前所述预设变化率比例的值。
10.根据权利要求1所述的方法，其特征在于，所述时间参考参数包括镜头边缘变化率，所述确定所述各初始视频帧的目标参考参数，包括：
对当前初始视频帧和与所述当前初始视频帧相邻的前一初始视频帧，确定当前边缘值和邻居边缘值；
基于所述邻居边缘值以及所述当前边缘值所对应的当前膨胀边缘值，确定淡入边缘变化率；
基于所述邻居边缘值，所述当前边缘值以及所述邻居边缘值所对应的邻居膨胀边缘值，确定淡出边缘变化率；
基于所述淡入边缘变化率和所述淡出边缘变化率，确定所述当前初始视频帧的镜头边缘变化率。
11.根据权利要求10所述的方法，其特征在于，所述基于所述邻居边缘值以及所述当前边缘值所对应的当前膨胀边缘值，确定淡入边缘变化率，包括：
按照如下公式确定所述当前初始视频帧的淡入边缘变化率：
Figure FDA0003072103300000051
其中，yin表示所述当前初始视频帧的淡入边缘变化率，i表示所述当前初始视频帧的序号，Iedge(i-1)表示所述邻居边缘值，Iedge_dilate(i)表示所述当前膨胀边缘值；
相应的，所述基于所述邻居边缘值，所述当前边缘值以及所述邻居边缘值所对应的邻居膨胀边缘值，确定淡出边缘变化率，包括：
按照如下公式确定所述当前初始视频帧的淡出边缘变化率：
Figure FDA0003072103300000052
其中，yout表示所述当前初始视频帧的淡出边缘变化率，i表示所述当前初始视频帧的序号，Iedge(i)表示所述当前边缘值，Iedge(i-1)表示所述邻居边缘值，Iedge_dilate(i-1)表示邻居膨胀边缘值；
相应的，所述基于所述淡入边缘变化率和所述淡出边缘变化率，确定所述当前初始视频帧的镜头边缘变化率，包括：
按照如下公式确定所述当前初始视频帧的镜头边缘变化率：
y5＝max(yin,yout)
其中，y5表示所述当前初始视频帧的镜头边缘变化率，yin表示所述当前初始视频帧的淡入边缘变化率，yout表示所述当前初始视频帧的淡出边缘变化率。
12.根据权利要求1所述的方法，其特征在于，所述对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧，包括：
根据各待处理视频帧的序号以及预设步长，确定目标镜头数量；
基于所述目标镜头数量以及所述各待处理视频帧进行聚类处理，并将各聚类中心所对应的待处理视频帧作为目标关键帧。
13.根据权利要求12所述的方法，其特征在于，所述根据各待处理视频帧的序号以及预设步长，确定目标镜头数量，包括：
若相邻两个待处理视频帧的序号差值大于或等于预设步长，则目标镜头数量加一；
若相邻两个待处理视频帧的序号差值小于预设步长，则目标镜头数量不变。
14.一种视频关键帧提取装置，其特征在于，包括：
初始视频帧获取模块，用于获取各初始视频帧；
目标参考参数确定模块，用于确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；
待处理视频帧确定模块，用于基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；
目标关键帧确定模块，用于对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。
CN202110541820.1A 2021-05-18 2021-05-18 视频关键帧提取方法、装置、电子设备及存储介质 Pending CN113269205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110541820.1A CN113269205A (zh) 2021-05-18 2021-05-18 视频关键帧提取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110541820.1A CN113269205A (zh) 2021-05-18 2021-05-18 视频关键帧提取方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113269205A true CN113269205A (zh) 2021-08-17

Family

ID=77231521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110541820.1A Pending CN113269205A (zh) 2021-05-18 2021-05-18 视频关键帧提取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113269205A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676752A (zh) * 2021-09-01 2021-11-19 上海漫酷网络技术有限公司 一种互联网视频广告关键帧提取方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108882057A (zh) * 2017-05-09 2018-11-23 北京小度互娱科技有限公司 视频摘要生成方法及装置
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
WO2019085941A1 (zh) * 2017-10-31 2019-05-09 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN110334753A (zh) * 2019-06-26 2019-10-15 Oppo广东移动通信有限公司 视频分类方法、装置、电子设备及存储介质
CN111339367A (zh) * 2020-02-18 2020-06-26 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN112507988A (zh) * 2021-02-04 2021-03-16 联仁健康医疗大数据科技股份有限公司 一种图像处理方法、装置、存储介质及电子设备
CN113762016A (zh) * 2021-01-05 2021-12-07 北京沃东天骏信息技术有限公司 关键帧选取方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108882057A (zh) * 2017-05-09 2018-11-23 北京小度互娱科技有限公司 视频摘要生成方法及装置
WO2019085941A1 (zh) * 2017-10-31 2019-05-09 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN110334753A (zh) * 2019-06-26 2019-10-15 Oppo广东移动通信有限公司 视频分类方法、装置、电子设备及存储介质
CN111339367A (zh) * 2020-02-18 2020-06-26 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113762016A (zh) * 2021-01-05 2021-12-07 北京沃东天骏信息技术有限公司 关键帧选取方法和装置
CN112507988A (zh) * 2021-02-04 2021-03-16 联仁健康医疗大数据科技股份有限公司 一种图像处理方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马振磊;丁昕苗;柳婵娟;李亚庆;: "基于距离阈值聚类的关键帧提取方法", 鲁东大学学报(自然科学版), no. 02, 15 April 2018 (2018-04-15), pages 36 - 43 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676752A (zh) * 2021-09-01 2021-11-19 上海漫酷网络技术有限公司 一种互联网视频广告关键帧提取方法

Similar Documents

Publication Publication Date Title
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
US10169655B2 (en) Detection of logos in a sequence of video frames
US8244044B2 (en) Feature selection and extraction
US20070195993A1 (en) Method for video object segmentation
US20150125074A1 (en) Apparatus and method for extracting skin area to block harmful content image
CN108229346B (zh) 使用有符号的前景提取与融合的视频摘要
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN109409210B (zh) 一种基于ssd框架的人脸检测方法及系统
CN113344826A (zh) 图像处理方法、装置、电子设备及存储介质
CN115131714A (zh) 视频图像智能检测分析方法及系统
CN110555863A (zh) 一种运动目标检测方法、装置和计算机可读存储介质
CN114298985B (zh) 缺陷检测方法、装置、设备及存储介质
CN115909353A (zh) 一种图像二值化处理方法和装置
CN113269205A (zh) 视频关键帧提取方法、装置、电子设备及存储介质
CN111383191A (zh) 用于血管断裂修复的图像处理方法及装置
CN113485615B (zh) 基于计算机视觉的典型应用智能图文教程制作的方法及系统
WO2020087434A1 (zh) 一种人脸图像清晰度评价方法及装置
CN112101091B (zh) 视频分类方法、电子设备和存储介质
CN110475139B (zh) 一种视频字幕的遮挡方法、装置、存储介质及电子设备
CN111369477A (zh) 一种针对视频恢复任务的预分析和工具自适应的方法
CN113627342B (zh) 视频深度特征提取优化的方法、系统、设备及存储介质
CN114418848B (zh) 视频处理方法、装置、存储介质及电子设备
Zhou et al. An improved algorithm using weighted guided coefficient and union self‐adaptive image enhancement for single image haze removal
CN110580706A (zh) 一种视频背景模型的提取方法及装置
CN113486788A (zh) 视频相似度确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination