CN113762016A - 关键帧选取方法和装置 - Google Patents

关键帧选取方法和装置 Download PDF

Info

Publication number
CN113762016A
CN113762016A CN202110009429.7A CN202110009429A CN113762016A CN 113762016 A CN113762016 A CN 113762016A CN 202110009429 A CN202110009429 A CN 202110009429A CN 113762016 A CN113762016 A CN 113762016A
Authority
CN
China
Prior art keywords
video frame
video
selectable
video frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110009429.7A
Other languages
English (en)
Inventor
左鑫孟
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110009429.7A priority Critical patent/CN113762016A/zh
Publication of CN113762016A publication Critical patent/CN113762016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了关键帧选取方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收关键帧选取请求，根据选取请求确定目标视频，获取目标视频对应的多个视频帧；按照预设的过滤规则，根据多个视频帧的特征信息，对多个视频帧进行过滤处理，其中，过滤规则包括空间维度过滤规则和时间维度过滤规则；对过滤处理后的多个视频帧进行聚类处理，获得至少一类视频帧，根据至少一类视频帧的中心，选取目标视频对应的关键帧。该实施方式能够在空间维度和时间维度过滤掉低质量视频帧，还能够从聚类角度去除冗余信息，从而可以快速准确地选取关键帧。

Description

关键帧选取方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种关键帧选取方法和装置。
背景技术
视频由成千上万的视频帧组成，相比图片来说，其包含的信息更加丰富。但是视频帧间存在大量冗余信息，而视频关键帧可以看成是视频中能够反映主要内容的图片，因此如何选取关键帧具有重要意义。目前，主要采用如下三种方法选取视频帧：一、基于特征的关键帧选取方法；二、基于聚类的关键帧选取方法；三、基于综合算法的关键帧选取方法。
但是，现有选取视频帧的方法存在如下问题：基于特征的关键帧选取方法，存在选取速度慢和计算量大的问题；基于聚类的关键帧选取方法，存在误差大和计算资源消耗大的问题；基于综合算法的关键帧选取方法，存在漏帧情况较为严重的问题；上述三种方法，选取的关键帧存在冗余信息。
发明内容
有鉴于此，本发明实施例提供一种关键帧选取方法和装置，能够在空间维度和时间维度过滤掉低质量视频帧，还能够从聚类角度去除冗余信息，从而可以快速准确地选取关键帧。
为实现上述目的，根据本发明实施例的一个方面，提供了一种关键帧选取方法。
本发明实施例的关键帧选取方法，包括：接收关键帧选取请求，根据所述选取请求确定目标视频，获取所述目标视频对应的多个视频帧；按照预设的过滤规则，根据所述多个视频帧的特征信息，对所述多个视频帧进行过滤处理，其中，所述过滤规则包括空间维度过滤规则和时间维度过滤规则；对过滤处理后的所述多个视频帧进行聚类处理，获得至少一类视频帧，根据所述至少一类视频帧的中心，选取所述目标视频对应的关键帧。
可选地，所述按照预设的过滤规则，根据所述多个视频帧的特征信息，对所述多个视频帧进行过滤处理，包括：按照预设的空间维度过滤规则，根据所述多个视频帧的第一特征信息，对所述多个视频帧进行过滤处理，以在空间维度过滤掉低质量视频帧，得到多个可选视频帧；按照预设的时间维度过滤规则，根据所述多个可选视频帧对应的第二特征信息，对所述多个可选视频帧进行过滤处理，以在时间维度过滤掉低质量视频帧。
可选地，所述第一特征信息包括：图片明暗值、图片锐度值和图片均衡值；以及，所述按照预设的空间维度过滤规则，根据所述多个视频帧的第一特征信息，对所述多个视频帧进行过滤处理，包括：针对所述多个视频帧中的一个视频帧，若所述一个视频帧的第一特征信息符合以下选项中至少一项，则将所述一个视频帧过滤掉：所述一个视频帧的图片明暗值不大于预设的明暗度阈值；所述一个视频帧的图片锐度值不大于预设的锐度阈值；所述一个视频帧的图片均衡值不小于预设的均衡度阈值。
可选地，所述方法还包括：根据所述一个视频帧的颜色通道RGB值，计算所述一个视频帧的图片明暗值；根据所述一个视频帧的灰度值，引入所述一个视频帧的像素梯度，计算所述一个视频帧的锐度值；以及，对所述一个视频帧进行直方图均衡化处理，获得直方图均衡化处理后的灰度级，然后根据所述直方图均衡化处理后的灰度级，计算所述一个视频帧的图片均衡值。
可选地，所述第二特征信息包括：帧间微分值和镜头边缘变化率；以及，所述按照预设的时间维度过滤规则，根据所述多个可选视频帧对应的第二特征信息，对所述多个可选视频帧进行过滤处理，包括：针对所述多个可选视频帧中的一个可选视频帧，若所述一个可选视频帧对应的第二特征信息符合以下选项中至少一项，则将所述一个可选视频帧过滤掉：所述一个可选视频帧对应的帧间微分值大于预设的帧间微分阈值；所述一个可选视频帧对应的镜头边缘变化率大于预设的镜头边缘变化阈值。
可选地，所述方法还包括：计算所述一个可选视频帧与所述一个可选视频帧对应的前一个可选视频帧之间的第一差值，计算所述一个可选视频帧与所述一个可选视频帧对应的后一个可选视频帧之间的第二差值；对所述第一差值和所述第二差值进行归一化处理，利用归一化处理后的所述第一差值和所述第二差值，计算所述一个可选视频帧对应的帧间微分值。
可选地，所述方法还包括：对所述一个可选视频帧对应的后一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的所述后一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡入边缘变化率；对所述一个可选视频帧对应的前一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的所述前一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡出边缘变化率；选择所述淡入边缘变化率和所述淡出边缘变化率的最大值作为所述一个可选视频帧对应的镜头边缘变化率。
可选地，所述计算膨胀处理后的所述后一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡入边缘变化率，包括：将膨胀处理后的所述后一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片进行与操作后求和，得到第一像素点和值；将所述第一像素点和值与所述一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到所述一个可选视频帧对应的淡入边缘变化率。
可选地，所述计算膨胀处理后的所述前一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡出边缘变化率，包括：将膨胀处理后的所述前一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片进行与操作后求和，得到第二像素点和值；将所述第二像素点和值与所述一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到所述一个可选视频帧对应的淡出边缘变化率。
可选地，所述对过滤处理后的所述多个视频帧进行聚类处理，获得至少一类视频帧，根据所述至少一类视频帧的中心，选取所述目标视频对应的关键帧，包括：基于预设的步长，根据过滤处理后的所述多个视频帧，确定镜头个数；利用聚类算法，按照所述镜头个数对过滤处理后的所述多个视频帧进行聚类处理，获得所述至少一类视频帧，确定所述至少一类视频帧的中心；针对每类视频帧，选取最接近该类视频帧的中心的视频帧为该类视频帧对应的关键帧，以得到所述目标视频对应的关键帧。
为实现上述目的，根据本发明实施例的再一个方面，提供了一种关键帧选取装置。
本发明实施例的关键帧选取装置，包括：获取模块，用于接收关键帧选取请求，根据所述选取请求确定目标视频，获取所述目标视频对应的多个视频帧；过滤模块，用于按照预设的过滤规则，根据所述多个视频帧的特征信息，对所述多个视频帧进行过滤处理，其中，所述过滤规则包括空间维度过滤规则和时间维度过滤规则；选取模块，用于对过滤处理后的所述多个视频帧进行聚类处理，获得至少一类视频帧，根据所述至少一类视频帧的中心，选取所述目标视频对应的关键帧。
可选地，所述过滤模块还用于：按照预设的空间维度过滤规则，根据所述多个视频帧的第一特征信息，对所述多个视频帧进行过滤处理，以在空间维度过滤掉低质量视频帧，得到多个可选视频帧；按照预设的时间维度过滤规则，根据所述多个可选视频帧对应的第二特征信息，对所述多个可选视频帧进行过滤处理，以在时间维度过滤掉低质量视频帧。
可选地，所述第一特征信息包括：图片明暗值、图片锐度值和图片均衡值；以及，所述过滤模块还用于：针对所述多个视频帧中的一个视频帧，若所述一个视频帧的第一特征信息符合以下选项中至少一项，则将所述一个视频帧过滤掉：所述一个视频帧的图片明暗值不大于预设的明暗度阈值；所述一个视频帧的图片锐度值不大于预设的锐度阈值；所述一个视频帧的图片均衡值不小于预设的均衡度阈值。
可选地，所述装置还包括计算模块，用于：根据所述一个视频帧的颜色通道RGB值，计算所述一个视频帧的图片明暗值；根据所述一个视频帧的灰度值，引入所述一个视频帧的像素梯度，计算所述一个视频帧的锐度值；以及，对所述一个视频帧进行直方图均衡化处理，获得直方图均衡化处理后的灰度级，然后根据所述直方图均衡化处理后的灰度级，计算所述一个视频帧的图片均衡值。
可选地，所述第二特征信息包括：帧间微分值和镜头边缘变化率；以及，所述过滤模块还用于：针对所述多个可选视频帧中的一个可选视频帧，若所述一个可选视频帧对应的第二特征信息符合以下选项中至少一项，则将所述一个可选视频帧过滤掉：所述一个可选视频帧对应的帧间微分值大于预设的帧间微分阈值；所述一个可选视频帧对应的镜头边缘变化率大于预设的镜头边缘变化阈值。
可选地，所述计算模块还用于：计算所述一个可选视频帧与所述一个可选视频帧对应的前一个可选视频帧之间的第一差值，计算所述一个可选视频帧与所述一个可选视频帧对应的后一个可选视频帧之间的第二差值；对所述第一差值和所述第二差值进行归一化处理，利用归一化处理后的所述第一差值和所述第二差值，计算所述一个可选视频帧对应的帧间微分值。
可选地，所述计算模块还用于：对所述一个可选视频帧对应的后一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的所述后一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡入边缘变化率；对所述一个可选视频帧对应的前一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的所述前一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡出边缘变化率；选择所述淡入边缘变化率和所述淡出边缘变化率的最大值作为所述一个可选视频帧对应的镜头边缘变化率。
可选地，所述计算模块还用于：将膨胀处理后的所述后一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片进行与操作后求和，得到第一像素点和值；将所述第一像素点和值与所述一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到所述一个可选视频帧对应的淡入边缘变化率。
可选地，所述计算模块还用于：将膨胀处理后的所述前一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片进行与操作后求和，得到第二像素点和值；将所述第二像素点和值与所述一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到所述一个可选视频帧对应的淡出边缘变化率。
可选地，所述选取模块还用于：基于预设的步长，根据过滤处理后的所述多个视频帧，确定镜头个数；利用聚类算法，按照所述镜头个数对过滤处理后的所述多个视频帧进行聚类处理，获得所述至少一类视频帧，确定所述至少一类视频帧的中心；针对每类视频帧，选取最接近该类视频帧的中心的视频帧为该类视频帧对应的关键帧，以得到所述目标视频对应的关键帧。
为实现上述目的，根据本发明实施例的另一个方面，提供了一种电子设备。
本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例的关键帧选取方法。
为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例的关键帧选取方法。
上述发明中的一个实施例具有如下优点或有益效果：可以按照预设的空间维度过滤规则和时间维度过滤规则对目标视频对应的多个视频帧进行过滤处理，能够在空间维度和时间维度过滤掉低质量视频帧，解决了现有技术存在的误差大和计算资源消耗大的问题；采用聚类技术对过滤处理后的多个视频帧进行分类，接着结合每类视频帧的中心选取关键帧，能够从聚类角度去除冗余信息，解决了现有技术存在的选取的关键帧存在冗余信息的问题，从而可以快速准确地选取关键帧，进一步解决了现有技术存在的漏帧问题。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的关键帧选取方法的主要步骤的示意图；
图2是根据本发明实施例的对多个视频帧进行过滤处理的主要步骤的示意图；
图3是根据本发明实施例的从过滤处理后的多个视频帧中选取关键帧的主要过程的示意图；
图4是根据本发明实施例的关键帧选取方法的主要过程的示意图；
图5是根据本发明实施例的关键帧选取装置的主要模块的示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
视频关键帧可以看成是视频中能够反映主要内容的图片，对于很多应用场景，如何从成千上万的视频帧中选取出关键帧具有重要意义。比如视频审核场景，在对视频文件内容审核时，原来需要对整个视频镜头做审核，但是通过关键帧选取技术，可以仅对选取出的关键帧图片进行审核，能够降低成本，提高效率，还降低了其他冗余信息的干扰。关键帧选取技术的应用场景除了视频审核外，还可以包括视频检索、视频结构化、视频摘要等。
现有技术，关键帧选取方法主要包括：基于特征的关键帧选取方法、基于聚类的关键帧选取方法以及基于综合算法的关键帧选取方法。其中，基于特征的关键帧选取方法存在选取速度慢以及计算量大的问题，且选取的关键帧中存在冗余信息，导致关键帧对应的图片质量不高；基于聚类的关键帧选取方法选取的关键帧存在较大误差，需要采用网络模型提取特征，导致计算资源消耗大，还有选取的关键帧中存在冗余信息，导致关键帧对应的图片质量不高；基于综合算法的关键帧选取方法在实际应用中速度较快，但漏帧情况较为严重。且该方法需要使用底层编解码方法，会导致选取的关键帧中存在冗余信息，进而造成图片模糊。
为了解决上述问题，本发明实施例提供一种关键帧选取方法，能够快速准确地实现关键帧选取。图1是根据本发明实施例的关键帧选取方法的主要步骤的示意图。如图1所示，关键帧选取方法的主要步骤可以包括步骤S101至步骤S103。
步骤S101：接收关键帧选取请求，根据选取请求确定目标视频，获取目标视频对应的多个视频帧。
其中，目标视频是指需要选取关键帧的视频。本发明实施例中，可以直接根据关键帧选取请求，确定目标视频。接着，可以采用开源工具按照一定间隔对目标视频进行截取，获取该目标视频对应的多个视频帧，如1秒视频对应24个视频帧。另一方面，开源工具可以选择OpenCV，其由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。
步骤S102：按照预设的过滤规则，根据多个视频帧的特征信息，对多个视频帧进行过滤处理。其中，过滤规则可以包括：空间维度过滤规则和时间维度过滤规则。特征信息是指视频帧具有的特征，如图片明暗值。
从空间维度(即图片内容)考虑，多个视频帧中包含较暗的视频帧、模糊的视频帧以及不均衡的视频帧。模糊的视频帧属于低质量视频帧，其图片内容模糊；较暗的视频帧和不均衡的视频帧会对图片内容识别引入误差，且会增加计算量。其中，若某视频帧对应的图片内容质量低，不能反映视频中的主要内容，则该视频帧为低质量视频帧。因此，关键帧选取方法中，需要将较暗的视频帧、模糊的视频帧以及不均衡的视频帧过滤掉。本发明实施例中，可以按照空间维度过滤规则，结合视频帧的特征信息对多个视频帧进行过滤处理，以便在空间维度过滤掉低质量视频帧。
每个视频是由不同镜头组合合成的，也即，每个视频由一个镜头转换到另一个镜头，会出现镜头转换帧。另一方面，在镜头转换期间存在一些特效，如淡入淡出(即视频画面的渐显和渐隐；画面由暗变亮，最后完全清晰，这个镜头的开端叫淡入，又叫渐显；画面由亮转暗，以至完全隐没，这个镜头的末尾叫淡出，也叫渐隐)。镜头转换帧和镜头转换期间特效部分对应的视频帧均不属于高质量视频帧的范围。从时间维度考虑，可以通过前后视频帧的对比，将这些视频帧过滤掉。本发明实施例中，可以按照时间维度过滤规则，结合视频帧的特征信息对多个视频帧进行过滤处理，以便在时间维度过滤掉低质量视频帧。
步骤S103：对过滤处理后的多个视频帧进行聚类处理，获得至少一类视频帧，根据至少一类视频帧的中心，选取目标视频对应的关键帧。
上述步骤S102可以从空间维度和时间维度将多个视频帧中的低质量视频帧过滤掉，获得高质量视频帧。步骤S103主要用于去除获得的高质量视频帧中的冗余帧，最后得到关键帧。具体的，首先可以采用聚类算法对过滤处理后的多个视频帧进行处理，得到至少一类视频帧；接着利用每类视频帧的中心，从每类视频帧中选取出每类视频帧对应的关键帧，即目标视频对应的关键帧。
本发明实施例的关键帧选取技术，可以按照预设的空间维度过滤规则和时间维度过滤规则对目标视频对应的多个视频帧进行过滤处理，能够在空间维度和时间维度过滤掉低质量视频帧，解决了现有技术存在的误差大和计算资源消耗大的问题；采用聚类技术对过滤处理后的多个视频帧进行分类，接着结合每类视频帧的中心选取关键帧，能够从聚类角度去除冗余信息，解决了现有技术存在的选取的关键帧存在冗余信息的问题，从而可以快速准确地选取关键帧，进一步解决了现有技术存在的漏帧问题。
将多个视频帧中的低质量视频帧过滤掉，是后续利用聚类技术进行关键帧选取的基础。图2是根据本发明实施例的对多个视频帧进行过滤处理的主要步骤的示意图。如图2所示，对多个视频帧进行过滤处理的主要步骤，可以包括：
步骤S201，按照预设的空间维度过滤规则，根据多个视频帧的第一特征信息，对多个视频帧进行过滤处理，以在空间维度过滤掉低质量视频帧，得到多个可选视频帧；
步骤S202，按照预设的时间维度过滤规则，根据多个可选视频帧对应的第二特征信息，对多个可选视频帧进行过滤处理，以在时间维度过滤掉低质量视频帧。
本发明实施例的对多个视频帧进行过滤处理主要包括从空间维度进行过滤处理和从时间维度进行过滤处理。上文已经介绍从空间维度(即图片内容)考虑，多个视频帧中包含较暗的视频帧、模糊的视频帧以及不均衡的视频帧。由于视频存在大量运动模糊的视频帧，以及较暗的视频帧和不均衡的视频帧，因此为了减少计算量，作为本发明的优选实施例，可以先从空间维度将低质量视频帧过滤掉，然后再从时间维度将低质量视频帧过滤掉。另一方面，对于时间维度上的低质量视频帧，可以通过前后视频帧的对比将其过滤掉。所以，先从空间维度将低质量视频帧过滤掉，能够一定程度上(即在空间维度)保证过滤后的视频帧为高质量视频帧，再从时间维度将低质量视频帧过滤掉，从而可以减少关键帧选取的误差。接下来，具体说明从空间维度和时间维度过滤低质量视频帧的过程。
(一)从空间维度过滤低质量视频帧
本发明实施例中，第一特征信息可以包括：图片明暗值、图片锐度值和图片均衡值。以及，按照预设的空间维度过滤规则，根据多个视频帧的第一特征信息，对多个视频帧进行过滤处理，可以包括：针对多个视频帧中的一个视频帧，若一个视频帧的第一特征信息符合以下选项中至少一项，则将一个视频帧过滤掉：一个视频帧的图片明暗值不大于预设的明暗度阈值；一个视频帧的图片锐度值不大于预设的锐度阈值；一个视频帧的图片均衡值不小于预设的均衡度阈值。也就是说，可以利用视频帧的图片明暗值、图片锐度值和图片均衡值，将目标视频对应的多个视频帧中的较暗的视频帧、模糊的视频帧以及不均衡的视频帧过滤掉，接下来详细说明过滤过程。
a.过滤较暗的视频帧
由于较暗的视频帧会对图片内容识别引入误差，且会增加计算量，属于低质量视频帧，那么需要将目标视频对应的多个视频帧中的较暗的视频帧过滤掉。本发明实施例中，可以根据视频帧的图片明暗值(即，视频帧对应的图片的明暗程度)进行过滤。视频帧是由RGB(红色，绿色，蓝色)三通道组成，对每个通道赋予不同的权重，得到视频帧对应的三通道明暗图，接着对该三通道明暗图的像素点进行归一化操作，并取平均值，最后得到视频帧的图片明暗值，计算公式如下：
Figure BDA0002884673760000111
其中，y1表示一个视频帧的图片明暗值；i和j表示该视频帧对应的图片像素点；m、n分别表示该视频帧对应的图片的宽与高；Ir、Ig和Ib分别表示该视频帧对应的红色通道、绿色通道和蓝色通道；f1、f2和f3分别表示不同通道对应的权重。另一方面，利用公式(1)计算得到的视频帧的图片明暗值的范围在[0,1]之间，且图片明暗值越大，则表明该视频帧对应的图片越明亮。
针对一个视频帧，可以按照公式(1)计算该视频帧的图片明暗值，然后判断该视频帧的图片明暗值是否不大于预设的明暗度阈值T1(可以但不限于为0.08)；若是，则确认该视频帧为低质量视频帧，将该视频帧过滤掉；若否，则确认该视频帧的明暗程度验证通过。
b.过滤模糊的视频帧
由于模糊的视频帧对应的图片内容模糊，属于低质量视频帧，所以需要将目标视频对应的多个视频帧中的模糊的视频帧过滤掉，也即，可以根据图片内容的模糊程度进行过滤。从视频帧对应的图片内容分析，若图片内容的锐度值越高，则说明图片细节对比度越高，那么图片越清晰，反之，若图片内容的锐度值越低，则说明图片细节对比度越低，那么图片越模糊，因此可以利用视频帧的图片锐度值判别该视频帧对应的图片内容的模糊程度。另一方面，对于模糊的视频帧的判别，可以减弱颜色信息对模糊程度的影响，那么使用灰度信息判别即可；还有，像素梯度表示像素点在横向和纵向的变化情况，且模糊图片的相邻像素变化较小，即像素梯度较小。综上考虑，视频帧的图片锐度值的计算中，可以引入像素梯度作为视频帧的灰度值的乘性因子，计算公式如下：
Figure BDA0002884673760000121
为了提升算法的计算速度，公式(2)可以简化为如下公式：
Figure BDA0002884673760000122
其中，y2表示一个视频帧的图片锐度值；i和j表示该视频帧对应的图片像素点；m、n分别表示该视频帧对应的图片的宽与高；Igray(i,j)表示该视频帧对应的图片像素点的灰度值；Δx和Δy分别表示视频帧对应的图片像素点在横向和纵向的梯度。利用公式(3)计算得到的视频帧的图片锐度值的范围在[0,1]之间，且图片锐度值越大，则表明该视频帧对应的图片越清晰。
针对一个视频帧，可以按照公式(3)计算该视频帧的图片锐度值，然后判断该视频帧的图片锐度值是否不大于预设的明暗度阈值T2(可以但不限于为0.1)；若是，则确认该视频帧为低质量视频帧，将该视频帧过滤掉；若否，则确认该视频帧的模糊程度验证通过。
c.过滤不均衡的视频帧
由于不均衡的视频帧会对图片内容识别引入误差，且会增加计算量，属于低质量视频帧，那么需要将目标视频对应的多个视频帧中的不均衡的视频帧过滤掉。本发明实施例中，可以根据视频帧的图片均衡值(即，视频帧对应的图片的均衡程度或均匀程度)进行过滤。本发明实施例中，可以首先对一个视频帧进行直方图均衡化处理，获得均衡化出来后的灰度级，然后根据直方图均衡化处理后的灰度级，计算一个视频帧的图片均衡值。
其中，图片直方图(即一种二维统计图表，它的两个坐标分别是统计样本和该样本对应的某个属性的度量)是用以表示数字图片中亮度分布的直方图，标绘了图片中每个亮度值的像素数，其可以用来表征该图片像素值的分布情况。而直方图均衡化是一种借助直方图变换实现灰度映射从而达到图像增强目的的方法，其是对图像灰度值进行归一化的一个非常好的方法，可以增强图像的对比度。因此，在对视频帧的进行直方图均衡化处理后，可以更好的观察图片整体对比度，也即，可以更好的观察视频帧对应的图片的均衡程度。如下公式可以用于计算视频帧的图片均衡值：
Figure BDA0002884673760000131
其中，y3表示一个视频帧的图片均衡值；Igray表示该视频帧对应的图片的灰度值；norm_hist(Igray)表示对视频帧对应的图片进行直方图均衡化处理，由于直方图均衡化处理为现有技术，此处不作详细说明。对图片的灰度值进行直方图均衡化处理后，可以得到新的灰度级。举例来说，某视频帧对应的图片灰度级范围为[0,7]中的整数，进行直方图均衡化处理后，得到新的灰度级为[1,3,5,6,7]。需要注意的是，上述例子仅为了便于理解，没有进行归一化处理。然后，对新的灰度级按照从大到小进行排序，选择排序靠前的f4％的灰度级之和作为该视频帧的图片均衡值，其中f4为预设的参数值，比如选择f4为5，也即，选择排序前5％的灰度级之和作为该视频帧的图片均衡值。利用公式(4)计算得到的视频帧的图片均衡值的范围在[0,1]之间，且图片均衡值越大，则表明该视频帧对应的图片在灰度级上越不均衡。
针对一个视频帧，可以按照公式(4)计算该视频帧的图片均衡值，然后判断该视频帧的图片均衡值是否不小于预设的均衡度阈值T3(可以但不限于为0.8)；若是，则确认该视频帧为低质量视频帧，将该视频帧过滤掉；若否，则确认该视频帧的均衡程度验证通过。
综上所述，从空间维度对多个视频帧进行过滤的方法中，利用视频帧的图片明暗值可以将较暗的视频帧过滤掉，利用视频帧的图片锐度值可以将模糊的视频帧过滤掉，利用视频帧的图片均衡值可以将不均衡的视频帧过滤掉。具体的过滤顺序为：(1)可以对每个视频帧进行分析，若该视频帧属于较暗的视频帧、模糊的视频帧或者不均衡的视频帧，则直接将该视频帧过滤掉；(2)还可以将较暗的视频帧、模糊的视频帧以及不均衡的视频帧看作为三种不同类型，按照不同类型将空间维度上的低质量视频帧过滤掉，如先将多个视频帧中所有的较暗的视频帧过滤掉，再将多个视频帧中所有的模糊的视频帧过滤掉，最后将多个视频帧中所有的不均衡的视频帧过滤掉。另一方面，考虑到目标视频对应的多个视频帧中，存在大量运动造成的模糊的视频帧，那么为了减少计算量，作为本发明的优选实施例，可以先将模糊的视频帧过滤掉，再将较暗的视频帧过滤掉，最后将不均衡的视频帧过滤掉。当然，也可以根据实际需求，设置三种不同类型的过滤顺序，本发明实施例对此不作限定。
本发明实施例中，从空间维度将较暗的视频帧、模糊的视频帧或者不均衡的视频帧过滤掉，能够减少多个视频帧中包含的视频帧的数量，进一步地，能够减少后续关键帧选取的计算量；另一方面，先从空间维度将低质量视频帧过滤掉，能够一定程度上(即在空间维度)保证过滤后的视频帧为高质量视频帧，为后续从时间维度过滤低质量视频帧提供基础，从而可以减少关键帧选取的误差。
(二)从时间维度过滤低质量视频帧
本发明实施例中，第二特征信息可以包括：帧间微分值和镜头边缘变化率。以及，按照预设的时间维度过滤规则，根据多个可选视频帧对应的第二特征信息，对多个可选视频帧进行过滤处理，可以包括：针对多个可选视频帧中的一个可选视频帧，若一个可选视频帧对应的第二特征信息符合以下选项中至少一项，则将一个可选视频帧过滤掉：一个可选视频帧对应的帧间微分值大于预设的帧间微分阈值；一个可选视频帧对应的镜头边缘变化率大于预设的镜头边缘变化阈值。也就是说，可以利用视频帧的帧间微分值和镜头边缘变化率，将镜头转换帧和镜头转换期间特效部分对应的视频帧过滤掉，接下来详细说明过滤过程。
d.将镜头转换帧过滤掉
每个视频是由不同镜头组合得到的，镜头转处的视频帧属于低质量视频帧。在从空间维度将低质量视频帧过滤掉后，得到多个可选视频帧，然后可以利用帧间微分值，判断一个可选视频帧是否为低质量视频帧。其中，帧间微分值可以表示一个视频帧与前一个视频帧及后一个视频帧之间的差值变化。本发明实施例中，可以按照如下方法计算帧间微分值：计算一个可选视频帧与一个可选视频帧对应的前一个可选视频帧之间的第一差值，计算一个可选视频帧与一个可选视频帧对应的后一个可选视频帧之间的第二差值；对第一差值和第二差值进行归一化处理，利用归一化处理后的第一差值和第二差值，计算一个可选视频帧对应的帧间微分值。具体计算公式如下：
Figure BDA0002884673760000151
其中，y4(k)表示第k个可选视频帧对应的帧间微分值；m、n分别表示视频帧对应的图片的宽与高；I(k)表示第k个可选视频帧对应的图片像素点；I(k-1)表示第k-1个可选视频帧(即，第k个可选视频帧对应的前一个可选视频帧)对应的图片像素点；I(k+1)表示第k+1个可选视频帧(即，第k个可选视频帧对应的后一个可选视频帧)对应的图片像素点；norm表示归一化处理。
若一个可选视频帧对应的帧间微分值越大，则表示该可选视频帧为镜头转换帧的可能性越大。针对一个可选视频帧，可以按照公式(5)计算该可选视频帧对应的帧间微分值，然后判断该可选视频帧对应的帧间微分值是否大于预设的帧间微分阈值T4；若是，则确认该可选视频帧为低质量视频帧，将该可选视频帧过滤掉。
需要注意的是，T4的设置可以结合所有可选视频帧对应的帧间微分值设置。具体的，首先计算所有可选视频帧对应的帧间微分值，对计算的帧间微分值按照从大到小排序；然后选取排序靠前的可选视频帧，如排序前10％的可选视频帧；接着根据选取的可选视频帧对应的帧间微分值设置T4，将帧间微分值大于T4的可选视频帧过滤掉。
e.将镜头转换期间特效部分对应的视频帧过滤掉
在镜头转换期间存在淡入淡出特效，且淡入淡出特效对应的视频帧在某个镜头的开头或结尾处，属于时间维度上的低质量视频帧，需要过滤掉。为了将淡入淡出特效对应的视频帧过滤掉，引入镜头边缘变化率的概念，即对于淡入淡出的场景，分别对前后视频帧进行边缘提取，然后通过分析边缘变化，确定是否为淡入淡出特效。本发明实施例中，可以按照如下方法计算一个可选视频帧对应的镜头边缘变化率：对一个可选视频帧对应的后一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的后一个可选视频帧的边缘图片与一个可选视频帧的边缘图片之间的淡入边缘变化率；对一个可选视频帧对应的前一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的前一个可选视频帧的边缘图片与一个可选视频帧的边缘图片之间的淡出边缘变化率；选择淡入边缘变化率和淡出边缘变化率的最大值作为一个可选视频帧对应的镜头边缘变化率。具体实现可以为：
(1)对一个可选视频帧对应的后一个可选视频帧的边缘图片进行膨胀处理，将膨胀处理后的边缘图片与一个可选视频帧的边缘图片进行与操作后求和，得到第一像素点和值；
(2)将第一像素点和值与一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到一个可选视频帧对应的淡入边缘变化率；
(3)对一个可选视频帧对应的前一个可选视频帧的边缘图片进行膨胀处理，将膨胀处理后的边缘图片与一个可选视频帧的边缘图片进行与操作后求和，得到第二像素点和值；
(4)将第二像素点和值与一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到一个可选视频帧对应的淡出边缘变化率；
(5)选择淡入边缘变化率和淡出边缘变化率的最大值为一个可选视频帧对应的镜头边缘变化率。
其中，(1)和(2)用于计算淡入边缘变化率，具体计算第k个可选视频帧对应的淡入边缘变化率可以为：首先，对第k+1个可选视频帧的边缘图片进行膨胀处理，也即，将第k+1个可选视频帧模糊化处理，对于淡入场景，其变化为从模糊到清晰，因此对第k+1个可选视频帧的边缘图片进行膨胀处理，可以模拟淡入结果；然后，将膨胀处理后的第k+1个可选视频帧的边缘图片与第k个可选视频帧的边缘图片进行与操作，即得到第k个可选视频帧的边缘轮廓与第k+1个可选视频帧的模糊化的边缘轮廓之间的交集；接着，对与操作后得到的像素点进行求和，得到第一像素点和值，计算第k个可选视频帧的边缘图片对应的第三像素点和值；最后，将第一像素点和值与第三像素点和值进行点除，然后与1求差值，得到第k个可选视频帧对应的淡入边缘变化率。具体的计算公式如下：
Figure BDA0002884673760000171
其中，yin(k)表示第k个可选视频帧对应的淡入边缘变化率；Iedge(k)表示第k个可选视频帧的边缘图片对应的像素点；Iedge_dilate(k+1)表示对第k+1个可选视频帧的边缘图片进行膨胀处理后，得到的像素点。若第k个可选视频帧的边缘轮廓与第k+1个可选视频帧的模糊化的边缘轮廓之间的重合度越小，则计算得到的淡入边缘变化率越大，即第k个可选视频帧为镜头转换期间特效部分对应的视频帧的可能性越大。
(3)和(4)用于计算淡出边缘变化率，具体计算第k个可选视频帧对应的淡出边缘变化率可以为：首先，对第k-1个可选视频帧的边缘图片进行膨胀处理，也即，将第k-1个可选视频帧模糊化处理，对于淡出场景，其变化为从清晰到模糊，因此对第k-1个可选视频帧的边缘图片进行膨胀处理，可以模拟淡出结果；然后，将膨胀处理后的第k-1个可选视频帧的边缘图片与第k个可选视频帧的边缘图片进行与操作，即得到第k个可选视频帧的边缘轮廓与第k-1个可选视频帧的模糊化的边缘轮廓之间的交集；接着，对与操作后得到的像素点进行求和，得到第二像素点和值，计算第k个可选视频帧的边缘图片对应的第三像素点和值；最后，将第二像素点和值与第三像素点和值进行点除，然后与1求差值，得到第k个可选视频帧对应的淡出边缘变化率。具体的计算公式如下：
Figure BDA0002884673760000181
其中，yout(k)表示第k个可选视频帧对应的淡出边缘变化率；Iedge(k)表示第k个可选视频帧的边缘图片对应的像素点；Iedge_dilate(k-1)表示对第k-1个可选视频帧的边缘图片进行膨胀处理后，得到的像素点。若第k个可选视频帧的边缘轮廓与第k-1个可选视频帧的模糊化的边缘轮廓之间的重合度越小，则计算得到的淡出边缘变化率越大，即第k个可选视频帧为镜头转换期间特效部分对应的视频帧的可能性越大。
通过上述分析得知，若一个可选视频帧对应的淡入边缘变化率或淡出边缘变化率越大，则该可选视频帧为镜头转换期间特效部分对应的视频帧的可能性越大。因此，在(5)中选择淡入边缘变化率和淡出边缘变化率的最大值为可选视频帧对应的镜头边缘变化率。
针对一个可选视频帧，可以按照公式(6)和公式(7)，分别计算该可选视频帧对应的淡入边缘变化率和淡出边缘变化率，然后选择淡入边缘变化率和淡出边缘变化率中的最大值为该可选视频帧对应的镜头边缘变化率。然后判断该可选视频帧对应的镜头边缘变化率是否大于预设的镜头边缘变化阈值T5；若是，则确认该可选视频帧为低质量视频帧，将该可选视频帧过滤掉。
综上所述，从时间维度对多个可选视频帧进行过滤的方法中，利用可选视频帧的帧间微分值可以将镜头转换帧过滤掉，利用可选视频帧的镜头边缘变化率可以将镜头转换期间特效部分对应的视频帧过滤掉。具体的过滤顺序为：(1)可以对每个可选视频帧进行分析，若该可选视频帧属于镜头转换帧或者镜头转换期间特效部分对应的视频帧，则直接将该可选视频帧过滤掉；(2)还可以将镜头转换帧或者镜头转换期间特效部分对应的视频帧看作为两种不同类型，按照不同类型将时间维度上的低质量视频帧过滤掉，如先将多个可选视频帧中所有的镜头转换帧过滤掉，再将多个可选视频帧中所有的镜头转换期间特效部分对应的视频帧过滤掉。
本发明实施例中，从时间维度将镜头转换帧或者镜头转换期间特效部分对应的视频帧过滤掉，能够减少多个视频帧中包含的视频帧的数量，进一步地，能够减少后续关键帧选取的计算量，提高关键帧选取效率。
从空间维度和时间维度将多个视频帧中的低质量视频帧过滤掉，减少了视频帧的数量，然后从过滤处理后的多个视频帧中选取关键帧，能够提高关键帧选取效率，还能够减少关键帧选取误差。图3是根据本发明实施例的从过滤处理后的多个视频帧中选取关键帧的主要过程的示意图。如图3所示，从过滤处理后的多个视频帧中选取关键帧的主要过程可以包括：
步骤S301，基于预设的步长，根据过滤处理后的多个视频帧，确定镜头个数；
步骤S302，利用聚类算法，按照镜头个数对过滤处理后的多个视频帧进行聚类处理，获得至少一类视频帧，确定至少一类视频帧的中心；
步骤S303，针对每类视频帧，选取最接近该类视频帧的中心的视频帧为该类视频帧对应的关键帧，以得到目标视频对应的关键帧。
其中，预设的步长是指预设的时间步长。从空间维度和时间维度将目标视频中的低质量视频帧过滤后，从镜头角度分析过滤处理后的多个视频帧，每个镜头之前会存在较大的帧间隔，也即，不同的镜头之间会出现一定的时间步长，所以可以结合预设的时间步长，将过滤处理后的多个视频帧分解为若干个视频镜头。然后，可以利用聚类算法，按照镜头个数对过滤处理后的多个视频帧进行聚类处理，获得至少一类视频帧，确定至少一类视频帧的中心。其中，镜头个数与得到的视频帧的类数相同。接着，针对每类视频帧，选取最接近该类视频帧的中心的视频帧为该类视频帧对应的关键帧，最后可以得到目标视频对应的关键帧。另一方面，可以通过图片内容的底层特征，如颜色直方图，对每个过滤处理后的视频帧提取特征，基于K-means聚类算法对过滤处理后的多个时间帧进行聚类处理，得到K类视频帧，此处的K等于镜头个数。
图4是根据本发明实施例的关键帧选取方法的主要过程的示意图。如图4所示，关键帧选取方法的主要过程可以包括：首先，获取目标视频对应的多个视频帧；然后，从空间维度将多个视频帧中的较暗的视频帧、模糊的视频帧以及不均衡的视频帧过滤掉；接着，从时间维度将多个视频帧中的镜头转换帧和镜头转换期间特效部分对应的视频帧过滤掉；然后，对过滤处理后的多个视频帧进行聚类处理，得到至少一类视频帧；最后，针对每类视频帧，选取最接近该类视频帧的中心的视频帧为该类视频帧对应的关键帧，得到目标视频对应的关键帧。
本发明实施例的关键帧选取方法，可以按照预设的空间维度过滤规则和时间维度过滤规则对目标视频对应的多个视频帧进行过滤处理，能够在空间维度和时间维度过滤掉低质量视频帧，解决了现有技术存在的误差大和计算资源消耗大的问题；采用聚类技术对过滤处理后的多个视频帧进行分类，接着结合每类视频帧的中心选取关键帧，能够从聚类角度去除冗余信息，解决了现有技术存在的选取的关键帧存在冗余信息的问题，从而可以快速准确地选取关键帧，进一步解决了现有技术存在的漏帧问题。
图5是根据本发明实施例的关键帧选取装置的主要模块的示意图。如图5所示，本发明实施例的关键帧选取装置500可以包括：获取模块501、过滤模块502和选取模块503。
其中，获取模块501可用于：接收关键帧选取请求，根据选取请求确定目标视频，获取目标视频对应的多个视频帧；过滤模块502可用于：按照预设的过滤规则，根据多个视频帧的特征信息，对多个视频帧进行过滤处理；选取模块503可用于：对过滤处理后的多个视频帧进行聚类处理，获得至少一类视频帧，根据至少一类视频帧的中心，选取目标视频对应的关键帧。其中，过滤规则可以包括：空间维度过滤规则和时间维度过滤规则。
本发明实施例中，过滤模块502还可用于：按照预设的空间维度过滤规则，根据多个视频帧的第一特征信息，对多个视频帧进行过滤处理，以在空间维度过滤掉低质量视频帧，得到多个可选视频帧；按照预设的时间维度过滤规则，根据多个可选视频帧对应的第二特征信息，对多个可选视频帧进行过滤处理，以在时间维度过滤掉低质量视频帧。
本发明实施例中，第一特征信息可以包括：图片明暗值、图片锐度值和图片均衡值。以及，过滤模块502还可用于：针对多个视频帧中的一个视频帧，若一个视频帧的第一特征信息符合以下选项中至少一项，则将一个视频帧过滤掉：一个视频帧的图片明暗值不大于预设的明暗度阈值；一个视频帧的图片锐度值不大于预设的锐度阈值；一个视频帧的图片均衡值不小于预设的均衡度阈值。
本发明实施例中，关键帧选取装置还可以包括：计算模块(图中未示出)。该计算模块可用于：根据一个视频帧的颜色通道RGB值，计算一个视频帧的图片明暗值；根据一个视频帧的灰度值，引入一个视频帧的像素梯度，计算一个视频帧的锐度值；以及，对一个视频帧进行直方图均衡化处理，获得直方图均衡化处理后的灰度级，然后根据直方图均衡化处理后的灰度级，计算一个视频帧的图片均衡值。
本发明实施例中，第二特征信息可以包括：帧间微分值和镜头边缘变化率。以及，过滤模块502还可用于：针对多个可选视频帧中的一个可选视频帧，若一个可选视频帧对应的第二特征信息符合以下选项中至少一项，则将一个可选视频帧过滤掉：一个可选视频帧对应的帧间微分值大于预设的帧间微分阈值；一个可选视频帧对应的镜头边缘变化率大于预设的镜头边缘变化阈值。
本发明实施例中，计算模块还可用于：计算一个可选视频帧与一个可选视频帧对应的前一个可选视频帧之间的第一差值，计算一个可选视频帧与一个可选视频帧对应的后一个可选视频帧之间的第二差值；对第一差值和第二差值进行归一化处理，利用归一化处理后的第一差值和第二差值，计算一个可选视频帧对应的帧间微分值。
本发明实施例中，计算模块还可用于：对一个可选视频帧对应的后一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的后一个可选视频帧的边缘图片与一个可选视频帧的边缘图片之间的淡入边缘变化率；对一个可选视频帧对应的前一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的前一个可选视频帧的边缘图片与一个可选视频帧的边缘图片之间的淡出边缘变化率；选择淡入边缘变化率和淡出边缘变化率的最大值作为一个可选视频帧对应的镜头边缘变化率。
本发明实施例中，计算模块还可用于：将膨胀处理后的后一个可选视频帧的边缘图片与一个可选视频帧的边缘图片进行与操作后求和，得到第一像素点和值；将第一像素点和值与一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到一个可选视频帧对应的淡入边缘变化率。
本发明实施例中，计算模块还可用于：将膨胀处理后的前一个可选视频帧的边缘图片与一个可选视频帧的边缘图片进行与操作后求和，得到第二像素点和值；将第二像素点和值与一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到一个可选视频帧对应的淡出边缘变化率。
本发明实施例中，选取模块503还可用于：基于预设的步长，根据过滤处理后的多个视频帧，确定镜头个数；利用聚类算法，按照镜头个数对过滤处理后的多个视频帧进行聚类处理，获得至少一类视频帧，确定至少一类视频帧的中心；针对每类视频帧，选取最接近该类视频帧的中心的视频帧为该类视频帧对应的关键帧，以得到目标视频对应的关键帧。
本发明实施例的关键帧选取装置，能够按照预设的空间维度过滤规则和时间维度过滤规则对目标视频对应的多个视频帧进行过滤处理，能够在空间维度和时间维度过滤掉低质量视频帧，解决了现有技术存在的误差大和计算资源消耗大的问题；采用聚类技术对过滤处理后的多个视频帧进行分类，接着结合每类视频帧的中心选取关键帧，能够从聚类角度去除冗余信息，解决了现有技术存在的选取的关键帧存在冗余信息的问题，从而可以快速准确地选取关键帧，进一步解决了现有技术存在的漏帧问题。
图6示出了可以应用本发明实施例的关键帧选取方法或关键帧选取装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。例如，可以利用终端设备601、602、603从多个视频帧中选取出关键帧。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如作为用户利用终端设备601、602、603进行关键帧选取的过程中，提供支持的后台管理服务器(仅为示例)。
需要说明的是，本发明实施例所提供的关键帧选取方法一般由服务器605执行，相应地，关键帧选取装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、过滤模块和选取模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“接收关键帧选取请求，根据选取请求确定目标视频，获取目标视频对应的多个视频帧的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收关键帧选取请求，根据选取请求确定目标视频，获取目标视频对应的多个视频帧；按照预设的过滤规则，根据多个视频帧的特征信息，对多个视频帧进行过滤处理，其中，过滤规则包括空间维度过滤规则和时间维度过滤规则；对过滤处理后的多个视频帧进行聚类处理，获得至少一类视频帧，根据至少一类视频帧的中心，选取目标视频对应的关键帧。
根据本发明实施例的技术方案，可以按照预设的空间维度过滤规则和时间维度过滤规则对目标视频对应的多个视频帧进行过滤处理，能够在空间维度和时间维度过滤掉低质量视频帧，解决了现有技术存在的误差大和计算资源消耗大的问题；采用聚类技术对过滤处理后的多个视频帧进行分类，接着结合每类视频帧的中心选取关键帧，能够从聚类角度去除冗余信息，解决了现有技术存在的选取的关键帧存在冗余信息的问题，从而可以快速准确地选取关键帧，进一步解决了现有技术存在的漏帧问题。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种关键帧选取方法，其特征在于，包括：
接收关键帧选取请求，根据所述选取请求确定目标视频，获取所述目标视频对应的多个视频帧；
按照预设的过滤规则，根据所述多个视频帧的特征信息，对所述多个视频帧进行过滤处理，其中，所述过滤规则包括空间维度过滤规则和时间维度过滤规则；
对过滤处理后的所述多个视频帧进行聚类处理，获得至少一类视频帧，根据所述至少一类视频帧的中心，选取所述目标视频对应的关键帧。
2.根据权利要求1所述的方法，其特征在于，所述按照预设的过滤规则，根据所述多个视频帧的特征信息，对所述多个视频帧进行过滤处理，包括：
按照预设的空间维度过滤规则，根据所述多个视频帧的第一特征信息，对所述多个视频帧进行过滤处理，以在空间维度过滤掉低质量视频帧，得到多个可选视频帧；
按照预设的时间维度过滤规则，根据所述多个可选视频帧对应的第二特征信息，对所述多个可选视频帧进行过滤处理，以在时间维度过滤掉低质量视频帧。
3.根据权利要求2所述的方法，其特征在于，所述第一特征信息包括：图片明暗值、图片锐度值和图片均衡值；以及，
所述按照预设的空间维度过滤规则，根据所述多个视频帧的第一特征信息，对所述多个视频帧进行过滤处理，包括：
针对所述多个视频帧中的一个视频帧，若所述一个视频帧的第一特征信息符合以下选项中至少一项，则将所述一个视频帧过滤掉：所述一个视频帧的图片明暗值不大于预设的明暗度阈值；所述一个视频帧的图片锐度值不大于预设的锐度阈值；所述一个视频帧的图片均衡值不小于预设的均衡度阈值。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述一个视频帧的颜色通道RGB值，计算所述一个视频帧的图片明暗值；
根据所述一个视频帧的灰度值，引入所述一个视频帧的像素梯度，计算所述一个视频帧的锐度值；以及，
对所述一个视频帧进行直方图均衡化处理，获得直方图均衡化处理后的灰度级，然后根据所述直方图均衡化处理后的灰度级，计算所述一个视频帧的图片均衡值。
5.根据权利要求2所述的方法，其特征在于，所述第二特征信息包括：帧间微分值和镜头边缘变化率；以及，
所述按照预设的时间维度过滤规则，根据所述多个可选视频帧对应的第二特征信息，对所述多个可选视频帧进行过滤处理，包括：
针对所述多个可选视频帧中的一个可选视频帧，若所述一个可选视频帧对应的第二特征信息符合以下选项中至少一项，则将所述一个可选视频帧过滤掉：所述一个可选视频帧对应的帧间微分值大于预设的帧间微分阈值；所述一个可选视频帧对应的镜头边缘变化率大于预设的镜头边缘变化阈值。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
计算所述一个可选视频帧与所述一个可选视频帧对应的前一个可选视频帧之间的第一差值，计算所述一个可选视频帧与所述一个可选视频帧对应的后一个可选视频帧之间的第二差值；
对所述第一差值和所述第二差值进行归一化处理，利用归一化处理后的所述第一差值和所述第二差值，计算所述一个可选视频帧对应的帧间微分值。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对所述一个可选视频帧对应的后一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的所述后一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡入边缘变化率；
对所述一个可选视频帧对应的前一个可选视频帧的边缘图片进行膨胀处理，计算膨胀处理后的所述前一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡出边缘变化率；
选择所述淡入边缘变化率和所述淡出边缘变化率的最大值作为所述一个可选视频帧对应的镜头边缘变化率。
8.根据权利要求7所述的方法，其特征在于，所述计算膨胀处理后的所述后一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡入边缘变化率，包括：
将膨胀处理后的所述后一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片进行与操作后求和，得到第一像素点和值；
将所述第一像素点和值与所述一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到所述一个可选视频帧对应的淡入边缘变化率。
9.根据权利要求7所述的方法，其特征在于，所述计算膨胀处理后的所述前一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片之间的淡出边缘变化率，包括：
将膨胀处理后的所述前一个可选视频帧的边缘图片与所述一个可选视频帧的边缘图片进行与操作后求和，得到第二像素点和值；
将所述第二像素点和值与所述一个可选视频帧的边缘图片对应的像素点和值进行点除，然后与1求差值，得到所述一个可选视频帧对应的淡出边缘变化率。
10.根据权利要求1-9任一所述的方法，其特征在于，所述对过滤处理后的所述多个视频帧进行聚类处理，获得至少一类视频帧，根据所述至少一类视频帧的中心，选取所述目标视频对应的关键帧，包括：
基于预设的步长，根据过滤处理后的所述多个视频帧，确定镜头个数；
利用聚类算法，按照所述镜头个数对过滤处理后的所述多个视频帧进行聚类处理，获得所述至少一类视频帧，确定所述至少一类视频帧的中心；
针对每类视频帧，选取最接近该类视频帧的中心的视频帧为该类视频帧对应的关键帧，以得到所述目标视频对应的关键帧。
11.一种关键帧选取装置，其特征在于，包括：
获取模块，用于接收关键帧选取请求，根据所述选取请求确定目标视频，获取所述目标视频对应的多个视频帧；
过滤模块，用于按照预设的过滤规则，根据所述多个视频帧的特征信息，对所述多个视频帧进行过滤处理；
选取模块，用于对过滤处理后的所述多个视频帧进行聚类处理，获得至少一类视频帧，根据所述至少一类视频帧的中心，选取所述目标视频对应的关键帧。
12.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。
CN202110009429.7A 2021-01-05 2021-01-05 关键帧选取方法和装置 Pending CN113762016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110009429.7A CN113762016A (zh) 2021-01-05 2021-01-05 关键帧选取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110009429.7A CN113762016A (zh) 2021-01-05 2021-01-05 关键帧选取方法和装置

Publications (1)

Publication Number Publication Date
CN113762016A true CN113762016A (zh) 2021-12-07

Family

ID=78786344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110009429.7A Pending CN113762016A (zh) 2021-01-05 2021-01-05 关键帧选取方法和装置

Country Status (1)

Country Link
CN (1) CN113762016A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269205A (zh) * 2021-05-18 2021-08-17 联仁健康医疗大数据科技股份有限公司 视频关键帧提取方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339992B2 (en) * 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence
CN102799637A (zh) * 2012-06-27 2012-11-28 北京邮电大学 一种电视节目内部自动生成主要人物摘要的方法
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN109635736A (zh) * 2018-12-12 2019-04-16 北京搜狐新媒体信息技术有限公司 一种视频头图选择方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339992B2 (en) * 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence
CN102799637A (zh) * 2012-06-27 2012-11-28 北京邮电大学 一种电视节目内部自动生成主要人物摘要的方法
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN109635736A (zh) * 2018-12-12 2019-04-16 北京搜狐新媒体信息技术有限公司 一种视频头图选择方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
司若妍;张明;: "基于K-means聚类算法的视频关键帧提取的研究", 现代计算机(专业版), no. 20, 15 July 2016 (2016-07-15) *
姬晓飞等: ""基于关键帧特征库统计特征的双人交互行为识别"", 《计算机应用》, vol. 36, no. 8, 10 August 2016 (2016-08-10), pages 2287 - 2291 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269205A (zh) * 2021-05-18 2021-08-17 联仁健康医疗大数据科技股份有限公司 视频关键帧提取方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN114584849B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
CN111327945B (zh) 用于分割视频的方法和装置
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
Hussain et al. A histogram specification technique for dark image enhancement using a local transformation method
WO2020052270A1 (zh) 一种视频审核的方法、装置和设备
CN111553362B (zh) 一种视频处理方法、电子设备和计算机可读存储介质
US20120314971A1 (en) Automatic exposure correction of images
CN110996174B (zh) 一种视频画质增强方法及其相关设备
CN111757100B (zh) 相机运动变化量的确定方法、装置、电子设备和介质
CN112967207A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111523400B (zh) 视频代表帧提取方法及装置
CN115022679B (zh) 视频处理方法、装置、电子设备和介质
Wang et al. Learning a self‐supervised tone mapping operator via feature contrast masking loss
CN113762016A (zh) 关键帧选取方法和装置
CN110636331B (zh) 用于处理视频的方法和装置
CN112967191A (zh) 图像处理方法、装置、电子设备和存储介质
CN110097520B (zh) 图像处理方法和装置
CN110555799A (zh) 用于处理视频的方法和装置
CN113628192B (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品
CN112215237B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN114266803A (zh) 图像处理方法、装置、电子设备及存储介质
CN113014745B (zh) 视频图像降噪方法及装置、存储介质及电子设备
CN113225586B (zh) 视频处理方法、装置、电子设备及存储介质
CN113409199A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN113269205A (zh) 视频关键帧提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination