CN109165301B - 视频封面选择方法、装置和计算机可读存储介质 - Google Patents
视频封面选择方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109165301B CN109165301B CN201811069772.5A CN201811069772A CN109165301B CN 109165301 B CN109165301 B CN 109165301B CN 201811069772 A CN201811069772 A CN 201811069772A CN 109165301 B CN109165301 B CN 109165301B
- Authority
- CN
- China
- Prior art keywords
- image
- video
- frame
- evaluated
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开公开一种视频封面选择方法、视频封面选择装置、视频封面选择硬件装置和计算机可读存储介质。其中，该视频封面选择方法包括对从待处理视频中抽取的至少一帧待评估图像帧进行评估；根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面。本公开实施例首先对从待处理视频中抽取的至少一帧待评估图像帧进行评估，根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
Description
技术领域
本公开涉及一种信息处理技术领域，特别是涉及一种视频封面选择方法、装置和计算机可读存储介质。
背景技术
近年来，随着多媒体技术和计算机网络的飞速发展，数字视频的容量正以惊人的速度增长。怎么从众多的视频中脱颖而出，引起人们的兴趣，成为视频制作者研究的热点。
现有技术中，视频的封面一般自动随机生成或者由作者自己指定，这样选出来的视频封面并没有针对性，不利于视频的推广。
发明内容
本公开解决的技术问题是提供一种视频封面选择方法，以至少部分地解决选出来的视频封面没有针对性，不利于视频的推广的技术问题。此外，还提供一种视频封面选择装置、视频封面选择硬件装置、计算机可读存储介质和视频封面选择终端。
为了实现上述目的，根据本公开的一个方面，提供以下技术方案：
一种视频封面选择方法，包括：
对从待处理视频中抽取的至少一帧待评估图像帧进行评估；
根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面。
进一步的，所述对从待处理视频中抽取的至少一帧待评估图像帧进行评估的步骤，包括：
对所述至少一帧待评估图像帧进行聚类分析，得到至少一个聚类中心；
针对各聚类中心，对距离所述聚类中心最近的图像帧进行评估；
所述根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面的步骤，包括：
根据评估结果，从所述距离所述聚类中心最近的图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面。
进一步的，所述对从待处理视频中抽取的至少一帧待评估图像帧进行评估的步骤，包括：
对所述至少一帧待评估图像帧分别进行图片质量评估，所述评估结果为图片质量等级；和/或，
对所述至少一帧待评估图像帧分别进行点击率预测，所述评估结果为点击率。
进一步的，所述对从待处理视频中抽取的至少一帧待评估图像帧进行评估的步骤，包括：
若所述评估结果为图片质量等级和点击率，则融合所述图片质量等级和点击率，重新计算评估结果。
进一步的，所述对从待处理视频中抽取的至少一帧待评估图像帧进行评估的步骤，包括：
将所述至少一帧待评估图像帧输入预先训练得到的图像评估模型中进行评估，将所述图像评估模型的输出结果作为所述评估结果。
进一步的，所述图像评估模型包括：图像质量评估模型和/或点击率预测模型，所述图像质量评估模型用于输出图片质量等级，所述点击率预测模型用于输出点击率。
进一步的，所述方法还包括：
对从所述待处理视频中抽取的至少一帧图像帧进行预处理，筛选出符合预设标准的图像帧作为所述待评估图像帧。
为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：
一种视频封面选择装置，包括：
图像评估模块，用于对从待处理视频中抽取的至少一帧待评估图像帧进行评估；
封面选取模块，用于根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面。
进一步的，所述图像评估模块具体用于：对所述至少一帧待评估图像帧进行聚类分析，得到至少一个聚类中心；针对各聚类中心，对距离所述聚类中心最近的图像帧进行评估；
所述封面选取模块具体用于：根据评估结果，从所述距离所述聚类中心最近的图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面。
进一步的，所述图像评估模块具体用于：对所述至少一帧待评估图像帧分别进行图片质量评估，所述评估结果为图片质量等级；和/或，对所述至少一帧待评估图像帧分别进行点击率预测，所述评估结果为点击率。
进一步的，所述图像评估模块具体用于：若所述评估结果为图片质量等级和点击率，则融合所述图片质量等级和点击率，重新计算评估结果。
进一步的，所述图像评估模块具体用于：将所述至少一帧待评估图像帧输入预先训练得到的图像评估模型中进行评估，将所述图像评估模型的输出结果作为所述评估结果。
进一步的，所述图像评估模型包括：图像质量评估模型和/或点击率预测模型，所述图像质量评估模型用于输出图片质量等级，所述点击率预测模型用于输出点击率。
进一步的，所述装置还包括：
预处理模块，用于对从所述待处理视频中抽取的至少一帧图像帧进行预处理，筛选出符合预设标准的图像帧作为所述待评估图像帧。
为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：
一种视频封面选择硬件装置，包括：
存储器，用于存储非暂时性计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一视频封面选择方法技术方案中所述的步骤。
为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：
一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一视频封面选择方法技术方案中所述的步骤。
为了实现上述目的，根据本公开的又一个方面，还提供以下技术方案：
一种视频封面选择终端，包括上述任一视频封面选择装置。
本公开实施例提供一种视频封面选择方法、视频封面选择装置、视频封面选择硬件装置、计算机可读存储介质和视频封面选择终端。其中，该视频封面选择方法包括对从待处理视频中抽取的至少一帧待评估图像帧进行评估；根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面。本公开实施例首先对从待处理视频中抽取的至少一帧待评估图像帧进行评估，根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1a为根据本公开一个实施例的视频封面选择方法的流程示意图；
图1b为根据本公开另一个实施例的视频封面选择方法的流程示意图；
图1c为根据本公开另一个实施例的视频封面选择方法的流程示意图；
图1d为根据本公开另一个实施例的视频封面选择方法的流程示意图；
图2a为根据本公开一个实施例的视频封面选择的装置的结构示意图；
图3为根据本公开一个实施例的视频封面选择硬件装置的结构示意图；
图4为根据本公开一个实施例的计算机可读存储介质的结构示意图；
图5为根据本公开一个实施例的视频封面选择终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
为了解决选出来的视频封面没有针对性，不利于视频的推广的技术问题，本公开实施例提供一种视频封面选择方法。如图1a所示，该视频封面选择方法主要包括如下步骤S1至步骤S2。其中：
步骤S1：对从待处理视频中抽取的至少一帧待评估图像帧进行评估。
具体的，可以从待处理视频中抽取若干帧图像作为待评估图像帧，也可以将待处理视频中的全部图像帧作为待评估图像帧。
步骤S2：根据评估结果，从至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面。
其中，评估结果包括但不限于图片质量等级和/或点击率。
其中，预设封面条件可以为但不限于为图像质量等级达到预设要求和/或图像点击率超过预设点击率等。
具体的，当评估结果为图片质量等级时，通过本步骤可以选择出图像质量等级达到预设要求即质量等级比较高的图像帧作为待处理视频的封面，从而利于吸引用户观看。当评估结果为点击率时，通过本步骤可以选择出图像点击率超过预设点击率的图像帧即点击率比较高的图像帧作为待处理视频的封面，由于该图像帧点击率比较高，说明用户对该图像帧感兴趣，因此也利于吸引用户观看，便于视频的推广。
本实施例通过对从待处理视频中抽取的至少一帧待评估图像帧进行评估，根据评估结果，从至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
在一个可选的实施例中，如图1b所示，步骤S1包括：
S11：对从待处理视频中抽取的至少一帧待评估图像帧进行聚类分析，得到至少一个聚类中心。
其中，可采用的聚类算法包括但不限于以下任意一种：K均值(K-Means)聚类、均值漂移聚类、基于密度的聚类方法、凝聚层次聚类、图团体检测聚类等。
具体的，首先从至少一帧待评估图像帧中选定若干个图像帧作为初始聚类中心，然后将剩余的图像帧作为样本，计算每个样本与初始聚类中心的距离，选择距离初始聚类中心最近的若干个样本作为一类，这样得到至少一类图像集合，然后针对各类图像集合，重新计算聚类中心不断迭代，直到满足预设条件，这样就得到至少一个聚类中心。
S12：针对各聚类中心，对距离聚类中心最近的图像帧进行评估。
其中，可采用欧式距离和余弦距离表示图像帧与聚类中心之间的距离。
相应的，步骤S2具体包括：
根据评估结果，从距离聚类中心最近的图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面。
其中，评估结果包括但不限于图片质量等级和/或点击率。
本实施例通过对至少一帧待评估图像帧进行聚类分析，得到至少一个聚类中心，针对各聚类中心，对距离聚类中心最近的图像帧进行评估，根据评估结果，从距离聚类中心最近的图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
在一个可选的实施例中，如图1c所示，步骤S1具体包括：
对从待处理视频中抽取的至少一帧待评估图像帧分别进行图片质量评估，评估结果为图片质量等级；和/或，
对从待处理视频中抽取的至少一帧待评估图像帧分别进行点击率预测，评估结果为点击率。
其中，图片质量等级例如，分为A、B、C、D四个等级，或者根据图像打分结果进行确定，将0-30作为一个等级，将30-60作为一个等级，将60-80作为一个等级，将80-100作为一个等级，等级划分的标准不同，其对应的预设封面条件也不同，例如，当分为A、B、C、D四个等级的时候，可将图像帧满足A等级设为预设封面条件，当根据打分结果进行确定时，可将图像帧的分值满足80-100设为预设封面条件。
其中，某帧图像的点击率为对该帧图像的点击次数占对该视频中所有帧总点击次数的百分比。
进一步的，步骤S1具体包括：
若评估结果为图片质量等级和点击率，则融合图片质量等级和点击率，重新计算评估结果。
具体的，可根据权重计算法，计算图片质量等级和点击率的加权和，将加权和作为评估结果。
本实施例通过对至少一帧待评估图像帧分别进行图片质量评估和/或点击率预测，根据图片质量等级和/或点击率，从至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
在一个可选的实施例中，如图1d所示，步骤S1具体包括：
将从待处理视频中抽取的至少一帧待评估图像帧输入预先训练得到的图像评估模型中进行评估，将图像评估模型的输出结果作为评估结果。
进一步的，图像评估模型包括：图像质量评估模型和/或点击率预测模型，图像质量评估模型用于输出图片质量等级，点击率预测模型用于输出点击率。
具体的，针对图像质量评估模型的训练，包括以下步骤：预先统计视频中各帧图像的质量等级，将已知图像质量等级的图像作为训练样本，并根据不同等级对训练样本进行标注，然后采用深度学习分类算法对标注后的训练样本进行训练学习，得到图像质量评估模型。针对点击率预测模型，预先统计视频中各帧图像的点击率，将已知点击率的图像作为训练样本，并根据不同点击率对训练样本进行标注，然后采用深度学习分类算法对标注后的训练样本进行训练学习，得到点击率预测模型。
其中，可采用的深度学习分类算法包括但不限于以下任意一种：朴素贝叶斯算法、人工神经网络算法、遗传算法、K最近邻(K-NearestNeighbor，KNN)分类算法、聚类算法等。
本实施例通过将至少一帧待评估图像帧输入预先训练得到的图像评估模型中进行评估，将图像评估模型的输出结果作为评估结果，进而根据输出结果，从至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
在一个可选的实施例中，本实施例的方法还包括：
对从待处理视频中抽取的至少一帧图像帧进行预处理，筛选出符合预设标准的图像帧作为待评估图像帧。
其中，筛选标准可以为图像清晰度。
具体的，通过对图像帧进行预处理，可以进一步过滤掉低质量的图像，例如带黑边或模糊的图像。
本领域技术人员应能理解，在上述各个实施例的基础上，还可以进行明显变型(例如，对所列举的模式进行组合)或等同替换。
在上文中，虽然按照上述的顺序描述了视频封面选择方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。
下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。
为了解决选出来的视频封面没有针对性，不利于视频的推广的技术问题，本公开实施例提供一种视频封面选择装置。该装置可以执行上述视频封面选择方法实施例中的步骤。如图2a所示，该装置主要包括：图像评估模块21和封面选取模块22；其中，图像评估模块21用于对从待处理视频中抽取的至少一帧待评估图像帧进行评估；封面选取模块22用于根据评估结果，从至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面。
具体的，图像评估模块21可以从待处理视频中抽取若干帧图像作为待评估图像帧，也可以将待处理视频中的全部图像帧作为待评估图像帧。
其中，评估结果包括但不限于图片质量等级和/或点击率。
其中，预设封面条件可以为但不限于为图像质量等级达到预设要求和/或图像点击率超过预设点击率等。
本实施例通过图像评估模块21对从待处理视频中抽取的至少一帧待评估图像帧进行评估，通过封面选取模块22根据评估结果，从至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
在一个可选的实施例中，基于图2a所示，图像评估模块21具体用于：对至少一帧待评估图像帧进行聚类分析，得到至少一个聚类中心；针对各聚类中心，对距离聚类中心最近的图像帧进行评估；
封面选取模块22具体用于：根据评估结果，从距离聚类中心最近的图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面。
其中，图像评估模块21可采用的聚类算法包括但不限于以下任意一种：K均值(K-Means)聚类、均值漂移聚类、基于密度的聚类方法、凝聚层次聚类、图团体检测聚类等。
具体的，首先从至少一帧待评估图像帧中选定若干个图像帧作为初始聚类中心，然后将剩余的图像帧作为样本，计算每个样本与初始聚类中心的距离，选择距离初始聚类中心最近的若干个样本作为一类，这样得到至少一类图像集合，然后针对各类图像集合，重新计算聚类中心不断迭代，直到满足预设条件，这样就得到至少一个聚类中心。
其中，可采用欧式距离和余弦距离表示图像帧与聚类中心之间的距离。
其中，评估结果包括但不限于图片质量等级和/或点击率。
本实施例通过图像评估模块21对至少一帧待评估图像帧进行聚类分析，得到至少一个聚类中心，针对各聚类中心，对距离聚类中心最近的图像帧进行评估，通过封面选取模块22根据评估结果，从距离聚类中心最近的图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
在一个可选的实施例中，基于图2a所示，图像评估模块21具体用于：对至少一帧待评估图像帧分别进行图片质量评估，评估结果为图片质量等级；和/或，对至少一帧待评估图像帧分别进行点击率预测，评估结果为点击率。
其中，图片质量等级例如，分为A、B、C、D四个等级，或者根据图像打分结果进行确定，将0-30作为一个等级，将30-60作为一个等级，将60-80作为一个等级，将80-100作为一个等级，等级划分的标准不同，其对应的预设封面条件也不同，例如，当分为A、B、C、D四个等级的时候，可将图像帧满足A等级设为预设封面条件，当根据打分结果进行确定时，可将图像帧的分值满足80-100设为预设封面条件。
其中，某帧图像的点击率为对该帧图像的点击次数占对该视频中所有帧总点击次数的百分比。
进一步的，图像评估模块21具体用于：若评估结果为图片质量等级和点击率，则融合图片质量等级和点击率，重新计算评估结果。
具体的，图像评估模块21可根据权重计算法，计算图片质量等级和点击率的加权和，将加权和作为评估结果。
本实施例通过图像评估模块21对至少一帧待评估图像帧分别进行图片质量评估和/或点击率预测，通过封面选取模块22根据图片质量等级和/或点击率，从至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
在一个可选的实施例中，基于图2a所示，图像评估模块21具体用于：将至少一帧待评估图像帧输入预先训练得到的图像评估模型中进行评估，将图像评估模型的输出结果作为评估结果。
进一步的，图像评估模型包括：图像质量评估模型和/或点击率预测模型，图像质量评估模型用于输出图片质量等级，点击率预测模型用于输出点击率。
具体的，针对图像质量评估模型的训练，包括以下步骤：预先统计视频中各帧图像的质量等级，将已知图像质量等级的图像作为训练样本，并根据不同等级对训练样本进行标注，然后采用深度学习分类算法对标注后的训练样本进行训练学习，得到图像质量评估模型。针对点击率预测模型，预先统计视频中各帧图像的点击率，将已知点击率的图像作为训练样本，并根据不同点击率对训练样本进行标注，然后采用深度学习分类算法对标注后的训练样本进行训练学习，得到点击率预测模型。
其中，可采用的深度学习分类算法包括但不限于以下任意一种：朴素贝叶斯算法、人工神经网络算法、遗传算法、K最近邻(K-NearestNeighbor，KNN)分类算法、聚类算法等。
本实施例通过图像评估模块21将至少一帧待评估图像帧输入预先训练得到的图像评估模型中进行评估，将图像评估模型的输出结果作为评估结果，进而通过封面选取模块22根据输出结果，从至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为待处理视频的封面，这样选出的封面具有针对性，从而有利于视频的推广。
在一个可选的实施例中，装置还包括：预处理模块23；其中，预处理模块23用于对从待处理视频中抽取的至少一帧图像帧进行预处理，筛选出符合预设标准的图像帧作为待评估图像帧。
其中，筛选标准可以为图像清晰度。
具体的，通过对图像帧进行预处理，可以进一步过滤掉低质量的图像，例如带黑边或模糊的图像。
有关视频封面选择装置实施例的工作原理、实现的技术效果等详细说明可以参考前述视频封面选择方法实施例中的相关说明，在此不再赘述。
图3是图示根据本公开的实施例的视频封面选择硬件装置的硬件框图。如图3所示，根据本公开实施例的视频封面选择硬件装置30包括存储器31和处理器32。
该存储器31用于存储非暂时性计算机可读指令。具体地，存储器31可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
该处理器32可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制视频封面选择硬件装置30中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器32用于运行该存储器31中存储的该计算机可读指令，使得该视频封面选择硬件装置30执行前述的本公开各实施例的视频封面选择方法的全部或部分步骤。
本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
图4是图示根据本公开的实施例的计算机可读存储介质的示意图。如图4所示，根据本公开实施例的计算机可读存储介质40，其上存储有非暂时性计算机可读指令41。当该非暂时性计算机可读指令41由处理器运行时，执行前述的本公开各实施例的视频特征的比对方法的全部或部分步骤。
上述计算机可读存储介质40包括但不限于：光存储介质(例如：CD-ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
图5是图示根据本公开实施例的终端的硬件结构示意图。如图5所示，该视频封面选择终端50包括上述视频封面选择装置实施例。
该终端可以以各种形式来实施，本公开中的终端可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端、车载显示终端、车载电子后视镜等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
作为等同替换的实施方式，该终端还可以包括其他组件。如图5所示，该视频封面选择终端50可以包括电源单元51、无线通信单元52、A/V(音频/视频)输入单元53、用户输入单元54、感测单元55、接口单元56、控制器57、输出单元58和存储器59等等。图5示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施更多或更少的组件。
其中，无线通信单元52允许终端50与无线通信系统或网络之间的无线电通信。A/V输入单元53用于接收音频或视频信号。用户输入单元54可以根据用户输入的命令生成键输入数据以控制终端的各种操作。感测单元55检测终端50的当前状态、终端50的位置、用户对于终端50的触摸输入的有无、终端50的取向、终端50的加速或减速移动和方向等等，并且生成用于控制终端50的操作的命令或信号。接口单元56用作至少一个外部装置与终端50连接可以通过的接口。输出单元58被构造为以视觉、音频和/或触觉方式提供输出信号。存储器59可以存储由控制器55执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据。存储器59可以包括至少一种类型的存储介质。而且，终端50可以与通过网络连接执行存储器59的存储功能的网络存储装置协作。控制器57通常控制终端的总体操作。另外，控制器57可以包括用于再现或回放多媒体数据的多媒体模块。控制器57可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元51在控制器57的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
本公开提出的视频特征的比对方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的视频特征的比对方法的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的视频特征的比对方法的各种实施方式可以在控制器57中实施。对于软件实施，本公开提出的视频特征的比对方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器59中并且由控制器57执行。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (16)
1.一种视频封面选择方法，其特征在于，包括：
对从待处理视频中抽取的至少一帧待评估图像帧进行评估；
根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面；其中，所述评估结果为所述待评估图像帧的点击率，所述点击率为对所述待评估图像帧的点击次数占对所述待处理视频中所有帧总点击次数的百分比；其中，所述点击率是通过点击率预测模型输出的预测点击率。
2.根据权利要求1所述的方法，其特征在于，所述对从待处理视频中抽取的至少一帧待评估图像帧进行评估的步骤，包括：
对所述至少一帧待评估图像帧进行聚类分析，得到至少一个聚类中心；
针对各聚类中心，对距离所述聚类中心最近的图像帧进行评估；
所述根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面的步骤，包括：
根据评估结果，从所述距离所述聚类中心最近的图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面。
3.根据权利要求1所述的方法，其特征在于，所述对从待处理视频中抽取的至少一帧待评估图像帧进行评估的步骤，包括：
对所述至少一帧待评估图像帧分别进行图片质量评估，所述评估结果为图片质量等级；和
对所述至少一帧待评估图像帧分别进行点击率预测，所述评估结果为点击率。
4.根据权利要求3所述的方法，其特征在于，所述对从待处理视频中抽取的至少一帧待评估图像帧进行评估的步骤，包括：
若所述评估结果为图片质量等级和点击率，则融合所述图片质量等级和点击率，重新计算评估结果。
5.根据权利要求1所述的方法，其特征在于，所述对从待处理视频中抽取的至少一帧待评估图像帧进行评估的步骤，包括：
将所述至少一帧待评估图像帧输入预先训练得到的图像评估模型中进行评估，将所述图像评估模型的输出结果作为所述评估结果。
6.根据权利要求5所述的方法，其特征在于，所述图像评估模型包括：图像质量评估模型和/或点击率预测模型，所述图像质量评估模型用于输出图片质量等级，所述点击率预测模型用于输出所述预测点击率。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
对从所述待处理视频中抽取的至少一帧图像帧进行预处理，筛选出符合预设标准的图像帧作为所述待评估图像帧。
8.一种视频封面选择装置，其特征在于，包括：
图像评估模块，用于对从待处理视频中抽取的至少一帧待评估图像帧进行评估；
封面选取模块，用于根据评估结果，从所述至少一帧待评估图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面；其中，所述评估结果为所述待评估图像帧的点击率，所述点击率为对所述待评估图像帧的点击次数占对所述待处理视频中所有帧总点击次数的百分比；其中，所述点击率是通过点击率预测模型输出的预测点击率。
9.根据权利要求8所述的装置，其特征在于，所述图像评估模块具体用于：对所述至少一帧待评估图像帧进行聚类分析，得到至少一个聚类中心；针对各聚类中心，对距离所述聚类中心最近的图像帧进行评估；
所述封面选取模块具体用于：根据评估结果，从所述距离所述聚类中心最近的图像帧中选取满足预设封面条件的图像帧作为所述待处理视频的封面。
10.根据权利要求8所述的装置，其特征在于，所述图像评估模块具体用于：对所述至少一帧待评估图像帧分别进行图片质量评估，所述评估结果为图片质量等级；和，对所述至少一帧待评估图像帧分别进行点击率预测，所述评估结果为点击率。
11.根据权利要求10所述的装置，其特征在于，所述图像评估模块具体用于：若所述评估结果为图片质量等级和点击率，则融合所述图片质量等级和点击率，重新计算评估结果。
12.根据权利要求8所述的装置，其特征在于，所述图像评估模块具体用于：将所述至少一帧待评估图像帧输入预先训练得到的图像评估模型中进行评估，将所述图像评估模型的输出结果作为所述评估结果。
13.根据权利要求12所述的装置，其特征在于，所述图像评估模型包括：图像质量评估模型和/或点击率预测模型，所述图像质量评估模型用于输出图片质量等级，所述点击率预测模型用于输出点击率。
14.根据权利要求8-13任一项所述的装置，其特征在于，所述装置还包括：
预处理模块，用于对从所述待处理视频中抽取的至少一帧图像帧进行预处理，筛选出符合预设标准的图像帧作为所述待评估图像帧。
15.一种视频封面选择硬件装置，包括：
存储器，用于存储非暂时性计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现根据权利要求1-7中任意一项所述的视频封面选择方法。
16.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-7中任意一项所述的视频封面选择方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811069772.5A CN109165301B (zh) | 2018-09-13 | 2018-09-13 | 视频封面选择方法、装置和计算机可读存储介质 |
| PCT/CN2018/117713 WO2020052084A1 (zh) | 2018-09-13 | 2018-11-27 | 视频封面选择方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811069772.5A CN109165301B (zh) | 2018-09-13 | 2018-09-13 | 视频封面选择方法、装置和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109165301A CN109165301A (zh) | 2019-01-08 |
| CN109165301B true CN109165301B (zh) | 2021-04-20 |
Family
ID=64879171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811069772.5A Active CN109165301B (zh) | 2018-09-13 | 2018-09-13 | 视频封面选择方法、装置和计算机可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109165301B (zh) |
| WO (1) | WO2020052084A1 (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111491202B (zh) * | 2019-01-29 | 2021-06-15 | 广州市百果园信息技术有限公司 | 一种视频发布方法、装置、设备和存储介质 |
| CN109996091A (zh) * | 2019-03-28 | 2019-07-09 | 苏州八叉树智能科技有限公司 | 生成视频封面的方法、装置、电子设备和计算机可读存储介质 |
| CN110287343A (zh) * | 2019-06-10 | 2019-09-27 | 北京深演智能科技股份有限公司 | 图片生成方法及装置 |
| CN110149532B (zh) * | 2019-06-24 | 2021-08-17 | 北京奇艺世纪科技有限公司 | 一种封面选取方法及相关设备 |
| CN110381368A (zh) * | 2019-07-11 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 视频封面生成方法、装置及电子设备 |
| CN110532422B (zh) * | 2019-08-07 | 2022-03-08 | 北京三快在线科技有限公司 | 封面生成装置和方法、电子设备和计算机可读存储介质 |
| CN111182295B (zh) * | 2020-01-06 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置、设备以及可读存储介质 |
| CN111464833B (zh) * | 2020-03-23 | 2023-08-04 | 腾讯科技（深圳）有限公司 | 目标图像生成方法、目标图像生成装置、介质及电子设备 |
| CN112749298B (zh) * | 2020-04-08 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 视频封面确定方法、装置、电子设备及计算机存储介质 |
| CN111984821A (zh) * | 2020-06-22 | 2020-11-24 | 汉海信息技术(上海)有限公司 | 确定视频动态封面的方法、装置、存储介质及电子设备 |
| CN111859022A (zh) * | 2020-07-07 | 2020-10-30 | 咪咕文化科技有限公司 | 封面生成方法、电子设备及计算机可读存储介质 |
| CN111918130A (zh) * | 2020-08-11 | 2020-11-10 | 北京达佳互联信息技术有限公司 | 视频封面确定方法、装置、电子设备及存储介质 |
| CN112233171A (zh) * | 2020-09-03 | 2021-01-15 | 上海眼控科技股份有限公司 | 目标标注质量检验方法、装置、计算机设备和存储介质 |
| CN112287965A (zh) * | 2020-09-21 | 2021-01-29 | 卓尔智联(武汉)研究院有限公司 | 图像质量检测模型训练方法、装置和计算机设备 |
| CN112004033B (zh) * | 2020-09-27 | 2023-05-26 | 北京小米松果电子有限公司 | 视频封面确定方法及装置、存储介质 |
| CN112383830A (zh) * | 2020-11-06 | 2021-02-19 | 北京小米移动软件有限公司 | 视频封面确定方法及装置、存储介质 |
| CN113761275A (zh) * | 2020-11-18 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 视频预览动图生成方法、装置、设备及可读存储介质 |
| CN112689187A (zh) * | 2020-12-17 | 2021-04-20 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置、电子设备及存储介质 |
| CN112651918A (zh) * | 2021-01-15 | 2021-04-13 | 北京小米松果电子有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN112800276B (zh) * | 2021-01-20 | 2023-06-20 | 北京有竹居网络技术有限公司 | 视频封面确定方法、装置、介质及设备 |
| CN113179421B (zh) * | 2021-04-01 | 2023-03-10 | 影石创新科技股份有限公司 | 视频封面选择方法、装置、计算机设备和存储介质 |
| CN113343832B (zh) * | 2021-06-01 | 2024-02-02 | 北京奇艺世纪科技有限公司 | 视频封面判别方法、装置、设备及计算机可读介质 |
| CN115914775A (zh) * | 2022-11-21 | 2023-04-04 | 北京奇艺世纪科技有限公司 | 一种封面确定方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832725A (zh) * | 2017-11-17 | 2018-03-23 | 北京奇虎科技有限公司 | 基于评价指标的视频封面提取方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2688029A1 (en) * | 2012-04-11 | 2014-01-22 | Taboola.com Ltd. | Click through rate estimation in varying display situations |
| CN104506968B (zh) * | 2014-12-31 | 2018-08-07 | 北京奇艺世纪科技有限公司 | 一种视频摘要图确定方法及装置 |
| CN106503693B (zh) * | 2016-11-28 | 2019-03-15 | 北京字节跳动科技有限公司 | 视频封面的提供方法及装置 |
| CN107330049B (zh) * | 2017-06-28 | 2020-05-22 | 北京搜狐新媒体信息技术有限公司 | 一种新闻热度预估方法及系统 |
| CN107918656A (zh) * | 2017-11-17 | 2018-04-17 | 北京奇虎科技有限公司 | 基于视频标题的视频封面提取方法及装置 |
| CN107958030B (zh) * | 2017-11-17 | 2021-08-24 | 北京奇虎科技有限公司 | 视频封面推荐模型优化方法及装置 |
-
2018
- 2018-09-13 CN CN201811069772.5A patent/CN109165301B/zh active Active
- 2018-11-27 WO PCT/CN2018/117713 patent/WO2020052084A1/zh active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832725A (zh) * | 2017-11-17 | 2018-03-23 | 北京奇虎科技有限公司 | 基于评价指标的视频封面提取方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109165301A (zh) | 2019-01-08 |
| WO2020052084A1 (zh) | 2020-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109165301B (zh) | 视频封面选择方法、装置和计算机可读存储介质 | |
| CN105320957B (zh) | 分类器训练方法和装置 | |
| US20190236412A1 (en) | Data processing method and device, classifier training method and system, and storage medium | |
| US8289287B2 (en) | Method, apparatus and computer program product for providing a personalizable user interface | |
| US20180300358A1 (en) | Image Retrieval Method and System | |
| CN110942011B (zh) | 一种视频事件识别方法、系统、电子设备及介质 | |
| EP3238015A2 (en) | First-person camera based visual context aware system | |
| US8965115B1 (en) | Adaptive multi-modal detection and fusion in videos via classification-based-learning | |
| Escalante et al. | A naive bayes baseline for early gesture recognition | |
| CN101937513A (zh) | 信息处理设备、信息处理方法和程序 | |
| CN107077609B (zh) | 用于检测在空间上不同的时间模式的非参数化模型 | |
| CN102687140A (zh) | 用于有助于基于内容的图像检索的方法和装置 | |
| EP4191440A1 (en) | Multimedia content publishing method and apparatus, electronic device, and storage medium | |
| CN110334753B (zh) | 视频分类方法、装置、电子设备及存储介质 | |
| CN107871001B (zh) | 音频播放方法、装置、存储介质及电子设备 | |
| Vrysis et al. | Crowdsourcing audio semantics by means of hybrid bimodal segmentation with hierarchical classification | |
| US11934953B2 (en) | Image detection apparatus and operation method thereof | |
| JP2022552761A (ja) | 目標再認識方法、装置、機器、記憶媒体及びプログラム製品 | |
| US10162879B2 (en) | Label filters for large scale multi-label classification | |
| CN111598012A (zh) | 一种图片聚类管理方法、系统、设备及介质 | |
| CN112308143A (zh) | 一种基于多样性的样本筛选方法、系统、设备及介质 | |
| CN111104572A (zh) | 用于模型训练的特征选择方法、装置及电子设备 | |
| US8498978B2 (en) | Slideshow video file detection | |
| CN109376764B (zh) | 基于聚类的数据收集方法、装置和计算机可读存储介质 | |
| CN109064494B (zh) | 视频漂浮纸片检测方法、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee after: Tiktok vision (Beijing) Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd. Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee after: Douyin Vision Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: Tiktok vision (Beijing) Co.,Ltd. |