CN111918130A - 视频封面确定方法、装置、电子设备及存储介质 - Google Patents
视频封面确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111918130A CN111918130A CN202010799695.XA CN202010799695A CN111918130A CN 111918130 A CN111918130 A CN 111918130A CN 202010799695 A CN202010799695 A CN 202010799695A CN 111918130 A CN111918130 A CN 111918130A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- frame
- information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003997 social interaction Effects 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2743—Video hosting of uploaded data from client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开关于一种视频封面确定方法、装置、电子设备及存储介质，涉及互联网技术领域，可以缩短确定视频封面的耗时时长。本公开的实施例包括：对目标视频进行解码，得到所述目标视频包括的多帧图像；确定所述多帧图像中每帧图像的社交属性信息，所述社交属性信息用于表示所述每帧图像被设置为所述目标视频的视频封面时产生社交交互行为的预测信息；根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
Description
技术领域
本公开涉及互联网技术领域，尤其涉及视频封面确定方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展，互联网中传播的视频越来越多，为了便于用户了解视频内容，可以为视频挑选视频封面，将视频封面展示给用户。视频封面作为视频呈现给用户的第一张图像画面，对用户的第一主观感受影响较大，用户可以根据视频封面选择要观看的视频。
相关技术中，通常由视频创造者确定视频封面，视频创造者需要浏览视频中的所有图像帧，从视频的所有图像帧中挑选一张图像作为视频封面，从而导致确定视频封面的耗时较长。
发明内容
本公开提供一种视频封面确定方法、装置、电子设备及存储介质，以至少解决相关技术中视频创造者需要从视频的所有图像帧中挑选一张图像作为视频封面导致确定视频封面的耗时较长的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频封面确定方法，所述方法包括：
对目标视频进行解码，得到所述目标视频包括的多帧图像；
确定所述多帧图像中每帧图像的社交属性信息，所述社交属性信息用于表示所述每帧图像被设置为所述目标视频的视频封面时产生社交交互行为的预测信息；
根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
根据本公开实施例的第二方面，提供一种视频封面确定装置，所述装置包括：
解码模块，被配置为执行对目标视频进行解码，得到所述目标视频包括的多帧图像；
确定模块，被配置为执行确定所述多帧图像中每帧图像的社交属性信息，所述社交属性信息用于表示所述每帧图像被设置为所述目标视频的视频封面时产生社交交互行为的预测信息；
选择模块，被配置为执行根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的视频封面确定方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的视频封面确定方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的视频封面确定方法。
本公开的实施例提供的技术方案至少带来以下有益效果：由于本公开实施例中依据每帧图像的社交属性信息从所述多帧图像中确定所述目标视频的视频封面，因此，不需要视频创造者浏览视频中的所有图像帧，并从视频的所有图像帧中挑选一张图像作为视频封面，从而可以缩短确定视频封面的耗时时长。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频封面确定方法的流程图。
图2是根据一示例性实施例示出的一种视频封面确定装置框图。
图3是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频封面确定方法的流程图，如图1所示，所述方法包括以下步骤：
步骤S101：对目标视频进行解码，得到所述目标视频包括的多帧图像。
其中，所述视频封面确定方法可以应用于电子设备，所述电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载移动终端及服务器等。所述电子设备可以包括解码模块，可以通过解码模块对目标视频进行解码。例如，可以采用opencv或者ffmpeg将目标视频解码为连续的图像帧序列。所述多帧图像可以为所述图像帧序列中的所有图像，或者，为降低计算的复杂度，可以从所述图像帧序列中抽取多帧图像。为进一步降低时间复杂度，可以保持一致间隔抽取图像帧序列，得到多帧图像。图像帧序列具有冗余性，抽取后不会较大地影响视频内容的表达。
步骤S102：确定所述多帧图像中每帧图像的社交属性信息，所述社交属性信息用于表示所述每帧图像被设置为所述目标视频的视频封面时产生社交交互行为的预测信息。
其中，所述确定所述多帧图像中每帧图像的社交属性信息，可以是，通过第一神经网络模型预测所述多帧图像中每帧图像的社交属性信息，其中，所述第一神经网络模型基于多个视频样本的视频封面图像以及所述多个视频样本的社交属性信息训练获得；或者，还可以是，对目标视频进行视频分类，针对每个视频分类预先设置的高点击率的封面特征，对每帧图像进行评分，得到社交属性信息。例如，视频分类可以包括人物视频和风景视频，人物视频具有高点击率的封面特征可以为人物，风景视频具有高点击率的封面特征可以为风景，若目标视频为人物视频，则可以根据每帧图像是否有人物对每帧图像进行评分，得到社交属性信息。
步骤S103：根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
其中，所述社交属性信息可以包括第一分值，所述每帧图像的第一分值可以与对应的预测点击率呈正相关；或者还可以包括其他类型的信息，例如，与预测点击率相关的文字或图形信息。以社交属性信息包括第一分值为例，可以将所述多帧图像中第一分值最高的一帧图像作为所述目标视频的视频封面，从而可以不用视频创造者参与，自动实现视频封面的确定，减少人力的投入，挑选出高点击率的视频封面；或者，还可以将所述多帧图像中第一分值高于预设值的多帧图像显示给视频创造者，将视频创造者从所述第一分值高于预设值的多帧图像中选择的图像作为所述目标视频的视频封面，通过视频创造者参与，可以获取对用户更有吸引力的视频封面。
本公开的实施例提供的技术方案至少带来以下有益效果：由于本公开实施例中依据每帧图像的社交属性信息从所述多帧图像中确定所述目标视频的视频封面，因此，不需要视频创造者浏览视频中的所有图像帧，并从视频的所有图像帧中挑选一张图像作为视频封面，从而可以缩短确定视频封面的耗时时长。
可选的，在步骤S102中，所述确定所述多帧图像中每帧图像的社交属性信息，包括：
通过第一神经网络模型预测所述多帧图像中每帧图像的社交属性信息，其中，所述第一神经网络模型基于多个视频样本的视频封面图像以及所述多个视频样本的社交属性信息训练获得。
其中，所述社交属性信息可以包括点击率。在视频推送量一定的情况下，视频样本的点击率与视频播放量成正比，作为一种实施方式，点击率可以为视频播放量与视频推送量的比值。为使视频样本的点击率更为真实地反映视频的受欢迎程度，视频样本的视频推送量可以大于预设推送量，预设推送量可以为万级别，或者可以为百万级别，或者可以为千万级别，等等。
另外，所述第一神经网络模型的输出可以为所述多帧图像中每帧图像分类到对应标签的置信度评分，在训练所述第一神经网络模型的过程中，所述多个视频样本的视频封面图像对应的标签基于所述多个视频样本对应的点击率确定。
其中，为便于对比多帧图像的社交属性信息，每帧图像的社交属性信息可以包括第一分值，第一分值可以是每帧图像为高点击率视频的视频封面图像的置信度评分。该置信度评分可以用于表征图像成为高点击率视频的视频封面图像的可能性程度，以置信度评分为0-1之间的值为例，置信度评分越大表示图像成为高点击率视频封面图像的可能性越大。
另外，所述第一神经网络模型可以为回归模型或分类模型。所述多个视频样本的视频封面图像以及所述多个视频样本的点击率可以作为所述第一神经网络模型的训练样本集。
示例地，为使第一神经网络模型更好地学习高点击率视频的视频封面图像的特征，可以将点击率高于第一预设值与点击率低于第二预设值的视频作为视频样本，第一预设值大于所述第二预设值。第一预设值可以为0.5，或者可以为0.7，或者可以为0.8等等，第二预设值可以为0.01，或者可以为0.005，或者可以为0.001等等。点击率高于第一预设值的视频可以认为是高点击率的视频，点击率低于第二预设值的视频可以认为是低点击率的视频。为训练第一神经网络模型，可以为每个视频样本的视频封面图像设置标签，例如，可以为低点击率视频的视频封面图像设置标签0，可以为高点击率视频的视频封面图像设置标签1。
需要说明的是，若所述第一神经网络模型为回归模型，可以以点击率作为目标输出训练所述第一神经网络模型；若所述第一神经网络模型为分类模型，可以以视频封面图像设置的标签作为目标输出训练所述第一神经网络模型。以所述第一神经网络模型为分类模型为例，第一神经网络模型可以为卷积神经网络，例如，可以为Resnet网络，可以通过卷积神经网络学习高点击率视频的视频封面图像以及低点击率视频的视频封面图像的特征。将图像输入第一神经网络模型，可以获得输入图像是高点击率视频的视频封面图像以及低点击率视频的视频封面图像的置信度评分。
该实施方式中，通过第一神经网络模型预测所述多帧图像中每帧图像的社交属性信息，能够快速且准确地预测所述多帧图像中最有可能成为高点击率视频的视频封面图像。
可选的，为从所述多帧图像中确定对用户更有吸引力的视频封面，在步骤S103中，所述根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，包括：
确定所述多帧图像中每帧图像的图像质量信息，所述图像质量信息用于表示所述每帧图像的美学质量评价信息；
根据所述每帧图像的社交属性信息和图像质量信息，从所述目标视频包括的多帧图像中选择目标图像。
其中，所述确定所述多帧图像中每帧图像的图像质量信息，可以是，通过第二神经网络模型预测所述每帧图像的图像质量信息，其中，所述第二神经网络模型基于多个图像样本以及每个所述图像样本对应的图像质量信息训练获得；或者，还可以是，通过预设算法评估每帧图像，得到每帧图像的图像质量信息，所述预设算法可以用于评估所述每帧图像的图像美学质量评分。
另外，可以将每帧图像的社交属性信息和图像质量信息进行加权平均，将加权平均后得到的值最大的一帧图像作为目标图像；或者，还可以将每帧图像的社交属性信息和图像质量信息展示给视频创造者，将视频创造者挑选的图像作为目标图像，本实施例对此不进行限定。
该实施方式中，在社交属性信息的基础上结合图像质量信息，从所述多帧图像中确定视频封面图像，图像质量信息能够表示所述每帧图像的美学质量评价信息，从而能够将美学程度较高的图像作为视频封面，能够提高用户浏览视频的积极性。
可选的，所述确定所述多帧图像中每帧图像的图像质量信息，包括：
通过第二神经网络模型预测所述每帧图像的图像质量信息，其中，所述第二神经网络模型基于多个图像样本以及每个所述图像样本对应的图像质量信息训练获得。
另外，所述图像质量信息可以包括图像美学质量评分。所述第二神经网络模型的输出可以为所述多帧图像中每帧图像对应的图像美学质量评分；每个图像样本对应的图像美学质量评分可以包括多个用户对每个图像样本的图像美学质量评分；在训练所述第二神经网络模型的过程中，所述第二神经网络模型可以基于每个图像样本，以及多个用户对每个所述图像样本的图像美学质量评分的均值和方差训练获得。
其中，每帧图像的图像质量信息可以包括每帧图像对应的图像美学质量评分，或者还可以包括与图像美学质量评分相关的文字或图形信息。该图像美学质量评分可以用于表示图像的美学质量，是图像吸引力的体现。
另外，所述第二神经网络模型可以为回归模型或分类模型。所述多个图像样本以及每个所述视频封面图像对应的图像美学质量评分可以作为所述第二神经网络模型的训练样本集。
示例地，为节省工作量，可以从所述多个视频样本中获取所述多个图像样本，例如，可以对每个视频样本每隔1s提取一帧视频图像，得到多个图像样本。为训练所述第二神经网络模型，可以对每个图像样本进行标注。进行标注的过程也就是为每个图像样本进行图像美学质量评分，例如，10分可以表示图像美学质量最高，1分可以表示图像美学质量最低。为提高标注准确性，每个图像样本可以被不同的标注者评分，从多个标注者的评分可以获得每个图像样本的图像美学质量评分的均值与方差。
以所述第二神经网络模型为回归模型为例，第二神经网络模型可以为卷积神经网络，在训练卷积神经网络的过程中，通过卷积神经网络拟合图像样本的图像美学质量评分的均值与方差。以图像美学质量评分为1-10分为例，可以将卷积神经网络的最后一层替换为包含十个神经元的全连接层，每个神经元分别对应图像美学质量评分的1-10分。在训练卷积神经网络的过程中，卷积神经网络的softmax层可以输出图像样本的图像美学质量评分分别为1-10分的概率，根据十个概率值可以计算图像美学质量评分的均值及方差，将计算得到的均值及方差，与标注得到的图像美学质量评分的均值及方差比较，设计损失函数训练卷积神经网络，例如，损失函数可以为EMD Loss函数。
需要说明的是，为了提高训练的卷积神经网络的稳定性，可以采用ImageNet数据集或者开源的美学质量评估数据集，例如，AVA与TID等，预训练卷积神经网络，并且可以在损失函数中引入网络参数的正则化项。
该实施方式中，通过第二神经网络模型预测所述每帧图像的美学质量评分信息，能够快速且准确地预测所述多帧图像中每帧图像的美学质量评分信息。
可选的，所述根据所述每帧图像的社交属性信息和图像质量信息，从所述目标视频包括的多帧图像中选择目标图像，包括：
确定所述多帧图像中每帧图像的第一图像特征信息，所述第一图像特征信息用于表示所述每帧图像的运动模糊程度的特征信息；
根据所述每帧图像的社交属性信息、图像质量信息及第一图像特征信息，从所述目标视频包括的多帧图像中选择目标图像。
其中，所述第一图像特征信息可以包括运动估计评分，或者还可以包括与运动估计评分相关的文字或图形信息。为了避免视频封面图像出现运动模糊，可以通过第一图像特征信息估计每帧图像的运动程度，尽可能将运动模糊程度较小的图像作为视频封面图像。可以基于光流法、块匹配算法或者计算视频图像帧序列间的差异进行运动估计。
以计算视频图像帧序列间的差异进行运动估计为例，可以计算当前图像帧与前一帧，或者前N帧的差异，例如，像素值、统计直方图差异、余弦距离等，N为正整数；遍历视频图像帧序列，依次计算每帧图像的差异值；可以取差异值的倒数并将其归一化到0-1之间的值作为每帧图像的运动估计评分。运动估计评分越大，表示该帧图像运动模糊的程度越小。
另外，可以将每帧图像的社交属性信息、图像质量信息及第一图像特征信息进行加权平均，将加权平均后得到的值最大的一帧图像作为目标图像；或者，还可以将每帧图像的社交属性信息、图像质量信息及第一图像特征信息展示给视频创造者，将视频创造者挑选的图像作为目标图像，本实施例对此不进行限定。
该实施方式中，在社交属性信息和图像质量信息的基础上结合第一图像特征信息，从所述多帧图像中确定视频封面图像，第一图像特征信息能够表示所述每帧图像的运动模糊程度，从而能够将更为清晰的图像作为视频封面，能够提高用户浏览视频的积极性，且可以提高视频的点击率及用户的留存率。
可选的，所述根据所述每帧图像的社交属性信息、图像质量信息及第一图像特征信息，从所述目标视频包括的多帧图像中选择目标图像，包括：
确定所述多帧图像中每帧图像的第二图像特征信息，所述第二图像特征信息用于表示所述每帧图像与所述目标视频的视频内容的关联程度信息；
根据所述每帧图像的社交属性信息、图像质量信息、第一图像特征信息及第二图像特征信息，从所述目标视频包括的多帧图像中选择目标图像。
其中，所述第二图像特征信息可以包括第二分值，或者还可以包括与每帧图像所在镜头的镜头长度相关的文字或图形信息，所述第二分值可以为所述每帧图像所在镜头的镜头长度与最长镜头的镜头长度的比值。
需要说明的是，为了使视频封面图像尽可能地反映视频的内容，可以对视频进行视频镜头边缘检测。可以检测视频镜头的边缘，获取视频镜头切换的位置，从而可以将视频图像帧序列按照视频镜头划分为多个镜头(shot)。可以通过深度学习方法或者传统图像处理方法进行视频镜头检测，确定视频镜头的边缘帧，从而可以确定每帧图像所在镜头的镜头长度以及最长镜头。
以采用传统图像处理方法进行视频镜头检测为例，可以将解码得到的相邻帧图像转换为对应的灰度图像，计算灰度图像帧间的像素统计直方图，利用滑动窗口机制计算滑动窗口内，例如以10个图像帧为长度的滑动窗口内，可以将相邻帧间像素统计直方图差异最大的图像帧作为视频镜头可能的边缘帧，其中，当前帧与前一帧为相邻帧间，某一帧的像素统计直方图差异为该帧与其前一帧的像素统计直方图的差异值。获取到视频所有可能的边缘帧后，可以计算视频镜头可能的边缘帧的像素统计直方图差异与多帧中间图像的平均像素统计直方图差异的差值，若差值大于预设阈值，则可以将可能的边缘帧确定为视频镜头的边缘帧。所述多帧中间图像可以为该视频镜头可能的边缘帧与相邻视频镜头可能的边缘帧之间所有的图像帧。所述平均像素统计直方图差异可以是多帧中间图像统计像素直方图差异的平均值。
示例地，以10个图像帧为长度的滑动窗口内，步长为8，窗口重叠次数为2，将滑动窗口内像素统计直方图差异最大的帧定义为可能的M帧，并判断它距离上一个M帧的距离。若距离大于或等于最小镜头长度，则确定该可能的M帧为M帧。获取视频的所有的M帧。计算两个M帧之间的多帧的像素统计直方图差异的平均值，并判断M帧的像素统计直方图差异是否远大于该平均值，若M帧的像素统计直方图差异远大于该平均值，则该M帧为视频镜头的边缘帧。例如，若M帧的像素统计直方图差异大于6倍的所述平均值，则该M帧为视频镜头的边缘帧。
另外，所述根据所述每帧图像的社交属性信息、图像质量信息、第一图像特征信息及第二图像特征信息，从所述目标视频包括的多帧图像中选择目标图像，可以是，获取所述多帧图像中每帧图像的第三分值，所述每帧图像的第三分值与所述每帧图像的第二图像特征信息呈正相关，且所述每帧图像的第三分值与所述每帧图像的社交属性信息、图像质量信息及第一图像特征信息的加权平均值呈正相关，可以依据所述每帧图像的第三分值确定所述目标视频的视频封面；或者，可以获取所述多帧图像中每帧图像的第四分值，所述第四分值与所述每帧图像的社交属性信息、图像质量信息、第一图像特征信息及第二图像特征信息的加权平均值呈正相关，可以依据所述每帧图像的第四分值确定所述目标视频的视频封面；等等，本公开实施例对此不进行限定。
该实施方式中，在社交属性信息、图像质量信息及第一图像特征信息的基础上结合第二图像特征信息，从所述多帧图像中确定视频封面图像，第二图像特征信息能够表示每帧图像与所述目标视频的视频内容的关联程度，从而能够将与视频内容关联程度较高的图像作为视频封面，能够提高用户浏览视频的积极性。
作为一种具体的实施方式，可以获取所述多帧图像中每帧图像的第三分值，所述每帧图像的第三分值与所述每帧图像的第二分值呈正相关，且所述每帧图像的第三分值与所述每帧图像的第一分值、图像美学质量评分及运动估计评分的加权平均值呈正相关；
将所述多帧图像中第三分值最高的图像确定为所述目标视频的视频封面。
其中，所述第三分值可以为所述第一分值、图像美学质量评分及运动估计评分的加权平均值与所述第二分值的乘积。所述每帧图像的第一分值、图像美学质量评分及运动估计评分的加权平均值可以为：a1*w1+a2*w2+a3*w3，其中，a1为第一分值，a2为图像美学质量评分，a3为运动估计评分，w1为第一系数，w2为第二系数，w3为第三系数，第一系数、第二系数和第三系数均为预先设置的值，第一系数可以大于第二系数，第二系数可以大于第三系数。
另外，为更好地综合点击率、图像美学质量、运动模糊程度以及图像是否反映视频内容等多个因素评估每帧图像，可以将第一分值、图像美学质量评分、运动估计评分及第二分值统一到一个数量级评估每帧图像，例如，可以分别将第一分值、图像美学质量评分、运动估计评分及第二分值归一化为0-1之间的值。
该实施方式中，结合点击率、图像美学质量、运动模糊程度以及图像是否反映视频内容等多方面的评分，自动确定所述目标视频的视频封面，智能化程度较高。
图2是根据一示例性实施例示出的一种视频封面确定装置框图。参照图2，该装置包括解码模块201、确定模块202和选择模块203，其中：
解码模块201，被配置为执行对目标视频进行解码，得到所述目标视频包括的多帧图像；
确定模块202，被配置为执行确定所述多帧图像中每帧图像的社交属性信息，所述社交属性信息用于表示所述每帧图像被设置为所述目标视频的视频封面时产生社交交互行为的预测信息；
选择模块203，被配置为执行根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
可选的，所述选择模块203包括：
确定子模块，被配置为执行确定所述多帧图像中每帧图像的图像质量信息，所述图像质量信息用于表示所述每帧图像的美学质量评价信息；
选择子模块，被配置为执行根据所述每帧图像的社交属性信息和图像质量信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
可选的，所述选择子模块包括：
确定单元，被配置为执行确定所述多帧图像中每帧图像的第一图像特征信息，所述第一图像特征信息用于表示所述每帧图像的运动模糊程度的特征信息；
选择单元，被配置为执行根据所述每帧图像的社交属性信息、图像质量信息及第一图像特征信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
可选的，所述选择单元包括：
确定子单元，被配置为执行确定所述多帧图像中每帧图像的第二图像特征信息，所述第二图像特征信息用于表示所述每帧图像与所述目标视频的视频内容的关联程度信息；
选择子单元，被配置为执行根据所述每帧图像的社交属性信息、图像质量信息、第一图像特征信息及第二图像特征信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
可选的，所述确定模块包括：
第一预测单元，被配置为执行通过第一神经网络模型预测所述多帧图像中每帧图像的社交属性信息，其中，所述第一神经网络模型基于多个视频样本的视频封面图像以及所述多个视频样本的社交属性信息训练获得。
可选的，所述确定子模块包括：
第二预测单元，被配置为执行通过第二神经网络模型预测所述每帧图像的图像质量信息，其中，所述第二神经网络模型基于多个图像样本以及每个所述图像样本对应的图像质量信息训练获得。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图3是根据一示例性实施例示出的一种电子设备的框图。参照图3，电子设备包括：
处理器301；
用于存储所述处理器301可执行指令的存储器302；
其中，所述处理器301被配置为执行所述指令，以实现上述实施例中用于电子设备的视频封面确定方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述视频封面确定方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种视频封面确定方法，其特征在于，所述方法包括：
对目标视频进行解码，得到所述目标视频包括的多帧图像；
确定所述多帧图像中每帧图像的社交属性信息，所述社交属性信息用于表示所述每帧图像被设置为所述目标视频的视频封面时产生社交交互行为的预测信息；
根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
2.根据权利要求1所述的视频封面确定方法，其特征在于，所述根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，包括：
确定所述多帧图像中每帧图像的图像质量信息，所述图像质量信息用于表示所述每帧图像的美学质量评价信息；
根据所述每帧图像的社交属性信息和图像质量信息，从所述目标视频包括的多帧图像中选择目标图像。
3.根据权利要求2所述的视频封面确定方法，其特征在于，所述根据所述每帧图像的社交属性信息和图像质量信息，从所述目标视频包括的多帧图像中选择目标图像，包括：
确定所述多帧图像中每帧图像的第一图像特征信息，所述第一图像特征信息用于表示所述每帧图像的运动模糊程度的特征信息；
根据所述每帧图像的社交属性信息、图像质量信息及第一图像特征信息，从所述目标视频包括的多帧图像中选择目标图像。
4.根据权利要求3所述的视频封面确定方法，其特征在于，所述根据所述每帧图像的社交属性信息、图像质量信息及第一图像特征信息，从所述目标视频包括的多帧图像中选择目标图像，包括：
确定所述多帧图像中每帧图像的第二图像特征信息，所述第二图像特征信息用于表示所述每帧图像与所述目标视频的视频内容的关联程度信息；
根据所述每帧图像的社交属性信息、图像质量信息、第一图像特征信息及第二图像特征信息，从所述目标视频包括的多帧图像中选择目标图像。
5.根据权利要求1所述的视频封面确定方法，其特征在于，所述确定所述多帧图像中每帧图像的社交属性信息，包括：
通过第一神经网络模型预测所述多帧图像中每帧图像的社交属性信息，其中，所述第一神经网络模型基于多个视频样本的视频封面图像以及所述多个视频样本的社交属性信息训练获得。
6.根据权利要求2所述的视频封面确定方法，其特征在于，所述确定所述多帧图像中每帧图像的图像质量信息，包括：
通过第二神经网络模型预测所述每帧图像的图像质量信息，其中，所述第二神经网络模型基于多个图像样本以及每个所述图像样本对应的图像质量信息训练获得。
7.一种视频封面确定装置，其特征在于，所述装置包括：
解码模块，被配置为执行对目标视频进行解码，得到所述目标视频包括的多帧图像；
确定模块，被配置为执行确定所述多帧图像中每帧图像的社交属性信息，所述社交属性信息用于表示所述每帧图像被设置为所述目标视频的视频封面时产生社交交互行为的预测信息；
选择模块，被配置为执行根据所述每帧图像的社交属性信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
8.根据权利要求7所述的视频封面确定方法，其特征在于，所述选择模块包括：
确定子模块，被配置为执行确定所述多帧图像中每帧图像的图像质量信息，所述图像质量信息用于表示所述每帧图像的美学质量评价信息；
选择子模块，被配置为执行根据所述每帧图像的社交属性信息和图像质量信息，从所述目标视频包括的多帧图像中选择目标图像，并将选择的所述目标图像确定为所述目标视频的视频封面。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的视频封面确定方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的视频封面确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010799695.XA CN111918130A (zh) | 2020-08-11 | 2020-08-11 | 视频封面确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010799695.XA CN111918130A (zh) | 2020-08-11 | 2020-08-11 | 视频封面确定方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111918130A true CN111918130A (zh) | 2020-11-10 |
Family
ID=73283736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010799695.XA Pending CN111918130A (zh) | 2020-08-11 | 2020-08-11 | 视频封面确定方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111918130A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112689187A (zh) * | 2020-12-17 | 2021-04-20 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置、电子设备及存储介质 |
| CN112800276A (zh) * | 2021-01-20 | 2021-05-14 | 北京有竹居网络技术有限公司 | 视频封面确定方法、装置、介质及设备 |
| CN112866801A (zh) * | 2021-03-11 | 2021-05-28 | 北京小米移动软件有限公司 | 视频封面的确定方法、装置、电子设备及存储介质 |
| KR20210091076A (ko) * | 2020-12-17 | 2021-07-21 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 비디오를 처리하기 위한 방법, 장치, 전자기기, 매체 및 컴퓨터 프로그램 |
| CN113343832A (zh) * | 2021-06-01 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 视频封面判别方法、装置、设备及计算机可读介质 |
| CN113407774A (zh) * | 2021-06-30 | 2021-09-17 | 广州酷狗计算机科技有限公司 | 封面确定方法、装置、计算机设备及存储介质 |
| CN113821678A (zh) * | 2021-07-21 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 视频封面的确定方法及装置 |
| CN114827644A (zh) * | 2021-12-29 | 2022-07-29 | 广州方硅信息技术有限公司 | 基于用户匹配信息的直播互动方法、装置及计算机设备 |
| CN115065855A (zh) * | 2022-08-04 | 2022-09-16 | 广州市千钧网络科技有限公司 | 一种直播间动态封面生成方法及装置 |
| CN115174812A (zh) * | 2022-07-01 | 2022-10-11 | 维沃移动通信有限公司 | 视频生成方法、视频生成装置及电子设备 |
| CN116567369A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 一种视频处理方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103003880A (zh) * | 2010-07-26 | 2013-03-27 | 皇家飞利浦电子股份有限公司 | 为视频确定代表图像 |
| KR20150089598A (ko) * | 2014-01-28 | 2015-08-05 | 에스케이플래닛 주식회사 | 요약정보 생성 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체 |
| CN107832725A (zh) * | 2017-11-17 | 2018-03-23 | 北京奇虎科技有限公司 | 基于评价指标的视频封面提取方法及装置 |
| CN108650524A (zh) * | 2018-05-23 | 2018-10-12 | 腾讯科技（深圳）有限公司 | 视频封面生成方法、装置、计算机设备及存储介质 |
| CN108833942A (zh) * | 2018-06-28 | 2018-11-16 | 北京达佳互联信息技术有限公司 | 视频封面选取方法、装置、计算机设备及存储介质 |
| CN109165301A (zh) * | 2018-09-13 | 2019-01-08 | 北京字节跳动网络技术有限公司 | 视频封面选择方法、装置和计算机可读存储介质 |
| CN109271542A (zh) * | 2018-09-28 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 封面确定方法、装置、设备及可读存储介质 |
| CN109996091A (zh) * | 2019-03-28 | 2019-07-09 | 苏州八叉树智能科技有限公司 | 生成视频封面的方法、装置、电子设备和计算机可读存储介质 |
| CN110909205A (zh) * | 2019-11-22 | 2020-03-24 | 北京金山云网络技术有限公司 | 一种视频封面确定方法、装置、电子设备及可读存储介质 |
| CN111143613A (zh) * | 2019-12-30 | 2020-05-12 | 携程计算机技术（上海）有限公司 | 选择视频封面的方法、系统、电子设备与存储介质 |
-
2020
- 2020-08-11 CN CN202010799695.XA patent/CN111918130A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103003880A (zh) * | 2010-07-26 | 2013-03-27 | 皇家飞利浦电子股份有限公司 | 为视频确定代表图像 |
| KR20150089598A (ko) * | 2014-01-28 | 2015-08-05 | 에스케이플래닛 주식회사 | 요약정보 생성 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체 |
| CN107832725A (zh) * | 2017-11-17 | 2018-03-23 | 北京奇虎科技有限公司 | 基于评价指标的视频封面提取方法及装置 |
| CN108650524A (zh) * | 2018-05-23 | 2018-10-12 | 腾讯科技（深圳）有限公司 | 视频封面生成方法、装置、计算机设备及存储介质 |
| CN108833942A (zh) * | 2018-06-28 | 2018-11-16 | 北京达佳互联信息技术有限公司 | 视频封面选取方法、装置、计算机设备及存储介质 |
| CN109165301A (zh) * | 2018-09-13 | 2019-01-08 | 北京字节跳动网络技术有限公司 | 视频封面选择方法、装置和计算机可读存储介质 |
| CN109271542A (zh) * | 2018-09-28 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 封面确定方法、装置、设备及可读存储介质 |
| CN109996091A (zh) * | 2019-03-28 | 2019-07-09 | 苏州八叉树智能科技有限公司 | 生成视频封面的方法、装置、电子设备和计算机可读存储介质 |
| CN110909205A (zh) * | 2019-11-22 | 2020-03-24 | 北京金山云网络技术有限公司 | 一种视频封面确定方法、装置、电子设备及可读存储介质 |
| CN111143613A (zh) * | 2019-12-30 | 2020-05-12 | 携程计算机技术（上海）有限公司 | 选择视频封面的方法、系统、电子设备与存储介质 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102576344B1 (ko) * | 2020-12-17 | 2023-09-08 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 비디오를 처리하기 위한 방법, 장치, 전자기기, 매체 및 컴퓨터 프로그램 |
| KR20210091076A (ko) * | 2020-12-17 | 2021-07-21 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 비디오를 처리하기 위한 방법, 장치, 전자기기, 매체 및 컴퓨터 프로그램 |
| CN112689187A (zh) * | 2020-12-17 | 2021-04-20 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置、电子设备及存储介质 |
| US11856277B2 (en) | 2020-12-17 | 2023-12-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing video, electronic device, medium and product |
| EP3872652A3 (en) * | 2020-12-17 | 2021-12-15 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing video, electronic device, medium and product |
| CN112800276A (zh) * | 2021-01-20 | 2021-05-14 | 北京有竹居网络技术有限公司 | 视频封面确定方法、装置、介质及设备 |
| CN112866801A (zh) * | 2021-03-11 | 2021-05-28 | 北京小米移动软件有限公司 | 视频封面的确定方法、装置、电子设备及存储介质 |
| CN112866801B (zh) * | 2021-03-11 | 2023-10-03 | 北京小米移动软件有限公司 | 视频封面的确定方法、装置、电子设备及存储介质 |
| CN113343832A (zh) * | 2021-06-01 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 视频封面判别方法、装置、设备及计算机可读介质 |
| CN113343832B (zh) * | 2021-06-01 | 2024-02-02 | 北京奇艺世纪科技有限公司 | 视频封面判别方法、装置、设备及计算机可读介质 |
| CN113407774A (zh) * | 2021-06-30 | 2021-09-17 | 广州酷狗计算机科技有限公司 | 封面确定方法、装置、计算机设备及存储介质 |
| CN113821678A (zh) * | 2021-07-21 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 视频封面的确定方法及装置 |
| CN113821678B (zh) * | 2021-07-21 | 2024-04-12 | 腾讯科技（深圳）有限公司 | 视频封面的确定方法及装置 |
| CN114827644A (zh) * | 2021-12-29 | 2022-07-29 | 广州方硅信息技术有限公司 | 基于用户匹配信息的直播互动方法、装置及计算机设备 |
| CN116567369A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN115174812A (zh) * | 2022-07-01 | 2022-10-11 | 维沃移动通信有限公司 | 视频生成方法、视频生成装置及电子设备 |
| CN115065855A (zh) * | 2022-08-04 | 2022-09-16 | 广州市千钧网络科技有限公司 | 一种直播间动态封面生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111918130A (zh) | 视频封面确定方法、装置、电子设备及存储介质 | |
| CN109543714B (zh) | 数据特征的获取方法、装置、电子设备及存储介质 | |
| CN110909205B (zh) | 一种视频封面确定方法、装置、电子设备及可读存储介质 | |
| CN110557659B (zh) | 视频推荐方法、装置、服务器及存储介质 | |
| WO2022042135A1 (zh) | 人脸图像的选择方法、装置、设备及存储介质 | |
| CN109063611B (zh) | 一种基于视频语义的人脸识别结果处理方法和装置 | |
| WO2020108396A1 (zh) | 视频分类的方法以及服务器 | |
| CN112533051A (zh) | 弹幕信息显示方法、装置、计算机设备和存储介质 | |
| CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
| CN111814817A (zh) | 视频分类方法、装置、存储介质及电子设备 | |
| CN110866563B (zh) | 相似视频检测、推荐方法、电子设备和存储介质 | |
| CN111783712A (zh) | 一种视频处理方法、装置、设备及介质 | |
| CN114339362B (zh) | 视频弹幕匹配方法、装置、计算机设备和存储介质 | |
| CN113766330A (zh) | 基于视频生成推荐信息的方法和装置 | |
| CN109922334A (zh) | 一种视频质量的识别方法及系统 | |
| CN112995652A (zh) | 视频质量评估方法及装置 | |
| Zhang et al. | Detecting and removing visual distractors for video aesthetic enhancement | |
| CN111984821A (zh) | 确定视频动态封面的方法、装置、存储介质及电子设备 | |
| CN112685596B (zh) | 视频推荐方法及装置、终端、存储介质 | |
| CN111814846A (zh) | 属性识别模型的训练方法、识别方法及相关设备 | |
| CN112052352B (zh) | 视频排序方法、装置、服务器及存储介质 | |
| CN111581435B (zh) | 一种视频封面图像生成方法、装置、电子设备及存储介质 | |
| CN113821678A (zh) | 视频封面的确定方法及装置 | |
| CN116261009B (zh) | 智能转化影视受众的视频检测方法、装置、设备及介质 | |
| US20230066331A1 (en) | Method and system for automatically capturing and processing an image of a user |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |