CN107918656A - 基于视频标题的视频封面提取方法及装置 - Google Patents

基于视频标题的视频封面提取方法及装置 Download PDF

Info

Publication number
CN107918656A
CN107918656A CN201711147986.5A CN201711147986A CN107918656A CN 107918656 A CN107918656 A CN 107918656A CN 201711147986 A CN201711147986 A CN 201711147986A CN 107918656 A CN107918656 A CN 107918656A
Authority
CN
China
Prior art keywords
video
cover
image
cover image
chosen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711147986.5A
Other languages
English (en)
Inventor
余道明
陈强
黄君实
李东亮
张康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201711147986.5A priority Critical patent/CN107918656A/zh
Publication of CN107918656A publication Critical patent/CN107918656A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频标题的视频封面提取方法及装置。其中,方法包括:获取视频的封面集,所述封面集包含至少一个待选取的封面图像;将所述视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;将所述封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离,根据计算结果确定应选取的封面图像。采用本方案,可以实现与视频标题相关度高的视频封面的自动化选取,提高视频封面与视频内容及标题的匹配度,提升用户体验。

Description

基于视频标题的视频封面提取方法及装置
技术领域
本发明涉及视频信息处理技术领域,具体涉及一种基于视频标题的视频封面提取方法及装置。
背景技术
随着科学技术及社会的不断发展,各类视频的大量涌现极大丰富了人们的精神文明生活。为使用户更快、更准确地获知视频内容或者提高用户点击量,通常需为每个视频设置相应的视频标题以及视频封面。
然而,目前在为视频设置相应的视频封面的过程中,通常是按照固定时间点(比如,将一个视频按时长平均分割为若干份子视频,将每份子视频开始播放的时间点作为固定时间点),从该视频中截取图片作为视频封面的候选图片以供用户从中选择。但是,采用该种方法提取出的视频封面与视频标题相关度差,无法准确反映视频内容及视频标题,出现“文不对图”的情况,从而降低用户体验,并进一步影响视频的点击率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于视频标题的视频封面提取方法及装置。
根据本发明的一个方面,提供了一种基于视频标题的视频封面提取方法,其包括:获取视频的封面集,所述封面集包含至少一个待选取的封面图像;将所述视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;将所述封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离,根据计算结果确定应选取的封面图像。
可选的,所述语义特征提取模块为基于机器学习的语义特征提取模块;和/或,所述图像特征提取模块为基于机器学习的图像特征提取模块。
可选的,在所述计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离之后,所述方法还包括:根据计算的所述视频标题特征与所述封面图像特征之间的距离大小,对所述封面图像特征对应的待选取封面进行排序;则所述根据计算结果确定应选取的封面图像进一步包括:根据待选取封面的排序结果,确定应选取的封面图像。
可选的,所述获取视频的封面集进一步包括:获取用户预先标定的至少一个封面图像加入到封面集中。
可选的,所述获取视频的封面集进一步包括:将所述视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。
可选的,所述方法还包括:根据至少一个预设评价指标对所述封面集中每个待选取的封面图像进行评分,得到至少一个指标评分;在所述计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离之后,所述方法还包括:根据计算得到的距离为所述每个待选取的封面图像进行评分,得到标题相关度评分;所述根据计算结果确定应选取的封面图像进一步包括:根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像。
可选的,所述方法还包括:为每个指标评分以及所述标题相关度评分分别设置相应的权重系数;所述根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像进一步包括:依据相应的权重系数,将每个待选取的封面图像的至少一个指标评分以及标题相关度评分进行加权求和,得到每个待选取的封面图像的推荐值;按照推荐值确定应选取的封面图像。
可选的,所述预设评价指标包括:待选取的封面图像的内容健康程度和/或清晰度。
可选的,所述根据计算结果确定应选取的封面图像具体为:根据计算结果确定应选取的至少两个封面图像;在所述根据计算结果确定应选取的至少两个封面图像之后,所述方法还包括:将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;根据所述用户点击率数据对所述语义特征提取模块和/或图像特征提取模块进行调整。
可选的,所述根据计算结果确定应选取的封面图像具体为:根据计算结果确定应选取的至少两个封面图像;在所述根据计算结果确定应选取的至少两个封面图像之后,所述方法还包括:将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或封面提取模块进行调整。
可选的,所述根据计算结果确定应选取的封面图像具体为:根据计算结果确定应选取的至少两个封面图像;在所述根据计算结果确定应选取的至少两个封面图像之后,所述方法还包括:将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或所述权重系数进行调整。
可选的,在所述根据计算结果确定应选取的封面图像之后,所述方法还包括:对所述应选取的封面图像进行优化处理。
可选的,所述优化处理包括以下处理方式中的至少一种:清晰度增强处理、亮度调节处理、比例适配处理、以及去水印处理。
根据本发明的另一个方面,提供了一种基于视频标题的视频封面提取装置,其包括:获取模块,适于获取视频的封面集,所述封面集包含至少一个待选取的封面图像;视频标题特征提取模块,适于将所述视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;封面图像特征提取模块,适于将所述封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;计算模块,适于计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离;确定模块,适于根据所述计算模块中的计算结果确定应选取的封面图像。
可选的,所述语义特征提取模块为基于机器学习的语义特征提取模块;和/或,所述图像特征提取模块为基于机器学习的图像特征提取模块。
可选的,所述装置还包括:排序模块,适于根据计算的所述视频标题特征与所述封面图像特征之间的距离大小,对所述封面图像特征对应的待选取封面进行排序;则所述确定模块进一步适于:根据待选取封面的排序结果,确定应选取的封面图像。
可选的,所述获取模块进一步适于:获取用户预先标定的至少一个封面图像加入到封面集中。
可选的,所述获取模块进一步适于:将所述视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。
可选的,所述装置还包括:指标评分模块,适于根据至少一个预设评价指标对所述封面集中每个待选取的封面图像进行评分,得到至少一个指标评分;标题相关度评分模块,适于根据计算得到的距离为所述每个待选取的封面图像进行评分,得到标题相关度评分;所述确定模块进一步适于:根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像。
可选的,所述装置还包括:权重模块,适于为每个指标评分以及所述标题相关度评分分别设置相应的权重系数;则所述确定模块进一步适于:依据相应的权重系数,将每个待选取的封面图像的至少一个指标评分以及标题相关度评分进行加权求和,得到每个待选取的封面图像的推荐值;按照推荐值确定应选取的封面图像。
可选的,所述预设评价指标包括:待选取的封面图像的内容健康程度和/或清晰度。
可选的,所述确定模块进一步适于:根据计算结果确定应选取的至少两个封面图像;则所述装置还包括:记录模块,适于将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;第一调整模块,适于根据所述用户点击率数据对所述语义特征提取模块和/或图像特征提取模块进行调整。
可选的,所述确定模块进一步适于:根据计算结果确定应选取的至少两个封面图像;则所述装置还包括:记录模块,适于将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;第二调整模块,适于根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或封面提取模块进行调整。
可选的,所述确定模块进一步适于:根据计算结果确定应选取的至少两个封面图像;则所述装置还包括:记录模块,适于将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;第三调整模块,适于根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或所述权重系数进行调整。
可选的,所述装置还包括:优化模块,适于对所述应选取的封面图像进行优化处理。
可选的,所述优化处理包括以下处理方式中的至少一种:清晰度增强处理、亮度调节处理、比例适配处理、以及去水印处理。
根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上述基于视频标题的视频封面提取方法的操作。
根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述基于视频标题的视频封面提取方法的操作。
根据本发明的提供基于视频标题的视频封面提取方法及装置。首先获取视频的封面集,所述封面集包含至少一个待选取的封面图像;并将视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;最终计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离,根据计算结果确定应选取的封面图像。本方案通过将封面集中的待选取的封面图像的封面图像特征与视频标题特征进行比对,最终确定与视频标题匹配度高的封面图像,从而实现了与视频标题相关度高的视频封面的自动化选取,提高视频封面与视频内容及标题的匹配度,避免了视频“文不对图”情况的发生,便于用户根据视频封面快速准确地获知视频场景化内容,提高用户体验,并可进一步地提升视频点击率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例提供的基于视频标题的视频封面提取方法的流程示意图;
图2示出了根据本发明另一个实施例提供的基于视频标题的视频封面提取方法的流程示意图;
图3示出了根据本发明又一个实施例提供的基于视频标题的视频封面提取方法的流程示意图;
图4示出了根据本发明一个实施例提供的基于视频标题的视频封面提取装置的流程示意图;
图5示出了根据本发明另一个实施例提供的基于视频标题的视频封面提取装置的流程示意图;
图6示出了根据本发明又一个实施例提供的基于视频标题的视频封面提取装置的流程示意图;
图7示出了根据本发明一个实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例提供的基于视频标题的视频封面提取方法的流程示意图。如图1所示,该方法包括:
步骤S110,获取视频的封面集,其中,封面集包含至少一个待选取的封面图像。
每个视频均有与其相对应的封面集,封面集中包含有至少一个待选取的封面图像。其中,视频封面集获取的具体方式本实施例不做限定,本领域技术人员可根据实际业务需求自行设置,例如,可将从视频中抽取帧图像加入到封面集中,也可将用户上传的封面加入至封面集中,也可从通用图片库中选取出通用图片加入到封面集中。
步骤S120,将视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征。
本实施例中的语义特征提取模块是预先通过训练而获得的。其中,语义特征提取模块可以为经训练得到的语义特征提取模型。例如,可利用机器学习的方法,通过对大量语义训练样本的训练,最终获得语义特征提取模型。
具体地,将视频的视频标题输入至经训练得到的语义特征提取模块后,可得到视频标题特征。其中,视频标题特征具体为由一个或多个词/字特征向量组成的矩阵空间。例如,将视频标题“卡车翻车”输入至语义特征提取模块后,可获得与“卡车”相对应的词特征向量C1以及与“翻车”相对应的词特征向量C2,C1与C2组成的矩阵空间即为与该视频标题相对应的视频标题特征。
步骤S130,将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征。
本实施例中的图像特征提取模块也是预先通过训练而获得的。其中,图像特征提取模块具体为经训练得到的图像特征提取模型。例如,可利用机器学习的方法,通过对大量图像训练样本的训练,最终获得图像特征提取模型。
具体地,将每个待选取的封面图像输入至经训练得到的图像特征提取模块后,可得到相应的封面图像特征。其中,封面图像特征具体为封面图像特征向量。
步骤S140,计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离,根据计算结果确定应选取的封面图像。
具体地,根据步骤S120中获得的视频标题特征,以及步骤S130获得的每个待选取的封面图像的封面图像特征,计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离。
举例来说,若步骤S120中获得的视频标题特征为词向量C1以及词向量C2组成的矩阵空间,步骤S130中获得的每个待选取的封面图像的封面图像特征分别为向量P1及P2,则可通过相应的矩阵距离计算算法分别计算C1及C2组成的矩阵空间与P1向量及P2向量之间的距离,从而获得视频标题特征与每个待选取的封面图像的封面图像特征之间的距离。
进一步地,在计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离后,根据该计算结果确定应选取的封面图像。其中,视频标题特征与待选取的封面图像的封面图像特征之间的距离越近,表明与该封面图像特征相对应的待选取封面图像与该视频标题的相关度越高。所以,可将与视频标题特征距离最近的封面图像特征所对应的待选取封面图像作为应选取的封面图像,也可以将与视频标题特征距离小于预设阈值的封面图像特征对应的待选取封面图像作为应选取的封面图像。
可选的,在确定应选取的封面图像之后,可将确定的应选取的封面图像推荐给用户以供用户选择,也可直接将确定应选取的封面图像设置为视频封面。
根据本实施例的提供基于视频标题的视频封面提取方法,首先获取包含至少一个待选取的封面图像的视频的封面集,并将视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;以及将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;最终计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离,根据计算结果确定应选取的封面图像。本方案通过将封面集中的待选取的封面图像的封面图像特征与视频标题特征进行比对,最终确定与视频标题匹配度高的封面图像,从而实现了与视频标题相关度高的视频封面的自动化选取,提高视频封面与视频内容及标题的匹配度,避免了视频“文不对图”的情况的发生,便于用户根据视频封面快速准确地获知视频场景化内容,提高用户体验,并进一步地提升视频点击率。
图2示出了根据本发明另一个实施例提供的基于视频标题的视频封面提取方法的流程示意图。如图2所示,该方法包括:
步骤S210,获取视频的封面集,其中,封面集包含至少一个待选取的封面图像。
封面集为待选取的封面图像的集合,每个视频均有与其相对应的封面集。其中,获取视频的封面集的方式包括但不限于以下方式中的一种或多种的组合:
方式一:获取用户预先标定的至少一个封面图像加入到封面集中。例如,用户可根据自己喜好,自定义设置封面图像,则可将用户自定义设置的封面图像加入到封面集中。可选的,可为封面集中用户预先标定的至少一个封面图像设置相应的标识信息,从而标识该封面图像为用户预先标定的图像。
方式二:将视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。其中,经训练得到的封面提取模块可以为基于机器学习的封面提取模型。举例来说,经训练得到的封面提取模块可从输入的视频中抽取多帧图像,并通过机器学习算法,根据封面提取模块中的参数(如清晰度阈值等),提取出至少一个封面图像,其中,提取出的封面图像的清晰度大于预设清晰度阈值,和/或封面图像的内容健康程度满足大于预设健康程度。
步骤S220,将视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征。
本实施例中的语义特征提取模块是基于机器学习的语义特征提取模块。其中,语义特征提取模块具体为经训练得到的语义特征提取模型。例如,语义特征提取模块可以为基于LTSM网络(Long-Short Term Memory,一种时间递归神经网络)的语义特征提取模型。
具体地,可通过大量的语义训练正、负样本对初始的语义特征提取模型进行训练,其中,正、负语义训练样本的选择本领域技术人员可自行设置,例如,可将各个新闻视频的标题作为语义训练正样本。进一步可选的,在对初始的语义特征提取模型进行训练过程中,可通过语义训练测试样本对初始的语义特征提取模型的准确度进行测试,当训练后的语义特征提取模型的准确度大于预设精度时,将视频的视频标题输入至经训练得到的语义特征提取模型中。
进一步地,将视频的视频标题输入至经训练得到的语义特征提取模块后,可获得视频标题特征。其中,视频标题特征具体为由一个或多个词/字特征向量组成的矩阵空间。可选的,若获得视频标题特征中包含多个词/字特征向量,则为各个词/字特征向量设置相应的权重值。例如,将视频标题“卡车翻车”输入至语义特征提取模块后,可获得与“卡车”相对应的词特征向量C1以及与“翻车”相对应的词特征向量C2,其中,词特征向量C1以及词特征向量C2具有与其相对应的权重值,若语义特征提取模块分析的“翻车”的优先级大于“卡车”的优先级时,则词特征向量C2相较于词特征向量C1具有较高的权重值。词特征向量C1与词特征向量C2组成的矩阵空间即为与该视频标题相对应的视频标题特征。
步骤S230,将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征。
本实施例中的图像特征提取模块是基于机器学习的图像特征提取模块。其中,图像特征提取模块具体为图像特征提取模型,如基于CNN(Convolutional Neural Networks,卷积神经网络)的图像特征提取模型。
具体地,可通过大量的图像训练正、负样本对初始的图像特征提取模型进行训练,其中,正、负语义训练样本的选择本领域技术人员可自行设置,例如,可将各个新闻视频的图像作为语义训练正样本。进一步可选的,在对初始的图像特征提取模型进行训练过程中,可通过图像训练测试样本对初始的图像特征提取模型的准确度进行测试,当训练后的图像特征提取模型的准确度大于预设精度时,将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中。
进一步地,在将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块后,可得到每个待选取的封面图像的封面图像特征。其中,封面图像特征具体为封面图像特征向量。
步骤S240,计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离。
具体地,根据步骤S220中获得的视频标题特征,以及步骤S230获得的每个待选取的封面图像的封面图像特征,计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离。
举例来说,若步骤S220中获得的视频标题特征为词向量C1以及词向量C2组成的矩阵空间,步骤S230中获得的每个待选取的封面图像的封面图像特征分别为向量P1及P2,则可通过相应的矩阵距离算法分别计算C1及C2组成的矩阵空间与P1向量及P2向量之间的距离,从而计算出视频标题特征与每个待选取的封面图像的封面图像特征之间的距离。
步骤S250,根据计算的视频标题特征与封面图像特征之间的距离大小,对封面图像特征对应的待选取封面进行排序,根据待选取封面的排序结果,确定应选取的封面图像。
根据步骤S240中计算的视频标题特征与封面图像特征之间的距离大小,对封面图像特征对应的待选取封面进行排序。可选的,由于视频标题特征与待选取的封面图像的封面图像特征之间的距离越小,表明与该封面图像特征相对应的待选取封面图像与该视频标题的相关度越高,则可按照与封面图像特征之间的距离由小到大的顺序,对封面图像特征对应的待选取封面进行排序,将顺序在前的一个或多个待选取封面确定为应选取的封面图像。
可选的,在确定应选取的封面图像之后,可对应选取的封面图像进行优化处理。例如,可对应选取的封面图像进行清晰度增强处理、亮度调节处理、比例适配处理、和/或去水印处理等,以提高用户对高品质封面图像的需求,提高用户体验。
可选的,可进一步将确定的应选取的封面图像推荐给用户,以供用户选择;也可将确定的封面图像直接设置为视频封面。
可选的,当确定应选取封面图像为至少两个时,可将该至少两个封面图像同时进行上线处理分别展示给不同用户。并进一步记录上线过程中分别具有该至少两个封面图像的视频的用户点击率数据,根据用户点击率数据对步骤S220中的语义特征提取模块和/或步骤S230中的图像特征提取模块进行调整。或者,也可以根据用户点击率数据对步骤S210中的封面提取模块进行调整。例如,可将点击率高的视频对应的视频封面的选取路径作为正反馈,反馈至语义特征提取模块、图像特征提取模块和/或封面提取模块中的一个或多个节点,从而对语义特征提取模块、图像特征提取模块和/或封面提取模块进行调整优化。
根据本实施例的提供基于视频标题的视频封面提取方法,首先获取包含至少一个待选取的封面图像的视频的封面集,并将视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;以及将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;最终计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离,根据计算的视频标题特征与封面图像特征之间的距离大小,对封面图像特征对应的待选取封面进行排序,根据待选取封面的排序结果,确定应选取的封面图像。本方案通过计算封面集中的待选取的封面图像的封面图像特征与视频标题特征之间的距离,根据该距离的排序结果确定出与视频标题匹配度高的封面图像,从而实现了与视频标题相关度高的视频封面的自动化选取,提高视频封面与视频内容及标题的匹配度,避免了视频“文不对图”的情况的发生,便于用户根据视频封面快速准确地获知视频场景化内容,提高用户体验,并可提升视频点击率。另外,本实施例在确定应选取的封面图像后,进一步对其进行优化处理,从而满足用户对高品质封面图像的需求,提高用户体验,并进一步提高视频点击率;本实施例中进一步将至少两个封面图像同时进行上线处理,并根据用户的点击率数据对语义特征提取模块和/或图像特征提取模块进行调整,从而优化语义特征提取模块和/或图像特征提取模块,提高后续选取视频封面的准确度,使后续选取出的视频封面能吸引更多用户,提高视频的点击率。
图3示出了根据本发明又一个实施例提供的基于视频标题的视频封面提取方法的流程示意图。如图3所示,该方法包括:
步骤S310,获取视频的封面集,其中,封面集包含至少一个待选取的封面图像。
其中,获取视频的封面集的方式包括但不限于以下方式中的一种或多种的组合:方式一:获取用户预先标定的至少一个封面图像加入到封面集中;方式二:将视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。这两种方式的具体实施可参见上述实施例的描述,不再赘述。
步骤S320,将视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征。
其中,本实施例中的语义特征提取模块是基于机器学习的语义特征提取模块。可选的,语义特征提取模块具体为经训练得到的语义特征提取模型。例如,语义特征提取模块可以为基于LTSM网络的语义特征提取模型。
具体地,可通过大量的语义训练正、负样本对初始的语义特征提取模型进行训练。并将视频的视频标题输入至经训练得到的语义特征提取模块,获得相应的视频标题特征。
步骤S330,将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征。
其中,本实施例中的图像特征提取模块是基于机器学习的图像特征提取模块。可选的,图像特征提取模块具体为图像特征提取模型,如基于CNN的图像特征提取模型。
具体地,可通过大量的图像训练正、负样本对初始的图像特征提取模型进行训练。并将每个待选取的封面图像输入至经训练得到的图像特征提取模块后,得到相应的封面图像特征。
步骤S340,计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离,并根据计算得到的距离为每个待选取的封面图像进行评分,得到标题相关度评分。
具体地,根据步骤S320中获得的视频标题特征,以及步骤S330获得的每个待选取的封面图像的封面图像特征,计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离。
进一步的,根据计算得到的距离为每个待选取的封面图像进行评分,得到标题相关度评分。具体的评分策略本领域技术人员可自行设置,例如,可根据距离的远近设置相应的标题相关度评分,距离越近则标题相关度评分越高。
步骤S350,根据至少一个预设评价指标对封面集中每个待选取的封面图像进行评分,得到至少一个指标评分。
其中,预设评价指标包括待选取的封面图像的内容健康程度和/或清晰度。则根据待选取的封面图像的内容健康程度指标对封面集中每个待选取的封面图像进行评分,和/或根据待选取的封面图像的清晰度指标对封面集中每个待选取的封面图像进行评分,从而得到内容健康程度评分、和/或清晰度评分。
步骤S360,根据至少一个指标评分以及标题相关度评分确定应选取的封面图像。
具体地,在得到标题相关度评分以及内容健康程度评分、和/或清晰度评分后,可为每个指标评分设置相应的权重系数。可选的,权重系数可根据视频所属的类别(如政府官方视频的内容健康程度指标的权重值应适当提高)、用户的自定义设置等进行设定。
进一步地,依据相应的权重系数,将每个待选取的封面图像的至少一个指标评分进行加权求和,得到每个待选取的封面图像的推荐值。并按照推荐值确定应选取的封面图像。例如,可在获得每个待选取的封面图像的推荐值之后按照推荐值的大小对待选取的封面图像进行排序,并根据排序结果确定应选取的封面图像。
可选的,可确定至少两个应选取的封面图像,并将该至少两个封面图像同时进行上线处理分别展示给不同用户。并进一步记录上线过程中分别具有该至少两个封面图像的视频的用户点击率数据,根据用户点击率数据对步骤S320中的语义特征提取模块、步骤S330中的图像特征提取模块以及本步骤中的权重系数等进行调整。或者,也可以根据用户点击率数据对步骤S310中的封面提取模块进行调整。举例来说,可将点击率高的视频对应的视频封面的选取路径作为正反馈,反馈至语义特征提取模块、图像特征提取模块和/或封面提取模块中的一个或多个节点,从而对语义特征提取模块、图像特征提取模块和/或封面提取模块进行调整优化。
根据本实施例提供基于视频标题的视频封面提取方法,首先获取包含至少一个待选取的封面图像的视频的封面集,并将视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;以及将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;最终计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离,并根据计算得到的距离为每个待选取的封面图像进行评分,得到标题相关度评分;以及根据至少一个预设评价指标对封面集中每个待选取的封面图像进行评分,得到至少一个指标评分;最终根据至少一个指标评分以及标题相关度评分确定应选取的封面图像。本方案通过计算封面集中的待选取的封面图像的封面图像特征与视频标题特征之间的距离,并且,将封面图像的视频标题得分与至少一个预设评价指标得分相结合,来确定最终的应选取封面图像,从而在实现了与视频标题相关度高的视频封面的自动化选取,提高视频封面与视频内容及标题的匹配度,避免了视频“文不对图”的情况的发生的基础上,进一步地使确定的视频封面满足用户其他多维度的需求(如清晰度高、内容健康等),并进一步地提高用户体验;另外,本实施例在确定应选取的封面图像后,进一步对其进行优化处理,从而满足用户对高品质封面图像的需求,提高用户体验,从而进一步提高视频点击率;本实施例中还将至少两个封面图像同时进行上线处理,并根据用户的点击率数据对语义特征提取模块和/或图像特征提取模块进行调整,从而优化语义特征提取模块和/或图像特征提取模块,提高后续选取视频封面的准确度,使后续选取出的视频封面能吸引更多用户,提高视频的点击率。
图4为根据本发明一个实施例提供的基于视频标题的视频封面提取装置的结构框图。如图4所示,该装置包括:获取模块41、视频标题特征提取模块42、封面图像特征提取模块43、计算模块44、以及确定模块45。
获取模块41,适于获取视频的封面集,其中,封面集包含至少一个待选取的封面图像。
视频标题特征提取模块42,适于将视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征。
本实施例中的语义特征提取模块是预先通过训练而获得的。其中,语义特征提取模块可以为经训练得到的语义特征提取模型。例如,可利用机器学习的方法,通过对大量语义训练样本的训练,最终获得语义特征提取模型。
封面图像特征提取模块43,适于将封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征。
本实施例中的图像特征提取模块也是预先通过训练而获得的。其中,图像特征提取模块具体为经训练得到的图像特征提取模型。例如,可利用机器学习的方法,通过对大量图像训练样本的训练,最终获得图像特征提取模型。
计算模块44,适于计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离。
根据视频标题特征提取模块42获得的视频标题特征,以及封面图像特征提取模块43获得的每个待选取的封面图像的封面图像特征,计算视频标题特征与每个待选取的封面图像的封面图像特征之间的距离。
确定模块45,适于根据计算模块中的计算结果确定应选取的封面图像。
根据本实施例的提供基于视频标题的视频封面提取装置,通过将封面集中的待选取的封面图像的封面图像特征与视频标题特征进行比对,最终确定与视频标题匹配度高的封面图像,从而实现了与视频标题相关度高的视频封面的自动化选取,提高视频封面与视频内容及标题的匹配度,避免了视频“文不对图”的情况的发生,便于用户根据视频封面快速准确地获知视频场景化内容,提高用户体验,并进一步地提升视频点击率。
图5为根据本发明另一个实施例提供的基于视频标题的视频封面提取装置的结构框图。如图5所示,在图4所示装置的基础上,该装置还包括:排序模块51、记录模块52、第一调整模块53、第二调整模块54、以及优化模块55。
其中,获取模块41进一步适于:获取用户预先标定的至少一个封面图像加入到封面集中。
获取模块41进一步适于:将视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。
可选的,语义特征提取模块是基于机器学习的语义特征提取模块;和/或图像特征提取模块是基于机器学习的图像特征提取模块。
排序模块51,适于根据计算的视频标题特征与封面图像特征之间的距离大小,对封面图像特征对应的待选取封面进行排序。
确定模块45进一步适于,根据待选取封面的排序结果,确定应选取的封面图像。
确定模块45进一步适于,根据计算结果确定应选取的至少两个封面图像。
则本装置还包括:记录模块52、第一调整模块53、以及第二调整模块54。
其中,记录模块52,适于将至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有至少两个封面图像的视频的用户点击率数据。
第一调整模块53,适于根据用户点击率数据对语义特征提取模块和/或图像特征提取模块进行调整。
第二调整模块54,适于根据用户点击率数据对语义特征提取模块、图像特征提取模块、和/或封面提取模块进行调整。
优化模块55,适于对应选取的封面图像进行优化处理。其中,优化处理包括清晰度增强处理、亮度调节处理、比例适配处理、和/或去水印处理
根据本实施例的提供基于视频标题的视频封面提取装置,通过计算封面集中的待选取的封面图像的封面图像特征与视频标题特征之间的距离,根据该距离的排序结果确定出与视频标题匹配度高的封面图像,从而实现了与视频标题相关度高的视频封面的自动化选取,提高视频封面与视频内容及标题的匹配度,减少视频“文不对图”的情况的发生,便于用户根据视频封面快速准确地获知视频场景化内容,提高用户体验,并可提升视频点击率。另外,本实施例在确定应选取的封面图像后,进一步对其进行优化处理,从而满足用户对高品质封面图像的需求,提高用户体验,并进一步提高视频点击率;本实施例中进一步将至少两个封面图像同时进行上线处理,并根据用户的点击率数据对语义特征提取模块和/或图像特征提取模块进行调整,从而优化语义特征提取模块和/或图像特征提取模块,提高后续选取视频封面的准确度,使后续选取出的视频封面能吸引更多用户,提高视频的点击率。
图6为根据本发明又一个实施例提供的基于视频标题的视频封面提取装置的结构框图。如图6所示,在图4所示装置的基础上,该装置还包括:指标评分模块61、标题相关度评分模块62、权重模块63、记录模块64、第一调整模块65、第二调整模块66、第三调整模块67、优化模块68。
其中,获取模块41进一步适于:获取用户预先标定的至少一个封面图像加入到封面集中。
可选的,获取模块41进一步适于:将视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。
可选的,语义特征提取模块是基于机器学习的语义特征提取模块;和/或图像特征提取模块是基于机器学习的图像特征提取模块。
指标评分模块61,适于根据至少一个预设评价指标对封面集中每个待选取的封面图像进行评分,得到至少一个指标评分。
标题相关度评分模块62,适于根据计算得到的距离为每个待选取的封面图像进行评分,得到标题相关度评分。
则确定模块45进一步适于:根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像。
权重模块63,适于为每个指标评分以及所述标题相关度评分分别设置相应的权重系数。
则确定模块45进一步适于:依据相应的权重系数,将每个待选取的封面图像的至少一个指标评分以及标题相关度评分进行加权求和,得到每个待选取的封面图像的推荐值;按照推荐值确定应选取的封面图像。
其中,预设评价指标包括:待选取的封面图像的内容健康程度和/或清晰度。
可选的,确定模块45进一步适于:根据计算结果确定应选取的至少两个封面图像;
则该装置还包括:记录模块64,第一调整模块65、第二调整模块66、第三调整模块67。
其中,记录模块64适于将至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有至少两个封面图像的视频的用户点击率数据。
第一调整模块65,适于根据用户点击率数据对语义特征提取模块和/或图像特征提取模块进行调整。
第二调整模块66,适于根据用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或封面提取模块进行调整。
第三调整模块67,适于根据用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或所述权重系数进行调整。
优化模块68,适于对应选取的封面图像进行优化处理。其中,所述优化处理包括清晰度增强处理、亮度调节处理、比例适配处理、和/或去水印处理。
根据本实施例提供基于视频标题的视频封面提取装置,通过计算封面集中的待选取的封面图像的封面图像特征与视频标题特征之间的距离,并且,将封面图像的视频标题得分与至少一个预设评价指标得分相结合,来确定最终的应选取封面图像,从而在实现了与视频标题相关度高的视频封面的自动化选取,提高视频封面与视频内容及标题的匹配度,避免了视频“文不对图”的情况的发生的基础上,进一步地使确定的视频封面满足用户其他多维度的需求(如清晰度高、内容健康等),从而并进一步地提高用户体验;另外,本实施例在确定应选取的封面图像后,进一步对其进行优化处理,从而满足用户对高品质封面图像的需求,提高用户体验,并进一步提高视频点击率;本实施例中进一步将至少两个封面图像同时进行上线处理,并根据用户的点击率数据对语义特征提取模块和/或图像特征提取模块进行调整,从而优化语义特征提取模块和/或图像特征提取模块,提高后续选取视频封面的准确度,使后续选取出的视频封面能吸引更多用户,提高视频的点击率。
根据本发明一个实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的基于视频标题的视频封面提取方法。
图7示出了根据本发明一个实施例提供的计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图7所示,该计算设备可以包括:处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中:处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。
通信接口704,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器702,用于执行程序710,具体可以执行上述基于视频标题的视频封面提取方法实施例中的相关步骤。
具体地,程序710可以包括程序代码,该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器706,用于存放程序710。存储器706可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以下操作:
获取视频的封面集,所述封面集包含至少一个待选取的封面图像;将所述视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;将所述封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离,根据计算结果确定应选取的封面图像。
在一种可选的实施方式中,所述语义特征提取模块为基于机器学习的语义特征提取模块;和/或,所述图像特征提取模块为基于机器学习的图像特征提取模块。
在一种可选的实施方式中,程序710具体具体可以用于使得处理器702执行以下操作:
根据计算的所述视频标题特征与所述封面图像特征之间的距离大小,对所述封面图像特征对应的待选取封面进行排序;
则所述根据计算结果确定应选取的封面图像进一步包括:
根据待选取封面的排序结果,确定应选取的封面图像。
在一种可选的实施方式中,程序710具体具体可以用于使得处理器702执行以下操作:
获取用户预先标定的至少一个封面图像加入到封面集中。
在一种可选的实施方式中,程序710具体具体可以用于使得处理器702执行以下操作:
将所述视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。
在一种可选的实施方式中,程序710具体具体可以用于使得处理器702执行以下操作:
根据至少一个预设评价指标对所述封面集中每个待选取的封面图像进行评分,得到至少一个指标评分;
根据计算得到的距离为所述每个待选取的封面图像进行评分,得到标题相关度评分;
根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像。
在一种可选的实施方式中,程序710具体具体可以用于使得处理器702执行以下操作:
为每个指标评分以及所述标题相关度评分分别设置相应的权重系数;
依据相应的权重系数,将每个待选取的封面图像的至少一个指标评分以及标题相关度评分进行加权求和,得到每个待选取的封面图像的推荐值;
按照推荐值确定应选取的封面图像。
在一种可选的实施方式中,预设评价指标包括:待选取的封面图像的内容健康程度和/或清晰度。
在一种可选的实施方式中,程序710具体可以用于使得处理器702执行以下操作:
根据计算结果确定应选取的至少两个封面图像;
将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
根据所述用户点击率数据对所述语义特征提取模块和/或图像特征提取模块进行调整。
在一种可选的实施方式中,程序710具体可以用于使得处理器702执行以下操作:
根据计算结果确定应选取的至少两个封面图像;
将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或封面提取模块进行调整。
在一种可选的实施方式中,程序710具体可以用于使得处理器702执行以下操作:
根据计算结果确定应选取的至少两个封面图像;
将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或所述权重系数进行调整。
在一种可选的实施方式中,程序710具体可以用于使得处理器702执行以下操作:
对所述应选取的封面图像进行优化处理
在一种可选的实施方式中,优化处理包括以下处理方式中的至少一种:
清晰度增强处理、亮度调节处理、比例适配处理、以及去水印处理。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于视频标题的视频封面提取装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了:A1.一种基于视频标题的视频封面提取方法,其包括:
获取视频的封面集,所述封面集包含至少一个待选取的封面图像;
将所述视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;
将所述封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;
计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离,根据计算结果确定应选取的封面图像。
A2.根据A1所述的方法,其中,所述语义特征提取模块为基于机器学习的语义特征提取模块;
和/或,所述图像特征提取模块为基于机器学习的图像特征提取模块。
A3.根据A1或A2所述的方法,其中,在所述计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离之后,所述方法还包括:
根据计算的所述视频标题特征与所述封面图像特征之间的距离大小,对所述封面图像特征对应的待选取封面进行排序;
则所述根据计算结果确定应选取的封面图像进一步包括:
根据待选取封面的排序结果,确定应选取的封面图像。
A4.根据A1或A2所述的方法,其中,所述获取视频的封面集进一步包括:获取用户预先标定的至少一个封面图像加入到封面集中。
A5.根据A1或A2或A4所述的方法,其中,所述获取视频的封面集进一步包括:将所述视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。
A6.根据A1-A2、A4-A5中任一项所述的方法,其中,所述方法还包括:根据至少一个预设评价指标对所述封面集中每个待选取的封面图像进行评分,得到至少一个指标评分;
在所述计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离之后,所述方法还包括:根据计算得到的距离为所述每个待选取的封面图像进行评分,得到标题相关度评分;
所述根据计算结果确定应选取的封面图像进一步包括:根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像。
A7.根据A6所述的方法,其中,所述方法还包括:为每个指标评分以及所述标题相关度评分分别设置相应的权重系数;
所述根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像进一步包括:
依据相应的权重系数,将每个待选取的封面图像的至少一个指标评分以及标题相关度评分进行加权求和,得到每个待选取的封面图像的推荐值;
按照推荐值确定应选取的封面图像。
A8.根据A6或A7所述的方法,其中,所述预设评价指标包括:待选取的封面图像的内容健康程度和/或清晰度。
A9.根据A1-A3中任一项所述的方法,其中,所述根据计算结果确定应选取的封面图像具体为:根据计算结果确定应选取的至少两个封面图像;
在所述根据计算结果确定应选取的至少两个封面图像之后,所述方法还包括:
将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
根据所述用户点击率数据对所述语义特征提取模块和/或图像特征提取模块进行调整。
A10.根据A5所述的方法,其中,所述根据计算结果确定应选取的封面图像具体为:根据计算结果确定应选取的至少两个封面图像;
在所述根据计算结果确定应选取的至少两个封面图像之后,所述方法还包括:
将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或封面提取模块进行调整。
A11.根据A7所述的方法,其中,所述根据计算结果确定应选取的封面图像具体为:根据计算结果确定应选取的至少两个封面图像;
在所述根据计算结果确定应选取的至少两个封面图像之后,所述方法还包括:
将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或所述权重系数进行调整。
A12.根据A1-A11中任一项所述的方法,其中,在所述根据计算结果确定应选取的封面图像之后,所述方法还包括:
对所述应选取的封面图像进行优化处理。
A13.根据A12所述的方法,其中,所述优化处理包括以下处理方式中的至少一种:
清晰度增强处理、亮度调节处理、比例适配处理、以及去水印处理。
本发明还公开了:B14.一种基于视频标题的视频封面提取装置,其包括:
获取模块,适于获取视频的封面集,所述封面集包含至少一个待选取的封面图像;
视频标题特征提取模块,适于将所述视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;
封面图像特征提取模块,适于将所述封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;
计算模块,适于计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离;
确定模块,适于根据所述计算模块中的计算结果确定应选取的封面图像。
B15.根据B14所述的装置,其中,所述语义特征提取模块为基于机器学习的语义特征提取模块;
和/或,所述图像特征提取模块为基于机器学习的图像特征提取模块。
B16.根据B14或B15所述的装置,其中,所述装置还包括:
排序模块,适于根据计算的所述视频标题特征与所述封面图像特征之间的距离大小,对所述封面图像特征对应的待选取封面进行排序;
则所述确定模块进一步适于:根据待选取封面的排序结果,确定应选取的封面图像。
B17.根据B14或B15所述的装置,其中,所述获取模块进一步适于:获取用户预先标定的至少一个封面图像加入到封面集中。
B18.根据B14或B15或B17所述的装置,其中,所述获取模块进一步适于:将所述视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。
B19.根据B14-B15、B17-B18中任一项所述的装置,其中,所述装置还包括:
指标评分模块,适于根据至少一个预设评价指标对所述封面集中每个待选取的封面图像进行评分,得到至少一个指标评分;
标题相关度评分模块,适于根据计算得到的距离为所述每个待选取的封面图像进行评分,得到标题相关度评分;
所述确定模块进一步适于:根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像。
B20.根据B19所述的装置,其中,所述装置还包括:
权重模块,适于为每个指标评分以及所述标题相关度评分分别设置相应的权重系数;
则所述确定模块进一步适于:依据相应的权重系数,将每个待选取的封面图像的至少一个指标评分以及标题相关度评分进行加权求和,得到每个待选取的封面图像的推荐值;按照推荐值确定应选取的封面图像。
B21.根据B19或B20所述的装置,其中,所述预设评价指标包括:待选取的封面图像的内容健康程度和/或清晰度。
B22.根据B14-B16中任一项所述的装置,其中,所述确定模块进一步适于:根据计算结果确定应选取的至少两个封面图像;
则所述装置还包括:
记录模块,适于将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
第一调整模块,适于根据所述用户点击率数据对所述语义特征提取模块和/或图像特征提取模块进行调整。
B23.根据B18所述的装置,其中,所述确定模块进一步适于:根据计算结果确定应选取的至少两个封面图像;
则所述装置还包括:记录模块,适于将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
第二调整模块,适于根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或封面提取模块进行调整。
B24.根据B20所述的装置,其中,所述确定模块进一步适于:根据计算结果确定应选取的至少两个封面图像;
则所述装置还包括:记录模块,适于将所述至少两个封面图像同时进行上线处理分别展示给不同用户,记录上线过程中分别具有所述至少两个封面图像的视频的用户点击率数据;
第三调整模块,适于根据所述用户点击率数据对所述语义特征提取模块、图像特征提取模块和/或所述权重系数进行调整。
B25.根据B14-B24中任一项所述的装置,其中,所述装置还包括:优化
模块,适于对所述应选取的封面图像进行优化处理。
B26.根据B25所述的装置,其中,所述优化处理包括以下处理方式中的至少一种:
清晰度增强处理、亮度调节处理、比例适配处理、以及去水印处理。
本发明还公开了:C27.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器适于存放至少一可执行指令,所述可执行指令使所述处理器执行如A1-A13任一项所述的基于视频标题的视频封面提取方法对应的操作。
本发明还公开了:D28.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如A1-A13任一项所述的基于视频标题的视频封面提取方法对应的操作。

Claims (10)

1.一种基于视频标题的视频封面提取方法,其包括:
获取视频的封面集,所述封面集包含至少一个待选取的封面图像;
将所述视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;
将所述封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;
计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离,根据计算结果确定应选取的封面图像。
2.根据权利要求1所述的方法,其中,所述语义特征提取模块为基于机器学习的语义特征提取模块;
和/或,所述图像特征提取模块为基于机器学习的图像特征提取模块。
3.根据权利要求1或2所述的方法,其中,在所述计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离之后,所述方法还包括:
根据计算的所述视频标题特征与所述封面图像特征之间的距离大小,对所述封面图像特征对应的待选取封面进行排序;
则所述根据计算结果确定应选取的封面图像进一步包括:
根据待选取封面的排序结果,确定应选取的封面图像。
4.根据权利要求1或2所述的方法,其中,所述获取视频的封面集进一步包括:获取用户预先标定的至少一个封面图像加入到封面集中。
5.根据权利要求1或2或4所述的方法,其中,所述获取视频的封面集进一步包括:将所述视频输入至经训练得到的封面提取模块中,得到至少一个封面图像加入到封面集中。
6.根据权利要求1-2、4-5中任一项所述的方法,其中,所述方法还包括:根据至少一个预设评价指标对所述封面集中每个待选取的封面图像进行评分,得到至少一个指标评分;
在所述计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离之后,所述方法还包括:根据计算得到的距离为所述每个待选取的封面图像进行评分,得到标题相关度评分;
所述根据计算结果确定应选取的封面图像进一步包括:根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像。
7.根据权利要求6所述的方法,其中,所述方法还包括:为每个指标评分以及所述标题相关度评分分别设置相应的权重系数;
所述根据所述至少一个指标评分以及所述标题相关度评分确定应选取的封面图像进一步包括:
依据相应的权重系数,将每个待选取的封面图像的至少一个指标评分以及标题相关度评分进行加权求和,得到每个待选取的封面图像的推荐值;
按照推荐值确定应选取的封面图像。
8.一种基于视频标题的视频封面提取装置,其包括:
获取模块,适于获取视频的封面集,所述封面集包含至少一个待选取的封面图像;
视频标题特征提取模块,适于将所述视频的视频标题输入至经训练得到的语义特征提取模块中,得到视频标题特征;
封面图像特征提取模块,适于将所述封面集中每个待选取的封面图像输入至经训练得到的图像特征提取模块中,得到每个待选取的封面图像的封面图像特征;
计算模块,适于计算所述视频标题特征与所述每个待选取的封面图像的封面图像特征之间的距离;
确定模块,适于根据所述计算模块中的计算结果确定应选取的封面图像。
9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器适于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7任一项所述的基于视频标题的视频封面提取方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7任一项所述的基于视频标题的视频封面提取方法对应的操作。
CN201711147986.5A 2017-11-17 2017-11-17 基于视频标题的视频封面提取方法及装置 Pending CN107918656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711147986.5A CN107918656A (zh) 2017-11-17 2017-11-17 基于视频标题的视频封面提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711147986.5A CN107918656A (zh) 2017-11-17 2017-11-17 基于视频标题的视频封面提取方法及装置

Publications (1)

Publication Number Publication Date
CN107918656A true CN107918656A (zh) 2018-04-17

Family

ID=61897487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711147986.5A Pending CN107918656A (zh) 2017-11-17 2017-11-17 基于视频标题的视频封面提取方法及装置

Country Status (1)

Country Link
CN (1) CN107918656A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650524A (zh) * 2018-05-23 2018-10-12 腾讯科技(深圳)有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN108804652A (zh) * 2018-06-07 2018-11-13 腾讯科技(深圳)有限公司 封面图片的生成方法、装置、存储介质和电子装置
CN109388721A (zh) * 2018-10-18 2019-02-26 百度在线网络技术(北京)有限公司 封面视频帧的确定方法和装置
CN110069664A (zh) * 2019-04-24 2019-07-30 北京博视未来科技有限公司 动漫作品封面图提取方法及其系统
CN110324707A (zh) * 2019-07-12 2019-10-11 北京奇艺世纪科技有限公司 一种视频开播耗时测试方法及装置
CN110457523A (zh) * 2019-08-12 2019-11-15 腾讯科技(深圳)有限公司 封面图片的选取方法、模型的训练方法、装置及介质
WO2019237447A1 (zh) * 2018-06-15 2019-12-19 网宿科技股份有限公司 一种设置视频封面的方法和系统
WO2020052084A1 (zh) * 2018-09-13 2020-03-19 北京字节跳动网络技术有限公司 视频封面选择方法、装置和计算机可读存储介质
CN111026910A (zh) * 2018-10-09 2020-04-17 北京奇虎科技有限公司 视频推荐方法、装置、电子设备及计算机可读存储介质
CN111143613A (zh) * 2019-12-30 2020-05-12 携程计算机技术(上海)有限公司 选择视频封面的方法、系统、电子设备与存储介质
CN111191078A (zh) * 2020-01-08 2020-05-22 腾讯科技(深圳)有限公司 基于视频信息处理模型的视频信息处理方法及装置
CN112800276A (zh) * 2021-01-20 2021-05-14 北京有竹居网络技术有限公司 视频封面确定方法、装置、介质及设备
CN112989116A (zh) * 2021-05-10 2021-06-18 广州筷子信息科技有限公司 一种视频推荐方法、系统及装置
CN112988671A (zh) * 2019-12-13 2021-06-18 北京字节跳动网络技术有限公司 媒体文件处理方法、装置、可读介质及电子设备
CN113343832A (zh) * 2021-06-01 2021-09-03 北京奇艺世纪科技有限公司 视频封面判别方法、装置、设备及计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988519A (zh) * 2011-10-14 2014-08-13 谷歌公司 为媒体浏览器创建封面艺术
CN105893423A (zh) * 2015-12-03 2016-08-24 乐视网信息技术(北京)股份有限公司 视频推荐方法、系统、终端以及服务器
CN106503693A (zh) * 2016-11-28 2017-03-15 北京字节跳动科技有限公司 视频封面的提供方法及装置
CN106547767A (zh) * 2015-09-18 2017-03-29 北京国双科技有限公司 确定视频封面图片的方法及装置
CN107077595A (zh) * 2014-09-08 2017-08-18 谷歌公司 选择和呈现代表性帧以用于视频预览
CN107066596A (zh) * 2017-04-19 2017-08-18 北京小米移动软件有限公司 生成链接信息的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103988519A (zh) * 2011-10-14 2014-08-13 谷歌公司 为媒体浏览器创建封面艺术
CN107077595A (zh) * 2014-09-08 2017-08-18 谷歌公司 选择和呈现代表性帧以用于视频预览
CN106547767A (zh) * 2015-09-18 2017-03-29 北京国双科技有限公司 确定视频封面图片的方法及装置
CN105893423A (zh) * 2015-12-03 2016-08-24 乐视网信息技术(北京)股份有限公司 视频推荐方法、系统、终端以及服务器
CN106503693A (zh) * 2016-11-28 2017-03-15 北京字节跳动科技有限公司 视频封面的提供方法及装置
CN107066596A (zh) * 2017-04-19 2017-08-18 北京小米移动软件有限公司 生成链接信息的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毛金莲: "《智能图像检索关键技术研究》", 30 June 2015, 北京理工大学出版社 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650524A (zh) * 2018-05-23 2018-10-12 腾讯科技(深圳)有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN108804652A (zh) * 2018-06-07 2018-11-13 腾讯科技(深圳)有限公司 封面图片的生成方法、装置、存储介质和电子装置
US11259063B2 (en) 2018-06-15 2022-02-22 Wangsu Science & Technology Co., Ltd. Method and system for setting video cover
WO2019237447A1 (zh) * 2018-06-15 2019-12-19 网宿科技股份有限公司 一种设置视频封面的方法和系统
WO2020052084A1 (zh) * 2018-09-13 2020-03-19 北京字节跳动网络技术有限公司 视频封面选择方法、装置和计算机可读存储介质
CN111026910B (zh) * 2018-10-09 2024-04-05 三六零科技集团有限公司 视频推荐方法、装置、电子设备及计算机可读存储介质
CN111026910A (zh) * 2018-10-09 2020-04-17 北京奇虎科技有限公司 视频推荐方法、装置、电子设备及计算机可读存储介质
CN109388721A (zh) * 2018-10-18 2019-02-26 百度在线网络技术(北京)有限公司 封面视频帧的确定方法和装置
CN109388721B (zh) * 2018-10-18 2021-05-28 百度在线网络技术(北京)有限公司 封面视频帧的确定方法和装置
CN110069664B (zh) * 2019-04-24 2021-04-06 北京博视未来科技有限公司 动漫作品封面图提取方法及其系统
CN110069664A (zh) * 2019-04-24 2019-07-30 北京博视未来科技有限公司 动漫作品封面图提取方法及其系统
CN110324707A (zh) * 2019-07-12 2019-10-11 北京奇艺世纪科技有限公司 一种视频开播耗时测试方法及装置
CN110324707B (zh) * 2019-07-12 2021-12-10 北京奇艺世纪科技有限公司 一种视频开播耗时测试方法及装置
CN110457523A (zh) * 2019-08-12 2019-11-15 腾讯科技(深圳)有限公司 封面图片的选取方法、模型的训练方法、装置及介质
CN110457523B (zh) * 2019-08-12 2022-03-08 腾讯科技(深圳)有限公司 封面图片的选取方法、模型的训练方法、装置及介质
CN112988671A (zh) * 2019-12-13 2021-06-18 北京字节跳动网络技术有限公司 媒体文件处理方法、装置、可读介质及电子设备
CN111143613A (zh) * 2019-12-30 2020-05-12 携程计算机技术(上海)有限公司 选择视频封面的方法、系统、电子设备与存储介质
CN111143613B (zh) * 2019-12-30 2024-02-06 携程计算机技术(上海)有限公司 选择视频封面的方法、系统、电子设备与存储介质
CN111191078A (zh) * 2020-01-08 2020-05-22 腾讯科技(深圳)有限公司 基于视频信息处理模型的视频信息处理方法及装置
CN111191078B (zh) * 2020-01-08 2024-05-07 深圳市雅阅科技有限公司 基于视频信息处理模型的视频信息处理方法及装置
CN112800276B (zh) * 2021-01-20 2023-06-20 北京有竹居网络技术有限公司 视频封面确定方法、装置、介质及设备
CN112800276A (zh) * 2021-01-20 2021-05-14 北京有竹居网络技术有限公司 视频封面确定方法、装置、介质及设备
CN112989116A (zh) * 2021-05-10 2021-06-18 广州筷子信息科技有限公司 一种视频推荐方法、系统及装置
CN113343832B (zh) * 2021-06-01 2024-02-02 北京奇艺世纪科技有限公司 视频封面判别方法、装置、设备及计算机可读介质
CN113343832A (zh) * 2021-06-01 2021-09-03 北京奇艺世纪科技有限公司 视频封面判别方法、装置、设备及计算机可读介质

Similar Documents

Publication Publication Date Title
CN107918656A (zh) 基于视频标题的视频封面提取方法及装置
CN107832725A (zh) 基于评价指标的视频封面提取方法及装置
CN107958030A (zh) 视频封面推荐模型优化方法及装置
CN107909101B (zh) 基于卷积神经网络的半监督迁移学习字符识别方法及系统
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
Zhang et al. Colorful image colorization
CN107391729B (zh) 用户评论的排序方法、电子设备及计算机存储介质
Pu et al. Variational autoencoder for deep learning of images, labels and captions
CN110210542B (zh) 图片文字识别模型训练方法、装置及文字识别系统
CN108073876B (zh) 面部解析设备和面部解析方法
CN110046952A (zh) 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN110008338A (zh) 一种融合gan和迁移学习的电商评价情感分析方法
CN109189921B (zh) 评论评估模型的训练方法和装置
CN109919252B (zh) 利用少数标注图像生成分类器的方法
CN109919209A (zh) 一种领域自适应深度学习方法及可读存储介质
CN108334910A (zh) 一种事件检测模型训练方法以及事件检测方法
CN104866868A (zh) 基于深度神经网络的金属币识别方法和装置
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN116229056A (zh) 基于双分支特征融合的语义分割方法、装置、设备
CN114067119B (zh) 全景分割模型的训练方法、全景分割方法及装置
CN109189922B (zh) 评论评估模型的训练方法和装置
CN110322418A (zh) 一种超分辨率图像生成对抗网络的训练方法及装置
CN108734159A (zh) 一种图像中敏感信息的检测方法及系统
CN107967497A (zh) 基于卷积神经网络和极限学习机的手写体识别方法
CN114998602A (zh) 基于低置信度样本对比损失的域适应学习方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180417