CN110457523A - 封面图片的选取方法、模型的训练方法、装置及介质 - Google Patents
封面图片的选取方法、模型的训练方法、装置及介质 Download PDFInfo
- Publication number
- CN110457523A CN110457523A CN201910739802.7A CN201910739802A CN110457523A CN 110457523 A CN110457523 A CN 110457523A CN 201910739802 A CN201910739802 A CN 201910739802A CN 110457523 A CN110457523 A CN 110457523A
- Authority
- CN
- China
- Prior art keywords
- picture
- description text
- correlation
- text
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
Abstract
本申请实施例公开了一种封面图片的选取方法、模型的训练方法、装置及介质。所述方法包括：获取目标视频的描述文本和n张候选图片，n为正整数；通过相关性计算模型提取描述文本的特征信息以及各张候选图片的特征信息；其中，相关性计算模型的损失函数包括示例损失，示例损失用于表征基于相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度；根据描述文本的特征信息以及各张候选图片的特征信息，分别确定描述文本与各张候选图片之间的相关性；从n张候选图片中，选取与描述文本相关性最高的候选图片，作为目标视频的封面图片。本申请实施例提升了封面图片选择的准确性。
Description
技术领域
本申请实施例涉及计算机视觉技术领域，特别涉及一种封面图片的选取方法、模型的训练方法、装置及介质。
背景技术
为使用户更快地获知视频内容，通常会为每个视频设置相应的封面图片。
在相关技术中，通过如下方式选取视频的封面图片：将用户上传的视频抽取至少一个图像帧，作为候选图片；分别识别每一个候选图片包含的物体和场景，然后将上述物体和场景对应的字词，与视频标题中包含的字词进行匹配；如果某一候选图片包含的物体和场景对应的字词与视频标题包含的字词匹配度较高，则可以将该候选图片确定为视频的封面图片。
然而，上述相关技术依赖于物体和场景识别的效果，当物体和场景识别不准确时，最终选取的封面图片也会不够准确。
发明内容
本申请实施例提供了一种封面图片的选取方法、模型的训练方法、装置及介质，可用于解决相关技术依赖于物体和场景识别的效果，无法保证最终选取的封面图片的准确性的技术问题。技术方案如下：
一方面，本申请实施例提供一种封面图片的选取方法，所述方法包括：
获取目标视频的描述文本和n张候选图片，所述n为正整数；
通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息；其中，所述相关性计算模型的损失函数包括示例损失，所述示例损失用于表征基于所述相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度；
根据所述描述文本的特征信息以及各张所述候选图片的特征信息，分别确定所述描述文本与各张所述候选图片之间的相关性；
从所述n张候选图片中，选取与所述描述文本相关性最高的候选图片，作为所述目标视频的封面图片。
另一方面，本申请实施例提供一种相关性计算模型的训练方法，所述方法包括：
获取相关性计算模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括视频的描述文本、所述描述文本对应的正相关图片和所述描述文本对应的负相关图片；
通过所述相关性计算模型分别提取所述描述文本、所述正相关图片和所述负相关图片的特征信息；
基于所述描述文本、所述正相关图片和所述负相关图片各自的特征信息，得到所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据；
根据所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据，分别计算所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失；其中，所述示例损失用于表征预测分类数据与标准分类数据之间的差异程度；
根据所述示例损失对所述相关性计算模型进行训练。
另一方面，本申请实施例提供一种封面图片的选取装置，所述装置包括：
图片获取模块，用于获取目标视频的描述文本和n张候选图片，所述n为正整数；
信息提取模块，用于通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息；其中，所述相关性计算模型的损失函数包括示例损失，所述示例损失用于表征基于所述相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度；
相关性确定模块，用于根据所述描述文本的特征信息以及各张所述候选图片的特征信息，分别确定所述描述文本与各张所述候选图片之间的相关性；
图片选取模块，用于从所述n张候选图片中，选取与所述描述文本相关性最高的候选图片，作为所述目标视频的封面图片。
在一个可能的设计中，所述相关性确定模块，用于：
计算所述描述文本的特征信息与所述候选图片的特征信息之间的距离；
其中，所述距离用于表征所述描述文本与所述候选图片之间的相关性。
在一个可能的设计中，所述装置，还包括：字词识别模块和匹配度获取模块；
所述字词识别模块，用于分别识别各张所述候选图片中包含的字词；
所述匹配度获取模块，用于获取所述描述文本包含的字词与各张所述候选图片中包含的字词之间的匹配度；
所述图片选取模块，还用于若所述n张候选图片中存在所述匹配度符合预设条件的目标候选图片，则将所述目标候选图片确定为所述目标视频的封面图片；
所述信息提取模块，还用于若所述n张候选图片中不存在所述目标候选图片，则从所述通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息的步骤开始执行。
又一方面，本申请实施例提供一种相关性计算模型的训练装置，所述装置包括：
数据获取模块，用于获取相关性计算模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括视频的描述文本、所述描述文本对应的正相关图片和所述描述文本对应的负相关图片；
信息提取模块，用于通过所述相关性计算模型分别提取所述描述文本、所述正相关图片和所述负相关图片的特征信息；
数据确定模块，用于基于所述描述文本、所述正相关图片和所述负相关图片各自的特征信息，得到所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据；
损失计算模块，用于根据所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据，分别计算所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失；其中，所述示例损失用于表征预测分类数据与标准分类数据之间的差异程度；
模型训练模块，用于根据所述示例损失对所述相关性计算模型进行训练。
在一个可能的设计中，所述相关性计算模型的训练包括第一阶段和第二阶段；
所述模型训练模块，包括：第一训练单元和第二训练单元；
所述第一训练单元，用于在所述第一阶段，采用所述描述文本和所述正相关图片各自对应的示例损失，对所述相关性计算模型进行训练，得到所述第一阶段训练后的相关性计算模型；
所述第二训练单元，用于在所述第二阶段，采用所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失，对所述第一阶段训练后的相关性计算模型进行再训练，得到完成训练的相关性计算模型。
在一个可能的设计中，所述第一训练单元，用于：
在所述第一阶段，根据所述描述文本对应的第一示例损失和所述正相关图片对应的示例损失，计算所述第一阶段对应的损失函数值；
通过最小化所述第一阶段对应的损失函数值，来调整所述相关性计算模型的参数，得到所述第一阶段训练后的相关性计算模型。
在一个可能的设计中，所述第二训练单元，包括：损失计算子单元和训练子单元。
所述损失计算子单元，用于在所述第二阶段，计算排序损失，所述排序损失用于表征所述描述文本、所述正相关图片和所述负相关图片之间的相关性；
所述损失计算子单元，还用于根据所述描述文本对应的第二示例损失、所述正相关图片对应的示例损失、所述负相关图片对应的示例损失以及所述排序损失，计算所述第二阶段对应的损失函数值；
所述训练子单元，通过最小化所述第二阶段对应的损失函数值，来调整所述第一阶段训练后的相关性计算模型的参数，得到完成训练的相关性计算模型。
在一个可能的设计中，所述损失计算子单元，用于：
计算第一距离和第二距离，其中，所述第一距离是指所述描述文本的特征信息与所述正相关图片的特征信息之间的距离，所述第二距离是指所述描述文本的特征信息与所述负相关图片的特征信息之间的距离；
根据所述第一距离和所述第二距离，计算所述排序损失。
在一个可能的设计中，所述相关性计算模型包括：文本特征提取模型和图片特征提取模型；
其中，所述文本特征提取模型用于提取所述描述文本的特征信息，所述图片特征提取模型用于提取图片的特征信息，所述图片包括所述正相关图片和所述负相关图片。
在一个可能的设计中，所述文本特征提取模型包括：文本处理层、特征提取层和全连接层；其中，
所述文本处理层用于获取所述描述文本的文本矩阵；
所述特征提取层用于根据所述描述文本的文本矩阵，提取所述描述文本的初始特征信息；
所述全连接层用于对所述描述文本的初始特征信息进行特征映射处理，生成所述描述文本的特征信息。
在一个可能的设计中，所述文本处理层用于：
对所述描述文本进行分词，获得所述描述文本包含的至少一个字词；
确定所述至少一个字词各自对应的词向量；
根据所述至少一个字词各自对应的词向量，生成所述描述文本的文本矩阵。
再一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述封面图片的选取方法。
再一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述相关性计算模型的训练方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述封面图片的选取方法。
又一方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述相关性计算模型的训练方法。
又一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述封面图片的选取方法。
又一方面，本申请实施例提供一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述相关性计算模型的训练方法。
本申请实施例提供的技术方案带来的有益效果可以包括：
通过相关性计算模型提取视频的描述文本和候选图片各自的特征信息，并根据上述特征信息，确定描述文本与候选图片之间的相关性，选取与描述文本相关性最高的候选图片作为视频的封面图片。因为相关性计算模型的损失函数包括示例损失，该示例损失用于表征基于相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度，因此基于该示例损失训练得到的相关性计算模型，能够更加容易地找出不同候选图片之间细粒度的差别，进而基于该相关性计算模型提取的特征信息所计算出的描述文本与候选图片之间的相关性会更加准确，从而能更加精确地选择出与描述文本最相关的候选图片作为封面图片，提升了封面图片选择的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的实施环境的示意图；
图2是本申请一个实施例提供的封面图片的选取方法的流程图；
图3是本申请另一个实施例提供的封面图片的选取方法的流程图；
图4是本申请一个实施例提供的相关性计算模型的训练方法的流程图；
图5示出了第一阶段下的相关性计算模型的示意图；
图6示出了第二阶段下的相关性计算模型的示意图；
图7示出了测试阶段下的相关性计算模型的示意图；
图8是本申请一个实施例提供的封面图片的选取方法的架构图；
图9是本申请另一个实施例提供的封面图片的选取方法的架构图；
图10是本申请一个实施例提供的封面图片的选取装置的框图；
图11是本申请另一个实施例提供的封面图片的选取装置的框图；
图12是本申请一个实施例提供的相关性计算模型的训练装置的框图；
图13是本申请另一个实施例提供的相关性计算模型的训练装置的框图；
图14是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术、自然语言处理、机器学习等技术，具体通过如下实施例进行说明。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的实施环境的示意图。该实施环境可以包括：第一终端10、第二终端20和服务器30。
在本申请实施例中，第一终端10中安装运行有第一客户端，第二终端20中安装运行有第二客户端。第一终端10和第二终端20可以是诸如手机、平板电脑、可穿戴设备、PC(Personal Computer，个人计算机)等电子设备。第一终端10和第二终端20可以是同一个电子设备，也可以是不同的电子设备。
第一客户端是指用于上传视频的客户端，第二客户端是指用于观看上述视频的客户端。在本申请实施例中，该第一客户端和第二客户端可以是任何具备视频上传和观看功能的客户端。例如，视频客户端。第一客户端和第二客户端可以是同一应用程序的客户端，例如，第一客户端和第二客户端是同一视频应用程序的客户端。当然，在其它可能的实现方式中，第一客户端也可以用于观看视频，第二客户端也可以用于上传视频。
服务器30可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。服务器30可以通过有线或者无线网络与第一终端10和第二终端20进行通信。
上传用户可以通过点击第一客户端中的“上传”选项，上传视频，并在视频上传页面中填写视频的标题、分类、标签等内容，第一客户端将上述视频和视频的标题发送给服务器30。服务器30根据视频和视频的标题，挑选出视频的封面图片，发送给第一客户端和第二客户端进行显示。观看用户通过第二客户端看到视频的封面图片，对该视频产生了观看兴趣，观看用户点击该视频的封面图片，以使得服务器30将视频发送给第二客户端，第二客户端播放该视频供观看用户观看。
请参考图2，其示出了本申请一个实施例提供的封面图片的选取方法的流程图。该方法的执行主体可以是计算机设备，该计算机设备可以是任何具备计算和处理能力的电子设备，如PC或服务器，也可以是诸如手机、平板电脑等终端设备。该方法可以包括以下几个步骤。
步骤201，获取目标视频的描述文本和n张候选图片，n为正整数。
目标视频可以是任意一个需要确定封面图片的视频，例如，目标视频可以是用户上传的视频。可选地，目标视频的描述文本是指该目标视频的标题，在其它可能的实现方式中，描述文本可以是简介或其它文本信息。候选图片是指从目标视频中选取的图像帧。示例性地，可以对目标视频采用抽帧的方式得到候选图片，例如，每隔预设时间从目标视频抽一帧，得到n张候选图片。当然，在其它可能的实现方式中，候选图片也可以包括用户上传的图片或者后台图片库中包括的图片。
步骤202，通过相关性计算模型提取描述文本的特征信息以及各张候选图片的特征信息。
在本申请实施例中，相关性计算模型用于提取描述文本和图片的特征信息，以便基于上述特征信息得到描述文本与图片之间的相关性。相关性计算模型的损失函数包括示例损失，示例损失用于表征基于相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度。有关示例损失的介绍说明和计算方式，可参见下文实施例。
将描述文本和各张候选图片输入至相关性计算模型，可以得到描述文本的特征信息以及各张候选图片的特征信息。描述文本的特征信息用于表征描述文本所具有的特征，不同的描述文本具有不同的特征信息，也即该特征信息是指能够对不同的描述文本起到区分作用的特征。可选地，描述文本的特征信息可以是采用机器学习模型(如神经网络模型)提取的抽象特征。候选图片的特征信息用于表征候选图片所具有的特征，不同的候选图片具有不同的特征信息，也即该特征信息是指能够对不同的候选图片起到区分作用的特征。可选地，候选图片的特征信息可以采用机器学习模型(如神经网络模型)提取的抽象特征。
步骤203，根据描述文本的特征信息以及各张候选图片的特征信息，分别确定描述文本与各张候选图片之间的相关性。
由于候选图片不同，其特征信息也不同，因此不同候选图片与同一描述文本之间的相关性也会有所不同。根据描述文本的特征信息以及候选图片的特征信息，可以确定出描述文本与候选图片之间的相关性。相关性是指描述文本与候选图片之间的关联程度。相关性可以用百分比表示，100％表示相关性最大，0表示相关性最小。
步骤204，从n张候选图片中，选取与描述文本相关性最高的候选图片，作为目标视频的封面图片。
例如，存在3张候选图片：图片1、图片2和图片3。图片1与描述文本的相关性为45％，图片2与描述文本的相关性为65％，图片3与描述文本的相关性为95％，则图片3与描述文本的相关性最高，将图片3作为目标视频的封面图片。选取与描述文本相关性最高的图片作为视频的封面图片，可以提高视频封面与描述文本的匹配度，便于用户根据视频的封面图片快速准确地获知视频内容，提高了用户体验，进一步提升了视频的点击率。
综上所述，本申请实施例提供的技术方案中，通过相关性计算模型提取视频的描述文本和候选图片各自的特征信息，并根据上述特征信息，确定描述文本与候选图片之间的相关性，选取与描述文本相关性最高的候选图片作为视频的封面图片。因为相关性计算模型的损失函数包括示例损失，该示例损失用于表征基于相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度，因此基于该示例损失训练得到的相关性计算模型，能够更加容易地找出不同候选图片之间细粒度的差别，进而基于该相关性计算模型提取的特征信息所计算出的描述文本与候选图片之间的相关性会更加准确，从而能更加精确地选择出与描述文本最相关的候选图片作为封面图片，提升了封面图片选择的准确性。
请参考图3，其示出了本申请另一个实施例提供的封面图片的选取方法的流程图。该方法的执行主体可以是计算机设备。该方法可以包括以下几个步骤。
步骤301，获取目标视频的描述文本和n张候选图片，n为正整数。
步骤302，分别识别各张候选图片中包含的字词。
示例性地，可以通过OCR(Optical Character Recognition，光学字符识别)技术分别识别各张候选图片中包含的字词。OCR技术是指通过图像处理和模式识别技术对光学的字符进行识别，提取文字特征的技术。
假设存在3张候选图片：图片1、图片2和图片3。通过OCR技术识别出图片1中包含的字词为“我”、“喜欢”、“猫”，图片2中包含的字词为“你”、“是”、“谁”，图片3中包含的字词为“早上”、“好”。
步骤303，获取描述文本包含的字词与各张候选图片中包含的字词之间的匹配度。
示例性地，候选图片中包含的字词与描述文本包含的字词匹配的字词个数越多，匹配度越高。匹配的字词可以是指完全一致的字词，也可以是指相似的字词。例如，“猫”这一字词的匹配字词可以是“猫”或“喵”。
匹配度可以通过如下公式得到：匹配的字词个数/候选图片中包含的字词与描述文本包含的字词的总个数。可选地，上述总个数是指候选图片中包含的字词的个数与描述文本包含的字词的个数之和；或者，上述总个数是指候选图片中包含的字词的个数与描述文本包含的字词的个数之和，与匹配的字词个数之差。
仍然以上述示例为例，描述文本中包含的字词为“猫”、“的”、“一天”。描述文本中包含的字词与图片1包含的字词之间的匹配度为1/5＝20％，与图片2中包含的字词之间的匹配度为0，与图片3中包含的字词之间的匹配度为0。
步骤304，判断n张候选图片中是否存在匹配度符合预设条件的目标候选图片；若存在目标候选图片，则执行步骤205；若不存在目标候选图片，则从步骤206开始执行。
可选地，预设条件可以是匹配度最高，且该最高匹配度大于预设匹配度。仍然以上述示例为例，图片1中包含的字词与描述文本中包含的字词之间的匹配度最高，且该最高匹配度大于预设匹配度，则目标候选图片为图片1。在其它可能的实现方式中，预设条件还可以是其它条件，本申请实施例对此不作限定。
步骤305，将目标候选图片确定为目标视频的封面图片。
仍然以上述示例为例，将图片1确定为视频的封面图片。
步骤306，通过相关性计算模型提取描述文本的特征信息以及各张候选图片的特征信息。
当n张候选图片中不存在匹配度符合预设条件的目标候选图片，说明无法通过识别n张候选图片包含的字词来确定封面图片。此时，计算机设备可以通过相关性计算模型来提取描述文本的特征信息以及各张候选图片的特征信息，从而确定出描述文本与各张候选图片之间的相关性。
步骤307，计算描述文本的特征信息与候选图片的特征信息之间的距离；其中，距离用于表征描述文本与候选图片之间的相关性。
示例性地，可以计算描述文本的特征信息与候选图片的特征信息之间的余弦距离、欧式距离、曼哈顿距离或其它距离等。距离和相关性呈负相关关系。描述文本的特征信息与候选图片的特征信息之间的距离越小，表明该候选图片与描述文本之间的相关性越大；反之，描述文本的特征信息与候选图片的特征信息之间的距离越大，表明该候选图片与描述文本之间的相关性越小。
可选地，通过如下公式计算描述文本的特征信息与候选图片的特征之间的欧式距离dfg：
其中，fi表示描述文本的第i个维度的特征信息；gi表示候选图片的第i个维度的特征信息，n表示特征信息的维度数量，描述文本的特征信息的维度数量和候选图片的特征信息的维度数量相同，n为正整数，i为小于等于n的正整数。
步骤308，从n张候选图片中，选取与描述文本相关性最高的候选图片，作为目标视频的封面图片。
示例性地，从n张候选图片中，选取与描述文本的特征信息之间的距离最小的图片，作为视频的封面图片。
需要说明的是，在实际应用中，可以不用识别各张候选图片包含的字词，而是直接通过相关性计算模型提取描述文本的特征信息以及各张候选图片的特征信息，从而确定描述文本与候选图片之间的相关性，进而确定出封面图片。
综上所述，本申请实施例提供的技术方案中，通过获取描述文本包含的字词与候选图片中包含的字词之间的匹配度，选取匹配度符合预设条件的图片作为视频的封面图片，当候选图片中包含的字词与描述文本包含的字词之间的匹配度符合预设条件时，说明该候选图片与描述文本是非常相关的，这样就可以在保证相关性的前提下，更加高效地选出视频的封面图片。
另外，根据描述文本的特征信息与候选图片的特征信息之间的距离，确定视频的封面图片，描述文本的特征信息与候选图片的特征信息之间的距离越小，表明该候选图片与该描述文本之间的相关性越大，从而使得根据距离确定出的封面图片更为精确。
请参考图4，其示出了本申请一个实施例提供的相关性计算模型的训练方法的流程图。该方法的执行主体可以是计算机设备，如PC或服务器。该方法可以包括以下几个步骤。
步骤401，获取相关性计算模型的训练数据。
训练数据包括至少一个训练样本，训练样本包括视频的描述文本、描述文本对应的正相关图片和描述文本对应的负相关图片。正相关图片是指从上述视频中获取的与描述文本具有相关性的图像帧，负相关图片是指从视频中获取的与描述文本不具有相关性的图像帧。可选地，对描述文本和正相关图片去除重复数据，保证描述文本与正相关图片一一对应，从而不会使得同一描述文本出现不同的正相关图片，提高了训练数据的鲁棒性。正相关图片可以通过人工标注的方式从视频中获取，负相关图片可以是视频内除正相关图片外随机选出的图片帧。一个训练样本可以构成一个三元组，该三元组可以表示成<title，pos，neg>，其中，title表示描述文本，pos表示描述文本对应的正相关图片，neg表示描述文本对应的负相关图片。
步骤402，通过相关性计算模型分别提取描述文本、正相关图片和负相关图片的特征信息。
步骤403，基于描述文本、正相关图片和负相关图片各自的特征信息，得到描述文本、正相关图片和负相关图片各自对应的预测分类数据。
一个训练样本对应一个类。如果训练数据包括100个训练样本，则训练数据对应有100个类。示例性地，可以对描述文本、正相关图片和负相关图片各自的特征信息做柔性最大值处理(softmax)，柔性最大值处理是指将多分类的输出数值转化为相对概率，从而得到描述文本、正相关图片和负相关图片各自对应的预测分类数据。描述文本对应的预测分类数据用于表征预测描述文本属于某一类的概率，正相关图片对应的预测分类数据用于表征正相关图片属于某一类的概率，负相关图片对应的预测分类数据用于表征负相关图片属于某一类的概率。
步骤404，根据描述文本、正相关图片和负相关图片各自对应的预测分类数据，分别计算描述文本、正相关图片和负相关图片各自对应的示例损失。
在本申请实施例中，示例损失用于表征预测分类数据与标准分类数据之间的差异程度。标准分类数据用于表征真实样本标签。标准分类数据可以是one-hot(独热或一位有效)型数据，即只有一位是有效的(为1)，其余位都是0。示例损失指的是假设一个训练样本对应一个类，预测分类数据与标准分类数据的交叉熵损失。
需要说明的是，一个训练样本对应的标准分类数据一致，也即，一个训练样本中的描述文本、正相关图片和负相关图片对应的标准分类数据一致。不同训练样本对应的标准分类数据不同。例如，假设训练数据有100个训练样本，每个训练样本对应有一个标准分类数据，且各个训练样本对应的标准分类数据互不相同。
步骤405，根据示例损失对相关性计算模型进行训练。
根据示例损失，对相关性计算模型的模型参数进行调整，实现对相关性计算模型的训练，可以进行多轮调整，当满足停止训练条件时，停止对相关性计算模型进行训练。
当示例损失满足预设阈值时，停止对相关性计算模型进行训练；或者，当第i+1轮计算得到的示例损失与第i轮计算得到的示例损失之间的差值小于预设差值时，例如，小于10-9时，停止对相关性计算模型进行训练；或者，当训练次数达到预设次数，例如，达到10万次时，停止对相关性计算模型进行训练。
综上所述，本申请实施例提供的技术方案中，通过根据描述文本、正相关图片和负相关图片各自对应的示例损失，对相关性计算模型进行训练，对于同一描述文本可以研究不同图像帧与该描述文本之间的相关性，对于同一图像帧可以研究不同描述文本与该图像帧之间的相关性。相较于使用排序损失，排序损失使得很多图像帧与同一个描述文本之间的距离相近，没有区分图像帧之间细小的差距。而本申请在模型中增加示例损失会更加容易地找出图像帧之间细粒度的差别，进而基于该相关性计算模型提取的特征信息所计算出的描述文本与候选图片之间的相关性会更加准确，从而能更加精确地选择出与描述文本最相关的候选图片作为封面图片，提升了封面图片选择的准确性。
另外，排序损失需要预先设定一个阈值，只有当正样本图片与描述文本之间的距离和负样本图片与描述文本之间的距离的差值大于上述阈值时，才会出现排序损失，因此使用排序损失出现过拟合的可能性较大。而本申请中使用示例损失，不存在只有在某个条件下才会出现损失的情况，减小了过拟合的可能性。
示例性地，相关性计算模型包括：文本特征提取模型和图片特征提取模型；其中，文本特征提取模型用于提取描述文本的特征信息，图片特征提取模型用于提取图片的特征信息，图片包括正相关图片和负相关图片。
可选地，如图5所示，文本特征提取模型51包括：文本处理层、特征提取层和全连接层；其中，文本处理层用于获取描述文本的文本矩阵；特征提取层用于根据描述文本的文本矩阵，提取描述文本的初始特征信息；全连接层用于对描述文本的初始特征信息进行特征映射处理，生成描述文本的特征信息。可选地，特征提取层可以是Resnet50(50层深度残差网络)。
可选地，文本处理层具体用于：对描述文本进行分词，获得描述文本包含的至少一个字词；确定至少一个字词各自对应的词向量；根据至少一个字词各自对应的词向量，生成描述文本的文本矩阵。
示例性地，对描述文本用Jieba工具进行分词，获得描述文本包含的k个字词，k为正整数；使用word2vec中的CBOW(Continuous Bag-of-words，连续的词袋)对上述获得的k个字词进行训练，该k个字词的上下文大小为4，每个字词转换为64维的词向量；使用embdding lookup(嵌入查找)将上述64维的词向量转换为k*64的文本矩阵。为了便于相关性计算模型的训练，统一将描述文本转换为16*64的文本矩阵。对于分词后字词数目大于16个的描述文本，选择前16个字词；对于分词后字词数目小于16个的描述文本，为了增强数据的鲁棒性，对k*64的文本矩阵前后随机补0至16*64。因为绝大部分的描述文本分词后的字词个数是小于16的，如果字词数目过多会造成资源浪费，如果字词数目过少会不能准确表征描述文本，因此选取字词个数为16是一个合理的数目。
可选地，如图5和6所示，图片特征提取模型包括全连接层。图片特征提取模型中包括的全连接层与文本特征提取模型51中包括的全连接层的权重共享。一方面可以缩短相关性计算模型的训练时间，另一方面可以使得模型输出的描述文本的特征信息与图片的特征信息的维度相同，便于计算描述文本的特征信息与图片的特征信息之间的距离。图5示出了第一阶段下的相关性计算模型的示意图，图6示出了第二阶段下的相关性计算模型的示意图。图5包括正相关图片特征提取模型52和文本特征提取模型51，图6包括正相关图片特征提取模型52、文本特征提取模型51和负相关图片特征提取模型53。正相关图片特征提取模型52和负相关图片特征提取模型53中的网络权重可以一致。第一阶段下的文本特征提取模型51和第二阶段下的文本特征提取模型51中的网络权重可能不一致，训练相关性计算模型其实质就是训练文本特征提取模型51。
示例性地，相关性计算模型的训练包括第一阶段和第二阶段。通过如下方式根据示例损失对相关性计算模型进行训练：
在第一阶段，采用描述文本和正相关图片各自对应的示例损失，对相关性计算模型进行训练，得到第一阶段训练后的相关性计算模型。在第一阶段，固定正相关图片侧的网络权重，训练描述文本侧的网络权重。因为图片侧可以快速收敛，而描述文本侧却难以快速收敛，因此固定正相关图片侧的网络权重，只训练描述文本侧的网络权重，可以缩短第一阶段的训练时间。
示例性地，在第一阶段，根据描述文本对应的第一示例损失和正相关图片对应的示例损失，计算第一阶段对应的损失函数值；通过最小化第一阶段对应的损失函数值，来调整相关性计算模型的参数，得到第一阶段训练后的相关性计算模型。调整相关性计算模型的参数，使得第一阶段对应的损失函数值不断降低，直至损失函数值最小，得到第一阶段训练后的相关性计算模型。
描述文本对应的第一示例损失L_textual1可以通过如下公式计算：
其中，P1(title)表示在第一阶段，预测描述文本属于某一类的概率；表示共享权重；ftext1表示在第一阶段，描述文本的特征信息。
正相关图片对应的示例损失L_visual1可以通过如下公式计算：
其中，P(pos)表示预测正相关图片属于某一类的概率；表示共享权重；fpos表示正相关图片的特征信息。
第一阶段对应的损失函数L1可以通过如下公式计算：
L1＝L_visual1+L_textual1。
在第二阶段，采用描述文本、正相关图片和负相关图片各自对应的示例损失，对第一阶段训练后的相关性计算模型进行再训练，得到完成训练的相关性计算模型。第二阶段需要使描述文本的特征信息与正相关图片的特征信息尽可能靠近，与负相关图片的特征信息尽可能远离。
示例性地，在第二阶段，计算排序损失；根据描述文本对应的第二示例损失、正相关图片对应的示例损失、负相关图片对应的示例损失以及排序损失，计算第二阶段对应的损失函数值；通过最小化第二阶段对应的损失函数值，来调整第一阶段训练后的相关性计算模型的参数，得到完成训练的相关性计算模型。
描述文本对应的第二示例损失L_textual2可以通过如下公式计算：
其中，P2(title)表示在第二阶段，预测描述文本属于某一类的概率；ftext2表示在第二阶段，描述文本的特征信息。
负相关图片对应的示例损失L_visual2可以通过如下公式计算：
其中，P(neg)表示预测负相关图片属于某一类的概率；fneg表示负相关图片的特征信息。
排序损失用于表征描述文本、正相关图片和负相关图片之间的相关性。排序损失可以通过如下方式计算：计算第一距离和第二距离，其中，第一距离是指描述文本的特征信息与正相关图片的特征信息之间的距离，第二距离是指描述文本的特征信息与负相关图片的特征信息之间的距离；根据第一距离和第二距离，计算排序损失。
排序损失L_rank可以通过如下公式计算：
L_rank＝max(0,α+D(title,pos)-D(title,neg))；
其中，α表示预设常数，D(title,pos)表示第一距离，D(title,neg)表示第二距离。一般情况下，α的取值范围为0.1-0.4。
第二阶段对应的损失函数L2可以通过如下公式计算：
L2＝L_visual1+L_visual2+L_textual2+L_rank；
在可能的实现方式中，对上述完成训练的相关性计算模型进行测试。如图6所示，其示出了测试阶段下的相关性计算模型的示意图。在测试阶段，首先将描述文本输入至训练完成的文本特征提取模型51，将描述文本对应的正相关图片输入至训练完成的正相关图片特征提取模型52，得到描述文本的特征信息和正相关图片的特征信息；然后计算描述文本的特征信息与正相关图片的特征信息之间的距离，若上述距离小于预设距离，则说明上述训练完成的相关性计算模型已经符合要求了；若上述距离大于预设距离，则说明上述训练完成的相关性计算模型不符合要求，需要进行再次训练。
综上所述，本申请实施例提供的技术方案中，通过将相关性计算模型的训练过程分为两个训练阶段，在第一阶段中，采用描述文本和正相关图片各自对应的示例损失，对相关性计算模型进行训练；在第二阶段中，采用描述文本、正相关图片和负相关图片各自对应的示例损失，对第一阶段训练后的相关性计算模型进行再训练。相较于直接通过第二阶段对相关性计算模型进行训练，描述文本侧的网络权重更易于训练，缩短了相关性计算模型的训练时间。
在实际应用中，如图8和9所示，以目标视频为用户上传的视频、描述文本为该上传视频的标题为例进行介绍说明，下述各步骤的执行主体可以是服务器。
1、获取用户上传视频的标题；
2、对上传视频进行抽帧，获取n张候选图片，即图片1、图片2至图片n；
3、通过OCR分别识别上述n张候选图片中包含的字词；
4、计算候选图片与标题匹配的字词个数；
5、选取匹配的字词个数最高的候选图片作为上传视频的封面图片。
可选地，若上述n张候选图片与标题匹配的字词个数都为0，则执行下述步骤：
1、获取用户上传视频的标题；
2、对上传视频进行抽帧，获取n张候选图片，即图片1、图片2至图片n；
3、将上述n张候选图片和标题分别组成图片/标题对1、图片/标题对2至图片/标题对n；
每个图片/标题对都不同于其他组，即图片/标题对1、图片/标题对2至图片/标题对n分别对应不同的类。
4、将上述图片/标题对1、图片/标题对2至图片/标题对n输入至相关性计算模型中，得到标题的特征信息以及n张候选图片的特征信息，进而确定图片/标题对的相关性；
根据标题的特征信息以及n张候选图片的特征信息，可以确定图片/标题对1、图片/标题对2至图片/标题对n各自的距离，将距离作为图片/标题对的相关性衡量标准，距离越小表示标题与图片越接近，相关性越大。
5、选取相关性最大的候选图片，作为上传视频的封面图片。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图10，其示出了本申请一个实施例提供的封面图片的选取装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置1000可以包括：图片获取模块1010、信息提取模块1020、相关性确定模块1030和图片选取模块1040。
所述图片获取模块1010，用于获取目标视频的描述文本和n张候选图片，所述n为正整数。
所述信息提取模块1020，用于通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息；其中，所述相关性计算模型的损失函数包括示例损失，所述示例损失用于表征基于所述相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度。
所述相关性确定模块1030，用于根据所述描述文本的特征信息以及各张所述候选图片的特征信息，分别确定所述描述文本与各张所述候选图片之间的相关性。
所述图片选取模块1040，用于从所述n张候选图片中，选取与所述描述文本相关性最高的候选图片，作为所述目标视频的封面图片。
综上所述，本申请实施例提供的技术方案中，通过相关性计算模型提取视频的描述文本和候选图片各自的特征信息，并根据上述特征信息，确定描述文本与候选图片之间的相关性，选取与描述文本相关性最高的候选图片作为视频的封面图片。因为相关性计算模型的损失函数包括示例损失，该示例损失用于表征基于相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度，因此基于该示例损失训练得到的相关性计算模型，能够更加容易地找出不同候选图片之间细粒度的差别，进而基于该相关性计算模型提取的特征信息所计算出的描述文本与候选图片之间的相关性会更加准确，从而能更加精确地选择出与描述文本最相关的候选图片作为封面图片，提升了封面图片选择的准确性。
在示意性实施例中，所述相关性确定模块1030，用于：
计算所述描述文本的特征信息与所述候选图片的特征信息之间的距离；
其中，所述距离用于表征所述描述文本与所述候选图片之间的相关性。
在示意性实施例中，如图11所示，所述装置1000，还包括：字词识别模块1050和匹配度获取模块1060。
所述字词识别模块1050，用于分别识别各张所述候选图片中包含的字词。
所述匹配度获取模块1060，用于获取所述描述文本包含的字词与各张所述候选图片中包含的字词之间的匹配度。
所述图片选取模块1040，还用于若所述n张候选图片中存在所述匹配度符合预设条件的目标候选图片，则将所述目标候选图片确定为所述目标视频的封面图片。
所述信息提取模块1020，还用于若所述n张候选图片中不存在所述目标候选图片，则从所述通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息的步骤开始执行。
请参考图12，其示出了本申请一个实施例提供的相关性计算模型的训练装置的框图。该装置具有实现上述方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备上。该装置1200可以包括：数据获取模块1210、信息提取模块1220、数据确定模块1230、损失计算模块1240和模型训练模块1250。
所述数据获取模块1210，用于获取相关性计算模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括视频的描述文本、所述描述文本对应的正相关图片和所述描述文本对应的负相关图片。
所述信息提取模块1220，用于通过所述相关性计算模型分别提取所述描述文本、所述正相关图片和所述负相关图片的特征信息。
所述数据确定模块1230，用于基于所述描述文本、所述正相关图片和所述负相关图片各自的特征信息，得到所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据。
所述损失计算模块1240，用于根据所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据，分别计算所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失；其中，所述示例损失用于表征预测分类数据与标准分类数据之间的差异程度。
所述模型训练模块1250，用于根据所述示例损失对所述相关性计算模型进行训练。
综上所述，本申请实施例提供的技术方案中，通过根据描述文本、正相关图片和负相关图片各自对应的示例损失，对相关性计算模型进行训练，对于同一描述文本可以研究不同图像帧与该描述文本之间的相关性，对于同一图像帧可以研究不同描述文本与该图像帧之间的相关性。相较于使用排序损失，排序损失使得很多图像帧与同一个描述文本之间的距离相近，没有区分图像帧之间细小的差距。而本申请在模型中增加示例损失会更加容易地找出图像帧之间细粒度的差别，进而基于该相关性计算模型提取的特征信息所计算出的描述文本与候选图片之间的相关性会更加准确，从而能更加精确地选择出与描述文本最相关的候选图片作为封面图片，提升了封面图片选择的准确性。
在示意性实施例中，所述相关性计算模型的训练包括第一阶段和第二阶段；
如图13所示，所述模型训练模块1250，包括：第一训练单元1251和第二训练单元1252。
所述第一训练单元1251，用于在所述第一阶段，采用所述描述文本和所述正相关图片各自对应的示例损失，对所述相关性计算模型进行训练，得到所述第一阶段训练后的相关性计算模型。
所述第二训练单元1252，用于在所述第二阶段，采用所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失，对所述第一阶段训练后的相关性计算模型进行再训练，得到完成训练的相关性计算模型。
在示意性实施例中，所述第一训练单元1251，用于：
在所述第一阶段，根据所述描述文本对应的第一示例损失和所述正相关图片对应的示例损失，计算所述第一阶段对应的损失函数值；
通过最小化所述第一阶段对应的损失函数值，来调整所述相关性计算模型的参数，得到所述第一阶段训练后的相关性计算模型。
在示意性实施例中，所述第二训练单元1252，包括：损失计算子单元和训练子单元(图中未示出)。
所述损失计算子单元，用于在所述第二阶段，计算排序损失，所述排序损失用于表征所述描述文本、所述正相关图片和所述负相关图片之间的相关性。
所述损失计算子单元，还用于根据所述描述文本对应的第二示例损失、所述正相关图片对应的示例损失、所述负相关图片对应的示例损失以及所述排序损失，计算所述第二阶段对应的损失函数值。
所述训练子单元，通过最小化所述第二阶段对应的损失函数值，来调整所述第一阶段训练后的相关性计算模型的参数，得到完成训练的相关性计算模型。
在示意性实施例中，所述损失计算子单元，用于：
计算第一距离和第二距离，其中，所述第一距离是指所述描述文本的特征信息与所述正相关图片的特征信息之间的距离，所述第二距离是指所述描述文本的特征信息与所述负相关图片的特征信息之间的距离；
根据所述第一距离和所述第二距离，计算所述排序损失。
在示意性实施例中，所述相关性计算模型包括：文本特征提取模型和图片特征提取模型；
其中，所述文本特征提取模型用于提取所述描述文本的特征信息，所述图片特征提取模型用于提取图片的特征信息，所述图片包括所述正相关图片和所述负相关图片。
在示意性实施例中，所述文本特征提取模型包括：文本处理层、特征提取层和全连接层；其中，
所述文本处理层用于获取所述描述文本的文本矩阵；
所述特征提取层用于根据所述描述文本的文本矩阵，提取所述描述文本的初始特征信息；
所述全连接层用于对所述描述文本的初始特征信息进行特征映射处理，生成所述描述文本的特征信息。
在示意性实施例中，所述文本处理层用于：
对所述描述文本进行分词，获得所述描述文本包含的至少一个字词；
确定所述至少一个字词各自对应的词向量；
根据所述至少一个字词各自对应的词向量，生成所述描述文本的文本矩阵。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内容结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图14，其示出了本申请一个实施例提供的计算机设备1400的结构示意图。计算机设备是指具有计算和处理能力的电子设备，例如，PC(Personal Computer，个人计算机)、服务器等。该计算机设备1400可用于实施上述实施例中提供的方法。具体来讲：
所述计算机设备1400包括中央处理单元(CPU)1401、包括随机存取存储器(RAM)1402和只读存储器(ROM)1403的系统存储器1404，以及连接系统存储器1404和中央处理单元1401的系统总线1405。所述计算机设备1400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1406，和用于存储操作系统1413、应用程序1414和其他程序模块1413的大容量存储设备1407。
所述基本输入/输出系统1406包括有用于显示信息的显示器1408和用于用户输入信息的诸如鼠标、键盘之类的输入设备1409。其中所述显示器1408和输入设备1409都通过连接到系统总线1405的输入输出控制器1410连接到中央处理单元1401。所述基本输入/输出系统1406还可以包括输入输出控制器1410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1410还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1407通过连接到系统总线1405的大容量存储控制器(未示出)连接到中央处理单元1401。所述大容量存储设备1407及其相关联的计算机可读介质为计算机设备1400提供非易失性存储。也就是说，所述大容量存储设备1407可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1407可以统称为存储器。
根据本申请的各种实施例，所述计算机设备1400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1400可以通过连接在所述系统总线1405上的网络接口单元1411连接到网络1412，或者说，也可以使用网络接口单元1411来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于实现上述方法。
在示例性实施例中，还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集。所述至少一条指令、至少一段程序、代码集或指令集经配置以由所述处理器执行，以实现上述方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被计算机设备的处理器执行时实现上述方法。可选地，上述计算机可读存储介质可以是ROM(Read-Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于实现上述方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种封面图片的选取方法，其特征在于，所述方法包括：
获取目标视频的描述文本和n张候选图片，所述n为正整数；
通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息；其中，所述相关性计算模型的损失函数包括示例损失，所述示例损失用于表征基于所述相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度；
根据所述描述文本的特征信息以及各张所述候选图片的特征信息，分别确定所述描述文本与各张所述候选图片之间的相关性；
从所述n张候选图片中，选取与所述描述文本相关性最高的候选图片，作为所述目标视频的封面图片。
2.根据权利要求1所述的方法，其特征在于，所述根据所述描述文本的特征信息以及各张所述候选图片的特征信息，分别确定所述描述文本与各张所述候选图片之间的相关性，包括：
计算所述描述文本的特征信息与所述候选图片的特征信息之间的距离；
其中，所述距离用于表征所述描述文本与所述候选图片之间的相关性。
3.根据权利要求1或2所述的方法，其特征在于，所述通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息之前，还包括：
分别识别各张所述候选图片中包含的字词；
获取所述描述文本包含的字词与各张所述候选图片中包含的字词之间的匹配度；
若所述n张候选图片中存在所述匹配度符合预设条件的目标候选图片，则将所述目标候选图片确定为所述目标视频的封面图片；
若所述n张候选图片中不存在所述目标候选图片，则从所述通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息的步骤开始执行。
4.一种相关性计算模型的训练方法，其特征在于，所述方法包括：
获取相关性计算模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括视频的描述文本、所述描述文本对应的正相关图片和所述描述文本对应的负相关图片；
通过所述相关性计算模型分别提取所述描述文本、所述正相关图片和所述负相关图片的特征信息；
基于所述描述文本、所述正相关图片和所述负相关图片各自的特征信息，得到所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据；
根据所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据，分别计算所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失；其中，所述示例损失用于表征预测分类数据与标准分类数据之间的差异程度；
根据所述示例损失对所述相关性计算模型进行训练。
5.根据权利要求4所述的方法，其特征在于，所述相关性计算模型的训练包括第一阶段和第二阶段；
所述根据所述示例损失对所述相关性计算模型进行训练，包括：
在所述第一阶段，采用所述描述文本和所述正相关图片各自对应的示例损失，对所述相关性计算模型进行训练，得到所述第一阶段训练后的相关性计算模型；
在所述第二阶段，采用所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失，对所述第一阶段训练后的相关性计算模型进行再训练，得到完成训练的相关性计算模型。
6.根据权利要求5所述的方法，其特征在于，所述在所述第一阶段，采用所述描述文本和所述正相关图片各自对应的示例损失，对所述相关性计算模型进行训练，得到所述第一阶段训练后的相关性计算模型，包括：
在所述第一阶段，根据所述描述文本对应的第一示例损失和所述正相关图片对应的示例损失，计算所述第一阶段对应的损失函数值；
通过最小化所述第一阶段对应的损失函数值，来调整所述相关性计算模型的参数，得到所述第一阶段训练后的相关性计算模型。
7.根据权利要求5所述的方法，其特征在于，所述在所述第二阶段，采用所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失，对所述第一阶段训练后的相关性计算模型进行再训练，得到完成训练的相关性计算模型，包括：
在所述第二阶段，计算排序损失，所述排序损失用于表征所述描述文本、所述正相关图片和所述负相关图片之间的相关性；
根据所述描述文本对应的第二示例损失、所述正相关图片对应的示例损失、所述负相关图片对应的示例损失以及所述排序损失，计算所述第二阶段对应的损失函数值；
通过最小化所述第二阶段对应的损失函数值，来调整所述第一阶段训练后的相关性计算模型的参数，得到完成训练的相关性计算模型。
8.根据权利要求7所述的方法，其特征在于，所述计算排序损失，包括：
计算第一距离和第二距离，其中，所述第一距离是指所述描述文本的特征信息与所述正相关图片的特征信息之间的距离，所述第二距离是指所述描述文本的特征信息与所述负相关图片的特征信息之间的距离；
根据所述第一距离和所述第二距离，计算所述排序损失。
9.根据权利要求4至8任一项所述的方法，其特征在于，所述相关性计算模型包括：文本特征提取模型和图片特征提取模型；
其中，所述文本特征提取模型用于提取所述描述文本的特征信息，所述图片特征提取模型用于提取图片的特征信息，所述图片包括所述正相关图片和所述负相关图片。
10.根据权利要求9所述的方法，其特征在于，所述文本特征提取模型包括：文本处理层、特征提取层和全连接层；其中，
所述文本处理层用于获取所述描述文本的文本矩阵；
所述特征提取层用于根据所述描述文本的文本矩阵，提取所述描述文本的初始特征信息；
所述全连接层用于对所述描述文本的初始特征信息进行特征映射处理，生成所述描述文本的特征信息。
11.根据权利要求10所述的方法，其特征在于，所述文本处理层用于：
对所述描述文本进行分词，获得所述描述文本包含的至少一个字词；
确定所述至少一个字词各自对应的词向量；
根据所述至少一个字词各自对应的词向量，生成所述描述文本的文本矩阵。
12.一种封面图片的选取装置，其特征在于，所述装置包括：
图片获取模块，用于获取目标视频的描述文本和n张候选图片，所述n为正整数；
信息提取模块，用于通过相关性计算模型提取所述描述文本的特征信息以及各张所述候选图片的特征信息；其中，所述相关性计算模型的损失函数包括示例损失，所述示例损失用于表征基于所述相关性计算模型输出的特征信息得到的预测分类数据与标准分类数据之间的差异程度；
相关性确定模块，用于根据所述描述文本的特征信息以及各张所述候选图片的特征信息，分别确定所述描述文本与各张所述候选图片之间的相关性；
图片选取模块，用于从所述n张候选图片中，选取与所述描述文本相关性最高的候选图片，作为所述目标视频的封面图片。
13.一种相关性计算模型的训练装置，其特征在于，所述装置包括：
数据获取模块，用于获取相关性计算模型的训练数据，所述训练数据包括至少一个训练样本，所述训练样本包括视频的描述文本、所述描述文本对应的正相关图片和所述描述文本对应的负相关图片；
信息提取模块，用于通过所述相关性计算模型分别提取所述描述文本、所述正相关图片和所述负相关图片的特征信息；
数据确定模块，用于基于所述描述文本、所述正相关图片和所述负相关图片各自的特征信息，得到所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据；
损失计算模块，用于根据所述描述文本、所述正相关图片和所述负相关图片各自对应的预测分类数据，分别计算所述描述文本、所述正相关图片和所述负相关图片各自对应的示例损失；其中，所述示例损失用于表征预测分类数据与标准分类数据之间的差异程度；
模型训练模块，用于根据所述示例损失对所述相关性计算模型进行训练。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至3任一项所述的视频封面图片的选取方法，或实现如权利要求4至11任一项所述的相关性计算模型的训练方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至3任一项所述的视频封面图片的选取方法，或实现如权利要求4至11任一项所述的相关性计算模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910739802.7A CN110457523B (zh) | 2019-08-12 | 2019-08-12 | 封面图片的选取方法、模型的训练方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910739802.7A CN110457523B (zh) | 2019-08-12 | 2019-08-12 | 封面图片的选取方法、模型的训练方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110457523A true CN110457523A (zh) | 2019-11-15 |
| CN110457523B CN110457523B (zh) | 2022-03-08 |
Family
ID=68485930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910739802.7A Active CN110457523B (zh) | 2019-08-12 | 2019-08-12 | 封面图片的选取方法、模型的训练方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110457523B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110856037A (zh) * | 2019-11-22 | 2020-02-28 | 北京金山云网络技术有限公司 | 一种视频封面确定方法、装置、电子设备及可读存储介质 |
| CN112231504A (zh) * | 2020-09-30 | 2021-01-15 | 北京三快在线科技有限公司 | 确定封面图片的方法、装置、电子设备及存储介质 |
| CN112860941A (zh) * | 2021-02-04 | 2021-05-28 | 百果园技术(新加坡)有限公司 | 一种封面推荐方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016060116A (ja) * | 2014-09-18 | 2016-04-25 | ブラザー工業株式会社 | 印字ラベル作成装置、及びラベル作成処理プログラム |
| US20160148074A1 (en) * | 2014-11-26 | 2016-05-26 | Captricity, Inc. | Analyzing content of digital images |
| CN106021364A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 图片搜索相关性预测模型的建立、图片搜索方法和装置 |
| CN107918656A (zh) * | 2017-11-17 | 2018-04-17 | 北京奇虎科技有限公司 | 基于视频标题的视频封面提取方法及装置 |
| CN109271542A (zh) * | 2018-09-28 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 封面确定方法、装置、设备及可读存储介质 |
| CN110019889A (zh) * | 2017-12-01 | 2019-07-16 | 北京搜狗科技发展有限公司 | 训练特征提取模型及计算图片与查询词相关性系数的方法和相关装置 |
-
2019
- 2019-08-12 CN CN201910739802.7A patent/CN110457523B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016060116A (ja) * | 2014-09-18 | 2016-04-25 | ブラザー工業株式会社 | 印字ラベル作成装置、及びラベル作成処理プログラム |
| US20160148074A1 (en) * | 2014-11-26 | 2016-05-26 | Captricity, Inc. | Analyzing content of digital images |
| CN106021364A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 图片搜索相关性预测模型的建立、图片搜索方法和装置 |
| CN107918656A (zh) * | 2017-11-17 | 2018-04-17 | 北京奇虎科技有限公司 | 基于视频标题的视频封面提取方法及装置 |
| CN110019889A (zh) * | 2017-12-01 | 2019-07-16 | 北京搜狗科技发展有限公司 | 训练特征提取模型及计算图片与查询词相关性系数的方法和相关装置 |
| CN109271542A (zh) * | 2018-09-28 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 封面确定方法、装置、设备及可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110856037A (zh) * | 2019-11-22 | 2020-02-28 | 北京金山云网络技术有限公司 | 一种视频封面确定方法、装置、电子设备及可读存储介质 |
| CN112231504A (zh) * | 2020-09-30 | 2021-01-15 | 北京三快在线科技有限公司 | 确定封面图片的方法、装置、电子设备及存储介质 |
| CN112860941A (zh) * | 2021-02-04 | 2021-05-28 | 百果园技术(新加坡)有限公司 | 一种封面推荐方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110457523B (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11967151B2 (en) | Video classification method and apparatus, model training method and apparatus, device, and storage medium | |
| CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| Liu et al. | A hierarchical visual model for video object summarization | |
| US20170357720A1 (en) | Joint heterogeneous language-vision embeddings for video tagging and search | |
| EP3968179A1 (en) | Place recognition method and apparatus, model training method and apparatus for place recognition, and electronic device | |
| Wang et al. | Predicting camera viewpoint improves cross-dataset generalization for 3d human pose estimation | |
| WO2021208601A1 (zh) | 基于人工智能的图像处理方法、装置、设备及存储介质 | |
| CN110457523A (zh) | 封面图片的选取方法、模型的训练方法、装置及介质 | |
| WO2022188697A1 (zh) | 提取生物特征的方法、装置、设备、介质及程序产品 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN113821668A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
| CN111126464A (zh) | 一种基于无监督域对抗领域适应的图像分类方法 | |
| CN113515669A (zh) | 基于人工智能的数据处理方法和相关设备 | |
| Liu et al. | Learning explicit shape and motion evolution maps for skeleton-based human action recognition | |
| CN112818995A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
| Zhang et al. | Online modeling of esthetic communities using deep perception graph analytics | |
| CN110427864B (zh) | 一种图像处理方法、装置及电子设备 | |
| CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| Xu et al. | Video unsupervised domain adaptation with deep learning: A comprehensive survey | |
| CN111445545B (zh) | 一种文本转贴图方法、装置、存储介质及电子设备 | |
| CN110826726B (zh) | 目标处理方法、目标处理装置、目标处理设备及介质 | |
| CN113824989A (zh) | 一种视频处理方法、装置和计算机可读存储介质 | |
| CN113762041A (zh) | 视频分类方法、装置、计算机设备和存储介质 | |
| CN113704544A (zh) | 一种视频分类方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |