CN110572711B - 视频封面生成方法、装置、计算机设备及存储介质 - Google Patents

视频封面生成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110572711B
CN110572711B CN201910923672.2A CN201910923672A CN110572711B CN 110572711 B CN110572711 B CN 110572711B CN 201910923672 A CN201910923672 A CN 201910923672A CN 110572711 B CN110572711 B CN 110572711B
Authority
CN
China
Prior art keywords
image
video
sample
user
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910923672.2A
Other languages
English (en)
Other versions
CN110572711A (zh
Inventor
张水发
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910923672.2A priority Critical patent/CN110572711B/zh
Publication of CN110572711A publication Critical patent/CN110572711A/zh
Application granted granted Critical
Publication of CN110572711B publication Critical patent/CN110572711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种视频封面生成方法、装置、计算机设备及存储介质，属于互联网技术领域。方法包括：获取目标视频中的多帧图像及多帧图像的图像标识，获取目标用户标识的用户类别，将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识，根据目标图像标识对应的目标图像，生成与目标用户标识对应的视频封面。该方法根据用户类别，为用户生成对应的视频封面，则该视频封面为用户感兴趣的视频封面，不再局限于生成固定不变的视频封面，解决了视频封面单一的问题，提高了灵活性。

Description

视频封面生成方法、装置、计算机设备及存储介质
技术领域
本公开涉及互联网技术领域，尤其涉及一种视频封面生成方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的发展，互联网中传播的视频越来越多，为了便于用户了解视频内容，可以为视频生成视频封面，将视频封面展示给用户，用户根据视频封面选择要观看的视频。因此，如何生成视频封面至关重要。
相关技术中，由视频的发布者从视频的多帧图像中选取一帧图像，作为视频封面，则视频封面固定不变，对同一个视频来说，不同的用户所看到的视频封面都是相同的，导致生成的视频封面单一。
发明内容
本公开提供了一种视频封面生成方法、装置、计算机设备及存储介质，能够克服相关技术中存在的由于生成的视频封面固定不变而导致视频封面单一的问题。
根据本公开实施例的第一方面，提供一种视频封面生成方法，所述方法包括：
获取目标视频中的多帧图像及所述多帧图像的图像标识；
获取目标用户标识的用户类别；
将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的目标图像标识；
根据所述目标图像标识对应的目标图像，生成与所述目标用户标识对应的视频封面。
在一种可能实现方式中，所述获取目标视频中的多帧图像及所述多帧图像的图像标识，包括以下至少一项：
从所述目标视频中选取人眼处于睁开状态的多帧图像，获取所述多帧图像的图像标识；
从所述目标视频中选取包含人脸的多帧图像，获取所述多帧图像的图像标识；
从所述目标视频中选取图像质量分值大于预设分值的多帧图像，获取所述多帧图像的图像标识。
在另一种可能实现方式中，所述将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的目标图像标识，包括：
将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至所述视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的多个图像标识；
从所述多个图像标识中，选取一个目标图像标识。
在另一种可能实现方式中，所述从所述多个图像标识中，选取一个目标图像标识，包括：
按照所述多个图像标识的排列顺序，选取第一个图像标识作为所述目标图像标识。
在另一种可能实现方式中，所述将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的目标图像标识之前，所述方法还包括：
获取样本视频中的多帧样本图像及所述多帧样本图像的图像标识；
获取样本类别及与所述样本类别匹配的目标图像标识；
根据所述多帧样本图像、所述多帧样本图像的图像标识、所述样本类别以及所述目标图像标识，训练所述视频封面生成模型。
在另一种可能实现方式中，所述获取样本类别及与所述样本类别匹配的目标图像标识，包括：
获取所述样本视频的历史播放记录，所述历史播放记录包括用户类别、视频封面和所述视频封面的图像标识，所述用户类别为播放过所述样本视频的用户标识的用户类别，所述视频封面为所述用户标识播放所述样本视频时所述样本视频的视频封面；
对于所述历史播放记录中的每个用户类别，将所述用户类别作为样本类别，将所述样本类别对应的至少一个视频封面的图像标识作为目标图像标识。
在另一种可能实现方式中，所述将所述样本类别对应的至少一个视频封面的图像标识作为目标图像标识，包括：
获取所述历史播放记录中，所述样本类别对应的多个视频封面的图像特征；
根据所述多个视频封面的图像特征，对所述多个视频封面进行聚类，得到至少一个类别，每个类别包括至少一个视频封面；
从所述至少一个类别中的每个类别中选取预设数量的视频封面，将选取的视频封面的图像标识作为目标图像标识。
根据本公开实施例的第二方面，提供一种视频封面生成装置，所述装置包括：
图像获取单元，被配置为获取目标视频中的多帧图像及所述多帧图像的图像标识；
类别获取单元，被配置为获取目标用户标识的用户类别；
图像标识获取单元，被配置为将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的目标图像标识；
视频封面生成单元，被配置为根据所述目标图像标识对应的目标图像，生成与所述目标用户标识对应的视频封面。
在一种可能实现方式中，所述图像获取单元，包括以下至少一项：
第一获取子单元，被配置为从所述目标视频中选取人眼处于睁开状态的多帧图像，获取所述多帧图像的图像标识；
第二获取子单元，被配置为从所述目标视频中选取包含人脸的多帧图像，获取所述多帧图像的图像标识；
第三获取子单元，被配置为从所述目标视频中选取图像质量分值大于预设分值的多帧图像，获取所述多帧图像的图像标识。
在另一种可能实现方式中，所述图像标识获取单元，包括：
标识获取子单元，被配置为将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至所述视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的多个图像标识；
标识选取子单元，被配置为从所述多个图像标识中，选取一个目标图像标识。
在另一种可能实现方式中，所述标识选取子单元，还被配置为：
按照所述多个图像标识的排列顺序，选取第一个图像标识作为所述目标图像标识。
在另一种可能实现方式中，所述装置还包括：
样本图像获取单元，被配置为获取样本视频中的多帧样本图像及所述多帧样本图像的图像标识；
样本标识获取单元，被配置为获取样本类别及与所述样本类别匹配的目标图像标识；
模型训练单元，被配置为根据所述多帧样本图像、所述多帧样本图像的图像标识、所述样本类别以及所述目标图像标识，训练所述视频封面生成模型。
在另一种可能实现方式中，所述样本标识获取单元，包括：
记录获取子单元，被配置为获取所述样本视频的历史播放记录，所述历史播放记录包括用户类别、视频封面和所述视频封面的图像标识，所述用户类别为播放过所述样本视频的用户标识的用户类别，所述视频封面为所述用户标识播放所述样本视频时所述样本视频的视频封面；
样本标识获取子单元，被配置为对于所述历史播放记录中的每个用户类别，将所述用户类别作为样本类别，将所述样本类别对应的至少一个视频封面的图像标识作为目标图像标识。
在另一种可能实现方式中，所述样本标识获取子单元，被配置为：
获取所述历史播放记录中，所述样本类别对应的多个视频封面的图像特征；
根据所述多个视频封面的图像特征，对所述多个视频封面进行聚类，得到至少一个类别，每个类别包括至少一个视频封面；
从所述至少一个类别中的每个类别中选取预设数量的视频封面，将选取的视频封面的图像标识作为目标图像标识。
根据本公开实施例的第三方面，提供了一种用于生成视频封面的计算机设备，所述计算机设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为执行第一方面所述的视频封面生成方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行第一方面所述的视频封面生成方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品中的指令由计算机设备的处理器执行时，使得计算机设备能够执行第一方面所述的视频封面生成方法。
本公开实施例提供的视频封面生成方法、装置、计算机设备及存储介质，获取目标视频中的多帧图像及多帧图像的图像标识，获取目标用户标识的用户类别，将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识，根据目标图像标识对应的目标图像，生成与目标用户标识对应的视频封面。该方法根据用户类别，为用户生成对应的视频封面，则该视频封面为用户感兴趣的视频封面，不再局限于生成固定不变的视频封面，解决了视频封面单一的问题，提高了灵活性。
并且，本公开实施例提供的方法，获取样本视频中的多帧样本图像及多帧样本图像的图像标识，获取样本视频的历史播放记录，历史播放记录包括用户类别、视频封面和视频封面的图像标识，对于历史播放记录中的每个用户类别，将用户类别作为样本类别，将样本类别对应的至少一个视频封面的图像标识作为目标图像标识，根据多帧样本图像、多帧样本图像的图像标识、样本类别以及目标图像标识，训练视频封面生成模型，从而能够根据目标视频和用户类别，基于该视频封面生成模型，为用户生成对应的视频封面，则该视频封面为用户感兴趣的视频封面，不再局限于生成固定不变的视频封面，解决了视频封面单一的问题，提高了灵活性。
并且，通过获取样本视频的历史播放记录，根据该历史播放记录获取样本类别及与样本类别匹配的目标图像标识，能够使视频封面生成模型根据样本视频的播放历史，自动地学习到根据用户类别，从视频的多帧图像中选取视频封面的能力，提高了视频封面生成模型的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种视频封面生成方法的流程图。
图2是根据一示例性实施例示出的一种视频封面生成模型训练方法的流程图。
图3是根据一示例性实施例示出的一种视频封面生成模型的示意图。
图4是根据一示例性实施例示出的另一种视频封面生成方法的流程图。
图5是根据一示例性实施例示出的一种视频封面生成装置的结构示意图。
图6是根据一示例性实施例示出的另一种视频封面生成装置的结构示意图。
图7是根据一示例性实施例示出的一种终端的框图。
图8是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的设备和方法的例子。
图1是根据一示例性实施例示出的一种视频封面生成方法的流程图，参见图1，包括以下步骤：
101、获取目标视频中的多帧图像及该多帧图像的图像标识。
102、获取目标用户标识的用户类别。
103、将多帧图像、该多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识。
104、根据目标图像标识对应的目标图像，生成与目标用户标识对应的视频封面。
本公开实施例提供的方法，获取目标视频中的多帧图像及多帧图像的图像标识，获取目标用户标识的用户类别，将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识，根据目标图像标识对应的目标图像，生成与目标用户标识对应的视频封面。该方法根据用户类别，为用户生成对应的视频封面，则该视频封面为用户感兴趣的视频封面，不再局限于生成固定不变的视频封面，解决了视频封面单一的问题，提高了灵活性。
在一种可能实现方式中，获取目标视频中的多帧图像及多帧图像的图像标识，包括以下至少一项：
从目标视频中选取人眼处于睁开状态的多帧图像，获取多帧图像的图像标识；
从目标视频中选取包含人脸的多帧图像，获取多帧图像的图像标识；
从目标视频中选取图像质量分值大于预设分值的多帧图像，获取多帧图像的图像标识。
在另一种可能实现方式中，将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识，包括：
将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的多个图像标识；
从多个图像标识中，选取一个目标图像标识。
在另一种可能实现方式中，从多个图像标识中，选取一个目标图像标识，包括：
按照多个图像标识的排列顺序，选取第一个图像标识作为目标图像标识。
在另一种可能实现方式中，将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识之前，方法还包括：
获取样本视频中的多帧样本图像及多帧样本图像的图像标识；
获取样本类别及与样本类别匹配的目标图像标识；
根据多帧样本图像、多帧样本图像的图像标识、样本类别以及目标图像标识，训练视频封面生成模型。
在另一种可能实现方式中，获取样本类别及与样本类别匹配的目标图像标识，包括：
获取样本视频的历史播放记录，历史播放记录包括用户类别、视频封面和视频封面的图像标识，用户类别为播放过样本视频的用户标识的用户类别，视频封面为用户标识播放样本视频时样本视频的视频封面；
对于历史播放记录中的每个用户类别，将用户类别作为样本类别，将样本类别对应的至少一个视频封面的图像标识作为目标图像标识。
在另一种可能实现方式中，将样本类别对应的至少一个视频封面的图像标识作为目标图像标识，包括：
获取历史播放记录中，样本类别对应的多个视频封面的图像特征；
根据多个视频封面的图像特征，对多个视频封面进行聚类，得到至少一个类别，每个类别包括至少一个视频封面；
从至少一个类别中的每个类别中选取预设数量的视频封面，将选取的视频封面的图像标识作为目标图像标识。
本公开实施例中，针对同一个视频，为了生成与用户类别对应的视频封面，提供了一种视频封面生成模型，将任一用户标识的用户类别、任一视频的多帧图像以及该多帧图像的图像标识输入至视频封面生成模型中，即可获取与用户类别匹配的图像标识，根据该图像标识对应的图像，生成与用户标识对应的视频封面。在使用该视频封面生成模型之前，需要对该视频封面生成模型进行训练，训练过程详见下述实施例。
图2是根据一示例性实施例示出的一种视频封面生成模型训练方法的流程图，应用于终端，参见图2，包括以下步骤：
201、获取样本视频中的多帧样本图像及多帧样本图像的图像标识。
每个视频中包括多帧图像，并且每帧图像具有对应的图像标识，该图像标识用于确定视频中的唯一的一帧图像，可以为图像在视频中的编号或者其他用来确定唯一图像的标识等。
终端可以获取用于进行训练的样本视频，从样本视频中获取多帧样本图像及多帧样本图像的图像标识。例如，终端可以将样本视频中的每帧图像作为样本图像，从而获取到多帧样本图像。或者终端还可以对样本视频中的多帧图像进行筛选，将筛选出的图像作为样本图像，从而获取到多帧样本图像。
其中，获取样本视频中的多帧样本图像及多帧样本图像的图像标识的过程可以包括以下至少一项：
一、从样本视频中选取包含人脸的多帧样本图像，获取该多帧样本图像的图像标识。
在一种可能实现方式中，分别检测样本视频中的每帧图像中是否包含人脸，将包含人脸的多帧图像作为样本图像，并获取多帧样本图像的图像标识。例如，采用人脸检测模型，对样本视频中的每帧图像进行检测，从而确定每帧图像是否包含人脸。
在另一种可能实现方式中，对于样本视频中的每帧图像，当该图像的前一帧图像中包含人脸，该图像的下一帧图像中也包含人脸，而该图像不包括人脸时，可以认为该图像中不包括人脸或者人脸被遮挡，则将该图像过滤。将样本视频过滤后剩余的多帧图像作为样本图像，并获取多帧样本图像的图像标识。
在另一种可能实现方式中，从样本视频中选取包含笑脸的多帧样本图像，获取该多帧样本图像的图像标识，而不再选取不包含笑脸的图像。
例如，采用人脸检测模型，对样本视频中的每帧图像进行检测，从而确定每帧图像是否包含人脸。之后采用笑脸检测模型，对包含人脸的每帧图像进行检测，从而确定每帧图像是否包含笑脸。将检测到的包含笑脸的多帧图像作为样本图像，并获取该多帧样本图像的图像标识。
二、从样本视频中选取人眼处于睁开状态的多帧样本图像，获取该多帧样本图像的图像标识。
终端可以采用人眼检测模型，对样本视频中的每帧图像进行检测，从而确定每帧图像是否包括人眼。之后，采用睁闭眼分类模型，对包含人眼的每帧图像进行检测，将包含人眼的每帧图像划分为人眼处于睁开状态的图像和人眼处于闭合状态的图像，从中选取人眼处于睁开状态的多帧图像作为样本图像，并获取该多帧样本图像对应的图像标识。
在一种可能实现方式中，采用上述方法一检测包含人脸的图像之后，再采用方法二检测人眼处于睁开状态的多帧样本图像，并获取该多帧样本图像对应的图像标识。
三、从样本视频中选取图像质量分值大于预设分值的多帧样本图像，获取该多帧样本图像的图像标识。
对于样本视频中的每帧图像来说，采用图像质量评估模型对该图像的图像质量进行评估，获取图像质量分值，当该图像质量分值大于预设分值时，认为该图像的图像质量较好，当该图像质量分值不大于预设分值时，认为该图像的图像质量较差。因此，从样本视频中选取图像质量分值大于预设分值的多帧图像作为样本图像，并获取该多帧样本图像的图像标识。
其中，图像质量评估模型对图像质量评估的内容包括图像的清晰度、图像颜色是否是纯色的、图像噪点以及图像是否存在大量的过曝或欠曝区域等。
本公开实施例涉及的人脸检测模型、睁闭眼分类模型、笑脸检测模型和图像质量评估模型可以由终端训练得到，或者还可以由其他设备训练后发送给终端，由终端进行存储。
需要说明的是，本公开实施例仅是以一个样本视频为例，对训练视频封面生成模型的过程进行说明。实际上，终端上存储有多个样本视频，终端可以根据多个样本视频训练视频封面生成模型，并且训练时采用的样本视频可以由终端用户从多个视频中选择，本公开实施例对样本视频的数量和内容均不做限定。
202、获取样本视频的历史播放记录，历史播放记录包括用户类别、视频封面和视频封面的图像标识。
对于每个终端来说，终端基于用户标识登录，该用户标识用于表示用户的身份，可以为用户的手机号码、用户账号或用户昵称等。该用户标识具有一个或多个用户类别，该用户类别是指终端用户所属的类别，可以表示终端用户感兴趣的视频类别。如美食类、美妆类、旅行类等。终端可以显示任一个或多个视频的视频封面，当用户对某一视频封面感兴趣时，会触发该视频封面，从而播放该视频封面对应的视频。在播放过程中，终端可以生成该视频的播放记录，该播放记录中包括用户类别、视频封面和视频封面的图像标识。
其中，视频的视频封面为视频中的任一帧图像，可以由视频的发布者确定，或者由维护人员确定，或者采用本公开实施例提供的视频封面生成方法确定。
例如，将视频推荐给第一用户，且所显示的视频封面为第一视频封面，第一用户触发该第一视频封面后播放该视频，此时获取用户类别、该第一视频封面和该第一视频封面的第一图像标识，作为第一条目，添加至该视频的播放记录中。将视频推荐给第二用户，且所显示的视频封面为第二视频封面，第二用户触发该第二视频封面后播放该视频，此时获取用户类别、该第二视频封面和该第二视频封面的第二图像标识，作为第二播放条目，添加至该视频的播放记录中。其中该第一用户的用户类别与第二用户的用户类别可以相同也可以不同。
而对于本公开实施例中用于训练视频封面生成模型的终端来说，该终端会获取样本视频的历史播放记录，该历史播放记录中包括用户类别、视频封面和视频封面的图像标识，用户类别为播放过样本视频的用户标识的用户类别，视频封面为用户标识播放样本视频时样本视频的视频封面。并且，由于之前有一个或多个用户播放过该样本视频，因此该历史播放记录中可以包括至少一个用户类别、至少一个视频封面和至少一个视频封面的图像标识。
在一种可能实现方式中，历史播放记录中包括至少一个用户类别、多个视频封面和多个视频封面的图像标识。
在另一种可能实现方式中，每个播放视频的终端可以将生成的播放记录发送给服务器，由服务器将同一视频的播放记录进行汇总。而用于训练视频封面生成模型的终端可以从服务器获取样本视频的历史播放记录。其中，该服务器可以为视频播放服务器，每个终端可以基于用户标识登录该服务器，从而由该服务器为每个终端提供视频播放服务。
203、对于历史播放记录中的每个用户类别，将该用户类别作为样本类别，将该样本类别对应的至少一个视频封面的图像标识作为目标图像标识。
在该历史播放记录中包括至少一个用户类别，对于每个用户类别来说，该历史播放记录中可以包括该用户类别对应的多条播放条目，并且不同的播放条目中的视频封面可以相同，也可以相同。因此，该用户类别具有对应的至少一个视频封面。
因此，对于历史播放记录中的每个用户类别，将用户类别作为样本类别，将样本类别对应的至少一个视频封面的图像标识作为目标图像标识。后续会将样本类别和目标图像标识用于训练视频封面生成模型的过程中。
在一种可能实现方式中，由于步骤201中在选取样本图像时可能会将一些图像过滤掉，因此，该用户类别对应的至少一个视频封面中，有些视频封面可能会不属于步骤201中所获取的样本图像，因此将这些视频封面删除，以保证后续训练视频封面生成模型时，用于训练的目标图像标识属于样本视频中选取的其中一帧样本图像的图像标识。
在另一种可能实现方式中，样本类别对应多个视频封面时，其中的某些视频封面可能是相似的图像，如果将每个视频封面的图像标识均作为目标图像标识，会导致目标图像标识数量过多，进而导致训练的数据量较大，影响训练速度。因此，可以从多个视频封面中进行筛选。
也即是，将样本类别对应的至少一个视频封面的图像标识作为目标图像标识，包括以下步骤：
一、获取历史播放记录中，样本类别对应的多个视频封面的图像特征。
从历史播放记录中，获取样本类别对应的多个视频封面，获取该多个视频封面的图像特征。其中，对于每个视频封面，可以直接对该视频封面进行特征提取，得到图像特征，或者也可以先对视频封面进行缩放处理，以保证缩放处理之后的图像为固定尺寸，对该固定尺寸的图像进行特征提取，得到图像特征。例如，将原视频封面缩放为8*8的尺寸，进行特征提取后，即可得到该视频封面的64维图像特征。
另外，在进行特征提取时，可以采用卷积神经网络、HOG(Histogram of OrientedGradient，方向梯度直方图)特征提取算法、LBP(Local Binary Pattern，局部二值模式)特征提取算法或者其他算法进行。
二、根据多个视频封面的图像特征，对多个视频封面进行聚类，得到至少一个类别，每个类别包括至少一个视频封面。
对多个视频封面进行聚类，得到多个类别，每个类别中包括至少一个视频封面。其中，可以采用k-means(均值聚类算法)、k-nn(近邻算法)或者其他聚类算法对多个视频封面进行聚类。
在一种可能实现方式中，对多个视频封面进行聚类时，预先设置聚类数目，例如将聚类数目设置为5个、10个或者其他数量。之后按照该聚类数目，对多个视频封面进行聚类，以得到该聚类数目个类别。
例如，对样本视频的多个视频封面进行聚类，得到5个类别：y1、y2、y3、y4和y5，xi为样本视频中第i帧图像的图像特征，则每个类别的聚类中心为：
Figure BDA0002218299230000111
其中，k为1到5的正整数。
采用以下公式，计算每个视频封面的图像特征到聚类中心的距离，使每个视频封面的图像特征到聚类中心的距离最近，从而得到最终的聚类结果：
yk＝arg min||xi-μyk||2；
三、从至少一个类别中的每个类别中选取预设数量的视频封面，将选取的视频封面的图像标识作为目标图像标识。
从每个类别中选择预设数量的视频封面，将选取的视频封面的图像标识作为目标图像标识。其中，该预设数量为可以为1个、2个或者其他数量。
例如，对样本视频的多个视频封面进行聚类，得到的图像类别为5类，预设数量为1个，那么对于该样本视频，一个样本类别对应5个聚类，可以获取到5帧样本图像，从而获取到5个目标图像标识。
通过选取预设数量的视频封面，可以减少训练时的目标图像标识的数量，加快训练流程，提高训练速度。
204、根据多帧样本图像、多帧样本图像的图像标识、样本类别以及目标图像标识，训练视频封面生成模型。
训练过程中，以样本视频的多帧样本图像、多帧样本图像的图像标识和样本类别，作为视频封面生成模型的输入，以目标图像标识作为视频封面生成模型的输出，对该视频封面生成模型进行训练。其中，多帧样本图像的图像标识包括目标图像标识，通过训练可以使视频封面生成模型学习到根据用户类别，从视频的多帧图像中选取视频封面的能力。
例如，将样本视频的多帧样本图像、多帧样本图像的图像标识和样本类别输入至视频封面生成模型，基于视频封面生成模型输出预测图像标识，该预测图像标识对应的视频封面即为视频封面生成模型当前从多帧样本图像中选取的视频封面，根据该预测图像标识与该目标图像标识之间的误差，对该视频封面生成模型的参数进行调整，以使调整后该视频封面生成模型输出的预测图像标识与目标图像标识之间的误差减小，达到训练该视频封面生成模型的目的。
本公开实施例所采用的视频封面生成模型可以为卷积神经网络模型、循环神经网络模型、长短期记忆网络模型等。
在一种可能实现方式中，视频封面生成模型如图3所示，视频封面生成模型中包括特征提取层、全连接层和多个隐藏层，其中特征提取层对输入的样本图像采用卷积神经网络提取图像特征，然后将提取的图像特征输入全连接层中，全连接层对各个样本图像的图像特征进行拼接，然后将拼接后的图像特征输入第一个隐藏层中，第一个隐藏层根据样本类别和拼接后的图像特征进行处理，输出第一个预测图像标识，第二个隐藏层根据前一个隐藏层输出的预测图像标识和第一个样本图像的图像标识进行处理，输出第二个预测图像标识，以此类推，即可输出多个预测图像标识。
需要说明的是，本公开实施例仅是以执行主体为终端为例，在另一实施例中，还可以由服务器执行本公开实施例提供的训练方法，本公开实施例对执行主体不做限定。
本公开实施例提供的方法，获取样本视频中的多帧样本图像及多帧样本图像的图像标识，获取样本视频的历史播放记录，历史播放记录包括用户类别、视频封面和视频封面的图像标识，对于历史播放记录中的每个用户类别，将用户类别作为样本类别，将样本类别对应的至少一个视频封面的图像标识作为目标图像标识，根据多帧样本图像、多帧样本图像的图像标识、样本类别以及目标图像标识，训练视频封面生成模型，从而能够根据目标视频和用户类别，基于该视频封面生成模型，为用户生成对应的视频封面，则该视频封面为用户感兴趣的视频封面，不再局限于生成固定不变的视频封面，解决了视频封面单一的问题，提高了灵活性。
并且，通过获取样本视频的历史播放记录，根据该历史播放记录获取样本类别及与样本类别匹配的目标图像标识，能够使视频封面生成模型根据样本视频的播放历史，自动地学习到根据用户类别，从视频的多帧图像中选取视频封面的能力，提高了视频封面生成模型的准确度。
图4是根据一示例性实施例示出的一种视频封面生成方法的流程图，应用于终端，参见图4，包括以下步骤：
401、获取目标视频中的多帧图像及该多帧图像的图像标识。
本公开实施例中，终端获取目标视频，可以显示目标视频的视频封面，供用户查看，待用户触发该视频封面时，终端检测到该触发操作，即可播放该目标视频。其中，该触发操作可以为点击操作、长按操作、滑动操作等。该目标视频可以为电影、电视剧等影视作品、美食类视频、美妆类视频、搞笑视频等。
终端存储有多个视频，该目标视频可以为终端存储的任一个视频，并且，终端存储的视频可以由终端从服务器下载得到。或者，终端基于用户标识登录服务器，服务器存储有多个视频，可以为终端推荐视频，该目标视频可以为服务器为终端推荐的任一个视频。并且，服务器存储的视频可以由发布者提供给维护人员，由维护人员存储至服务器，或者由发布者的终端发送给服务器，或者由其他设备发送给服务器。
该目标视频包括多帧图像，每帧图像有对应的图像标识，图像标识用于确定该目标视频中唯一的一帧图像。为了确定该目标视频的视频封面，终端获取该目标视频中的多帧图像及该多帧图像的图像标识。
在一种可能实现方式中，为了减小数据量，终端可以对目标视频中的多帧图像进行筛选，选取筛选出的多帧图像，获取该多帧图像的图像标识。因此，获取目标视频中的多帧图像及该多帧图像的图像标识，可以包括以下至少一项：
一、从目标视频中选取包含人脸的多帧图像，获取该多帧图像的图像标识。
二、从目标视频中选取人眼处于睁开状态的多帧图像，获取该多帧图像的图像标识。
三、从目标视频中选取图像质量分值大于预设分值的多帧图像，获取该多帧图像的图像标识。
具体实施方式与上述步骤201中获取样本视频中的多帧样本图像及多帧样本图像的图像标识的实施方式类似，在此不再赘述。
通过对目标视频中的多帧图像进行筛选，可以去除一些质量较差的图像，如人眼处于闭合状态、模糊图像以及人脸被遮挡的图像等。保留一些质量较好的图像，如包含笑脸的图像、处于睁眼状态的图像或者清晰度较高的图像等。
402、获取目标用户标识的用户类别。
本公开实施例中，终端基于目标用户标识登录，该目标用户标识具有用户类别，该用户类别是指终端用户所属的类别，可以表示终端用户感兴趣的视频类别。该用户类别可以由用户在注册目标用户标识时填写，则该用户类别固定不变。另外还可以通过记录用户在使用过程中的操作数据，根据用户的操作数据确定用户类别，该方法确定的用户类别与用户的操作数据相关联，可以根据用户的操作数据的变化而变化。
目标用户标识可以具有一个或多个用户类别，当目标用户标识具有多个用户类别时，终端可以从中随机选取目标用户标识的任一用户类别。
403、获取视频封面生成模型。
本公开实施例中，视频封面生成模型已训练完成，终端存储该视频封面生成模型。当要为目标视频生成视频封面时，可以获取已经存储的视频封面生成模型。其中，该视频封面生成模型可以通过步骤201-步骤204训练得到，或者也可以采用其他方式训练得到。
404、将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识。
在一种可能实现方式中，将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的多个图像标识，从该多个图像标识中选取其中一个图像标识作为目标图像标识。
其中，可以选取多个图像标识中的的任意一个图像标识作为目标图像标识。那么，对于同一用户类别下的多个用户标识，该多个用户标识匹配的目标图像标识可能相同，也可能不同。另外，还可以按照多个图像标识的排列顺序，选取第一个图像标识作为目标图像标识。
参见图3，视频封面生成模型中，特征提取层对输入的每帧图像采用卷积神经网络提取图像特征，然后将提取的图像特征输入全连接层中，全连接层对各个样本图像的图像特征进行拼接，然后将拼接后的图像特征输入第一个隐藏层中，并且还将用户类别输入到第一个隐藏层中，第一个隐藏层根据用户类别和拼接后的图像特征进行处理，输出第一个图像标识，第二个隐藏层根据前一个隐藏层输出的图像标识和第一帧图像的图像标识进行处理，输出第二个图像标识，以此类推，即可输出多个图像标识。因此将按照多个图像标识的排列顺序，选取第一个图像标识作为目标图像标识。那么，对于同一用户类别下的多个用户标识，该多个用户标识匹配的目标图像标识相同，均为第一个图像标识。
405、根据目标图像标识对应的目标图像，生成与目标用户标识对应的视频封面。
确定目标图像标识之后，确定目标视频中唯一与该目标图像标识对应的目标图像，该目标图像标识对应的目标图像是与用户类别匹配的图像，即用户感兴趣的图像。因此，可以根据目标图像，生成目标用户标识对应的视频封面。
在一种可能实现方式中，直接将该目标图像作为视频封面，或者，生成的视频封面与目标图像相比，可能在图像的分辨率或者尺寸上有所不同。例如，对该目标图像进行缩放处理，得到固定尺寸的图像，作为视频封面，或者获取该目标图像的缩略图，作为视频封面，或者提取该目标图像中的人脸图像，作为视频封面。
由于所生成的视频封面与用户类别匹配，是用户感兴趣的视频封面，因此可以提高视频的吸引力，能够吸引用户触发该视频封面，以播放目标视频。
需要说明的是，本公开实施例仅是以执行主体为终端为例，在另一实施例中，还可以由服务器执行本公开实施例提供的生成方法。例如，服务器存储有多个视频，可以采用推荐算法，确定为目标用户标识推荐的目标视频，并且还会根据目标视频的多帧图像及多帧图像的图像标识以及目标用户标识的用户类别，生成视频封面，则在进行推荐时，会将目标视频和目标视频的视频封面发送给目标用户标识所在的终端，由终端显示该视频封面，供用户查看。在检测到用户对该视频封面的触发操作时，播放该目标视频，供用户观看。
或者，在另一实施例中，该方法可以应用于终端和服务器，服务器通过执行本公开实施例中的步骤401-步骤404获取目标图像标识，在进行推荐时，将目标视频和目标图像标识发送给目标用户标识所在的终端，终端根据目标图像标识从目标视频中获取对应的目标图像，根据该目标图像生成视频封面，显示该视频封面，供用户查看。在检测到用户对该视频封面的触发操作时，播放该目标视频，供用户观看。
本公开实施例提供的方法，获取目标视频中的多帧图像及多帧图像的图像标识，获取目标用户标识的用户类别，将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识，根据目标图像标识对应的目标图像，生成与目标用户标识对应的视频封面。该方法根据用户类别，为用户生成对应的视频封面，则该视频封面为用户感兴趣的视频封面，不再局限于生成固定不变的视频封面，解决了视频封面单一的问题，提高了灵活性。
图5是根据一示例性实施例示出的一种视频封面生成装置的框图。参见图5，该装置包括：
图像获取单元501，被配置为获取目标视频中的多帧图像及多帧图像的图像标识；
类别获取单元502，被配置为获取目标用户标识的用户类别；
图像标识获取单元503，被配置为将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的目标图像标识；
视频封面生成单元504，被配置为根据目标图像标识对应的目标图像，生成与目标用户标识对应的视频封面。
在一种可能实现方式中，参见图6，图像获取单元501，包括以下至少一项：
第一获取子单元5011，被配置为从目标视频中选取人眼处于睁开状态的多帧图像，获取多帧图像的图像标识；
第二获取子单元5012，被配置为从目标视频中选取包含人脸的多帧图像，获取多帧图像的图像标识；
第三获取子单元5013，被配置为从目标视频中选取图像质量分值大于预设分值的多帧图像，获取多帧图像的图像标识。
在另一种可能实现方式中，参见图6，图像标识获取单元503，包括：
标识获取子单元5031，被配置为将多帧图像、多帧图像的图像标识和用户类别输入至视频封面生成模型中，基于视频封面生成模型，获取与用户类别匹配的多个图像标识；
标识选取子单元5032，被配置为从多个图像标识中，选取一个目标图像标识。
在另一种可能实现方式中，标识选取子单元5032，还被配置为：
按照多个图像标识的排列顺序，选取第一个图像标识作为目标图像标识。
在另一种可能实现方式中，参见图6，装置还包括：
样本图像获取单元505，被配置为获取样本视频中的多帧样本图像及多帧样本图像的图像标识；
样本标识获取单元506，被配置为获取样本类别及与样本类别匹配的目标图像标识；
模型训练单元507，被配置为根据多帧样本图像、多帧样本图像的图像标识、样本类别以及目标图像标识，训练视频封面生成模型。
在另一种可能实现方式中，参见图6，样本标识获取单元506，包括：
记录获取子单元5061，被配置为获取样本视频的历史播放记录，历史播放记录包括用户类别、视频封面和视频封面的图像标识，用户类别为播放过样本视频的用户标识的用户类别，视频封面为用户标识播放样本视频时样本视频的视频封面；
样本标识获取子单元5062，被配置为对于历史播放记录中的每个用户类别，将用户类别作为样本类别，将样本类别对应的至少一个视频封面的图像标识作为目标图像标识。
在另一种可能实现方式中，样本标识获取子单元5062，被配置为：
获取历史播放记录中，样本类别对应的多个视频封面的图像特征；
根据多个视频封面的图像特征，对多个视频封面进行聚类，得到至少一个类别，每个类别包括至少一个视频封面；
从至少一个类别中的每个类别中选取预设数量的视频封面，将选取的视频封面的图像标识作为目标图像标识。
图7是根据一示例性实施例示出的一种视频封面生成方法的终端700的框图。该终端700用于执行上述视频封面生成方法中终端所执行的步骤，可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端2100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端700包括有：一个或多个处理器701和一个或多个存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括易失性存储器或非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所具有以实现本申请中方法实施例提供的视频封面生成方法。
在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及13G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商标志集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图8是根据一示例性实施例示出的一种服务器的结构示意图，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)801和一个或一个以上的存储器802，其中，存储器802中存储有至少一条指令，该至少一条指令由处理器801加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器800可以用于执行上述视频封面生成方法中服务器所执行的步骤。
在示例性实施例中，还提供了一种非临时性计算机可读存储介质，当存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行上述视频封面生成方法中终端或服务器所执行的步骤。
在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由计算机设备的处理器执行时，使得计算机设备能够执行上述视频封面生成方法中终端或服务器所执行的步骤。
本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种视频封面生成方法，其特征在于，所述方法包括：
基于样本视频的多个视频封面，将所述样本视频推荐给不同类别的多个用户，且每次推荐时，所显示的视频封面不完全相同；
获取所述样本视频的历史播放记录，所述历史播放记录包括多个用户类别、多个视频封面和多个视频封面的图像标识，所述用户类别为播放过所述样本视频的用户标识的用户类别，所述视频封面为所述用户标识播放所述样本视频时所述样本视频的视频封面；
对于所述历史播放记录中的每个用户类别，将所述用户类别作为样本类别；
获取所述历史播放记录中所述样本类别对应的多个视频封面的图像特征；根据所述多个视频封面的图像特征，对所述多个视频封面进行聚类，得到至少一个类别，每个类别包括至少一个视频封面；从所述至少一个类别中的每个类别中选取预设数量的视频封面，将选取的视频封面的图像标识作为与所述样本类别匹配的目标图像标识；
获取所述样本视频中的多帧样本图像及所述多帧样本图像的图像标识；
根据所述多帧样本图像、所述多帧样本图像的图像标识、多个样本类别以及与每个样本类别匹配的目标图像标识，训练视频封面生成模型；
将目标视频的多帧图像、所述多帧图像的图像标识和目标用户标识的用户类别输入至训练后的视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的图像标识；根据所述图像标识对应的图像，生成与所述目标用户标识对应的视频封面。
2.根据权利要求1所述的方法，其特征在于，所述将目标视频的多帧图像、所述多帧图像的图像标识和目标用户标识的用户类别输入至训练后的视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的图像标识；根据所述图像标识对应的图像，生成与所述目标用户标识对应的视频封面，包括：
获取所述目标视频中的多帧图像及所述多帧图像的图像标识，其中，所述图像标识用于确定所述目标视频中的唯一的一帧图像；
获取所述目标用户标识的用户类别，其中，所述用户类别根据操作数据确定，所述用户类别随着所述操作数据变化而变化；
将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至训练后的所述视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的多个图像标识；
从所述多个图像标识中，选取一个目标图像标识；
根据所述目标图像标识对应的目标图像，生成与所述目标用户标识对应的视频封面。
3.根据权利要求2所述的方法，其特征在于，所述视频封面生成模型包括特征提取层、全连接层和多个隐藏层，所述将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至训练后的视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的多个图像标识，包括：
将所述多帧图像输入至所述特征提取层，基于所述特征提取层对输入的每帧图像采用卷积神经网络提取图像特征，分别得到所述多帧图像的图像特征；将所述多帧图像的图像特征输入至所述全连接层，基于所述全连接层对所述多帧图像的图像特征进行拼接，得到拼接后的图像特征；将所述用户类别和所述拼接后的图像特征输入至第一个隐藏层，基于所述第一个隐藏层对所述用户类别和所述拼接后的图像特征进行处理，输出第一个图像标识；基于第二个隐藏层对前一个隐藏层输出的图像标识和第一帧图像的图像标识进行处理，输出第二个图像标识，以此类推，输出所述多个图像标识。
4.根据权利要求2所述的方法，其特征在于，所述获取所述目标视频中的多帧图像及所述多帧图像的图像标识，包括以下至少一项：
从所述目标视频中选取人眼处于睁开状态的多帧图像，获取所述多帧图像的图像标识；
从所述目标视频中选取包含人脸的多帧图像，获取所述多帧图像的图像标识；
从所述目标视频中选取图像质量分值大于预设分值的多帧图像，获取所述多帧图像的图像标识。
5.根据权利要求2所述的方法，其特征在于，所述从所述多个图像标识中，选取一个目标图像标识，包括：
按照所述多个图像标识的排列顺序，选取第一个图像标识作为所述目标图像标识。
6.一种视频封面生成装置，其特征在于，所述装置包括：
被配置为执行以下步骤的单元：基于样本视频的多个视频封面，将所述样本视频推荐给不同类别的多个用户，且每次推荐时，所显示的视频封面不完全相同；
样本标识获取单元，被配置为获取所述样本视频的历史播放记录，所述历史播放记录包括多个用户类别、多个视频封面和多个视频封面的图像标识，所述用户类别为播放过所述样本视频的用户标识的用户类别，所述视频封面为所述用户标识播放所述样本视频时所述样本视频的视频封面；对于所述历史播放记录中的每个用户类别，将所述用户类别作为样本类别；获取所述历史播放记录中所述样本类别对应的多个视频封面的图像特征；根据所述多个视频封面的图像特征，对所述多个视频封面进行聚类，得到至少一个类别，每个类别包括至少一个视频封面；从所述至少一个类别中的每个类别中选取预设数量的视频封面，将选取的视频封面的图像标识作为与所述样本类别匹配的目标图像标识；
样本图像获取单元，被配置为获取所述样本视频中的多帧样本图像及所述多帧样本图像的图像标识；
模型训练单元，被配置为根据所述多帧样本图像、所述多帧样本图像的图像标识、多个样本类别以及与每个样本类别匹配的目标图像标识，训练视频封面生成模型；
被配置为执行以下步骤的单元：将目标视频的多帧图像、所述多帧图像的图像标识和目标用户标识的用户类别输入至训练后的视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的图像标识；根据所述图像标识对应的图像，生成与所述目标用户标识对应的视频封面。
7.根据权利要求6所述的装置，其特征在于，所述装置包括：
图像获取单元，被配置为获取所述目标视频中的多帧图像及所述多帧图像的图像标识，其中，所述图像标识用于确定所述目标视频中的唯一的一帧图像；
类别获取单元，被配置为获取所述目标用户标识的用户类别，其中，所述用户类别根据操作数据确定，所述用户类别随着所述操作数据变化而变化；
图像标识获取单元，被配置为将所述多帧图像、所述多帧图像的图像标识和所述用户类别输入至训练后的所述视频封面生成模型中，基于所述视频封面生成模型，获取与所述用户类别匹配的多个图像标识；从所述多个图像标识中，选取一个目标图像标识；
视频封面生成单元，被配置为根据所述目标图像标识对应的目标图像，生成与所述目标用户标识对应的视频封面。
8.根据权利要求7所述的装置，其特征在于，所述视频封面生成模型包括特征提取层、全连接层和多个隐藏层；
图像标识获取单元，被配置为将所述多帧图像输入至所述特征提取层，基于所述特征提取层对输入的每帧图像采用卷积神经网络提取图像特征，分别得到所述多帧图像的图像特征；将所述多帧图像的图像特征输入至所述全连接层，基于所述全连接层对所述多帧图像的图像特征进行拼接，得到拼接后的图像特征；将所述用户类别和所述拼接后的图像特征输入至第一个隐藏层，基于所述第一个隐藏层对所述用户类别和所述拼接后的图像特征进行处理，输出第一个图像标识；基于第二个隐藏层对前一个隐藏层输出的图像标识和第一帧图像的图像标识进行处理，输出第二个图像标识，以此类推，输出所述多个图像标识。
9.根据权利要求7所述的装置，其特征在于，所述图像获取单元，包括以下至少一项：
第一获取子单元，被配置为从所述目标视频中选取人眼处于睁开状态的多帧图像，获取所述多帧图像的图像标识；
第二获取子单元，被配置为从所述目标视频中选取包含人脸的多帧图像，获取所述多帧图像的图像标识；
第三获取子单元，被配置为从所述目标视频中选取图像质量分值大于预设分值的多帧图像，获取所述多帧图像的图像标识。
10.根据权利要求7所述的装置，其特征在于，所述图像标识获取单元，还被配置为：
按照所述多个图像标识的排列顺序，选取第一个图像标识作为所述目标图像标识。
11.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行命令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为执行如权利要求1至权利要求5任一项所述的视频封面生成方法。
12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机设备的处理器执行时，使得所述计算机设备能够执行如权利要求1至权利要求5任一项所述的视频封面生成方法。
CN201910923672.2A 2019-09-27 2019-09-27 视频封面生成方法、装置、计算机设备及存储介质 Active CN110572711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910923672.2A CN110572711B (zh) 2019-09-27 2019-09-27 视频封面生成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910923672.2A CN110572711B (zh) 2019-09-27 2019-09-27 视频封面生成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110572711A CN110572711A (zh) 2019-12-13
CN110572711B true CN110572711B (zh) 2023-03-24

Family

ID=68782834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910923672.2A Active CN110572711B (zh) 2019-09-27 2019-09-27 视频封面生成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110572711B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191059B (zh) * 2019-12-31 2023-05-05 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机存储介质及电子设备
CN111191078B (zh) * 2020-01-08 2024-05-07 深圳市雅阅科技有限公司 基于视频信息处理模型的视频信息处理方法及装置
CN111246272A (zh) * 2020-01-17 2020-06-05 北京达佳互联信息技术有限公司 视频封面图的显示方法及装置
CN111246255B (zh) * 2020-01-21 2022-05-06 北京达佳互联信息技术有限公司 视频推荐方法、装置、存储介质、终端及服务器
CN111491182B (zh) * 2020-04-23 2022-03-29 百度在线网络技术（北京）有限公司 用于视频封面存储解析的方法和装置
CN111831615B (zh) * 2020-05-28 2024-03-12 北京达佳互联信息技术有限公司 一种影音文件的生成方法、装置和系统
CN111738107A (zh) * 2020-06-08 2020-10-02 Oppo（重庆）智能科技有限公司 视频生成方法、视频生成装置、存储介质与电子设备
CN112118467B (zh) * 2020-09-17 2022-08-05 咪咕文化科技有限公司 视频封面的展示方法、电子设备和存储介质
CN113382301B (zh) * 2021-04-30 2023-09-19 淘宝（中国）软件有限公司 视频的处理方法、存储介质和处理器
CN113673427B (zh) * 2021-08-20 2024-03-22 北京达佳互联信息技术有限公司 视频识别方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017177643A1 (zh) * 2016-04-12 2017-10-19 乐视控股（北京）有限公司 多媒体推荐方法及装置
CN107909629A (zh) * 2017-11-06 2018-04-13 广东欧珀移动通信有限公司 贴纸的推荐方法、装置、存储介质及终端设备
CN108334536A (zh) * 2017-11-30 2018-07-27 中国电子科技集团公司电子科学研究院 一种信息推荐方法、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727901B2 (en) * 2013-06-13 2017-08-08 Yahoo! Inc. Systems and methods for image-based recommendations
CN106547767B (zh) * 2015-09-18 2020-05-12 北京国双科技有限公司 确定视频封面图片的方法及装置
CN109729426B (zh) * 2017-10-27 2022-03-01 优酷网络技术（北京）有限公司 一种视频封面图像的生成方法及装置
CN107958030B (zh) * 2017-11-17 2021-08-24 北京奇虎科技有限公司 视频封面推荐模型优化方法及装置
CN108650524B (zh) * 2018-05-23 2022-08-16 腾讯科技（深圳）有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN109388721B (zh) * 2018-10-18 2021-05-28 百度在线网络技术（北京）有限公司 封面视频帧的确定方法和装置
CN109996091A (zh) * 2019-03-28 2019-07-09 苏州八叉树智能科技有限公司 生成视频封面的方法、装置、电子设备和计算机可读存储介质
CN110263213B (zh) * 2019-05-22 2023-07-18 腾讯科技（深圳）有限公司 视频推送方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017177643A1 (zh) * 2016-04-12 2017-10-19 乐视控股（北京）有限公司 多媒体推荐方法及装置
CN107909629A (zh) * 2017-11-06 2018-04-13 广东欧珀移动通信有限公司 贴纸的推荐方法、装置、存储介质及终端设备
CN108334536A (zh) * 2017-11-30 2018-07-27 中国电子科技集团公司电子科学研究院 一种信息推荐方法、设备和存储介质

Also Published As

Publication number Publication date
CN110572711A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110572711B (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN109522426B (zh) 多媒体数据推荐方法、装置、设备及计算机可读存储介质
CN109379643B (zh) 视频合成方法、装置、终端及存储介质
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN110865754B (zh) 信息展示方法、装置及终端
CN110163066B (zh) 多媒体数据推荐方法、装置及存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
CN109360222B (zh) 图像分割方法、装置及存储介质
CN110533585B (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN110958465A (zh) 视频流推送方法、装置及存储介质
CN111880888B (zh) 预览封面生成方法、装置、电子设备及存储介质
US11386586B2 (en) Method and electronic device for adding virtual item
CN111432245B (zh) 多媒体信息的播放控制方法、装置、设备及存储介质
CN111127509A (zh) 目标跟踪方法、装置和计算机可读存储介质
CN112084811A (zh) 身份信息的确定方法、装置及存储介质
CN111339938A (zh) 信息交互方法、装置、设备及存储介质
CN111031391A (zh) 视频配乐方法、装置、服务器、终端及存储介质
CN111083513B (zh) 直播画面处理方法、装置、终端及计算机可读存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN112511889A (zh) 视频播放方法、装置、终端及存储介质
CN110853124A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN113407774A (zh) 封面确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant