CN110191357A - 视频片段精彩度评估、动态封面生成方法及装置 - Google Patents

视频片段精彩度评估、动态封面生成方法及装置 Download PDF

Info

Publication number
CN110191357A
CN110191357A CN201910579800.6A CN201910579800A CN110191357A CN 110191357 A CN110191357 A CN 110191357A CN 201910579800 A CN201910579800 A CN 201910579800A CN 110191357 A CN110191357 A CN 110191357A
Authority
CN
China
Prior art keywords
video clip
video
excellent degree
preset
clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910579800.6A
Other languages
English (en)
Inventor
晋瑞锦
张云桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910579800.6A priority Critical patent/CN110191357A/zh
Publication of CN110191357A publication Critical patent/CN110191357A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请公开了视频片段的精彩度评估、动态封面生成方法及装置，其中，动态封面生成方法包括：从视频中提取视频片段；提取视频片段的特征；将视频片段的特征输入预设的精彩度评估模型，获得视频片段的精彩度估计结果，将视频片段按照上述精彩度估计结果进行排序，得到视频片段序列，依据视频片段序列中，顺序满足预设条件的视频片段，生成动态图像，使用动态图像生成动态封面。通过本申请，能够将视频中精彩度较高的视频片段生成动态封面。

Description

视频片段精彩度评估、动态封面生成方法及装置
技术领域
本申请涉及多媒体处理领域，尤其涉及一种视频片段精彩度评估、动态封面生成方法及装置。
背景技术
一般，视频在未播放前展示有封面，该封面用于体现该视频的亮点。具体的，动态封面的形式包括：静态封面和动态封面。其中，静态封面展示该视频的信息有限，动态封面展示该视频的信息更丰富，更能吸引用户点击该视频，提高用户对该视频的点击率。为了进一步提高用户对视频的点击率，通常将视频中精彩度较高的视频片段，作为该视频的动态封面。
目前，通过现有的模型可以检测出视频中哪些视频片段是精彩片段，哪些视频片段是不精彩片段，因此，现有的模型只能将视频中视频片段分为精彩片段和不精彩片段两类。
因此，基于该模型不能从视频所包括的精彩片段中确定精彩度较高的视频片段。
发明内容
本申请提供了视频精彩度评估、动态封面生成方法及装置，目的在于解决不能从视频所包括的精彩片段中确定精彩度较高的视频片段的问题。
为了实现上述目的，本申请提供了以下技术方案：
一种视频片段的精彩度评估方法，包括：
提取视频片段的特征；
将所述视频片段的特征输入预设的精彩度评估模型，得到所述视频片段的精彩度评估结果，所述精彩度评估模型使用样本视频片段的精彩度排序结果训练得到。
可选的，所述精彩度评估模型通过训练预设的损失函数得到，所述损失函数表示第一概率与第二概率的差异，所述第一概率为片段i经标注的精彩度分数大于片段j经标注的精彩度分数的概率，所述第二概率为片段i经模型输出的精彩度分数大于片段j经模型输出的精彩度分数的概率。
可选的，采用以下方式对所述精彩度评估模型进行训练：
获取训练样本；所述训练样本包括：视频片段对中的两个视频片段的特征，以及标注的精彩度分数；
将所述训练样本输入所述精彩度评估模型，得到所述精彩度评估模型输出的所述两个视频片段的精彩度分数；
依据所述精彩度评估模型输出的所述精彩度分数和所述标注的精彩度分数，通过训练所述损失函数，得到训练后的所述精彩度评估模型。
可选的，所述两个视频片段来自同一视频，且所述两个视频片段的预设精彩度分数属于预设分数范围。
可选的，所述第一概率为将所述视频片段i标注的精彩度分数与所述视频片段j标注的精彩度分数输入sigmoid函数后，所述sigmoid函数输出的所述视频片段i标注的精彩度分数高于所述视频片段j标注的精彩度分数的概率值。
可选的，所述视频片段为解码后的视频片段，并且所述解码后的视频片段包括图像信息与音频信息；
所述提取所述视频片段的特征，包括：
将所述解码后的视频片段中的图像信息输入预设的视频特征提取模型，得到所述图像信息的视频特征；
和/或，将所述解码后的视频片段中的音频信息输入预设的音频特征提取模型，得到所述音频信息的音频特征。
可选的，通过以下方式对所述视频片段进行解码：
采用多线程对多个视频片段进行解码；
对所述图像信息与所述音频信息分别进行解码，得到所述视频片段解码后的图像信息与音频信息。
一种动态封面生成方法包括：
从视频中提取视频片段；
按照前述视频片段的精彩度评估方法，获得所述视频片段的精彩度估计结果；
将所述视频片段按照上述精彩度估计结果进行排序，得到视频片段序列；
依据所述视频片段序列中，顺序满足预设条件的视频片段，生成动态图像；
使用所述动态图像生成动态封面。
可选的，所述从视频中提取视频片段，包括：
从所述视频的视频信息文档中确定所述视频中各关键帧的时间戳；
按照所提取的各关键帧的时间戳的顺序，将所述视频中一个关键帧到相邻的下一个关键帧的前一帧组成一个视频片段，得到顺序排列的多个视频片段。
可选的，在所述按照所提取的各关键帧的时刻的先后顺序，将所述视频中一个关键帧到相邻的下一个关键帧的前一帧组成一个视频片段，得到顺序排列的多个视频片段之后，且在所述提取所述视频片段的特征之前，还包括：
在任意一个视频片段的时长不属于预设时长范围的情况下，如果该视频片段的时长小于第一预设阈值，则将该视频片段与相邻的下一个视频片段进行合并；所述第一预设阈值为所述预设时长范围的下限值；
如果该视频片段的时长大于第二预设阈值，则将该视频片段拆分为时长属于所述预设时长范围的视频片段；所述第二预设阈值为所述预设时长范围的上限值。
一种视频片段的精彩度评估装置，包括：
第一提取模块，用于提取视频片段的特征；
精彩度评估模块，用于将所述视频片段的特征输入预设的精彩度评估模型，得到所述视频片段的精彩度评估结果，所述精彩度评估模型使用样本视频片段的精彩度排序结果训练得到。
一种动态封面生成装置，包括：
第二提取模块，用于从视频中提取视频片段；
执行模块，用于获得所述视频片段的精彩度估计结果；
排序模块，用于将所述视频片段按照上述精彩度估计结果进行排序，得到视频片段序列；
第一生成模块，用于依据所述视频片段序列中，顺序满足预设条件的视频片段，生成动态图像；
第二生成模块，用于使用所述动态图像生成动态封面。
本申请提供的动态封面生成方案中，从视频中提取视频片段，提取视频片段的特征，并将所提取的视频片段的特征输入预设的精彩度评估模型，得到视频中各视频片段的精彩度评估结果。该预设的精彩度评估模型通过使用样本视频片段的精彩度排序结果训练得到，使得精彩度评估模型能够通过样本视频片段学习到精彩度不同的视频片段所具有的特征，进而，依据输出的视频片段的精彩度评估结果能够进行排序，并且，排序结果与人为的排序结果一致的概率较大。因此，本申请能够对精彩度评估模型输出的视频中各视频片段的评估结果进行排序，得到视频片段序列，其中，视频片段序列的准确性较高。进而，依据视频片段序列中顺序满足预设条件的视频片段生成动态图像，使得使用动态图像生成的动态封面为精彩度较高的视频片段的概率较大。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种视频片段的精彩度评估方法的流程图；
图2为本申请实施例公开的一种动态封面生成方法的流程图；
图3为本申请实施例公开的一种视频片段的精彩度评估装置的结构示意图；
图4为本申请实施例公开的一种动态封面生成装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种视频片段的精彩度评估方法，包括以下步骤：
S101、对视频片段进行解码。
由于视频片段都包括图像信息与音频信息两部分，并且视频片段的图像信息与音频信息都是通过编码得到的。在本步骤中，需要对任意一个视频片段都进行图像信息解码与音频信息解码，得到解码后的视频片段。
具体的，在本实施例中，视频片段可能存在多个，为了提高对多个视频片段的解码效率，针对多个视频片段进行图像信息解码与音频信息解码的方式可以包括：采用多线程同时对多个视频片段进行解码，具体的，可以采用moviepy库分别对视频片段中的图像信息进行解码以及音频信息进行解码，得到解码后的视频片段。并将解码后的视频片段放入一个预设队列中，以便对解码后的视频片段进行下一步操作。
S102、对解码后的视频片段进行视频特征提取与音频特征提取。
在本步骤中，针对任意一个解码后的视频片段，提取该解码后的视频片段的视频特征的方式为：将该解码后的视频片段的图像信息输入预设的视频特征提取模型，视频特征提取模型输出该解码后的视频片段的视频特征。
其中，在本实施例中，预设的视频特征提取模型为训练后的I3D模型，具体的，该训练后的I3D模型是以Kinetics-400数据集为训练样本训练得到的。其中，Kinetics-400数据集包含300000多个视频，每个视频的时长在10秒左右，该300000多个视频包括400类常见动作的视频数据集，并且，每类动作的视频有400-1150个视频。因此，基于Kinetics-400数据集训练得到的I3D模型具有很好的视频特征表达能力。具体的，通过I3D模型输出该解码后的视频片段的视频特征为1024维的特征。
在本步骤中，针对任意一个解码后的视频片段，提取该解码后的视频片段的音频特征的方式为：将该解码后的视频片段中的音频信息输入预设的音频特征提取模型，输出该解码后的视频片段的音频特征。
其中，在本实施例中，预设的音频特征提取模型为训练后的Vggish模型，具体的，该训练后的Vggish模型是以AudioSet数据集为训练样本训练得到的。其中，AudioSet数据集包含200万个音频，共527类，每个音频的时长在10秒左右，总时长在5000小时。因此，基于AudioSet数据集训练得到的Vggish模型具有很好的音频特征表达能力，具体的，训练后的Vggish模型输出该解码后的视频片段的音频特征为128维的特征。
S103、针对任意一个解码后的视频片段的视频特征与音频特征，将该解码后的视频片段的视频特征与音频特征进行拼接，得到该解码后的视频片段的拼接特征。
具体的，对该解码后的视频片段的视频特征与音频特征进行拼接的过程，是现有技术，这里不再赘述。
上述S101～S103的目的是提取视频片段的特征。
S104、将视频片段的拼接特征输入预设的精彩度评估模型，输出视频片段的精彩度评估结果。
在本实施例中，精彩度评估模型使用样本视频片段的精彩度排序结果训练得到，其中，精彩度评估结果可以为精彩度分数。
在本步骤中，将视频片段的拼接特征输入预设的精彩度评估模型中，该预设的精彩度评估模型输出视频片段的精彩度评估结果。
具体的，以下对预设的精彩度评估模型的生成过程进行介绍：在本实施例中，预设的精彩度评估模型可以为Ranking模型，其中，该Ranking模型由两层全连接神经网络构成，第一层包括4096个神经元，以relu为激活函数，后接keep_prob＝0.5的dropout网络。第二层为输出层，包含1个神经元，以sigmoid函数为激活函数。
对Ranking模型的训练过程包括：
B1、建立训练样本。
具体的，建立训练样本过程包括以下C1～C5：
C1、获取视频片段。
具体的，通过人工收集影视剧和综艺视频1000多部。将收集的各视频拆分为预设时长的视频片段。并通过人工对拆分得到各视频片段的精彩度进行打分，例如，对于任意一个拆分得到的视频片段，人工根据该视频片段的精彩程度从0～10分中进行打分，得到拆分后的视频片段的精彩度分数。
C2、将同一个视频中精彩度分数的差值属于预设分数范围的两个视频片段组成视频片段对，得到多个视频片段对。
在本步骤中，预设分数范围越小，训练后的Rangking模型对精彩度相差越小的视频片段输出能够准确排序的精彩度分数。
具体的，在本实施例中，预设分数范围可以为1～3分。
C3、分别提取每个视频片段的视频特征与音频特征。
具体的，提取该视频片段的视频特征与音频特征的过程可以参考S101～S102，这里不再赘述。
C4、针对任意一个视频片段的视频特征与音频特征，将该视频片段的视频特征与音频特征进行拼接，得到该视频片段的拼接特征。
C5、将视频片段对中的各视频片段的拼接特征与人工标注的精彩度分数作为一个训练样本。
B2、对Ranking模型进行训练。
具体的，在本步骤中，对该Ranking模型训练过程中所采用的损失函数由第一概率与第二概率组成，其中，第一概率、第二概率与损失函数间的关系为：第一概率与第二概率越接近，该损失函数的值越趋于零。其中，第一概率为视频片段i经人工标注的精彩度分数高于视频片段j经人工标注的精彩度分数的概率。第二概率为视频片段i经模型输出的精彩度分数高于视频片段j经模型输出的精彩度分数的概率，其中，视频片段i与视频片段j是任意一个训练样本所包含的两个视频片段。
具体的，在本步骤中，损失函数具体为第一概率与第二概率间的交叉熵，如下公式(1)所示：
式中，Loss表示损失函数，表示视频片段i经人工标注的精彩度分数高于视频片段j经人工标注的精彩度分数的概率，表示视频片段i经模型输出的精彩度分数高于视频片段j经模型输出的精彩度分数的概率。其中，视频片段i与视频片段j为属于所采集的第k个视频的任一训练样本的两个视频片段。
具体的，Pij k的公式如下公式(2)所示，的公式如下公式(3)所示。
式中，表示属于所采集的第k个视频的任一训练样本中的视频片段i经人工标注的精彩度分数，表示属于所采集的第k个视频的该训练样本中的视频片段j经人工标注的精彩度分数。
式中，表示属于所采集的第k个视频的任一训练样本中的视频片段i经模型输出的精彩度分数，表示属于所采集的第k个视频的该训练样本中的视频片段j经模型输出的精彩度分数。
对Ranking模型的一次训练过程包括：将一批训练样本(预设数量的视频片段对中分别提取到的拼接特征和人工标注的精彩度分数)输入该Ranking模型，该Ranking模型对该训练样本中的每个视频片段进行精彩度打分，得到训练样本中每个视频片段经模型输出的精彩度分数。对于该训练样本的每个视频片段的经模型输出的精彩度分数，以及该训练样本的每个视频片段经人工标注的精彩度分数，对损失函数进行训练，得到Rangking模型的参数值，此时，完成对Ranking模型的第一次训练。
将第二批训练样本输入第一次训练得到的Ranking模型，按照上述对Ranking模型的训练过程进行第二次训练，得到第二次训练后的Ranking模型。接着，将第三批训练样本输入第二次训练得到的Ranking模型，按照上述对Ranking模型的训练过程进行第三次训练，得到第三次训练后的Ranking模型，以此类推，直至损失函数收敛，所得到的Ranking模型为训练完成的Ranking模型。
需要说明的是，上述对Ranking模型的训练过程中，所采用的第一批训练样本、第二批训练样本、第三批训练样本为步骤B1所得到的训练样本中的不同训练样本。
本实施例具有以下有益效果：
有益效果一、
本实施例中，提取视频片段的特征，并将所提取的视频片段的特征输入预设的精彩度评估模型，得到视频片段的精彩度分数。
由于该预设的精彩度评估模型是通过训练预设的损失函数得到的，其中，所训练的损失函数表示第一概率与第二概率的差异，即第一概率与第二概率越接近，损失函数的值越趋于零。其中，第一概率为视频片段i经人工标注的精彩度分数大于视频片段j经人工标注的精彩度分数的概率，第二概率为视频片段i经模型输出的精彩度分数大于视频片段j经模型输出的精彩度分数的概率。此时，第一概率与第二概率越接近，表示通过视频片段i经人工标注的精彩度分数大于片段j的人工标注精彩度分数的概率，与视频片段i经模型输出的精彩度分数大于视频片段j经模型输出的精彩度分数的概率越接近，即基于经模型输出的视频片段i与视频片段j的精彩度分数，所得到的精彩度分数排序，与基于经人工标注的视频片段i与视频片段j的精彩度分数，所得到的精彩度分数排序越一致。
因此，在对损失函数训练完成后得到精彩度评估模型，该精彩度评估模型具有以下功能：基于该精彩度评估模型输出的各视频片段的精彩度分数所得到的精彩度排序，与基于人工确定的各视频片段的精彩度分数所得到的精彩度分数排序一致的概率较大。
有益效果二、
在本实施例中，对Ranking模型进行训练所采用的任意一个训练样本的两个视频片段间的精彩度分数的差值，属于预设分数范围，并且Ranking模型的损失函数为第一概率与第二概率间的关系为：第一概率与第二概率越接近，损失函数的值越接近零。使得采用人工标注的精彩度分数属于该预设分数范围的训练样本对Rangking模型进行训练，在预设分数范围越小，训练完成的Rangking模型对精彩度相差越小的视频片段输出能够正确排序的精彩度分数，即在预设分数范围越小，基于训练完成的Rangking模型对各视频片段所输出的精彩度分数，所得到的精彩度排序的准确性越高。
有益效果三、
在本实施例中，训练样本的每个视频片段经人工标注的精彩度分数，具有一定的主观性，在本实施例中，在对Rangking模型进行训练过程中，所采用的损失函数中的第一概率表示视频片段i经人工标注的精彩度分数高于视频片段j经人工标注的精彩度分数的概率，其中，该第一概率所采用的函数为sigmoid函数，当视频片段i经人工标注的精彩度分数高于视频片段j经人工标注的精彩度分数时，该函数的函数值为大于0.5且小于1的某个数值，即第一概率为大于0.5且小于1的某个数值。当视频片段i经人工标注的精彩度分数低于视频片段j经人工标注的精彩度分数时，该函数的函数值为大于0且小于0.5的某个数值，即第一概率为大于0且小于0.5的某个数值。即sigmoid函数输出的概率并不只是0或1的数值，而是有0到1之间多个数值中的某个数值，因此，可以减少人工标注的精彩度分数的主观性，使得训练后的Rangking模型对任一待评估视频精彩度的视频片段所输出的精彩度分数，更具有客观性。
图2为本申请提供的一种动态封面生成方法，包括以下步骤：
S201、从待处理视频中提取视频片段。
在本步骤中，待处理视频为待确定动态封面的视频。具体的，在本步骤中，从待处理视频中提取视频片段的过程包括以下步骤：
A1、从待处理视频的视频信息文档中读取该待处理视频中各关键帧的时刻。
关键帧为视频中具有完整信息的图像帧，非关键帧仅包含与上一帧的区别信息，并且，视频中相邻两个关键帧之间的片段一般属于同一个场景。
待处理视频的视频信息文档中记录了每个关键帧的时刻，因此，在本步骤中，可以从待处理视频的视频信息文档中读取各关键帧的时刻。例如，读取的各关键帧的时刻分别为0.00s、3.21s、9.36s等。
A2、按照所读取的各关键帧的时刻从早到晚的顺序，将待处理视频中相邻两个关键帧的时刻间的图像帧构成一个视频片段，得到多个顺序排列的视频片段。
具体的，在本步骤中，按照所读取的时刻从早到晚的顺序，将相邻的两个时刻的关键帧中的第一个关键帧到第二个关键帧的前一帧图像组成一个视频片段。
还以A1中的例子为例，在本步骤中，将待处理视频中，0.00s对应的关键帧到3.21s对应的关键帧的前一帧图像组成一个视频片段。将待处理视频中，3.21s对应的关键帧到9.36s对应的关键帧的前一帧图像组成一个视频片段，以此类推，按照待处理视频中的图像顺序，得到顺序排列的多个视频片段。
A3、针对任意一个视频片段，判断该视频片段的时长是否属于由预设的第一阈值与预设的第二阈值构成的预设时长范围，若该视频片段的时长不属于预设时长范围，则执行A4。
在本步骤中，为了保证动态封面的时长处于一个合理的时长范围，在本实施例中，设置了第一阈值为2s，第二阈值为5s，需要保证每个视频片段的时长属于2s～5s范围内。
在本步骤中，针对A2中得到的任一视频片段，判断该视频片段的时长是否属于该预设时长范围，如果不属于该时长范围，则执行A4。
A4、如果该视频片段的时长小于第一阈值，则将待处理视频中与该视频片段相邻的下一个视频片段合并为一个视频片段，如果该视频片段的时长大于第二阈值，则将该视频片段拆分为属于预设时长范围内的视频片段。
具体的，在本步骤中，对于不属于预设时长范围内的任一视频片段，该视频片段的时长小于第一阈值，或者大于第二阈值。在本步骤中，如果该视频片段小于第一阈值，则将该视频与A2中得到的顺序排列的多个视频中与该视频相邻的下一个视频合并为一个视频片段。
如果该视频的时长大于第二阈值，则将该视频拆分为时长属于预设时长范围的视频片段，最终从待处理视频提取出时长都属于预设范围的多个视频片段。
S202、提取各视频片段的特征。
本步骤中，提取任意一个视频片段的特征的具体实现方式，可以参考图1对应的实施例中的S101～S103，这里不再赘述。
S203、将各视频片段的特征输入预设的精彩度评估模型，得到各视频片段的精彩度评估结果。
在本步骤中，视频片段的评估结果可以为视频片段的精彩度得分。预设的精彩度评估模型为图1对应的实施例中训练生成的精彩度评估模型。
本步骤的具体实现方式，可以参考图1对应的实施例中的S104，这里不再进行赘述。
S204、对待处理视频中的各视频片段的精彩度评估结果进行排序，得到视频片段序列。
具体的，在本步骤中，对待处理视频中的各视频片段的精彩度得分进行排序，得到视频片段序列。
S205、依据视频片段序列中顺序满足预设条件的视频片段，生成动态图像。
在本步骤中，预设条件可以为视频片段序列中，按照精彩度得分从高到低的顺序中的预设数量视频片段。在实际中，预设条件的具体内容需要根据实际情况确定，本实施例不对预设条件的具体内容作限定。
例如，预设数量为5，并且，视频片段序列是按照视频精彩度得分从高到低的顺序排列得到的，则本步骤中，可以从视频片段序列中的前5个视频片段生成动态图像。
具体的，依据满足预设条件的视频片段生成动态图像的过程为现有技术，这里不再赘述。
S206、使用动态图像生成动态封面。
具体的，本步骤中使用动态图像生成动态封面的过程为现有技术，这里不再赘述。
由于本实施例中所使用的精彩度评估模型为图1对应的实施例中训练完成的精彩度评估模型，并且，图1对应的实施例中生成的精彩度评估模型，输出的各视频片段的精彩度分数所得到的精彩度排序，与基于人工确定的各视频片段的精彩度分数所得到的精彩度分数排序一致的概率较大，因此，基于该精彩度评估模型输出的各视频片段的精彩度分数所得到的精彩度分数的排序具有较高的准确性。
因此，本实施例公开的动态封面生成方案，通过精彩度评估模型输出的各视频片段的精彩度分数，所确定出的动态封面的准确性较高，即确定出的动态封面是视频中各视频片段中精彩度较高的视频片段生成的。
图3为本申请实施例公开的一种视频片段的精彩度评估装置，包括：第一提取模块301和精彩度评估模块302。
其中，第一提取模块301，用于提取视频片段的特征。精彩度评估模块302，用于将视频片段的特征输入预设的精彩度评估模型，得到视频片段的精彩度评估结果，精彩度评估模型使用样本视频片段的精彩度排序结果训练得到。
可选的，精彩度评估模型通过训练预设的损失函数得到，损失函数表示第一概率与第二概率的差异，其中，第一概率为片段i经标注的精彩度分数大于片段j经标注的精彩度分数的概率，第二概率为片段i经模型输出的精彩度分数大于片段j经模型输出的精彩度分数的概率。
可选的，该装置还可以包括训练模块303，用于对精彩度评估模型进行训练。其中，训练模块303，具体用于获取训练样本，训练样本包括：视频片段对中的两个视频片段的特征，以及标注的精彩度分数。将训练样本输入精彩度评估模型，得到精彩度评估模型输出的两个视频片段的精彩度分数。依据精彩度评估模型输出的精彩度分数和标注的精彩度分数，通过训练损失函数，得到训练后的精彩度评估模型。
可选的，两个视频片段来自同一视频，且两个视频片段的预设精彩度分数属于预设分数范围。
可选的，第一概率为将视频片段i标注的精彩度分数与视频片段j标注的精彩度分数输入sigmoid函数后，sigmoid函数输出的视频片段i标注的精彩度分数高于视频片段j标注的精彩度分数的概率值。
可选的，视频片段为解码后的视频片段，并且解码后的视频片段包括图像信息与音频信息。第一提取模块301，用于提取所述视频片段的特征，包括：将解码后的视频片段中的图像信息输入预设的视频特征提取模型，得到图像信息的视频特征，和/或，将解码后的视频片段中的音频信息输入预设的音频特征提取模型，得到音频信息的音频特征。
可选的，该装置还可以包括：解码模块304，用于对视频片段进行解码。具体的，解码模块304，具体用于采用多线程对多个视频片段进行解码，对图像信息与音频信息分别进行解码，得到视频片段解码后的图像信息与音频信息。
图4为本申请实施例提供的一种动态视频生成装置，包括：第二提取模块401、执行模块402、排序模块403、第一生成模块404和第二生成模块405。
其中，第二提取模块401，用于从视频中提取视频片段。执行模块402，用于获得视频片段的精彩度估计结果。排序模块403，用于将视频片段按照上述精彩度估计结果进行排序，得到视频片段序列。第一生成模块404，用于依据视频片段序列中，顺序满足预设条件的视频片段，生成动态图像。第二生成模块405，用于使用动态图像生成动态封面。
可选的，第二提取模块401，用于从视频中提取视频片段，包括：从视频的视频信息文档中确定视频中各关键帧的时间戳。按照所提取的各关键帧的时间戳的顺序，将视频中一个关键帧到相邻的下一个关键帧的前一帧组成一个视频片段，得到顺序排列的多个视频片段。
可选的，该装置还可以包括：处理模块406，用于在任意一个视频片段的时长不属于预设时长范围的情况下，如果该视频片段的时长小于第一预设阈值，则将该视频片段与相邻的下一个视频片段进行合并。其中，第一预设阈值为预设时长范围的下限值。如果该视频片段的时长大于第二预设阈值，则将该视频片段拆分为时长属于预设时长范围的视频片段。其中，第二预设阈值为预设时长范围的上限值。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种视频片段的精彩度评估方法，其特征在于，包括：
提取视频片段的特征；
将所述视频片段的特征输入预设的精彩度评估模型，得到所述视频片段的精彩度评估结果，所述精彩度评估模型使用样本视频片段的精彩度排序结果训练得到。
2.根据权利要求1所述的方法，其特征在于，所述精彩度评估模型通过训练预设的损失函数得到，所述损失函数表示第一概率与第二概率的差异，所述第一概率为片段i经标注的精彩度分数大于片段j经标注的精彩度分数的概率，所述第二概率为片段i经模型输出的精彩度分数大于片段j经模型输出的精彩度分数的概率。
3.根据权利要求1或2所述的方法，其特征在于，采用以下方式对所述精彩度评估模型进行训练：
获取训练样本；所述训练样本包括：视频片段对中的两个视频片段的特征，以及标注的精彩度分数；
将所述训练样本输入所述精彩度评估模型，得到所述精彩度评估模型输出的所述两个视频片段的精彩度分数；
依据所述精彩度评估模型输出的所述精彩度分数和所述标注的精彩度分数，通过训练所述损失函数，得到训练后的所述精彩度评估模型。
4.根据权利要求3所述的方法，其特征在于，所述两个视频片段来自同一视频，且所述两个视频片段的预设精彩度分数属于预设分数范围。
5.根据权利要求2所述的方法，其特征在于，所述第一概率为将所述视频片段i标注的精彩度分数与所述视频片段j标注的精彩度分数输入sigmoid函数后，所述sigmoid函数输出的所述视频片段i标注的精彩度分数高于所述视频片段j标注的精彩度分数的概率值。
6.根据权利要求1所述的方法，其特征在于，所述视频片段为解码后的视频片段，并且所述解码后的视频片段包括图像信息与音频信息；
所述提取所述视频片段的特征，包括：
将所述解码后的视频片段中的图像信息输入预设的视频特征提取模型，得到所述图像信息的视频特征；
和/或，将所述解码后的视频片段中的音频信息输入预设的音频特征提取模型，得到所述音频信息的音频特征。
7.根据权利要求6所述的方法，其特征在于，通过以下方式对所述视频片段进行解码：
采用多线程对多个视频片段进行解码；
对所述图像信息与所述音频信息分别进行解码，得到所述视频片段解码后的图像信息与音频信息。
8.一种动态封面生成方法，其特征在于，包括：
从视频中提取视频片段；
按照权利要求1-7任一项所述的方法，获得所述视频片段的精彩度估计结果；
将所述视频片段按照上述精彩度估计结果进行排序，得到视频片段序列；
依据所述视频片段序列中，顺序满足预设条件的视频片段，生成动态图像；
使用所述动态图像生成动态封面。
9.根据权利要求8所述的方法，其特征在于，所述从视频中提取视频片段，包括：
从所述视频的视频信息文档中确定所述视频中各关键帧的时间戳；
按照所提取的各关键帧的时间戳的顺序，将所述视频中一个关键帧到相邻的下一个关键帧的前一帧组成一个视频片段，得到顺序排列的多个视频片段。
10.根据权利要求9所述的方法，其特征在于，在所述按照所提取的各关键帧的时刻的先后顺序，将所述视频中一个关键帧到相邻的下一个关键帧的前一帧组成一个视频片段，得到顺序排列的多个视频片段之后，且在所述提取所述视频片段的特征之前，还包括：
在任意一个视频片段的时长不属于预设时长范围的情况下，如果该视频片段的时长小于第一预设阈值，则将该视频片段与相邻的下一个视频片段进行合并；所述第一预设阈值为所述预设时长范围的下限值；
如果该视频片段的时长大于第二预设阈值，则将该视频片段拆分为时长属于所述预设时长范围的视频片段；所述第二预设阈值为所述预设时长范围的上限值。
11.一种视频片段的精彩度评估装置，其特征在于，包括：
第一提取模块，用于提取视频片段的特征；
精彩度评估模块，用于将所述视频片段的特征输入预设的精彩度评估模型，得到所述视频片段的精彩度评估结果，所述精彩度评估模型使用样本视频片段的精彩度排序结果训练得到。
12.一种动态封面生成装置，其特征在于，包括：
第二提取模块，用于从视频中提取视频片段；
执行模块，用于获得所述视频片段的精彩度估计结果；
排序模块，用于将所述视频片段按照上述精彩度估计结果进行排序，得到视频片段序列；
第一生成模块，用于依据所述视频片段序列中，顺序满足预设条件的视频片段，生成动态图像；
第二生成模块，用于使用所述动态图像生成动态封面。
CN201910579800.6A 2019-06-28 2019-06-28 视频片段精彩度评估、动态封面生成方法及装置 Pending CN110191357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910579800.6A CN110191357A (zh) 2019-06-28 2019-06-28 视频片段精彩度评估、动态封面生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910579800.6A CN110191357A (zh) 2019-06-28 2019-06-28 视频片段精彩度评估、动态封面生成方法及装置

Publications (1)

Publication Number Publication Date
CN110191357A true CN110191357A (zh) 2019-08-30

Family

ID=67724337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910579800.6A Pending CN110191357A (zh) 2019-06-28 2019-06-28 视频片段精彩度评估、动态封面生成方法及装置

Country Status (1)

Country Link
CN (1) CN110191357A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704678A (zh) * 2019-09-24 2020-01-17 中国科学院上海高等研究院 评估排序方法、评估排序系统、计算机装置及储存介质
CN111225236A (zh) * 2020-01-20 2020-06-02 北京百度网讯科技有限公司 生成视频封面的方法、装置、电子设备以及计算机可读存储介质
CN111274444A (zh) * 2020-02-24 2020-06-12 北京达佳互联信息技术有限公司 视频封面确定模型的生成方法及装置、视频封面确定方法及装置
CN111400511A (zh) * 2020-03-12 2020-07-10 北京奇艺世纪科技有限公司 一种多媒体资源的截取方法和装置
CN111638840A (zh) * 2020-05-20 2020-09-08 维沃移动通信有限公司 显示方法及显示装置
CN111984821A (zh) * 2020-06-22 2020-11-24 汉海信息技术(上海)有限公司 确定视频动态封面的方法、装置、存储介质及电子设备
CN112016513A (zh) * 2020-09-08 2020-12-01 北京达佳互联信息技术有限公司 视频语义分割方法、模型训练方法、相关装置及电子设备
CN112069952A (zh) * 2020-08-25 2020-12-11 北京小米松果电子有限公司 视频片段提取方法、视频片段提取装置及存储介质
CN112995756A (zh) * 2021-03-01 2021-06-18 央视国际网络有限公司 短视频的生成方法及装置、短视频生成系统
CN113038163A (zh) * 2021-03-26 2021-06-25 百果园技术(新加坡)有限公司 用户体验模型训练方法、短视频用户体验评估方法及装置
CN113038261A (zh) * 2019-12-25 2021-06-25 浙江宇视科技有限公司 一种视频生成方法、装置、设备、系统及存储介质
CN113052033A (zh) * 2021-03-15 2021-06-29 深圳软牛科技有限公司 视频精彩度测量方法、装置、设备及存储介质
CN113099129A (zh) * 2021-01-27 2021-07-09 北京字跳网络技术有限公司 一种视频生成方法、装置、电子设备及存储介质
CN113361376A (zh) * 2021-06-02 2021-09-07 北京三快在线科技有限公司 获取视频封面的方法、装置、计算机设备及可读存储介质
CN113542801A (zh) * 2021-06-29 2021-10-22 北京百度网讯科技有限公司 主播标识的生成方法、装置、设备、存储介质及程序产品
CN113676671A (zh) * 2021-09-27 2021-11-19 北京达佳互联信息技术有限公司 视频剪辑方法、装置、电子设备及存储介质
WO2022134698A1 (zh) * 2020-12-22 2022-06-30 上海幻电信息科技有限公司 视频处理方法及装置
CN114697741A (zh) * 2020-12-30 2022-07-01 腾讯科技（深圳）有限公司 多媒体信息的播放控制方法及相关设备
CN114821402A (zh) * 2022-04-08 2022-07-29 咪咕文化科技有限公司 视频精彩片段检测方法、装置、设备与存储介质
WO2022188563A1 (zh) * 2021-03-10 2022-09-15 上海哔哩哔哩科技有限公司 动态封面设置方法和系统
WO2022214091A1 (zh) * 2021-04-08 2022-10-13 北京字节跳动网络技术有限公司 一种控制直播封面显示的方法及装置
CN115412765A (zh) * 2022-08-31 2022-11-29 北京奇艺世纪科技有限公司 视频精彩片段确定方法、装置、电子设备及存储介质
WO2023030269A1 (zh) * 2021-08-30 2023-03-09 维沃移动通信（杭州）有限公司 音视频处理方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108650524A (zh) * 2018-05-23 2018-10-12 腾讯科技（深圳）有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN108924644A (zh) * 2018-06-20 2018-11-30 北京优酷科技有限公司 视频片段提取方法及装置
CN109121021A (zh) * 2018-09-28 2019-01-01 北京周同科技有限公司 一种视频集锦的生成方法、装置、电子设备及存储介质
US20190007732A1 (en) * 2017-06-30 2019-01-03 Wipro Limited. System and method for dynamically generating and rendering highlights of a video content
CN109388721A (zh) * 2018-10-18 2019-02-26 百度在线网络技术（北京）有限公司 封面视频帧的确定方法和装置
CN109522950A (zh) * 2018-11-09 2019-03-26 网易传媒科技（北京）有限公司 图像评分模型训练方法及装置和图像评分方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190007732A1 (en) * 2017-06-30 2019-01-03 Wipro Limited. System and method for dynamically generating and rendering highlights of a video content
CN108650524A (zh) * 2018-05-23 2018-10-12 腾讯科技（深圳）有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN108924644A (zh) * 2018-06-20 2018-11-30 北京优酷科技有限公司 视频片段提取方法及装置
CN109121021A (zh) * 2018-09-28 2019-01-01 北京周同科技有限公司 一种视频集锦的生成方法、装置、电子设备及存储介质
CN109388721A (zh) * 2018-10-18 2019-02-26 百度在线网络技术（北京）有限公司 封面视频帧的确定方法和装置
CN109522950A (zh) * 2018-11-09 2019-03-26 网易传媒科技（北京）有限公司 图像评分模型训练方法及装置和图像评分方法及装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704678A (zh) * 2019-09-24 2020-01-17 中国科学院上海高等研究院 评估排序方法、评估排序系统、计算机装置及储存介质
CN110704678B (zh) * 2019-09-24 2022-10-14 中国科学院上海高等研究院 评估排序方法、评估排序系统、计算机装置及储存介质
CN113038261A (zh) * 2019-12-25 2021-06-25 浙江宇视科技有限公司 一种视频生成方法、装置、设备、系统及存储介质
CN111225236A (zh) * 2020-01-20 2020-06-02 北京百度网讯科技有限公司 生成视频封面的方法、装置、电子设备以及计算机可读存储介质
CN111225236B (zh) * 2020-01-20 2022-03-25 北京百度网讯科技有限公司 生成视频封面的方法、装置、电子设备以及计算机可读存储介质
CN111274444A (zh) * 2020-02-24 2020-06-12 北京达佳互联信息技术有限公司 视频封面确定模型的生成方法及装置、视频封面确定方法及装置
CN111400511A (zh) * 2020-03-12 2020-07-10 北京奇艺世纪科技有限公司 一种多媒体资源的截取方法和装置
CN111638840A (zh) * 2020-05-20 2020-09-08 维沃移动通信有限公司 显示方法及显示装置
CN111984821A (zh) * 2020-06-22 2020-11-24 汉海信息技术(上海)有限公司 确定视频动态封面的方法、装置、存储介质及电子设备
CN112069952A (zh) * 2020-08-25 2020-12-11 北京小米松果电子有限公司 视频片段提取方法、视频片段提取装置及存储介质
CN112016513A (zh) * 2020-09-08 2020-12-01 北京达佳互联信息技术有限公司 视频语义分割方法、模型训练方法、相关装置及电子设备
CN112016513B (zh) * 2020-09-08 2024-01-30 北京达佳互联信息技术有限公司 视频语义分割方法、模型训练方法、相关装置及电子设备
WO2022134698A1 (zh) * 2020-12-22 2022-06-30 上海幻电信息科技有限公司 视频处理方法及装置
CN114697741A (zh) * 2020-12-30 2022-07-01 腾讯科技（深圳）有限公司 多媒体信息的播放控制方法及相关设备
CN113099129A (zh) * 2021-01-27 2021-07-09 北京字跳网络技术有限公司 一种视频生成方法、装置、电子设备及存储介质
CN112995756A (zh) * 2021-03-01 2021-06-18 央视国际网络有限公司 短视频的生成方法及装置、短视频生成系统
CN115086709A (zh) * 2021-03-10 2022-09-20 上海哔哩哔哩科技有限公司 动态封面设置方法和系统
WO2022188563A1 (zh) * 2021-03-10 2022-09-15 上海哔哩哔哩科技有限公司 动态封面设置方法和系统
CN113052033A (zh) * 2021-03-15 2021-06-29 深圳软牛科技有限公司 视频精彩度测量方法、装置、设备及存储介质
CN113038163A (zh) * 2021-03-26 2021-06-25 百果园技术(新加坡)有限公司 用户体验模型训练方法、短视频用户体验评估方法及装置
WO2022214091A1 (zh) * 2021-04-08 2022-10-13 北京字节跳动网络技术有限公司 一种控制直播封面显示的方法及装置
CN113361376A (zh) * 2021-06-02 2021-09-07 北京三快在线科技有限公司 获取视频封面的方法、装置、计算机设备及可读存储介质
CN113542801A (zh) * 2021-06-29 2021-10-22 北京百度网讯科技有限公司 主播标识的生成方法、装置、设备、存储介质及程序产品
WO2023030269A1 (zh) * 2021-08-30 2023-03-09 维沃移动通信（杭州）有限公司 音视频处理方法、装置、电子设备及可读存储介质
CN113676671A (zh) * 2021-09-27 2021-11-19 北京达佳互联信息技术有限公司 视频剪辑方法、装置、电子设备及存储介质
CN114821402A (zh) * 2022-04-08 2022-07-29 咪咕文化科技有限公司 视频精彩片段检测方法、装置、设备与存储介质
CN115412765A (zh) * 2022-08-31 2022-11-29 北京奇艺世纪科技有限公司 视频精彩片段确定方法、装置、电子设备及存储介质
CN115412765B (zh) * 2022-08-31 2024-03-26 北京奇艺世纪科技有限公司 视频精彩片段确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110191357A (zh) 视频片段精彩度评估、动态封面生成方法及装置
CN108537119B (zh) 一种小样本视频识别方法
CN112749608B (zh) 视频审核方法、装置、计算机设备和存储介质
US11640714B2 (en) Video panoptic segmentation
CN104933428B (zh) 一种基于张量描述的人脸识别方法及装置
Bianco et al. Predicting image aesthetics with deep learning
CN109726765A (zh) 一种视频分类问题的样本提取方法及装置
US11841839B1 (en) Preprocessing and imputing method for structural data
CN111914778A (zh) 一种基于弱监督学习的视频行为定位方法
CN104951807B (zh) 股市情绪的确定方法和装置
CN108965938A (zh) 智能电视中潜在付费用户预测方法及系统
CN113761253A (zh) 视频标签确定方法、装置、设备及存储介质
CN110704510A (zh) 一种结合用户画像的题目推荐方法及系统
Shi et al. Segmentation quality evaluation based on multi-scale convolutional neural networks
Zong et al. Transductive transfer lda with riesz-based volume lbp for emotion recognition in the wild
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN108229285A (zh) 物体分类方法、物体分类器的训练方法、装置和电子设备
WO2024087358A1 (zh) 一种目标检测方法、装置、设备及非易失性可读存储介质
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
Yu et al. Review of face presentation attack detection competitions
CN109063732B (zh) 基于特征交互和多任务学习的图像排序方法及系统
CN112312205B (zh) 一种视频处理方法、装置、电子设备和计算机存储介质
He et al. A High-Quality Sample Generation Method for Improving Steel Surface Defect Inspection
Zhang et al. Generative reconstructive hashing for incomplete video analysis
Liu et al. Salient object detection via high-to-low hierarchical context aggregation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190830