CN110798752B - 用于生成视频摘要的方法和系统 - Google Patents
用于生成视频摘要的方法和系统 Download PDFInfo
- Publication number
- CN110798752B CN110798752B CN201810874321.2A CN201810874321A CN110798752B CN 110798752 B CN110798752 B CN 110798752B CN 201810874321 A CN201810874321 A CN 201810874321A CN 110798752 B CN110798752 B CN 110798752B
- Authority
- CN
- China
- Prior art keywords
- shot
- shots
- video
- lens
- brand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 230000008859 change Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 78
- 238000005070 sampling Methods 0.000 claims description 25
- 230000009471 action Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 20
- 230000002787 reinforcement Effects 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 13
- 230000001747 exhibiting effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 11
- 238000012015 optical character recognition Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开提供了一种用于生成视频摘要的方法和系统，涉及视频技术领域。该方法可以包括：根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景；计算每个镜头的重要性分值；以及从该多个镜头中选取一组镜头拼接成视频摘要，其中，在满足视频摘要总时长的约束条件的情况下，所选取的该组镜头的总的重要性分值最大。本公开可以使得视频摘要中包含一些比较重要的镜头或片段。
Description
技术领域
本公开涉及视频技术领域，特别涉及一种用于生成视频摘要的方法和系统。
背景技术
视频摘要是从一段较长的视频中选取关键帧或者关键片段并拼接成一段较短的视频，使观看者能够在较短的时间内了解原始视频的内容或者欣赏原始视频中的精彩片段。视频摘要有广泛的应用场景，包括个人视频剪辑、电视电影剧情介绍、视频辅助刑侦和互联网短视频等。在现有的生成视频摘要的方法中，由于对视频评价的主观性较强，因此所生成的视频摘要可能会丢失一些比较重要的片段或精彩内容。
例如，现有视频摘要方法一般是基于一些通用性准则来选取关键帧和关键片段，较少有针对特定场景和应用的视频摘要方法。这导致这样的方法在一些具体应用场景特别是视频广告领域的效果不太好，经过摘要处理的广告视频可能会丢失用于介绍商品品牌和商品特点的关键片段，以及一些能快速抓住观众心理的精彩内容。
发明内容
本公开实施例解决的一个技术问题是：提供一种用于生成视频摘要的方法，使得该视频摘要能包含一些比较重要的镜头或片段。
根据本公开实施例的一个方面，提供了一种用于生成视频摘要的方法，包括：根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景；计算每个镜头的重要性分值；以及从所述多个镜头中选取一组镜头拼接成视频摘要，其中，在满足视频摘要总时长的约束条件的情况下，所选取的该组镜头的总的重要性分值最大。
在一些实施例中，计算每个镜头的重要性分值的步骤包括：利用三维卷积网络对每个镜头提取特征向量，获得镜头集合的特征向量序列；以及将所述特征向量序列输入到预先训练的镜头重要性分值计算网络以计算每个镜头的重要性分值。
在一些实施例中，在将视频切分为多个镜头之前，所述方法还包括：采用强化学习的方法对镜头重要性分值计算网络进行训练，其中，所述强化学习的方法所包含的关键元素包括：行动和价值奖励函数，所述价值奖励函数包含：多样性指标和代表性指标。
在一些实施例中，在从所述多个镜头中选取一组镜头拼接成视频摘要之前，所述方法还包括：在所述多个镜头中识别出展现关键特征的镜头。
在一些实施例中，所述关键特征包括商品品牌商标和商品品牌文字中的至少一个。
在一些实施例中，在所述多个镜头中识别出展现关键特征的镜头的步骤包括：使用基于深度学习的对象检测方法检测视频的每帧图像中的商标区域；以及将商标区域的图像输入到预先训练的深度模型提取嵌入特征向量，并将所述嵌入特征向量与数据库中的商标图像的特征向量进行比对，获取商标的品牌类型，从而识别出展现商品品牌商标的镜头；或者，使用基于深度学习的光学字符识别方法识别视频的每帧图像中的文字；以及对文字进行分词处理，并将处理后的文字与数据库中的品牌文字进行匹配，保留与商品品牌相关的文字，从而识别出展现商品品牌文字的镜头。
在一些实施例中，从所述多个镜头中选取一组镜头拼接成视频摘要的步骤包括：从所述展现关键特征的镜头中选取主镜头，并从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头，并将该组镜头拼接成视频摘要。
在一些实施例中，从所述展现关键特征的镜头中选取主镜头的步骤包括：如果从所述展现关键特征的镜头中选取的镜头为视频的最前面Ng个镜头或最后面Ng个镜头，则确定该最前面Ng个镜头或该最后面Ng个镜头为主镜头，Ng为正整数；从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头的步骤包括：从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头，使得所选取的该组镜头在满足视频摘要总时长的约束条件的情况下总的重要性分值最大；将该组镜头拼接成视频摘要的步骤包括：将所述主镜头和所述辅助镜头按照时间顺序拼接成视频摘要。
在一些实施例中，在所述多个镜头中识别出展现关键特征的镜头之前，所述方法还包括：计算每个镜头与所宣传商品图片的相似度，并利用所述相似度修正镜头的重要性分值。
在一些实施例中，计算每个镜头与所宣传的商品图片的相似度，并利用所述相似度修正镜头的重要性分值的步骤包括：计算所宣传商品图片的特征向量；对每个镜头的多帧图像进行采样以获得采样帧，并计算每个镜头的采样帧的特征向量；根据所述商品图片的特征向量和每个镜头的采样帧的特征向量计算每个镜头与所述商品图片的相似度；以及根据所述相似度和预设的相似度阈值对每个镜头的重要性分值进行修正。
根据本公开实施例的另一个方面，提供了一种用于生成视频摘要的系统，包括：视频切分单元，用于根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景；计算单元，用于计算每个镜头的重要性分值；选取单元，用于从所述多个镜头中选取一组镜头，使得在满足视频摘要总时长的约束条件的情况下所选取的该组镜头的总的重要性分值最大；以及拼接单元，用于将所选取的该组镜头拼接成视频摘要。
在一些实施例中，所述计算单元用于利用三维卷积网络对每个镜头提取特征向量，获得镜头集合的特征向量序列，以及将所述特征向量序列输入到预先训练的镜头重要性分值计算网络以计算每个镜头的重要性分值。
在一些实施例中，所述系统还包括：训练单元，用于采用强化学习的方法对镜头重要性分值计算网络进行训练，其中，所述强化学习的方法所包含的关键元素包括：行动和价值奖励函数，所述价值奖励函数包含：多样性指标和代表性指标。
在一些实施例中，所述系统还包括：识别单元，用于在所述多个镜头中识别出展现关键特征的镜头。
在一些实施例中，所述关键特征包括商品品牌商标和商品品牌文字中的至少一个。
在一些实施例中，所述识别单元用于：使用基于深度学习的对象检测方法检测视频的每帧图像中的商标区域；以及将商标区域的图像输入到预先训练的深度模型提取嵌入特征向量，并将所述嵌入特征向量与数据库中的商标图像的特征向量进行比对，获取商标的品牌类型，从而识别出展现商品品牌商标的镜头；或者，使用基于深度学习的光学字符识别方法识别视频的每帧图像中的文字；以及对文字进行分词处理，并将处理后的文字与数据库中的品牌文字进行匹配，保留与商品品牌相关的文字，从而识别出展现商品品牌文字的镜头。
在一些实施例中，所述选取单元用于从所述展现关键特征的镜头中选取主镜头，并从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头。
在一些实施例中，所述选取单元用于：如果从所述展现关键特征的镜头中选取的镜头为视频的最前面Ng个镜头或最后面Ng个镜头，则确定该最前面Ng个镜头或该最后面Ng个镜头为主镜头，Ng为正整数；以及从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头，使得所选取的该组镜头在满足视频摘要总时长的约束条件的情况下总的重要性分值最大；所述拼接单元用于将所述主镜头和所述辅助镜头按照时间顺序拼接成视频摘要。
在一些实施例中，所述系统还包括：修正单元，用于计算每个镜头与所宣传商品图片的相似度，并利用所述相似度修正镜头的重要性分值。
在一些实施例中，所述修正单元用于：计算所宣传商品图片的特征向量；对每个镜头的多帧图像进行采样以获得采样帧，并计算每个镜头的采样帧的特征向量；根据所述商品图片的特征向量和每个镜头的采样帧的特征向量计算每个镜头与所述商品图片的相似度；以及根据所述相似度和预设的相似度阈值对每个镜头的重要性分值进行修正。
根据本公开实施例的另一个方面，提供了一种生成视频摘要的系统，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如前所述的方法。
根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如前所述的方法的步骤。
在上述方法中，在将视频切分为多个镜头后，计算了每个镜头的重要性分值，而且在选取一组镜头的过程中，选取了在满足视频摘要总时长的约束条件的情况下总的重要性分值最大的一组镜头，将该组镜头拼接成视频摘要。因此通过该方法可以使得视频摘要中包含一些比较重要的镜头或片段。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是示出根据本公开一些实施例的用于生成视频摘要的方法的流程图；
图2是示出根据本公开一些实施例的计算每个镜头的重要性分值的方法的流程图；
图3是示出根据本公开另一些实施例的计算每个镜头的重要性分值的方法的流程图；
图4是示出根据本公开另一些实施例的用于生成视频摘要的方法的流程图；
图5是示出根据本公开一些实施例的修正镜头的重要性分值的方法的流程图；
图6是示出根据本公开一些实施例的用于生成视频摘要的系统的结构图；
图7是示出根据本公开另一些实施例的用于生成视频摘要的系统的结构图；
图8是示出根据本公开另一些实施例的用于生成视频摘要的系统的结构图；
图9是示出根据本公开另一些实施例的用于生成视频摘要的系统的结构图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是示出根据本公开一些实施例的用于生成视频摘要的方法的流程图。图2是示出根据本公开一些实施例的计算每个镜头的重要性分值的方法的流程图。图3是示出根据本公开另一些实施例的计算每个镜头的重要性分值的方法的流程图。下面结合图1至图3详细描述根据本公开一些实施例的用于生成视频摘要的方法。如图1所示，该方法可以包括步骤S102～S106。
如图1所示，在步骤S102，根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景。
例如，对于一段视频序列V＝{Ii|i＝1，…，N}，其中Ii是一帧视频图像。根据视频场景的变化将其切分为长度不一的多个镜头St，这些多个镜头组成镜头集合S＝{St|t＝1，…，T}，T＞1且T为正整数。每个镜头是一段内容连续的视频场景。假设每个镜头的长度(即每个镜头包含的视频帧的数目)为slt，则所有镜头长度的集合表示为SL＝{slt|t＝1，…，T}。
在一些实施例中，可以采用KTS(Kernel Temporal Segmentation，核函数时域分割)方法将视频切分为多个镜头。此方法切分效果好而且速度较快。但本公开并仅不限于使用KTS方法，还可以采用其它镜头切分方法。
在步骤S104，计算每个镜头的重要性分值。
在一些实施例中，该步骤S104可以包括：利用三维卷积网络对每个镜头提取特征向量，获得镜头集合的特征向量序列；以及将该特征向量序列输入到预先训练的镜头重要性分值计算网络以计算每个镜头的重要性分值。
例如，实现计算重要性分值(该计算重要性分值的过程也可以称为重要性打分)的模型框图如图2所示。使用三维卷积网络(C3D Net)对视频镜头提取特征向量，获得镜头集合S(S＝{St|t＝1，…，T})的特征向量序列X＝{Xt|t＝1，…，T}，其中
为实数集，d1表示维度。然后将特征向量序列X输入到已经训练得到的镜头重要性分值计算网络来计算每个镜头的重要性分值(或者称为重要性概率值)svt∈[0，1]，获得镜头重要性序列SV＝{svt|t＝1，…，T}。以下对计算重要性分值的两个子网络进行说明。
(1)视频镜头特征提取网络
视频镜头是图像序列，可以用三维矩阵表示。可以使用三维卷积网络(C3D Net)对镜头进行处理并提取一维特征向量。即将三维卷积网络作为视频镜头特征提取网络。例如，可以采用膨胀的三维卷积网络(Inflated 3D convolutional network，简称为I3D)对镜头进行处理。
例如，Kinetics-600是一个视频分类数据集，它包含600个类别的人的活动，共50多万个10秒时长的视频片段。首先使用Kinetics-600数据集对I3D网络进行预训练，然后使用13D网络处理视频镜头St，将网络的最后一个池化层的输出作为特征向量Xt，从而将镜头集合S＝{St|t＝1，…，T}转化为特征向量序列X＝{Xt|t＝1，…，T}。由于经过预训练的I3D网络具有很强的视频分类能力，其最后一个池化层的输出就是一种特征嵌入(featureembedding)，表征了视频内容的本质特征。
在本公开的实施例中，并不仅限于采用I3D网络，还可以采用其它类型的三维卷积网络以进行视频镜头的特征提取。
(2)镜头重要性分值计算网络
镜头重要性分值计算网络可以是时序网络，例如可以是递归神经网络(RecurrentNeural Network，简称为RNN)。镜头重要性分值计算网络可以被输入具有时间先后顺序的特征向量序列X＝{Xt|t＝1，…，T}，输出镜头重要性分值序列SV＝{svt|t＝1，…，T}。例如，可以使用双向LSTM(Long Short-Term Memory，长短时记忆网络)实现此网络，如图3所示。
在一些实施例中，在将视频切分为多个镜头之前，所述方法还可以包括：采用强化学习的方法对镜头重要性分值计算网络进行训练。该强化学习的方法所包含的关键元素包括：行动和价值奖励函数。该价值奖励函数包含：多样性指标和代表性指标。使用强化学习的方法训练上述模型，不需要对视频进行标注。该强化学习的方法是一种无监督学习方法。
强化学习的基本思想是在系统的某个状态下随机采取多个行动，计算每个行动产生的价值，通过奖励价值较大的行动而惩罚价值较小的行动来对系统进行优化，使其趋向于选择价值较大的行动。因此，强化学习有两个关键元素：行动(actions)和价值奖励函数(reward function)。
例如，定义与镜头选取相关的行动(actions)：
表示时间序号为yi的镜头被选取，所以Y可以代表镜头选取行动，表示被选取镜头的时间序号集合，|Y|表示该集合的元素数目。网络对每个视频镜头输出其重要性概率值pt＝svt，基于伯努利分布对镜头是否被选取进行采样，即at～Bernoulli(pt)，用πθ(at|pt)表示，其中θ为上述双向LSTM模型的参数，所以镜头选取行动Y的发生概率为
价值奖励函数R(S)有两个指标：多样性Rdiv和代表性Rrep，分别定义如下：
其中，
R(S)＝Rdiv+Rrep。 (4)
这里，||Xt||2表示特征向量Xt的长度，通过对特征向量Xt的各个元素的平方和进行开平方得到；||Xt′||2表示特征向量Xt’的长度，通过对特征向量Xt’的各个元素的平方和进行开平方得到；
表示特征向量Xt的转置。
多样性指标度量了不同镜头之间内容的多样性，代表性指标度量了选取的视频镜头在多大程度上代表了原始的视频。
强化学习的目标是对所有可能的行动最大化奖励函数R(S)的期望，数学描述如下：
其中，a1：T表示采取的行动，即表示哪些镜头被选取，哪些镜头不被选取，pθ(a1：T)表示行动a1：T发生的概率。
因为镜头选取行动Y的发生概率为
所有目标函数的梯度可以表示为：
通过对镜头选择行动进行采样，上述梯度期望可以做近似计算，即：
实际计算期望过程中可以采样一些行动来近似计算期望，这里，N为采样的行动的数目。
基于上述强化学习方法，使用例如京东商城上的大量广告视频训练前述双向LSTM网络，获得了训练好的镜头重要性分值计算网络作为视频镜头重要性打分网络模型。
回到图1，在步骤S106，从多个镜头中选取一组镜头拼接成视频摘要，其中，在满足视频摘要总时长的约束条件的情况下，所选取的该组镜头的总的重要性分值最大。
例如，所需要满足的视频摘要总时长的约束条件可以为不超过要求的视频摘要总时长。从所述多个镜头中选取一组镜头，该组镜头在满足视频摘要总时长的约束条件的情况下的总重要性分值最大。可以将该组镜头按照时间顺序拼接成视频摘要。
至此，提供了一些实施例的用于生成视频摘要的方法。在该方法中，在将视频切分为多个镜头后，计算每个镜头的重要性分值，重要性分值比较大的镜头是比较重要的镜头。而且在选取一组镜头的过程中，选取了在满足视频摘要总时长的约束条件的情况下总的重要性分值最大的一组镜头，并将该组镜头拼接成视频摘要。因此可以通过该方法使得视频摘要中包含一些比较重要的镜头或片段。
在一些实施例中，在步骤S106之前，所述方法还可以包括：在所述多个镜头中识别出展现关键特征的镜头。例如，该关键特征可以包括商品品牌商标和商品品牌文字中的至少一个。
在一些实施例中，上述步骤S106可以包括：从展现关键特征的镜头中选取主镜头，并从所述多个镜头中的剩余镜头(除去所选取的主镜头之外的所有剩余镜头)中选取辅助镜头，将该主镜头和该辅助镜头作为所选取的一组镜头，并将该组镜头拼接成视频摘要。
在上述实施例的方法中，识别出展现关键特征的镜头，并从展现关键特征的镜头中选取主镜头以及从其他剩余镜头中选取辅助镜头。将该主镜头和该辅助镜头作为所选取的一组镜头，并使得该组镜头在满足视频摘要总时长的约束条件的情况下的总重要性分值最大。将该组镜头拼接成视频摘要。这样可以使得所得到的视频摘要包含关键镜头，例如广告视频中用于介绍商品品牌或商品名称的关键镜头，从而可以尽可能地起到宣传商品的目的。
在一些实施例中，在所述多个镜头中识别出展现关键特征的镜头之前，所述方法还可以包括：计算每个镜头与所宣传商品图片的相似度，并利用该相似度修正镜头的重要性分值。经过镜头与所宣传商品图片相似性的修正后，那些重点展示商品的镜头的重要性获得了提升，可以增强视频摘要对商品的展现能力。
图4是示出根据本公开另一些实施例的用于生成视频摘要的方法的流程图。如图4所示，该方法可以包括步骤S402～S410。
在步骤S402，根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景。该步骤S402与步骤S102相同或相似，这里不再赘述。
在步骤S404，计算每个镜头的重要性分值。该步骤S404与步骤S104相同或相似，这里不再赘述。
在步骤S406，计算每个镜头与所宣传商品图片的相似度，并利用该相似度修正镜头的重要性分值。该步骤S406的过程在后面将结合图5详细描述。
在步骤S408，在多个镜头中识别出展现关键特征的镜头。例如，该关键特征可以包括商品品牌商标和商品品牌文字中的至少一个。
例如，在广告视频中，一般在片头或者片尾都会有展示商品品牌的镜头，这是为了加深商品品牌对广告受众的印象，起到宣传品牌的目的，因此可以识别和提取广告品牌镜头并在摘要后的广告视频中进行展示。本公开实施例用于识别广告品牌镜头所使用的两个信息来源包括：商品品牌商标和商品品牌文字。例如京东吉祥物和京东文字。
在一些实施例中，广告品牌镜头识别可以包含品牌商标或文字识别和品牌镜头判定两个步骤。如下：(1)使用对象检测技术识别品牌商标，或者使用OCR(Optical CharacterRecognition，光学字符识别)技术识别品牌文字；(2)品牌镜头判定：对于镜头St，其长度(即视频帧数)为slt，如果品牌商标或文字处在图像的中心区域，并且在连续Nc帧图像中出现，则此镜头被确定为广告品牌镜头。例如，Nc≥slt/2。
在一些实施例中，该步骤S408可以包括：使用基于深度学习的对象检测方法检测视频的每帧图像中的商标区域。例如，该对象检测方法可以使用Faster-RCNN(FasterRegion CNN Detector，更快速区域CNN检测器)、SSD(Single Shot Detector，单帧检测器)和YOLO(Detector by“You only look once”，“你只能看一次”的检测器)等，但不限于这些方法。该步骤S408还可以包括：将商标区域的图像输入到预先训练的深度模型提取嵌入特征向量，并将该嵌入特征向量与数据库中的商标图像的特征向量进行比对，获取商标的品牌类型(例如京东、apple或海尔等)，从而识别出展现商品品牌商标的镜头。例如，数据库存储有N个商标图像的特征向量，则将提取的嵌入特征向量与这N个商标图像的特征向量进行比对，获取商标的品牌类型。
在另一些实施例中，该步骤S408可以包括：使用基于深度学习的OCR方法识别视频的每帧图像中的文字；以及对文字进行分词处理，并将处理后的文字与数据库中的品牌文字进行匹配，保留与商品品牌相关的文字，从而识别出展现商品品牌文字的镜头。
在步骤S410，从多个镜头中选取一组镜头拼接成视频摘要，其中，在满足视频摘要总时长的约束条件的情况下，所选取的该组镜头的总的重要性分值最大。
在本公开的实施例中，在生成视频摘要的过程中，需要选择一组镜头并将它们拼接起来获得最后的摘要视频文件。哪些镜头被选取可以用集合SU＝{sut|t＝1，…，T}来表示，其中sut∈{0，1}，表示镜头是否被选取。例如，sut为1，表示镜头被选取；sut为0，表示镜头不被选取。
对于镜头集合S＝{St|t＝1，…，T}，在满足总时长约束条件下选择一组镜头使得总的镜头重要性分值最大，可以归结为一个最优化问题，如下：
其中，svt是镜头的重要性分值，slt是镜头的长度，sut表示镜头是否被选取，ST是摘要视频的最大时长。此最优化问题可以使用动态规划方法求解。
在一些实施例中，该步骤S410可以包括：从展现关键特征的镜头中选取主镜头，并从所述多个镜头中的剩余镜头中选取辅助镜头，将该主镜头和该辅助镜头作为所选取的一组镜头，并将该组镜头拼接成视频摘要。
在一些实施例中，从展现关键特征的镜头中选取主镜头的步骤可以包括：如果从展现关键特征的镜头中选取的镜头为视频的最前面Ng个镜头或最后面Ng个镜头，则确定该最前面Ng个镜头或该最后面Ng个镜头为主镜头，Ng为正整数，例如Ng的取值为1～2。
例如，如果镜头St被识别为用于展示所宣传商品品牌的镜头，而且是镜头集合S的最前面Ng个或者最后面Ng个镜头，即t≤Ng或者t＞K-Ng，K为总镜头数，则此镜头St即为所选取的广告品牌镜头。例如，Ng的取值为1～2。因为广告的一个基本目的是让广告受众知晓商品的品牌，所以可以在摘要视频中展示和强调商品的品牌。
在一些实施例中，从所述多个镜头中的剩余镜头中选取辅助镜头，将主镜头和辅助镜头作为所选取的一组镜头的步骤可以包括：从所述多个镜头中的剩余镜头中选取辅助镜头，将主镜头和辅助镜头作为所选取的一组镜头，使得所选取的该组镜头在满足视频摘要总时长的约束条件的情况下总的重要性分值最大。
例如，Spre是上面所选取的广告品牌镜头集合，在镜头集合S\Spre(表示排除Spre之后的剩余镜头集合)中使用动态规划方法求解前述最优化问题，选择镜头并满足剩余时长约束。
在一些实施例中，将该组镜头拼接成视频摘要的步骤可以包括：将主镜头和辅助镜头按照时间顺序拼接成视频摘要。例如，可以将主镜头和辅助镜头按照时间排序，最后拼接成广告视频摘要。
在另一些实施例中，展现关键特征的镜头可能不是视频的最前面Ng个镜头或最后面Ng个镜头，而是视频中间部分的某些镜头。在这样的情况下，可以从这些展现关键特征的镜头中选取一个或一些镜头作为主镜头。然后从剩余的镜头中选取辅助镜头。在将主镜头和辅助镜头拼接成视频摘要的过程中，将该主镜头放在视频摘要的最前面或最后面，并将辅助镜头按照时间顺序排列，从而将这些主镜头和辅助镜头拼接成视频摘要。
至此，提供了根据本公开另一些实施例的用于生成视频摘要的方法。在该方法中，在将视频切分为多个镜头后，计算了每个镜头的重要性分值，重要性分值比较大的镜头是比较重要的镜头。识别出展现关键特征的镜头，并从展现关键特征的镜头中选取主镜头以及从其他剩余镜头中选取辅助镜头。将该主镜头和该辅助镜头作为所选取的一组镜头，并使得该组镜头在满足视频摘要总时长的约束条件的情况下的总重要性分值最大。将该组镜头拼接成视频摘要。这样可以使得所得到的视频摘要包含关键镜头，例如广告视频中用于介绍商品品牌或商品名称的关键镜头，从而可以尽可能地起到宣传商品的目的。
本公开一些实施例的方法在短视频广告中重点保留介绍商品品牌和商品特点的关键片段，并保证摘要后视频内容有一定的连续性和精彩性。
广告的一个目的是向广告受众展示商品的外观，在他们的脑海中建立对此商品的印象，所以可以在广告视频中识别出重点展示商品的镜头并输出到视频摘要中。商品主图一般包含了商品的外观全貌，通过视频镜头与商品主图之间的相似性可以识别出以展示商品为主要内容的镜头。如果能够获取广告视频所宣传商品的主图，则可以对镜头重要性分值进行修正。
图5是示出根据本公开一些实施例的修正镜头的重要性分值的方法的流程图。该图5所示的过程是图4中的步骤S406的一种具体实施方式。下面结合图5详细描述图4中的步骤S406的具体过程。如图5所示，该修正镜头的重要性分值的过程可以包括步骤S502～S508。
在步骤S502，计算所宣传商品图片的特征向量。
例如，可以使用基于深度学习的分类模型(例如，VGG(Very Deep ConvolutionalNetwork，非常深的卷积网络)、Inception(Google Inception Convolutional Network，谷歌初期卷积网络)、ResNet(Residual Convolutional Network，残差卷积网络)等)计算商品图片(或称为商品主图)IM的嵌入特征向量
XM是d2维的特征向量。
在步骤S504，对每个镜头的多帧图像进行采样以获得采样帧，并计算每个镜头的采样帧的特征向量。
例如，对每个镜头St中的视频图像每若干帧(例如每5帧)图像选取1帧图像，使用步骤S502中的分类模型计算这些图像的嵌入特征向量，得到特征向量集合{Xti|i＝1，…，Nt}。这里Nt表示对镜头St抽样的图像的数目。
在步骤S506，根据商品图片的特征向量和每个镜头的采样帧的特征向量计算每个镜头与商品图片的相似度。
例如，对每个镜头St，将其特征向量集合{Xti|i＝1，…，Nt}与商品图片的特征向量XM计算余弦相似度以得到相似度集合{smti|i＝1，…，Nt}，并取相似度集合的中值smt＝median{smti|i＝1，…，Nt}作为镜头与商品图片的相似度。
在步骤S508，根据相似度和预设的相似度阈值对每个镜头的重要性分值进行修正。
例如，可以使用以下公式对镜头重要性分值svt进行修正，其中tsm为相似度阈值，例如，该相似度阈值可以取值为0.5～0.6。对镜头重要性分值svt进行修正的公式为：
至此，提供了根据一些实施例的修正镜头的重要性分值的方法。通过计算镜头与商品图片的相似度，并根据相似度对镜头的重要性分值修正后，可以提升重点展示商品的镜头的重要性，从而增强视频摘要对商品的展现能力。
图6是示出根据本公开一些实施例的用于生成视频摘要的系统的结构图。如图6所示，该系统可以包括视频切分单元602、计算单元604、选取单元606和拼接单元608。
该视频切分单元602可以用于根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景。
该计算单元604可以用于计算每个镜头的重要性分值。
该选取单元606可以用于从所述多个镜头中选取一组镜头，使得在满足视频摘要总时长的约束条件的情况下所选取的该组镜头的总的重要性分值最大。
该拼接单元608可以用于将所选取的该组镜头拼接成视频摘要。
在该实施例的系统中，视频切分单元根据视频场景的变化将视频切分为多个镜头；计算单元计算每个镜头的重要性分值；选取单元从所述多个镜头中选取一组镜头，使得在满足视频摘要总时长的约束条件的情况下所选取的该组镜头的总的重要性分值最大；以及拼接单元将所选取的该组镜头拼接成视频摘要。该系统可以使得视频摘要中包含一些比较重要的镜头或片段。
在一些实施例中，该计算单元604可以用于利用三维卷积网络对每个镜头提取特征向量，获得镜头集合的特征向量序列，以及将该特征向量序列输入到预先训练的镜头重要性分值计算网络以计算每个镜头的重要性分值。
图7是示出根据本公开另一些实施例的用于生成视频摘要的系统的结构图。如图7所示，该系统可以包括视频切分单元602、计算单元604、选取单元606和拼接单元608。
在一些实施例中，如图7所示，该系统还可以包括训练单元714。该训练单元714可以用于采用强化学习的方法对镜头重要性分值计算网络进行训练。该强化学习的方法所包含的关键元素包括：行动和价值奖励函数。该价值奖励函数包含：多样性指标和代表性指标。
在一些实施例中，如图7所示，该系统还可以包括识别单元710。该识别单元710可以用于在所述多个镜头中识别出展现关键特征的镜头。例如，该关键特征可以包括商品品牌商标和商品品牌文字中的至少一个。
在一些实施例中，该识别单元710可以用于：使用基于深度学习的对象检测方法检测视频的每帧图像中的商标区域；以及将商标区域的图像输入到预先训练的深度模型提取嵌入特征向量，并将该嵌入特征向量与数据库中的商标图像的特征向量进行比对，获取商标的品牌类型，从而识别出展现商品品牌商标的镜头。
在另一些实施例中，该识别单元710可以用于：使用基于深度学习的光学字符识别方法识别视频的每帧图像中的文字；以及对文字进行分词处理，并将处理后的文字与数据库中的品牌文字进行匹配，保留与商品品牌相关的文字，从而识别出展现商品品牌文字的镜头。
在一些实施例中，该选取单元606可以用于从展现关键特征的镜头中选取主镜头，并从所述多个镜头中的剩余镜头中选取辅助镜头，将该主镜头和该辅助镜头作为所选取的一组镜头。
在一些实施例中，该选取单元606可以用于：如果从展现关键特征的镜头中选取的镜头为视频的最前面Ng个镜头或最后面Ng个镜头，则确定该最前面Ng个镜头或该最后面Ng个镜头为主镜头，Ng为正整数；以及从所述多个镜头中的剩余镜头中选取辅助镜头，将该主镜头和该辅助镜头作为所选取的一组镜头，使得所选取的该组镜头在满足视频摘要总时长的约束条件的情况下总的重要性分值最大。
在一些实施例中，该拼接单元608可以用于将主镜头和辅助镜头按照时间顺序拼接成视频摘要。
在一些实施例中，如图7所示，该系统还可以包括修正单元712。该修正单元712可以用于计算每个镜头与所宣传商品图片的相似度，并利用该相似度修正镜头的重要性分值。
在一些实施例中，该修正单元712可以用于：计算所宣传商品图片的特征向量；对每个镜头的多帧图像进行采样以获得采样帧，并计算每个镜头的采样帧的特征向量；根据该商品图片的特征向量和每个镜头的采样帧的特征向量计算每个镜头与该商品图片的相似度；以及根据该相似度和预设的相似度阈值对每个镜头的重要性分值进行修正。
图8是示出根据本公开另一些实施例的用于生成视频摘要的系统的结构图。该系统包括存储器810和处理器820。其中：
存储器810可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1至图5中的至少一个所对应实施例中的指令。
处理器820耦接至存储器810，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器820用于执行存储器中存储的指令，从而使得视频摘要中包含一些比较重要的镜头或片段，或者包含一些关键镜头或片段。
在一些实施例中，还可以如图9所示，该系统900包括存储器910和处理器920。处理器920通过BUS总线930耦合至存储器910。该系统900还可以通过存储接口940连接至外部存储装置950以便调用外部数据，还可以通过网络接口960连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，从而使得视频摘要中包含一些比较重要的镜头或片段，或者包含一些关键镜头或片段。
在另一些实施例中，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1至图5中的至少一个所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (16)
1.一种用于生成视频摘要的方法，包括：
根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景；
计算每个镜头的重要性分值；
计算每个镜头与所宣传商品图片的相似度，并利用所述相似度修正镜头的重要性分值；
在所述多个镜头中识别出展现关键特征的镜头；以及
从所述展现关键特征的镜头中选取主镜头，并从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头，并将该组镜头拼接成视频摘要，其中，在满足视频摘要总时长的约束条件的情况下，所选取的该组镜头的总的重要性分值最大。
2.根据权利要求1所述的方法，其中，计算每个镜头的重要性分值的步骤包括：
利用三维卷积网络对每个镜头提取特征向量，获得镜头集合的特征向量序列；以及
将所述特征向量序列输入到预先训练的镜头重要性分值计算网络以计算每个镜头的重要性分值。
3.根据权利要求2所述的方法，其中，在将视频切分为多个镜头之前，所述方法还包括：
采用强化学习的方法对镜头重要性分值计算网络进行训练，其中，所述强化学习的方法所包含的关键元素包括：行动和价值奖励函数，所述价值奖励函数包含：多样性指标和代表性指标。
4.根据权利要求1所述的方法，其中，所述关键特征包括商品品牌商标和商品品牌文字中的至少一个。
5.根据权利要求4所述的方法，其中，在所述多个镜头中识别出展现关键特征的镜头的步骤包括：
使用基于深度学习的对象检测方法检测视频的每帧图像中的商标区域；以及将商标区域的图像输入到预先训练的深度模型提取嵌入特征向量，并将所述嵌入特征向量与数据库中的商标图像的特征向量进行比对，获取商标的品牌类型，从而识别出展现商品品牌商标的镜头；或者，
使用基于深度学习的光学字符识别方法识别视频的每帧图像中的文字；以及对文字进行分词处理，并将处理后的文字与数据库中的品牌文字进行匹配，保留与商品品牌相关的文字，从而识别出展现商品品牌文字的镜头。
6.根据权利要求1所述的方法，其中，
从所述展现关键特征的镜头中选取主镜头的步骤包括：如果从所述展现关键特征的镜头中选取的镜头为视频的最前面Ng个镜头或最后面Ng个镜头，则确定该最前面Ng个镜头或该最后面Ng个镜头为主镜头，Ng为正整数；
从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头的步骤包括：从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头，使得所选取的该组镜头在满足视频摘要总时长的约束条件的情况下总的重要性分值最大；
将该组镜头拼接成视频摘要的步骤包括：将所述主镜头和所述辅助镜头按照时间顺序拼接成视频摘要。
7.根据权利要求1所述的方法，其中，计算每个镜头与所宣传商品图片的相似度，并利用所述相似度修正镜头的重要性分值的步骤包括：
计算所宣传商品图片的特征向量；
对每个镜头的多帧图像进行采样以获得采样帧，并计算每个镜头的采样帧的特征向量；
根据所述商品图片的特征向量和每个镜头的采样帧的特征向量计算每个镜头与所述商品图片的相似度；以及
根据所述相似度和预设的相似度阈值对每个镜头的重要性分值进行修正。
8.一种用于生成视频摘要的系统，包括：
视频切分单元，用于根据视频场景的变化将视频切分为多个镜头，其中每个镜头为一段内容连续的视频场景；
计算单元，用于计算每个镜头的重要性分值；
修正单元，用于计算每个镜头与所宣传商品图片的相似度，并利用所述相似度修正镜头的重要性分值；
识别单元，用于在所述多个镜头中识别出展现关键特征的镜头；
选取单元，用于从所述多个镜头中选取一组镜头，使得在满足视频摘要总时长的约束条件的情况下所选取的该组镜头的总的重要性分值最大，其中，所述选取单元用于从所述展现关键特征的镜头中选取主镜头，并从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头；以及
拼接单元，用于将所选取的该组镜头拼接成视频摘要。
9.根据权利要求8所述的系统，其中，
所述计算单元用于利用三维卷积网络对每个镜头提取特征向量，获得镜头集合的特征向量序列，以及将所述特征向量序列输入到预先训练的镜头重要性分值计算网络以计算每个镜头的重要性分值。
10.根据权利要求9所述的系统，还包括：
训练单元，用于采用强化学习的方法对镜头重要性分值计算网络进行训练，其中，所述强化学习的方法所包含的关键元素包括：行动和价值奖励函数，所述价值奖励函数包含：多样性指标和代表性指标。
11.根据权利要求8所述的系统，其中，所述关键特征包括商品品牌商标和商品品牌文字中的至少一个。
12.根据权利要求11所述的系统，其中，所述识别单元用于：
使用基于深度学习的对象检测方法检测视频的每帧图像中的商标区域；以及将商标区域的图像输入到预先训练的深度模型提取嵌入特征向量，并将所述嵌入特征向量与数据库中的商标图像的特征向量进行比对，获取商标的品牌类型，从而识别出展现商品品牌商标的镜头；或者，
使用基于深度学习的光学字符识别方法识别视频的每帧图像中的文字；以及对文字进行分词处理，并将处理后的文字与数据库中的品牌文字进行匹配，保留与商品品牌相关的文字，从而识别出展现商品品牌文字的镜头。
13.根据权利要求8所述的系统，其中，
所述选取单元用于：如果从所述展现关键特征的镜头中选取的镜头为视频的最前面Ng个镜头或最后面Ng个镜头，则确定该最前面Ng个镜头或该最后面Ng个镜头为主镜头，Ng为正整数；以及从所述多个镜头中的剩余镜头中选取辅助镜头，将所述主镜头和所述辅助镜头作为所选取的一组镜头，使得所选取的该组镜头在满足视频摘要总时长的约束条件的情况下总的重要性分值最大；
所述拼接单元用于将所述主镜头和所述辅助镜头按照时间顺序拼接成视频摘要。
14.根据权利要求8所述的系统，其中，所述修正单元用于：
计算所宣传商品图片的特征向量；对每个镜头的多帧图像进行采样以获得采样帧，并计算每个镜头的采样帧的特征向量；根据所述商品图片的特征向量和每个镜头的采样帧的特征向量计算每个镜头与所述商品图片的相似度；以及根据所述相似度和预设的相似度阈值对每个镜头的重要性分值进行修正。
15.一种生成视频摘要的系统，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至7任意一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至7任意一项所述的方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810874321.2A CN110798752B (zh) | 2018-08-03 | 2018-08-03 | 用于生成视频摘要的方法和系统 |
| PCT/CN2019/098495 WO2020024958A1 (zh) | 2018-08-03 | 2019-07-31 | 用于生成视频摘要的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810874321.2A CN110798752B (zh) | 2018-08-03 | 2018-08-03 | 用于生成视频摘要的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110798752A CN110798752A (zh) | 2020-02-14 |
| CN110798752B true CN110798752B (zh) | 2021-10-15 |
Family
ID=69230586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810874321.2A Active CN110798752B (zh) | 2018-08-03 | 2018-08-03 | 用于生成视频摘要的方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110798752B (zh) |
| WO (1) | WO2020024958A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11836181B2 (en) | 2019-05-22 | 2023-12-05 | SalesTing, Inc. | Content summarization leveraging systems and processes for key moment identification and extraction |
| CN114846812A (zh) * | 2020-03-16 | 2022-08-02 | 阿里巴巴集团控股有限公司 | 摘要视频的生成方法、装置和服务器 |
| CN113453040B (zh) * | 2020-03-26 | 2023-03-10 | 华为技术有限公司 | 短视频的生成方法、装置、相关设备及介质 |
| CN111488807B (zh) * | 2020-03-29 | 2023-10-10 | 复旦大学 | 基于图卷积网络的视频描述生成系统 |
| JP7420242B2 (ja) * | 2020-05-26 | 2024-01-23 | 日本電気株式会社 | 情報処理装置、制御方法及びプログラム |
| CN111694984B (zh) * | 2020-06-12 | 2023-06-20 | 百度在线网络技术（北京）有限公司 | 视频搜索方法、装置、电子设备及可读存储介质 |
| CN113810782B (zh) * | 2020-06-12 | 2022-09-27 | 阿里巴巴集团控股有限公司 | 视频处理方法及设备、服务器、电子设备 |
| CN111984821A (zh) * | 2020-06-22 | 2020-11-24 | 汉海信息技术(上海)有限公司 | 确定视频动态封面的方法、装置、存储介质及电子设备 |
| CN112069952A (zh) | 2020-08-25 | 2020-12-11 | 北京小米松果电子有限公司 | 视频片段提取方法、视频片段提取装置及存储介质 |
| CN112004111B (zh) * | 2020-09-01 | 2023-02-24 | 南京烽火星空通信发展有限公司 | 一种全域深度学习的新闻视频信息抽提方法 |
| CN112052841B (zh) * | 2020-10-12 | 2021-06-29 | 腾讯科技（深圳）有限公司 | 一种视频摘要的生成方法以及相关装置 |
| CN112261472A (zh) * | 2020-10-19 | 2021-01-22 | 上海博泰悦臻电子设备制造有限公司 | 短视频生成方法及相关设备 |
| CN112291589B (zh) * | 2020-10-29 | 2023-09-22 | 腾讯科技（深圳）有限公司 | 视频文件的结构检测方法、装置 |
| CN112423112B (zh) * | 2020-11-16 | 2023-03-21 | 北京意匠文枢科技有限公司 | 一种发布视频信息的方法与设备 |
| CN112445935B (zh) * | 2020-11-25 | 2023-07-04 | 开望(杭州)科技有限公司 | 一种基于内容分析的视频精选合集的自动生成方法 |
| CN112532897B (zh) * | 2020-11-25 | 2022-07-01 | 腾讯科技（深圳）有限公司 | 视频剪辑方法、装置、设备及计算机可读存储介质 |
| CN113242464A (zh) * | 2021-01-28 | 2021-08-10 | 维沃移动通信有限公司 | 视频编辑方法、装置 |
| CN113438509A (zh) * | 2021-06-23 | 2021-09-24 | 腾讯音乐娱乐科技（深圳）有限公司 | 视频摘要的生成方法、设备和存储介质 |
| CN115022711B (zh) * | 2022-04-28 | 2024-05-31 | 之江实验室 | 一种电影场景内镜头视频排序系统及方法 |
| US20240054782A1 (en) * | 2022-08-12 | 2024-02-15 | Nec Laboratories America, Inc. | Few-shot video classification |
| CN115442660B (zh) * | 2022-08-31 | 2023-05-19 | 杭州影象官科技有限公司 | 自监督对抗视频摘要提取方法、装置、设备和存储介质 |
| CN115731498B (zh) * | 2022-12-01 | 2023-06-06 | 石家庄铁道大学 | 一种联合强化学习和对比学习的视频摘要生成方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007129246A1 (en) * | 2006-05-05 | 2007-11-15 | Koninklijke Philips Electronics N.V. | Method of updating a video summary by user relevance feedback |
| CN101807198A (zh) * | 2010-01-08 | 2010-08-18 | 中国科学院软件研究所 | 一种基于草图的视频摘要生成方法 |
| CN103535023A (zh) * | 2011-05-18 | 2014-01-22 | 高智83基金会有限责任公司 | 包括特定人的视频摘要 |
| CN103620682A (zh) * | 2011-05-18 | 2014-03-05 | 高智83基金会有限责任公司 | 包括感兴趣的特征的视频摘要 |
| CN106034264A (zh) * | 2015-03-11 | 2016-10-19 | 中国科学院西安光学精密机械研究所 | 基于协同模型的获取视频摘要的方法 |
| CN106612468A (zh) * | 2015-10-21 | 2017-05-03 | 上海文广互动电视有限公司 | 视频摘要自动生成系统及方法 |
| CN107203636A (zh) * | 2017-06-08 | 2017-09-26 | 天津大学 | 基于超图主集聚类的多视频摘要方法 |
| CN108073902A (zh) * | 2017-12-19 | 2018-05-25 | 深圳先进技术研究院 | 基于深度学习的视频总结方法、装置及终端设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5092000B2 (ja) * | 2010-09-24 | 2012-12-05 | 株式会社東芝 | 映像処理装置、方法、及び映像処理システム |
| EP2641401B1 (en) * | 2010-11-15 | 2017-04-05 | Huawei Technologies Co., Ltd. | Method and system for video summarization |
| JP5752585B2 (ja) * | 2011-12-16 | 2015-07-22 | 株式会社東芝 | 映像処理装置、方法及びプログラム |
| CN104980772B (zh) * | 2014-04-14 | 2019-06-07 | 北京酷云互动科技有限公司 | 植入广告的监测方法和监测装置 |
| WO2016014724A1 (en) * | 2014-07-23 | 2016-01-28 | Gopro, Inc. | Scene and activity identification in video summary generation |
| CN107967482A (zh) * | 2017-10-24 | 2018-04-27 | 广东中科南海岸车联网技术有限公司 | 图标识别方法及装置 |
-
2018
- 2018-08-03 CN CN201810874321.2A patent/CN110798752B/zh active Active
-
2019
- 2019-07-31 WO PCT/CN2019/098495 patent/WO2020024958A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007129246A1 (en) * | 2006-05-05 | 2007-11-15 | Koninklijke Philips Electronics N.V. | Method of updating a video summary by user relevance feedback |
| CN101807198A (zh) * | 2010-01-08 | 2010-08-18 | 中国科学院软件研究所 | 一种基于草图的视频摘要生成方法 |
| CN103535023A (zh) * | 2011-05-18 | 2014-01-22 | 高智83基金会有限责任公司 | 包括特定人的视频摘要 |
| CN103620682A (zh) * | 2011-05-18 | 2014-03-05 | 高智83基金会有限责任公司 | 包括感兴趣的特征的视频摘要 |
| CN106034264A (zh) * | 2015-03-11 | 2016-10-19 | 中国科学院西安光学精密机械研究所 | 基于协同模型的获取视频摘要的方法 |
| CN106612468A (zh) * | 2015-10-21 | 2017-05-03 | 上海文广互动电视有限公司 | 视频摘要自动生成系统及方法 |
| CN107203636A (zh) * | 2017-06-08 | 2017-09-26 | 天津大学 | 基于超图主集聚类的多视频摘要方法 |
| CN108073902A (zh) * | 2017-12-19 | 2018-05-25 | 深圳先进技术研究院 | 基于深度学习的视频总结方法、装置及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020024958A1 (zh) | 2020-02-06 |
| CN110798752A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110798752B (zh) | 用于生成视频摘要的方法和系统 | |
| CN111683209B (zh) | 混剪视频的生成方法、装置、电子设备及计算机可读存储介质 | |
| CN101281540B (zh) | 用于处理信息的设备、方法和计算机程序 | |
| EP2568429A1 (en) | Method and system for pushing individual advertisement based on user interest learning | |
| US6937766B1 (en) | Method of indexing and searching images of text in video | |
| CN113542777B (zh) | 直播视频剪辑方法、装置及计算机设备 | |
| US8805123B2 (en) | System and method for video recognition based on visual image matching | |
| CN108881947B (zh) | 一种直播流的侵权检测方法及装置 | |
| US20240086462A1 (en) | Method and system for dynamically analyzing, modifying, and distributing digital images and video | |
| CN110688524A (zh) | 视频检索方法、装置、电子设备及存储介质 | |
| CN111836118B (zh) | 视频处理方法、装置、服务器及存储介质 | |
| CN107358490A (zh) | 一种图像匹配方法、装置及电子设备 | |
| CN109697240A (zh) | 一种基于特征的图像检索方法及装置 | |
| Wu et al. | Self-similarity-based partial near-duplicate video retrieval and alignment | |
| CN113934888A (zh) | 视频标签处理方法及装置 | |
| Baber et al. | Video segmentation into scenes using entropy and SURF | |
| CN113313065A (zh) | 一种视频处理方法、装置、电子设备和可读存储介质 | |
| Mohiuddin et al. | Duplicate frame detection in forged videos using sequence matching | |
| CN111931856A (zh) | 视频分类方法和装置、电子设备和存储介质 | |
| Han et al. | Video scene change detection using convolution neural network | |
| KR101111046B1 (ko) | 객체 검출 정보를 이용한 유사 동영상 검색 시스템 및 방법 | |
| CN104850600A (zh) | 一种用于搜索包含人脸的图片的方法和装置 | |
| Bhaumik et al. | Towards redundancy reduction in storyboard representation for static video summarization | |
| Burget et al. | Supervised video scene segmentation using similarity measures | |
| Wang et al. | Selecting attentive frames from visually coherent video chunks for surveillance video summarization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |