CN112468888B - 基于gru网络的视频摘要生成方法与系统 - Google Patents

基于gru网络的视频摘要生成方法与系统 Download PDF

Info

Publication number
CN112468888B
CN112468888B CN202011349745.0A CN202011349745A CN112468888B CN 112468888 B CN112468888 B CN 112468888B CN 202011349745 A CN202011349745 A CN 202011349745A CN 112468888 B CN112468888 B CN 112468888B
Authority
CN
China
Prior art keywords
frame
video
key
current
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011349745.0A
Other languages
English (en)
Other versions
CN112468888A (zh
Inventor
陈周元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011349745.0A priority Critical patent/CN112468888B/zh
Publication of CN112468888A publication Critical patent/CN112468888A/zh
Application granted granted Critical
Publication of CN112468888B publication Critical patent/CN112468888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种基于GRU网络的视频摘要生成方法，包括：对输入的原始视频下采样并进行特征提取，生成视频帧序列；基于GRU网络的Seq2Seq模型对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要。本发明还提供的一种基于GRU网络的视频摘要生成系统，通过在Seq2Seq模型中引入GRU网络单元，使模型在处理视频帧序列时能最大程度保留帧与帧之间的长距离影响因素，同时减少模型的参数，有效减少了模型的计算量；使用非极大值抑制算法可以有效处理冗余帧，从而获取更具代表性的视频摘要。

Description

基于GRU网络的视频摘要生成方法与系统
技术领域
本发明涉及机器学习技术领域，更具体的，涉及一种基于GRU网络的视频摘要生成方法与系统。
背景技术
如今大量的数字视频被生产并应用于教育、娱乐、监视、信息存档等领域，数字视频已经成为人们视觉信息的最重要来源之一。大量的视频数据增加了人们对于数字视频浏览，筛选和存储的压力。依照传统的方法，用户只能通过视频标题、简介、标签等有限的外部资源信息了解视频的内容，而对视频本身的内容没有一个直观的理解，因此需要相应的技术和工具来提高用户对视频内容信息的获取。针对这些问题，研究人员提出了视频摘要生成技术，它通过分析一定长度的视频数据中信息的稀疏性，从原始视频数据中选取具有代表性的、有意义的部分，将它们以某种方式组合并生成紧凑的、用户可读的缩略数据，使用户在更短的时间内快速理解视频。根据视频摘要的生成形式，将基于关键帧的视频摘要称为静态视频摘要，将基于动态视觉信息的视频摘要称为动态视频摘要。
目前对视频摘要生成的研究主要分为无监督学习的生成方法和有监督学习的生成方法。无监督学习方法通过自定义直观的标准来挑选关键帧或关键镜头，进而组合成相应的视频摘要。其中聚类算法在近年来被广泛地运用于视频数据分析领域。对于基于无监督聚类的方法，其基本思想是通过将相似的帧/镜头聚类在一起，然后在每个聚类中选取特定数量的帧(通常每个聚类一帧)来产生摘要。对于这种方法，重点在于模型需要选择可以认为帧相似的特征(例如，颜色分布，亮度，运动矢量)，进而建立可用于测量相似性的不同标准。使用的聚类算法生成摘要所花费的时间大约是视频长度的数倍，这意味着用户需要等待一个小时，才能获得长度为十几分钟的视频的摘要简述。除此之外，由于聚类算法通常只关注视频帧的重要性程度，容易忽略掉视频的时域信息对摘要生成的影响。
有监督学习方法是利用人工编辑的摘要示例(或帧级重要性得分)来学习如何总结一个未知的视频。在识别实体(对象)，上下文(场景)及其交互(事件)方面，对视频语义的学习象征着更高的理解水平。有监督学习方法能准确地捕获视频帧的选择标准，并输出与人类对视频内容的语义理解更加一致的那些帧的子集。由于这种方法明确地从人工创建的摘要中学习，因此有监督的方法可以更好地拟合人类对输入视频进行总结的方式。有监督学习方法又可以分为传统机器学习方法和深度学习方法。传统机器学习方法使用手工制作的特征来学习模型，而深度学习则使用卷积神经网络(CNN)来提取深度特征，并随着学习的进行自动进行特征选择。如公开号CN104244113A的中国发明专利于2017年9月22日公开的一种基于深度学习技术的视频摘要生成方法。但以上两者都依赖于准确标记的数据集，但是由于深度学习技术开发端到端的学习模型需要大量的参数进行调整，因此需要大量的训练数据。这些通过有监督学习的方法获得的视频摘要在一些领域中具有较高的性能，但一些研究者一味追求模型的性能，使得模型的计算量大大增加；还有一些研究者的模型对呈现长镜头的视频的表征能力较强，但对呈现短镜头的视频无法很好地提炼主要内容；除此之外，大多数模型往往忽略了对冗余帧的判定和处理。
发明内容
本发明为克服现有的生成视频摘要的模型存在计算量大及忽略对冗余帧的判定和处理的技术缺陷，提供一种基于GRU网络的视频摘要生成方法与系统。
为解决上述技术问题，本发明的技术方案如下：
基于GRU网络的视频摘要生成方法，包括以下步骤：
S1：对输入的原始视频下采样并进行特征提取，生成视频帧序列；
S2：基于GRU网络的Seq2Seq模型对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；
S3：根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要。
上述方案中，通过在Seq2Seq模型中引入GRU网络单元，使模型在处理视频帧序列时能最大程度保留帧与帧之间的长距离影响因素，同时减少模型的参数，有效减少了模型的计算量；同时，使用非极大值抑制算法可以有效处理冗余帧，从而获取更具代表性的视频摘要。
其中，在所述步骤S1中，首先对原始视频进行进行下采样处理，再采用GoogLeNet网络提取每一帧的图片特征。
上述方案中，GoogLeNet是一种深度神经网络，通过引入inception结构，一定程度上减少了神经网络的层数，在相同的计算量下能提取到更多的特征，从而提升训练结果。GoogLeNet网络由5个卷积块、1层全连接层和1层softmax层组成。GoogLeNet网络用inception块取代了传统的卷积层。Inception块的引入，使得神经网络在相同尺寸的感受野中叠加更多的卷积，能提取到更丰富的特征。同时在卷积层中加入了多个1x1的卷积层，对模型起到降维作用，在保证结果精度不变的情况下减少计算量。在应用过程中，将新的图像通过训练好的卷积神经网络直到瓶颈层的过程可以看成是对图像进行特征提取的过程。因此，本方法将GoogLeNet网络最后一个卷积层的输出向量作为每一帧的特征向量。
上述方案中，为了进一步减少计算量，本方法中首先需要对视频数据进行下采样。由于相近的视频帧具有相近的特征，因此本方法从视频数据中抽取一部分帧作为模型的输入信息。为了权衡模型精度和计算量，本方法使用每秒保留2帧的下采样操作。
Seq2Seq模型被广泛应用于机器翻译，语音识别，文本摘要，问答系统等领域。Seq2Seq是一个编码器-解码器(Encoder-Decoder)结构的网络，它的输入是一个序列，输出也是一个序列。在编码器中，将序列转换成一个固定长度的中间向量，然后通过解码器将该中间向量转换成我们想要的序列输出出来。本模型的策略是将“获得每帧重要性得分”的任务类比成“机器翻译”的任务，将获取重要性得分过程按照机器翻译任务进行处理，从而简化了处理流程。
即使Seq2Seq非常适合处理序列数据，但它仍然存在一些弊端。编码器将输入编码为固定大小状态向量的过程实际上是一个信息“信息有损压缩”的过程，如果信息量越大，那么这个转化向量的过程对信息的损失就越大；同时序列长度的增加，意味着时间维度上的序列很长，Seq2Seq中的RNN网络在处理过长的序列时，若对当前状态有用的信息距当前状态的时间间隔较大，这些信息记录会变得模糊，导致在训练时出现梯度弥散问题且计算效率低下；除此之外，模型连接编码器和解码器的模块组件仅仅是一个固定大小的状态向量，这使得解码器无法直接去关注到输入信息的更多细节。
因此，在所述步骤S2中，对Seq2Seq模型进行了改进。所述Seq2Seq模型是一个编码器-解码器结构的网络，采用双向GRU网络连接编码器；采用注意力机制模型连接解码器；其中：
所述视频帧序列输入连接有双向GRU网络的编码器，生成上下文信息；
所述上下文信息输入带有注意力机制的解码器中，生成每一帧的重要性得分。
其中，在所述步骤S2中，所述双向GRU网络包括forward层和backward层，这两层共同连接着输出层，其中包含了6个共享权值W；生成上下文信息的过程具体为：
视频帧序列Z＝{F0,F1,F2,...,Fn-1}输入到双向GRU网络后，forward层从F0到Fn-1正向计算并保存当前帧之前各帧对当前帧的影响信息，backward层从Fn-1到F0反向计算并保存当前帧之后各帧对当前帧的影响信息；最后在每个时刻结合forward层和backward层的相应时刻输出的结果得到最终的输出；在编码器，当前节点在t时刻的输出为：
Figure BDA0002801038850000041
Figure BDA0002801038850000042
Figure BDA0002801038850000043
Figure BDA0002801038850000044
Figure BDA0002801038850000045
其中，xt表示节点的输入；ht-1表示节点的前一状态；fGRU()表示根据节点的输入和节点上一状态信息，使用GRU节点求得节点的当前状态信息；
Figure BDA0002801038850000046
和
Figure BDA0002801038850000047
分别表示forward层中t时刻节点的输出和当前状态信息；
Figure BDA0002801038850000048
和
Figure BDA0002801038850000049
分别表示backward层中t时刻节点的输出和当前状态信息；最后对两层的输出加权求和，并使用sigmoid函数对结果进行归一化，获得t时刻节点的总输出ot，即第t帧的上下文信息。
上述方案中，一般的GRU网络单元的重置门负责有针对性地记忆当前节点输入的信息，更新门负责调节上一隐藏状态信息的保留比例。在本发明中的编码器中使用GRU网络替代RNN网络，使得在训练GRU网络单元时，门控循环单元不会随时间而清除以前的信息，它会保留相关的信息并传递到下一个状态，因此在反向传播时，每一个过去状态的相应影响权重不会趋向于0，避免了梯度弥散问题。
虽然GRU网络的引入已经解决了编码器在训练中梯度弥散问题，但针对视频帧序列的特性，本方法需要进一步改进编码器。通过采用双向GRU网络作为获取视频帧重要性得分的编码器，能获取更优的重要性得分，不仅考虑了当前帧之前的视频帧对当前帧的影响，还考虑当前帧之后的视频帧对当前帧的影响，有效提高了编码器对视频帧上下文的表征能力。
其中，在所述步骤S2中，所述带有注意力机制的解码器根据在编码器获得的每个视频帧的上下文信息oi，结合解码器每个时刻的状态，求得下一时刻的注意力信息，即context向量；context向量反映了对当前视频帧最相关的信息，具体获得过程为：
Figure BDA0002801038850000051
Figure BDA0002801038850000052
其中，e(oi,sj)是相关度函数，衡量当前帧与解码器状态的相关度，采用的相关度函数是e(o,s)＝Xtanh(Yh+Zs)，X，Y，Z是模型参数；αi,j表示每一帧i对第j帧的注意力权重；计算得到context向量后，对解码器每一时刻的重要性得分p进行计算，j+1时刻的状态sj+1以及j+1时刻的重要性得分pj+2计算公式具体为：
sj+1＝fGRU(pj+1,concat(sj,contextj))；
pj+2＝sj+1；
其中，concat()表示将两个向量或矩阵进行拼接。
在现有Seq2Seq模型中，编码器将完整的输入句子压缩到一个维度固定的中间向量(通常是一维向量)中，然后解码器根据输入的中间向量，依次生成序列数据。当输入句子较长时，“有损压缩”的中间向量难以存储足够的信息。为了打破这个瓶颈，本方法结合注意力机制来对视频帧信息进行解码。
注意力机制主要应用于对神经机器翻译的优化中。注意力机制借鉴了人类视觉注意力的工作原理，从而在序列中筛选出重要性更高的部分作为当前节点输出的判断依据。在本方法中，注意力机制模块首先通过快速扫描全局视频帧，获得需要重点关注的几个目标帧，而后对这几个目标帧投入更多注意力资源，以获取更多对当前帧的重要性评判的信息，同时抑制其他的无用信息。
上述方案中，解码器除了加入注意力机制之外，为了减少参数的数量，编码器部分采用单层GRU网络。解码器通过将j时刻的状态sj和第j帧的注意力信息contextj拼接后作为j+1时刻的输入，解码器可以在解码的每一步查询最相关的原视频上下文信息，从而避免了现有Seq2Seq模型中的信息瓶颈问题。
其中，在所述步骤S3中，获取静态视频摘要的过程具体为：
S311：根据每一帧的重要性得分进行排序，得分高的在前；
S312：创建关键帧序列并清空，开始遍历第一帧；
S313：判断当前帧是否与所有的关键帧的相似度均低于阈值α；若是，执行步骤S314；否则执行步骤S315；
S314：判断当前帧与当前关键帧是否在时间上相近；若是，执行步骤S316；否则，执行步骤S315；
S315：将当前帧加入关键帧序列；
S316：判断帧序列是否已满，若是，执行步骤S317；否则，遍历序列中的下一帧，返回执行步骤S313；
S317：输出关键帧序列，将关键帧序列作为视频数据的静态视频摘要。
上述方案中，根据前一阶段得到的重要性得分，使用非极大值抑制算法(Non-Maximum Suppression，NMS)提取关键帧并去除冗余帧，然后按时间顺序组合，得到静态摘要序列(关键帧集合)，保证最终提取到的关键帧的得分总和尽可能高，并在不损失关键帧的前提下，减少提取到的关键帧的冗余度，提高召回率。
其中，在所述步骤S3中，获取动态视频摘要的过程具体为：
S321：使用KTS标记出原视频的镜头分割帧；
S322：创建关键镜头列表并清空；
S323：遍历关键帧序列，从第一个关键帧开始；
S324：找到当前关键帧的对应镜头，即当前镜头，并记录关键帧所在位置；
S325：判断当前镜头是否在关键镜头列表中，若是，执行步骤S327；否则，执行步骤S326；
S326：将当前镜头加入关键镜头列表；
S327：判断关键帧序列是否已遍历完；若是，执行步骤S328；否则，遍历下一个关键帧，返回执行步骤S324；
S328；遍历关键镜头列表，用非极大值抑制算法将关键镜头列表总时长限制在规定时间长度内，并使得镜头总得分最大化，生成动态视频摘要。
上述方案中，根据静态摘要生成模块得到的静态摘要序列和原始视频序列(已进行下采样)的对应关系，使用基于核的时域分割(kernel temporal segmentation，KTS)镜头检测算法获取关键帧对应的镜头，并且根据镜头中所有帧得分相加获得每个镜头的重要性得分，再根据非极大值抑制算法从镜头中提取关键镜头，按时间顺序组合后形成最后的动态摘要序列。
在基于GRU网络的视频摘要生成方法的基础上，构建基于GRU网络的视频摘要生成系统，包括特征提取模块、重要性得分生成模块和摘要生成模块；其中：
所述特征提取模块对输入的原始视频下采样并进行特征提取，生成视频帧序列；
所述重要性得分生成模块对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；
所述摘要生成模块根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要。
其中，在所述重要性得分生成模块中设置有Seq2Seq模型，所述Seq2Seq模型是一个编码器-解码器结构的网络，采用双向GRU网络连接编码器；采用注意力机制模型连接解码器；其中：
所述连接有双向GRU网络的编码器用于生成上下文信息；具体为：
所述双向GRU网络包括forward层和backward层，这两层共同连接着输出层，其中包含了6个共享权值W；视频帧序列Z＝{F0,F1,F2,...,Fn-1}输入到双向GRU网络后，forward层从F0到Fn-1正向计算并保存当前帧之前各帧对当前帧的影响信息，backward层从Fn-1到F0反向计算并保存当前帧之后各帧对当前帧的影响信息；最后在每个时刻结合forward层和backward层的相应时刻输出的结果得到最终的输出；在编码器，当前节点在t时刻的输出为：
Figure BDA0002801038850000071
Figure BDA0002801038850000072
Figure BDA0002801038850000073
Figure BDA0002801038850000074
Figure BDA0002801038850000075
其中，xt表示节点的输入；ht-1表示节点的前一状态；fGRU()表示根据节点的输入和节点上一状态信息，使用GRU节点求得节点的当前状态信息；
Figure BDA0002801038850000076
和
Figure BDA0002801038850000077
分别表示forward层中t时刻节点的输出和当前状态信息；
Figure BDA0002801038850000081
和
Figure BDA0002801038850000082
分别表示backward层中t时刻节点的输出和当前状态信息；最后对两层的输出加权求和，并使用sigmoid函数对结果进行归一化，获得t时刻节点的总输出ot，即第t帧的上下文信息；
所述带有注意力机制的解码器用于生成每一帧的重要性得分；具体为：
所述带有注意力机制的解码器根据在编码器获得的每个视频帧的上下文信息oi，结合解码器每个时刻的状态，求得下一时刻的注意力信息，即context向量；context向量反映了对当前视频帧最相关的信息，具体获得过程为：
Figure BDA0002801038850000083
Figure BDA0002801038850000084
其中，e(oi,sj)是相关度函数，衡量当前帧与解码器状态的相关度，采用的相关度函数是e(o,s)＝Xtanh(Yh+Zs)，X，Y，Z是模型参数；αi,j表示每一帧i对第j帧的注意力权重；计算得到context向量后，对解码器每一时刻的重要性得分p进行计算，j+1时刻的状态sj+1以及j+1时刻的重要性得分pj+2计算公式具体为：
sj+1＝fGRU(pj+1,concat(sj,contextj))；
pj+2＝sj+1；
其中，concat()表示将两个向量或矩阵进行拼接。
其中，在所述摘要生成模块中，获取静态视频摘要的过程具体为：
S311：根据每一帧的重要性得分进行排序，得分高的在前；
S312：创建关键帧序列并清空，开始遍历第一帧；
S313：判断当前帧是否与所有的关键帧的相似度均低于阈值α；若是，执行步骤S314；否则执行步骤S315；
S314：判断当前帧与当前关键帧是否在时间上相近；若是，执行步骤S316；否则，执行步骤S315；
S315：将当前帧加入关键帧序列；
S316：判断帧序列是否已满，若是，执行步骤S317；否则，遍历序列中的下一帧，返回执行步骤S313；
S317：输出关键帧序列，将关键帧序列作为视频数据的静态视频摘要。
其中，获取动态视频摘要的过程具体为：
S321：使用KTS标记出原视频的镜头分割帧；
S322：创建关键镜头列表并清空；
S323：遍历关键帧序列，从第一个关键帧开始；
S324：找到当前关键帧的对应镜头，即当前镜头，并记录关键帧所在位置；
S325：判断当前镜头是否在关键镜头列表中，若是，执行步骤S327；否则，执行步骤S326；
S326：将当前镜头加入关键镜头列表；
S327：判断关键帧序列是否已遍历完；若是，执行步骤S328；否则，遍历下一个关键帧，返回执行步骤S324；
S328；遍历关键镜头列表，用非极大值抑制算法将关键镜头列表总时长限制在规定时间长度内，并使得镜头总得分最大化，生成动态视频摘要。
上述方案中，本系统通过在重要性得分生成模块中引入GRU单元，减少神经网络的计算量，使得系统在训练和实际测试时具有更高的效率；在摘要生成模块中使用非极大值抑制算法，可以有效地减少在生成关键帧(关键镜头)时所夹杂的冗余帧，且提供了一种根据静态视频摘要和原始视频，生成动态视频摘要的方法。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供的一种基于GRU网络的视频摘要生成方法与系统，通过在Seq2Seq模型中引入GRU网络，使模型在处理视频帧序列时能最大程度保留帧与帧之间的长距离影响因素，同时减少模型的参数，有效减少了模型的计算量；使用非极大值抑制算法可以有效处理冗余帧，从而获取更具代表性的视频摘要；同时，提供了一种根据静态视频摘要和原始视频，生成动态视频摘要的方法。
附图说明
图1为本发明所述方法流程示意图；
图2为inception结构图；
图3为GRU网络结果示意图；(⊙表示点乘操作，⊕为相加操作)
图4为结合注意力机制的获取视频帧重要性得分的过程示意图；
图5为静态摘要生成模块流程图；
图6为动态摘要生成模块流程图；
图7为本发明所述系统模型结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，提供一种基于GRU网络的视频摘要生成方法，包括以下步骤：
S1：对输入的原始视频下采样并进行特征提取，生成视频帧序列；
S2：基于GRU网络的Seq2Seq模型对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；
S3：根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要。
在具体实施过程中，通过在Seq2Seq模型中引入GRU单元，使模型在处理视频帧序列时能最大程度保留帧与帧之间的长距离影响因素，同时减少模型的参数，有效减少了模型的计算量；同时，使用非极大值抑制算法可以有效处理冗余帧，从而获取更具代表性的视频摘要。
更具体的，在所述步骤S1中，首先对原始视频进行进行下采样处理，再采用GoogLeNet网络提取每一帧的图片特征。
在具体实施过程中，GoogLeNet是一种深度神经网络，通过引入inception结构，如图2所示，一定程度上减少了神经网络的层数，在相同的计算量下能提取到更多的特征，从而提升训练结果。GoogLeNet网络由5个卷积块、1层全连接层和1层softmax层组成。GoogLeNet网络用inception块取代了传统的卷积层。Inception块的引入，使得神经网络在相同尺寸的感受野中叠加更多的卷积，能提取到更丰富的特征。同时在卷积层中加入了多个1x1的卷积层，对模型起到降维作用，在保证结果精度不变的情况下减少计算量。在应用过程中，将新的图像通过训练好的卷积神经网络直到瓶颈层的过程可以看成是对图像进行特征提取的过程。因此，本方法将GoogLeNet网络最后一个卷积层的输出向量作为每一帧的特征向量。
在具体实施过程中，为了进一步减少计算量，本方法中首先需要对视频数据进行下采样。由于相近的视频帧具有相近的特征，因此本方法从视频数据中抽取一部分帧作为模型的输入信息。为了权衡模型精度和计算量，本方法使用每秒保留2帧的下采样操作。
更具体的，Seq2Seq模型被广泛应用于机器翻译，语音识别，文本摘要，问答系统等领域。Seq2Seq是一个编码器-解码器(Encoder-Decoder)结构的网络，它的输入是一个序列，输出也是一个序列。在编码器中，将序列转换成一个固定长度的中间向量，然后通过解码器将该中间向量转换成我们想要的序列输出出来。本模型的策略是将“获得每帧重要性得分”的任务类比成“机器翻译”的任务，将获取重要性得分过程按照机器翻译任务进行处理，从而简化了处理流程，具体类比情况如表1。
其中Z＝{F0,F1,F2,...,Fn-1}是在上一步中由GoogLeNet网络提取到的各帧图片特征向量组成的序列。从表1可以看出，机器翻译任务和获取各帧重要性得分过程具有相似的数据状况、输入和输出，因此，本模型把获取各帧重要性得分过程看作是机器翻译任务，采用Seq2Seq模型计算并获得视频帧的重要性得分，最终输出视频帧的重要性得分序列Z'＝{S0,S1,S2,...,Sn-1}，其中Si,i∈(0,n-1)表示第i帧的重要性得分。
表1机器翻译任务和获取各帧重要性得分过程的对比表
Figure BDA0002801038850000111
即使Seq2Seq非常适合处理序列数据，但它仍然存在一些弊端。编码器将输入编码为固定大小状态向量的过程实际上是一个信息“信息有损压缩”的过程，如果信息量越大，那么这个转化向量的过程对信息的损失就越大；同时序列长度的增加，意味着时间维度上的序列很长，Seq2Seq中的RNN网络在处理过长的序列时，若对当前状态有用的信息距当前状态的时间间隔较大，这些信息记录会变得模糊，导致在训练时出现梯度弥散问题且计算效率低下；除此之外，模型连接编码器和解码器的模块组件仅仅是一个固定大小的状态向量，这使得解码器无法直接去关注到输入信息的更多细节，因此，在所述步骤S2中，对Seq2Seq模型进行了改进。
实施例2
更具体的，在实施例1的基础上，由于视频帧序列通常较长(对于一个30fps且长度为5分钟的视频数据若不进行下采样，视频帧序列长度会达到9000)，远远超出标准RNN网络的计算能力范围，因此本模型需要使用更高效率的结构替代RNN。
GRU(Gate Recurrent Unit)是一种循环神经网络(Recurrent Neural Network,RNN)的变体结构，旨在提高机器翻译系统的性能。GRU单元主要的工作过程就是搭建和控制重置门(reset gate)和更新门(update gate)来处理当前节点的上一状态数据和输入数据。GRU网络解决了标准RNN网络中存在的长期记忆和反向传播中的梯度弥散问题，同时相比于同样是RNN变体结构的LSTM，GRU具有更高的计算效率。
如图3所示，图3展示了一个GRU单元的内部结构。图中ht-1表示节点的前一状态，xt表示节点的输入，ht表示节点的当前状态，yt表示节点的输出。GRU的工作过程分为三步：
首先，根据当前节点的输入xt和当前节点的上一个状态ht-1来获取两个门控状态r和u，该过程由下列公式得出：
r＝σ(Wrconcat(xt,ht-1))；
u＝σ(Wuconcat(xt,ht-1))；
其中concat()表示将两个向量或矩阵进行拼接，Wr和Wu是需要训练的权重参数，σ()表示使用sigmoid函数归一化，r表示重置门信息，u表示更新门信息。
在具体实施过程中，一般的GRU网络单元的重置门负责有针对性地记忆当前节点输入的信息，更新门负责调节上一隐藏状态信息的保留比例。在本发明中的编码器中使用GRU网络替代RNN网络，使得在训练GRU网络时，门控循环单元不会随时间而清除以前的信息，它会保留相关的信息并传递到下一个状态，因此在反向传播时，每一个过去状态的相应影响权重不会趋向于0，避免了梯度弥散问题。
虽然GRU网络的引入已经解决了编码器在训练中梯度弥散问题，但针对视频帧序列的特性，本方法需要进一步改进编码器。通过采用双向GRU网络作为获取视频帧重要性得分的编码器，能获取更优的重要性得分，不仅考虑了当前帧之前的视频帧对当前帧的影响，还考虑当前帧之后的视频帧对当前帧的影响，有效提高了编码器对视频帧上下文的表征能力。
更具体的，在所述步骤S2中，所述双向GRU网络包括forward层和backward层，这两层共同连接着输出层，其中包含了6个共享权值W；生成上下文信息的过程具体为：
视频帧序列Z＝{F0,F1,F2,...,Fn-1}输入到双向GRU网络后，forward层从F0到Fn-1正向计算并保存当前帧之前各帧对当前帧的影响信息，backward层从Fn-1到F0反向计算并保存当前帧之后各帧对当前帧的影响信息；最后在每个时刻结合forward层和backward层的相应时刻输出的结果得到最终的输出；在编码器，当前节点在t时刻的输出为：
Figure BDA0002801038850000131
Figure BDA0002801038850000132
Figure BDA0002801038850000133
Figure BDA0002801038850000134
Figure BDA0002801038850000135
其中，xt表示节点的输入；ht-1表示节点的前一状态；fGRU()表示根据节点的输入和节点上一状态信息，使用GRU节点求得节点的当前状态信息；
Figure BDA0002801038850000136
和
Figure BDA0002801038850000137
分别表示forward层中t时刻节点的输出和当前状态信息；
Figure BDA0002801038850000138
和
Figure BDA0002801038850000139
分别表示backward层中t时刻节点的输出和当前状态信息；最后对两层的输出加权求和，并使用sigmoid函数对结果进行归一化，获得t时刻节点的总输出ot，即第t帧的上下文信息。
更具体的，在现有Seq2Seq模型中，编码器将完整的输入句子压缩到一个维度固定的中间向量(通常是一维向量)中，然后解码器根据输入的中间向量，依次生成序列数据。当输入句子较长时，“有损压缩”的中间向量难以存储足够的信息。为了打破这个瓶颈，本方法结合注意力机制来对视频帧信息进行解码。
注意力机制主要应用于对神经机器翻译的优化中。注意力机制借鉴了人类视觉注意力的工作原理，从而在序列中筛选出重要性更高的部分作为当前节点输出的判断依据。在本方法中，注意力机制模块首先通过快速扫描全局视频帧，获得需要重点关注的几个目标帧，而后对这几个目标帧投入更多注意力资源，以获取更多对当前帧的重要性评判的信息，同时抑制其他的无用信息。
更具体的，如图4所示，在所述步骤S2中，所述带有注意力机制的解码器根据在编码器获得的每个视频帧的上下文信息oi，结合解码器每个时刻的状态，求得下一时刻的注意力信息，即context向量；context向量反映了对当前视频帧最相关的信息，具体获得过程为：
Figure BDA0002801038850000141
Figure BDA0002801038850000142
其中，e(oi,sj)是相关度函数，衡量当前帧与解码器状态的相关度，采用的相关度函数是e(o,s)＝Xtanh(Yh+Zs)，X，Y，Z是模型参数；αi,j表示每一帧i对第j帧的注意力权重；计算得到context向量后，对解码器每一时刻的重要性得分p进行计算，j+1时刻的状态sj+1以及j+1时刻的重要性得分pj+2计算公式具体为：
sj+1＝fGRU(pj+1,concat(sj,contextj))；
pj+2＝sj+1；
其中，concat()表示将两个向量或矩阵进行拼接。
在具体实施过程中，解码器除了加入注意力机制之外，为了减少参数的数量，编码器部分采用单层GRU网络。解码器通过将j时刻的状态sj和第j帧的注意力信息contextj拼接后作为j+1时刻的输入，解码器可以在解码的每一步查询最相关的原视频上下文信息，从而避免了现有Seq2Seq模型中的信息瓶颈问题。
实施例3
进一步的，根据前一阶段得到的重要性得分，使用非极大值抑制算法(Non-Maximum Suppression，NMS)提取关键帧并去除冗余帧，然后按时间顺序组合，得到静态摘要序列(关键帧集合)，保证最终提取到的关键帧的得分总和尽可能高，并在不损失关键帧的前提下，减少提取到的关键帧的冗余度，提高召回率。具体过程如图5所示。
进一步的，最终输出的关键帧序列即为视频数据的静态摘要。根据静态摘要生成模块得到的静态摘要序列和原始视频序列(已进行下采样)的对应关系，使用基于核的时域分割(kernel temporal segmentation，KTS)镜头检测算法获取关键帧对应的镜头，并且根据镜头中所有帧得分相加获得每个镜头的重要性得分，再根据非极大值抑制算法从镜头中提取关键镜头，按时间顺序组合后形成最后的动态摘要序列。具体流程如图6所示。
在具体实施过程中，本方法通过在重要性得分生成模块中引入GRU单元，减少神经网络的计算量，使得在训练和实际测试时具有更高的效率；在摘要生成模块中使用非极大值抑制算法，可以有效地减少在生成关键帧(关键镜头)时所夹杂的冗余帧，且提供了一种根据静态视频摘要和原始视频，生成动态视频摘要的方法。
实施例4
更具体的，如图7所示，在基于GRU网络的视频摘要生成方法的基础上，本发明还构建一种基于GRU网络的视频摘要生成系统，包括特征提取模块、重要性得分生成模块和摘要生成模块；其中：
所述特征提取模块对输入的原始视频下采样并进行特征提取，生成视频帧序列；
所述重要性得分生成模块对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；
所述摘要生成模块根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要。
更具体的，在所述重要性得分生成模块中设置有Seq2Seq模型，所述Seq2Seq模型是一个编码器-解码器结构的网络，采用双向GRU网络连接编码器；采用注意力机制模型连接解码器；其中：
所述连接有双向GRU网络的编码器用于生成上下文信息；具体为：
所述双向GRU网络包括forward层和backward层，这两层共同连接着输出层，其中包含了6个共享权值W；视频帧序列Z＝{F0,F1,F2,...,Fn-1}输入到双向GRU网络后，forward层从F0到Fn-1正向计算并保存当前帧之前各帧对当前帧的影响信息，backward层从Fn-1到F0反向计算并保存当前帧之后各帧对当前帧的影响信息；最后在每个时刻结合forward层和backward层的相应时刻输出的结果得到最终的输出；在编码器，当前节点在t时刻的输出为：
Figure BDA0002801038850000161
Figure BDA0002801038850000162
Figure BDA0002801038850000163
Figure BDA0002801038850000164
Figure BDA0002801038850000165
其中，xt表示节点的输入；ht-1表示节点的前一状态；fGRU()表示根据节点的输入和节点上一状态信息，使用GRU节点求得节点的当前状态信息；
Figure BDA0002801038850000166
和
Figure BDA0002801038850000167
分别表示forward层中t时刻节点的输出和当前状态信息；
Figure BDA0002801038850000168
和
Figure BDA0002801038850000169
分别表示backward层中t时刻节点的输出和当前状态信息；最后对两层的输出加权求和，并使用sigmoid函数对结果进行归一化，获得t时刻节点的总输出ot，即第t帧的上下文信息；
所述带有注意力机制的解码器用于生成每一帧的重要性得分；具体为：
所述带有注意力机制的解码器根据在编码器获得的每个视频帧的上下文信息oi，结合解码器每个时刻的状态，求得下一时刻的注意力信息，即context向量；context向量反映了对当前视频帧最相关的信息，具体获得过程为：
Figure BDA00028010388500001610
Figure BDA00028010388500001611
其中，e(oi,sj)是相关度函数，衡量当前帧与解码器状态的相关度，采用的相关度函数是e(o,s)＝Xtanh(Yh+Zs)，X，Y，Z是模型参数；αi,j表示每一帧i对第j帧的注意力权重；计算得到context向量后，对解码器每一时刻的重要性得分p进行计算，j+1时刻的状态sj+1以及j+1时刻的重要性得分pj+2计算公式具体为：
sj+1＝fGRU(pj+1,concat(sj,contextj))；
pj+2＝sj+1；
其中，concat()表示将两个向量或矩阵进行拼接。
更具体的，在所述摘要生成模块中，获取静态视频摘要的过程具体为：
S311：根据每一帧的重要性得分进行排序，得分高的在前；
S312：创建关键帧序列并清空，开始遍历第一帧；
S313：判断当前帧是否与所有的关键帧的相似度均低于阈值α；若是，执行步骤S314；否则执行步骤S315；
S314：判断当前帧与当前关键帧是否在时间上相近；若是，执行步骤S316；否则，执行步骤S315；
S315：将当前帧加入关键帧序列；
S316：判断帧序列是否已满，若是，执行步骤S317；否则，遍历序列中的下一帧，返回执行步骤S313；
S317：输出关键帧序列，将关键帧序列作为视频数据的静态视频摘要。
更具体的，获取动态视频摘要的过程具体为：
S321：使用KTS标记出原视频的镜头分割帧；
S322：创建关键镜头列表并清空；
S323：遍历关键帧序列，从第一个关键帧开始；
S324：找到当前关键帧的对应镜头，即当前镜头，并记录关键帧所在位置；
S325：判断当前镜头是否在关键镜头列表中，若是，执行步骤S327；否则，执行步骤S326；
S326：将当前镜头加入关键镜头列表；
S327：判断关键帧序列是否已遍历完；若是，执行步骤S328；否则，遍历下一个关键帧，返回执行步骤S324；
S328；遍历关键镜头列表，用非极大值抑制算法将关键镜头列表总时长限制在规定时间长度内，并使得镜头总得分最大化，生成动态视频摘要。
在具体实施过程中，本系统通过在重要性得分生成模块中引入GRU单元，减少神经网络的计算量，使得系统在训练和实际测试时具有更高的效率；在摘要生成模块中使用非极大值抑制算法，可以有效地减少在生成关键帧(关键镜头)时所夹杂的冗余帧，且提供了一种根据静态视频摘要和原始视频，生成动态视频摘要的方法。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.基于GRU网络的视频摘要生成方法，其特征在于，包括以下步骤：
S1：对输入的原始视频下采样并进行特征提取，生成视频帧序列；
S2：基于GRU网络的Seq2Seq模型对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；
所述Seq2Seq模型是一个编码器-解码器结构的网络，采用双向GRU网络连接编码器；采用注意力机制模型连接解码器；其中：
所述视频帧序列输入连接有双向GRU网络的编码器，生成上下文信息；
所述上下文信息输入带有注意力机制的解码器中，生成每一帧的重要性得分；
所述双向GRU网络包括forward层和backward层，这两层共同连接着输出层，其中包含了6个共享权值W；生成上下文信息的过程具体为：
视频帧序列Z＝{F0,F1,F2,...,Fn-1}输入到双向GRU网络后，forward层从F0到Fn-1正向计算并保存当前帧之前各帧对当前帧的影响信息，backward层从Fn-1到F0反向计算并保存当前帧之后各帧对当前帧的影响信息；最后在每个时刻结合forward层和backward层的相应时刻输出的结果得到最终的输出；在编码器，当前节点在t时刻的输出为：
其中，xt表示节点的输入；ht-1表示节点的前一状态；fGRU()表示根据节点的输入和节点上一状态信息，使用GRU节点求得节点的当前状态信息；和分别表示forward层中t时刻节点的输出和当前状态信息；和分别表示backward层中t时刻节点的输出和当前状态信息；最后对两层的输出加权求和，并使用sigmoid函数对结果进行归一化，获得t时刻节点的总输出ot，即第t帧的上下文信息；
所述带有注意力机制的解码器根据在编码器获得的每个视频帧的上下文信息oi，结合解码器每个时刻的状态，求得下一时刻的注意力信息，即context向量；context向量反映了对当前视频帧最相关的信息，具体获得过程为：
其中，e(oi,sj)是相关度函数，衡量当前帧与解码器状态的相关度，采用的相关度函数是e(o,s)＝Xtanh(Yh+Zs)，X，Y，Z是模型参数；αi,j表示每一帧i对第j帧的注意力权重；计算得到context向量后，对解码器每一时刻的重要性得分p进行计算，j+1时刻的状态sj+1以及j+1时刻的重要性得分pj+2计算公式具体为：
sj+1＝fGRU(pj+1,concat(sj,contextj))；
pj+2＝sj+1；
其中，concat()表示将两个向量或矩阵进行拼接；
S3：根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要；
获取静态视频摘要的过程具体为：
S311：根据每一帧的重要性得分进行排序，得分高的在前；
S312：创建关键帧序列并清空，开始遍历第一帧；
S313：判断当前帧是否与所有的关键帧的相似度均低于阈值α；若是，执行步骤S314；否则执行步骤S315；
S314：判断当前帧与当前关键帧是否在时间上相近；若是，执行步骤S316；否则，执行步骤S315；
S315：将当前帧加入关键帧序列；
S316：判断帧序列是否已满，若是，执行步骤S317；否则，遍历序列中的下一帧，返回执行步骤S313；
S317：输出关键帧序列，将关键帧序列作为视频数据的静态视频摘要；
获取动态视频摘要的过程具体为：
S321：使用KTS标记出原视频的镜头分割帧；
S322：创建关键镜头列表并清空；
S323：遍历关键帧序列，从第一个关键帧开始；
S324：找到当前关键帧的对应镜头，即当前镜头，并记录关键帧所在位置；
S325：判断当前镜头是否在关键镜头列表中，若是，执行步骤S327；否则，执行步骤S326；
S326：将当前镜头加入关键镜头列表；
S327：判断关键帧序列是否已遍历完；若是，执行步骤S328；否则，遍历下一个关键帧，返回执行步骤S324；
S328；遍历关键镜头列表，用非极大值抑制算法将关键镜头列表总时长限制在规定时间长度内，并使得镜头总得分最大化，生成动态视频摘要。
2.根据权利要求1所述的基于GRU网络的视频摘要生成方法，其特征在于，在所述步骤S1中，首先对原始视频进行下采样处理，再采用GoogLeNe网络提取每一帧的图片特征。
3.基于GRU网络的视频摘要生成系统，其特征在于，包括特征提取模块、重要性得分生成模块和摘要生成模块；其中：
所述特征提取模块对输入的原始视频下采样并进行特征提取，生成视频帧序列；
所述重要性得分生成模块对视频帧序列进行分析并捕捉视频序列的上下文信息，生成每一帧的重要性得分；
所述摘要生成模块根据重要性得分结果，使用非极大值抑制算法提取关键帧并去除冗余帧，获取静态视频摘要和动态视频摘要；
在所述重要性得分生成模块中设置有Seq2Seq模型，所述Seq2Seq模型是一个编码器-解码器结构的网络，采用双向GRU网络连接编码器；采用注意力机制模型连接解码器；其中：
所述连接有双向GRU网络的编码器用于生成上下文信息；具体为：
所述双向GRU网络包括forward层和backward层，这两层共同连接着输出层，其中包含了6个共享权值W；视频帧序列Z＝{F0,F1,F2,...,Fn-1}输入到双向GRU网络后，forward层从F0到Fn-1正向计算并保存当前帧之前各帧对当前帧的影响信息，backward层从Fn-1到F0反向计算并保存当前帧之后各帧对当前帧的影响信息；最后在每个时刻结合forward层和backward层的相应时刻输出的结果得到最终的输出；在编码器，当前节点在t时刻的输出为：
其中，xt表示节点的输入；ht-1表示节点的前一状态；fGRU()表示根据节点的输入和节点上一状态信息，使用GRU节点求得节点的当前状态信息；和分别表示forward层中t时刻节点的输出和当前状态信息；和分别表示backward层中t时刻节点的输出和当前状态信息；最后对两层的输出加权求和，并使用sigmoid函数对结果进行归一化，获得t时刻节点的总输出ot，即第t帧的上下文信息；
所述带有注意力机制的解码器用于生成每一帧的重要性得分；具体为：
所述带有注意力机制的解码器根据在编码器获得的每个视频帧的上下文信息oi，结合解码器每个时刻的状态，求得下一时刻的注意力信息，即context向量；context向量反映了对当前视频帧最相关的信息，具体获得过程为：
其中，e(oi,sj)是相关度函数，衡量当前帧与解码器状态的相关度，采用的相关度函数是e(o,s)＝Xtanh(Yh+Zs)，X，Y，Z是模型参数；αi,j表示每一帧i对第j帧的注意力权重；计算得到context向量后，对解码器每一时刻的重要性得分p进行计算，j+1时刻的状态sj+1以及j+1时刻的重要性得分pj+2计算公式具体为：
sj+1＝fGRU(pj+1,concat(sj,contextj))；
pj+2＝sj+1；
其中，concat()表示将两个向量或矩阵进行拼接；
在所述摘要生成模块中，获取静态视频摘要的过程具体为：
S311：根据每一帧的重要性得分进行排序，得分高的在前；
S312：创建关键帧序列并清空，开始遍历第一帧；
S313：判断当前帧是否与所有的关键帧的相似度均低于阈值α；若是，执行步骤S314；否则执行步骤S315；
S314：判断当前帧与当前关键帧是否在时间上相近；若是，执行步骤S316；否则，执行步骤S315；
S315：将当前帧加入关键帧序列；
S316：判断帧序列是否已满，若是，执行步骤S317；否则，遍历序列中的下一帧，返回执行步骤S313；
S317：输出关键帧序列，将关键帧序列作为视频数据的静态视频摘要；
获取动态视频摘要的过程具体为：
S321：使用KTS标记出原视频的镜头分割帧；
S322：创建关键镜头列表并清空；
S323：遍历关键帧序列，从第一个关键帧开始；
S324：找到当前关键帧的对应镜头，即当前镜头，并记录关键帧所在位置；
S325：判断当前镜头是否在关键镜头列表中，若是，执行步骤S327；否则，执行步骤S326；
S326：将当前镜头加入关键镜头列表；
S327：判断关键帧序列是否已遍历完；若是，执行步骤S328；否则，遍历下一个关键帧，返回执行步骤S324；
S328；遍历关键镜头列表，用非极大值抑制算法将关键镜头列表总时长限制在规定时间长度内，并使得镜头总得分最大化，生成动态视频摘要。
CN202011349745.0A 2020-11-26 2020-11-26 基于gru网络的视频摘要生成方法与系统 Active CN112468888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011349745.0A CN112468888B (zh) 2020-11-26 2020-11-26 基于gru网络的视频摘要生成方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011349745.0A CN112468888B (zh) 2020-11-26 2020-11-26 基于gru网络的视频摘要生成方法与系统

Publications (2)

Publication Number Publication Date
CN112468888A CN112468888A (zh) 2021-03-09
CN112468888B true CN112468888B (zh) 2023-04-07

Family

ID=74808778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011349745.0A Active CN112468888B (zh) 2020-11-26 2020-11-26 基于gru网络的视频摘要生成方法与系统

Country Status (1)

Country Link
CN (1) CN112468888B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301332B (zh) * 2021-04-12 2024-06-21 阿里巴巴创新公司 视频解码方法、系统和介质
CN113052149B (zh) * 2021-05-20 2021-08-13 平安科技（深圳）有限公司 视频摘要生成方法、装置、计算机设备及介质
CN113505266B (zh) * 2021-07-09 2023-09-26 南京邮电大学 两阶段的anchor-based动态视频摘要方法
CN114511813B (zh) * 2022-04-20 2022-06-28 天津市城市规划设计研究总院有限公司 视频语义描述方法及装置
CN114979801A (zh) * 2022-05-10 2022-08-30 上海大学 基于双向卷积长短期记忆网络的动态视频摘要算法及系统
CN115442660B (zh) * 2022-08-31 2023-05-19 杭州影象官科技有限公司 自监督对抗视频摘要提取方法、装置、设备和存储介质
CN115695950B (zh) * 2023-01-04 2023-03-28 石家庄铁道大学 一种基于内容感知的视频摘要生成方法
CN116069973B (zh) * 2023-04-04 2023-06-06 石家庄铁道大学 一种基于语义自挖掘的视频摘要生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417498B2 (en) * 2016-12-30 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Method and system for multi-modal fusion model
CN108470077B (zh) * 2018-05-28 2023-07-28 广东工业大学 一种视频关键帧提取方法、系统及设备和存储介质
CN109977220B (zh) * 2019-04-09 2024-01-30 中通服公众信息产业股份有限公司 一种基于关键句和关键字的反向生成摘要的方法
CN110110140A (zh) * 2019-04-19 2019-08-09 天津大学 基于注意力扩展编解码网络的视频摘要方法
CN110032638B (zh) * 2019-04-19 2021-04-13 中山大学 一种基于编码器-解码器的生成式摘要提取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法

Also Published As

Publication number Publication date
CN112468888A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112468888B (zh) 基于gru网络的视频摘要生成方法与系统
Yao et al. Describing videos by exploiting temporal structure
CN111523410B (zh) 一种基于注意力机制的视频显著性目标检测方法
Cong et al. Towards scalable summarization of consumer videos via sparse dictionary selection
CN110097028B (zh) 基于三维金字塔图像生成网络的人群异常事件检测方法
CN108921032B (zh) 一种新的基于深度学习模型的视频语义提取方法
Wang et al. Multiscale deep alternative neural network for large-scale video classification
Bilkhu et al. Attention is all you need for videos: Self-attention based video summarization using universal transformers
CN112200096B (zh) 基于压缩视频实现实时异常行为识别的方法、装置及其存储介质
Cai et al. Video based emotion recognition using CNN and BRNN
CN113343941A (zh) 一种基于互信息相似度的零样本动作识别方法及系统
An Pedestrian Re‐Recognition Algorithm Based on Optimization Deep Learning‐Sequence Memory Model
CN113014923B (zh) 一种基于压缩域表征运动向量的行为识别方法
Li et al. Fire flame image detection based on transfer learning
CN112560668A (zh) 一种基于场景先验知识的人体行为识别方法
Sun et al. Weak supervised learning based abnormal behavior detection
Xin et al. Recurrent temporal sparse autoencoder for attention-based action recognition
Sudhakaran et al. Top-down attention recurrent VLAD encoding for action recognition in videos
CN116128998A (zh) 一种多路并行的文本到图像生成方法和系统
Zhu Video captioning in compressed video
Khan et al. Semantic analysis of news based on the deep convolution neural network
Zhang et al. Laboratory behavior detection method based on improved Yolov5 model
Rahnama et al. Adaptive frame selection in two dimensional convolutional neural network action recognition
CN112016540B (zh) 一种基于静态图像的行为识别方法
CN115442660B (zh) 自监督对抗视频摘要提取方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant