CN108073902A - 基于深度学习的视频总结方法、装置及终端设备 - Google Patents
基于深度学习的视频总结方法、装置及终端设备 Download PDFInfo
- Publication number
- CN108073902A CN108073902A CN201711374076.0A CN201711374076A CN108073902A CN 108073902 A CN108073902 A CN 108073902A CN 201711374076 A CN201711374076 A CN 201711374076A CN 108073902 A CN108073902 A CN 108073902A
- Authority
- CN
- China
- Prior art keywords
- video
- mrow
- msub
- paragraph
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于强化学习和深度学习的视频总结和概要方法，包括：将目标视频分段，得到多个视频段落；分别对每个视频段落的各个视频帧提取特征向量；针对每个视频段落，将视频帧的特征向量作为输入投入预训练好的深度神经网络，得到输出的每一帧对应的概率值；针对每个视频段落，根据视频段落所有视频帧对应的概率值计算视频段落的重要性值；在保证选取出的视频段落总时长占目标视频总时长的比例小于或等于预设比例阈值的前提下，从多个视频段落中选取重要性值较大的若干个视频段落；对选取出的视频段落进行整理，得到视频总结；定义关于视频总结代表性和多样性的奖励函数，并利用强化学习方法，实现基于非监督和监督数据的深度网络训练。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于深度学习的视频总结方法、装置及终端设备。
背景技术
在现如今网络发达的时代，视频网站上的网络视频层出不穷，同时视频往往时间跨度比较长，给用户的快速浏览造成了一定的障碍，这是因为用户无法在有限的时间内完整浏览大量的网络视频。为了方便用户在观看完整视频之前短时间内了解视频的大概内容，寻找一种对视频快速实现视频总结的方法成为本领域技术人员的重要研究课题。
发明内容
本发明实施例提供了一种基于深度学习的视频总结方法、装置及终端设备，能够实现对视频的快速总结，极大方便用户在观看完整视频之前短时间内了解视频的大概内容。
第一方面，提供了一种基于深度学习的视频总结方法，包括：
将目标视频分段，得到多个视频段落；
采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；
针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；
针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；
在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；
对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。
可选地，所述深度神经网络通过以下步骤进行预先训练：
采用预训练好的深度卷积网络模型对用于训练的样本视频的各个视频帧提取特征向量；
将所述样本视频所有视频帧对应的特征向量作为输入投入所述深度神经网络，得到输出的所述样本视频每一帧对应的概率值；
基于输出的概率值，采用伯努利分布对所述样本视频的视频帧进行采样，得到采样的行为值；
根据所述采样的行为值将选中的视频帧提取并整理得到所述样本视频的视频总结；
采用预设的奖励函数对所述样本视频的视频总结进行质量评估，得到评估的奖励值，其中，奖励值越大，则代表所述样本视频的视频总结质量越高；
根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求。
可选地，所述奖励函数R表示为：
R＝Rdiv+Rrep；
所述Rdiv和Rrep分别为多样性评估函数和代表性评估函数，多样性评估函数Rdiv表示为：
代表性评估函数Rrep表示为：
其中，xt表示每个视频帧的特征向量，t＝1,2,…,T，T表示视频帧的总长度，Y＝{y1，y2,…,|Y|}表示选中的视频帧的位置下标集，非相似度函数d表示为：
可选地，还包括：
在计算非相似度函数d时，若两视频帧之间相距的长度t超过预设的距离阈值，则直接设置所述两视频帧对应的非相似度函数d的计算结果等于1。
可选地，所述目标函数J表示为：
J(ω)＝E[R]；
其中，w是所述深度神经网络里需要训练的参数，R是所述奖励函数计算出来的奖励值；
根据所述目标函数计算相对于w的梯度值为：
其中，N是所述深度神经网络对训练的样本视频模拟的次数，T表示视频帧的总长度，b是由移动平均的R计算得出的基准线，πw表示所述深度神经网络，at表示由伯努利分布生成的行为值，为0或者1；
所述根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求具体为：
根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值。
可选地，所述根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求具体为：
根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值并且减少损失函数L的值；
所述损失函数L表示为：
其中，pt表示所述深度神经网络对t帧所预测的概率，ε表示所述选中的视频帧占所述样本视频的长度比例。
第二方面，提供了一种基于深度学习的视频总结装置，包括：
分段模块，用于将目标视频分段，得到多个视频段落；
特征向量提取模块，用于采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；
概率预测模块，用于针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；
重要性计算模块，用于针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；
视频段落选取模块，用于在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；
视频总结模块，用于对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。
可选地，所述深度神经网络通过以下模块进行预先训练：
提取模块，用于采用预训练好的深度卷积网络模型对用于训练的样本视频的各个视频帧提取特征向量；
神经网络投入模块，用于将所述样本视频所有视频帧对应的特征向量作为输入投入所述深度神经网络，得到输出的所述样本视频每一帧对应的概率值；
行为值采样模块，用于基于输出的概率值，采用伯努利分布对所述样本视频的视频帧进行采样，得到采样的行为值；
视频帧整理模块，用于根据所述采样的行为值将选中的视频帧提取并整理得到所述样本视频的视频总结；
质量评估模块，用于采用预设的奖励函数对所述样本视频的视频总结进行质量评估，得到评估的奖励值，其中，奖励值越大，则代表所述样本视频的视频总结质量越高；
优化训练模块，用于根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求。
第三方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于深度学习的视频总结方法的步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的视频总结方法的步骤。
第五方面，提供了一种基于深度学习的视频总结系统，其特征在于，包括上述的基于深度学习的视频总结装置。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，首先，将目标视频分段，得到多个视频段落；然后采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；接着，针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；再之，针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；之后，在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；最后，对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。在本发明实施例中，可以利用预训练好的深度卷积网络模型和深度神经网络，得出各个视频段落每一帧对应的概率值，从而计算各个视频段落的重要性值，然后从多个视频段落中选取出重要性值较大的若干个视频段落，并且需要保证选取出的视频段落总时长不超过目标视频的一定比例。可见，选取出的这些视频段落可以用于代表目标视频在内容上的概括，因此整理可得到该目标视频的视频总结，实现了对视频的快速总结，极大方便用户在观看完整视频之前短时间内了解视频的大概内容。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于深度学习的视频总结方法一个实施例流程图；
图2为本发明实施例中一种基于深度学习的视频总结方法在一个应用场景下预先训练深度神经网络的流程示意图；
图3为本发明实施例中一种基于深度学习的视频总结装置一个实施例结构图；
图4为本发明一实施例提供的终端设备的示意图。
具体实施方式
本发明实施例提供了一种基于深度学习的视频总结方法、装置及终端设备，用于解决如何对视频快速实现视频总结的问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种基于深度学习的视频总结方法一个实施例包括：
101、将目标视频分段，得到多个视频段落；
本实施例中，在对目标视频进行视频总结时，需要运用视频分段方法将目标视频分段，得到多个视频段落。可知，步骤101中分段后得到的各个视频段落可以长度相同，也可以长度各不相同，此处不作限定。
102、采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；
本实施例中的深度卷积网络模型是用来对每个视频帧提取特征向量的，该深度卷积网络模型可以是预先训练好的GoogLeNet、AlexNet，VGGNet，和ResNet等模型。
103、针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值；
在每个所述视频段落所有视频帧都提取特征向量之后，可以针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率。
其中，上述的深度神经网络具体可以是卷积神经网络或递归神经网络。该递归神经网络可以具体采用LSTM(Long Short-Term Memory)，也可以采用其他高性能网络替代，例如GRU(Gated Recurrent Unit)。
该深度神经网络训练时的输入为视频帧对应的特征向量，输出为这些视频帧对应的概率值。因此，在测试阶段，可以将所述视频段落所有视频帧对应的特征向量作为输入投入该深度神经网络，得到输出的所述视频段落每一帧对应的概率值。
需要说明的是，该深度神经网络在执行本实施例的方法之前已预先训练完成，其训练过程将在下述内容中详细描述。
104、针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；
具体地，所述重要性值可以等于所述视频段落所有视频帧对应的概率值的均值，在本实施例中，视频帧对应的概率值作为对视频帧的关键性的评估值。因此，概率值越大，则相应的视频帧在该视频段落中越关键、重要。
105、在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；
可以理解的是，在进行视频总结时，由于视频总结是目标视频的内容概要，因此其长度必然要求较短，这样才能满足用户快速浏览的需求。因此，在选取视频段落时，应当保证选取出的视频段落总时长(总长度)不超过该目标视频的一定比例，比如不超过目标视频的15％。
在选取视频段落时，选取其中重要性值较大的视频段落。例如，假设共10个视频段落，各个视频段落长度相同，上述的预设比例阈值为20％，则应当从10个视频段落中选取重要性值较大的2个视频段落。具体地，选取视频段落的方式可以是运用背包问题的优化方式去选择，以增大选中的视频段落的关键性的值，即重要性值。
106、对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。
比如，可以将选取出的这些视频段落进行合并，得到一个作为视频总结的视频，该视频的内容即为目标视频的内容概要。
下面将对上述步骤103中的深度神经网络进行详细说明。如图2所示，所述深度神经网络可以通过以下步骤进行预先训练：
201、采用预训练好的深度卷积网络模型对用于训练的样本视频的各个视频帧提取特征向量；
202、将所述样本视频所有视频帧对应的特征向量作为输入投入所述深度神经网络，得到输出的所述样本视频每一帧对应的概率值；
203、基于输出的概率值，采用伯努利分布对所述样本视频的视频帧进行采样，得到采样的行为值；
204、根据所述采样的行为值将选中的视频帧提取并整理得到所述样本视频的视频总结；
205、采用预设的奖励函数对所述样本视频的视频总结进行质量评估，得到评估的奖励值，其中，奖励值越大，则代表所述样本视频的视频总结质量越高；
206、根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求。
上述步骤201与步骤102在原理上相似，均是采用预训练好的深度卷积网络模型提取视频帧的特征向量，此处不再赘述。
对于上述步骤202，在完成特征向量提取之后，可以将提取好的特征向量输入到深度神经网络。该深度神经网络会对每一帧输出一个概率值，该概率值用来表示当前视频帧有多大概率被选为关键帧。
对于上述步骤203，可以理解的是，根据深度神经网络预测的概率值分布，用伯努利分布采样一个二进制的行为值，也就是0或者1。0代表该视频帧不被选中，而1代表该视频帧被选中。
对于上述步骤204，可知，根据采样的行为值，可以将选中的视频帧(即行为值为1所对应的视频帧)提取出来作为对该样本视频的一个视频总结。
对于上述步骤205，在得到视频总结之后，可以预设的奖励函数对生成的视频总结进行质量评估，如果生成的视频总结具有越高的多样性和代表性，也就是选取的视频帧之间的相似度越低，并且这些视频帧在特征空间中越靠近群聚的中心，那么奖励函数会给予深度神经网络越高的奖励值。反之，如果生成的视频总结的多样性和代表性越低，那么奖励函数会给予深度神经网络越低的奖励值，从而去激励该深度神经网络去生成高质量的视频总结，也就是具有高度的多样性和高度的代表性的视频总结。
进一步地，上述的奖励函数R表示为：
R＝Rdiv+Rrep；
所述Rdiv和Rrep分别为多样性评估函数和代表性评估函数，多样性评估函数Rdiv表示为：
代表性评估函数Rrep表示为：
其中，xt表示每个视频帧的特征向量，t＝1,2,…,T，T表示视频帧的总长度，Y＝{y1,y2,…,|Y|}表示选中的视频帧的位置下标集，非相似度函数d表示为：
更进一步地，在计算非相似度函数d时，若两视频帧之间相距的长度t超过预设的距离阈值，则直接设置所述两视频帧对应的非相似度函数d的计算结果等于1。比如，若两视频帧的长度分别为t1和t2，t1-t2＝20，则可以认为这两个视频帧的非相似度可以忽略，直接记d＝1。
对于上述步骤206，根据步骤205中奖励函数评估得到的奖励值，可以针对每一个输入的样本视频对深度神经网络进行训练以及优化。其中，该深度神经网络奖励机制优化的目标函数J可以表示为：
J(ω)＝E[R]；
其中，w是所述深度神经网络里需要训练的参数，R是所述奖励函数计算出来的奖励值；
根据所述目标函数计算相对于w的梯度值为：
其中，N是所述深度神经网络对训练的样本视频模拟的次数，T表示视频帧的总长度，b是由移动平均的R计算得出的基准线，πw表示所述深度神经网络，at表示由伯努利分布生成的行为值，为0或者1；
因此，上述步骤206具体可以为：根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值。其中，所述梯度优化算法可以为随机梯度优化算法、Adam或者RMSProp等梯度优化算法。可知，利用奖励函数和强化学习方法，可以实现对深度网络分监督的训练。
为了更进一步优化本实施例中的深度神经网络，在优化深度神经网络的同时，还可以限制选中的关键帧的长度。从而，上述步骤206还可以具体为：根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值并且减少损失函数L的值。
其中，所述损失函数L表示为：
其中，pt表示所述深度神经网络对t帧所预测的概率，ε表示所述选中的视频帧占所述样本视频的长度比例。在大多数应用场景中，ε一般设为0.5。
由上述内容可知，本实施例的基于深度学习的视频总结方法是基于深度神经网络的无监督式视频总结方法，该方法可以利用强化学习和没有标签的视频来无监督的训练用于视频概要的深度神经网络模型，进而利用该模型对目标视频进行概要和总结。其次，该深度神经网络模型的训练算法是基于强化学习的，并且能够支持端到端的网络训练。
为便于理解，根据图1所描述的实施例，下面将在SumMe和TVSum两个数据库上对上述的基于深度学习的视频总结方法进行测试：
在本次测试中，测试衡量的标准是对比算法形成的视屏总结和人为标定的视频总结之间的相似度，也就是F-score。F-score越高表示机器形成的视频总结和人为标定的视频总结之间相似度越高。对比的无监督方法有(1)平均分布抽取关键帧、(2)K-中心点、(3)字典学习和(4)生成式深度对抗网络。
对比的结果如下表所示。从表中可以看到本实施例提供的基于深度学习的视频总结方法的结果比其他方法得到的结果提高了至少2(在SumMe上)和6(在TVSum上)个百分点。其中，基于深度学习的视频总结方法比传统方法，也就是方法(1)，方法(2)和方法(3)高出了将近至少4(在SumMe上)和15(在TVSum上)个百分点。
| SumMe | TVSum | |
| 平均分布抽取关键帧 | 29.3％ | 15.5％ |
| K-中心点 | 33.4％ | 28.8％ |
| 字典学习 | 37.8％ | 42％ |
| 生成式深度对抗网络 | 39.1％ | 51.7％ |
| 基于深度强化学习的视频总结方法 | 41.4％ | 57.6％ |
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种基于深度学习的视频总结方法，下面将对一种基于深度学习的视频总结装置进行详细描述。
图3示出了本发明实施例中一种基于深度学习的视频总结装置一个实施例结构图。
本实施例中，一种基于深度学习的视频总结装置包括：
分段模块301，用于将目标视频分段，得到多个视频段落；
特征向量提取模块302，用于采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；
概率预测模块303，用于针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；
重要性计算模块304，用于针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；
视频段落选取模块305，用于在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；
视频总结模块306，用于对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。
进一步地，所述深度神经网络可以通过以下模块进行预先训练：
提取模块，用于采用预训练好的深度卷积网络模型对用于训练的样本视频的各个视频帧提取特征向量；
神经网络投入模块，用于将所述样本视频所有视频帧对应的特征向量作为输入投入所述深度神经网络，得到输出的所述样本视频每一帧对应的概率值；
行为值采样模块，用于基于输出的概率值，采用伯努利分布对所述样本视频的视频帧进行采样，得到采样的行为值；
视频帧整理模块，用于根据所述采样的行为值将选中的视频帧提取并整理得到所述样本视频的视频总结；
质量评估模块，用于采用预设的奖励函数对所述样本视频的视频总结进行质量评估，得到评估的奖励值，其中，奖励值越大，则代表所述样本视频的视频总结质量越高；
优化训练模块，用于根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求。
进一步地，所述奖励函数R可以表示为：
R＝Rdiv+Rrep；
所述Rdiv和Rrep分别为多样性评估函数和代表性评估函数，多样性评估函数Rdiv表示为：
代表性评估函数Rrep表示为：
其中，xt表示每个视频帧的特征向量，t＝1,2,…,T，T表示视频帧的总长度，Y＝{y1,y2,…,|Y|}表示选中的视频帧的位置下标集，非相似度函数d表示为：
进一步地，所述基于深度学习的视频总结装置还可以包括：
非相似函数模块，用于在计算非相似度函数d时，若两视频帧之间相距的长度t超过预设的距离阈值，则直接设置所述两视频帧对应的非相似度函数d的计算结果等于1。
进一步地，所述目标函数J可以表示为：
J(ω)＝E[R]；
其中，w是所述深度神经网络里需要训练的参数，R是所述奖励函数计算出来的奖励值；
根据所述目标函数计算相对于w的梯度值为：
其中，N是所述深度神经网络对训练的样本视频模拟的次数，T表示视频帧的总长度，b是由移动平均的R计算得出的基准线，πw表示所述深度神经网络，at表示由伯努利分布生成的行为值，为0或者1；
所述优化训练模块可以具体用于：
根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值。
进一步地，所述优化训练模块可以具体用于：
根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值并且减少损失函数L的值；
所述损失函数L表示为：
其中，pt表示所述深度神经网络对t帧所预测的概率，ε表示所述选中的视频帧占所述样本视频的长度比例。
本发明还公开了一种基于深度学习的视频总结系统，该基于深度学习的视频总结系统包括图3对应实施例中描述的任意一种基于深度学习的视频总结装置，因此，其也同样包括这些基于深度学习的视频总结装置的所有技术特征，并能解决相同的技术问题以及达到相同的预期效果。
图4是本发明一实施例提供的终端设备的示意图。如图4所示，该实施例的终端设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如执行上述基于深度学习的视频总结方法的程序。所述处理器40执行所述计算机程序42时实现上述各个基于深度学习的视频总结方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至306的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。
所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种基于深度学习的视频总结方法，其特征在于，包括：
将目标视频分段，得到多个视频段落；
采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；
针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；
针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；
在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；
对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。
2.根据权利要求1所述的基于深度学习的视频总结方法，其特征在于，所述深度神经网络通过强化学习方法和以下步骤进行预先训练：
采用预训练好的深度卷积网络模型对用于训练的样本视频的各个视频帧提取特征向量；
将所述样本视频所有视频帧对应的特征向量作为输入投入所述深度神经网络，得到输出的所述样本视频每一帧对应的概率值；
基于输出的概率值，采用伯努利分布对所述样本视频的视频帧进行采样，得到采样的行为值；
根据所述采样的行为值将选中的视频帧提取并整理得到所述样本视频的视频总结；
采用预设的奖励函数对所述样本视频的视频总结进行质量评估，得到评估的奖励值，其中，奖励值越大，则代表所述样本视频的视频总结质量越高；
根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求。
3.根据权利要求2所述的基于深度学习的视频总结方法，其特征在于，所述奖励函数R表示为：
R＝Rdiv+Rrep；
所述Rdiv和Rrep分别为多样性评估函数和代表性评估函数，多样性评估函数Rdiv表示为：
<mrow>
<msub>
<mi>R</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>v</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>|</mo>
<mi>Y</mi>
<mo>|</mo>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mi>Y</mi>
<mo>|</mo>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>&Element;</mo>
<mi>Y</mi>
</mrow>
</munder>
<munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
<mo>&Element;</mo>
<mi>Y</mi>
</mrow>
</munder>
<mrow>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
<mo>&NotEqual;</mo>
<mi>t</mi>
</mrow>
</munder>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>t</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
代表性评估函数Rrep表示为：
<mrow>
<msub>
<mi>R</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>p</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mi>T</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>T</mi>
</munderover>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mrow>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
<mo>&Element;</mo>
<mi>Y</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，xt表示每个视频帧的特征向量，t＝1,2,…,T，T表示视频帧的总长度，Y＝{y1,y2,…,|Y|}表示选中的视频帧的位置下标集，非相似度函数d表示为：
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>t</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>t</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>.</mo>
</mrow>
4.根据权利要求3所述的基于深度学习的视频总结方法，其特征在于，还包括：
在计算非相似度函数d时，若两视频帧之间相距的长度t超过预设的距离阈值，则直接设置所述两视频帧对应的非相似度函数d的计算结果等于1。
5.根据权利要求2至4中任一项所述的基于深度学习的视频总结方法，其特征在于，所述目标函数J表示为：
J(w)＝E[R]:
其中，w是所述深度神经网络里需要训练的参数，R是所述奖励函数计算出来的奖励值；
根据所述目标函数计算相对于w的梯度值为：
<mrow>
<msub>
<mo>&dtri;</mo>
<mi>w</mi>
</msub>
<mi>J</mi>
<mrow>
<mo>(</mo>
<mi>w</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>T</mi>
</munderover>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>-</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>&dtri;</mo>
<msub>
<mi>log&pi;</mi>
<mi>w</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>a</mi>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，N是所述深度神经网络对训练的样本视频模拟的次数，T表示视频帧的总长度，b是由移动平均的R计算得出的基准线，πw表示所述深度神经网络，at表示由伯努利分布生成的行为值，为0或者1；
所述根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求具体为：
根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值。
6.根据权利要求5所述的基于深度学习的视频总结方法，其特征在于，所述根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求具体为：
根据所述奖励值采用梯度优化算法对所述深度神经网络进行优化训练，以增大所述目标函数J的值并且减少损失函数L的值；
所述损失函数L表示为：
<mrow>
<mi>L</mi>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mfrac>
<mn>1</mn>
<mi>T</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>t</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>T</mi>
</munderover>
<msub>
<mi>p</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<mi>&epsiv;</mi>
<mo>|</mo>
<mo>|</mo>
<mo>;</mo>
</mrow>
其中，pt表示所述深度神经网络对t帧所预测的概率，ε表示所述选中的视频帧占所述样本视频的长度比例。
7.一种基于深度学习的视频总结装置，其特征在于，包括：
分段模块，用于将目标视频分段，得到多个视频段落；
特征向量提取模块，用于采用预训练好的深度卷积网络模型分别对每个所述视频段落的各个视频帧提取特征向量；
概率预测模块，用于针对每个所述视频段落，将所述视频段落所有视频帧对应的特征向量作为输入投入预训练好的深度神经网络，得到输出的所述视频段落每一帧对应的概率值，所述概率值表示视频帧被选为用于视频总结的概率；
重要性计算模块，用于针对每个所述视频段落，根据所述视频段落所有视频帧对应的概率值计算所述视频段落的重要性值，其中，所述视频段落所有视频帧对应的概率值越大，则相应计算得到的重要性值越大；
视频段落选取模块，用于在保证选取出的视频段落总时长占所述目标视频总时长的比例小于或等于预设比例阈值的前提下，从所述多个视频段落中选取重要性值较大的若干个视频段落；
视频总结模块，用于对选取出的所述若干个视频段落进行整理，得到所述目标视频的视频总结。
8.根据权利要求7所述的基于深度学习的视频总结装置，其特征在于，所述深度神经网络通过以下模块进行预先训练：
提取模块，用于采用预训练好的深度卷积网络模型对用于训练的样本视频的各个视频帧提取特征向量；
神经网络投入模块，用于将所述样本视频所有视频帧对应的特征向量作为输入投入所述深度神经网络，得到输出的所述样本视频每一帧对应的概率值；
行为值采样模块，用于基于输出的概率值，采用伯努利分布对所述样本视频的视频帧进行采样，得到采样的行为值；
视频帧整理模块，用于根据所述采样的行为值将选中的视频帧提取并整理得到所述样本视频的视频总结；
质量评估模块，用于采用预设的奖励函数对所述样本视频的视频总结进行质量评估，得到评估的奖励值，其中，奖励值越大，则代表所述样本视频的视频总结质量越高；
优化训练模块，用于根据所述奖励值采用强化学习方法对所述深度神经网络进行优化训练，以使所述深度神经网络对所述样本视频的输出满足预设的目标函数的要求。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述基于深度学习的视频总结方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述基于深度学习的视频总结方法的步骤。
11.一种基于深度学习的视频总结系统，其特征在于，包括如权利要求7或8所述的基于深度学习的视频总结装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711374076.0A CN108073902B (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习的视频总结方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711374076.0A CN108073902B (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习的视频总结方法、装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108073902A true CN108073902A (zh) | 2018-05-25 |
| CN108073902B CN108073902B (zh) | 2020-05-26 |
Family
ID=62158957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711374076.0A Active CN108073902B (zh) | 2017-12-19 | 2017-12-19 | 基于深度学习的视频总结方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108073902B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657546A (zh) * | 2018-11-12 | 2019-04-19 | 平安科技（深圳）有限公司 | 基于神经网络的视频行为识别方法及终端设备 |
| CN109743617A (zh) * | 2018-12-03 | 2019-05-10 | 清华大学 | 一种视频播放的跳转导航方法和设备 |
| CN109740738A (zh) * | 2018-12-29 | 2019-05-10 | 腾讯科技（深圳）有限公司 | 一种神经网络模型训练方法、装置、设备和介质 |
| CN110263965A (zh) * | 2019-05-06 | 2019-09-20 | 平安科技（深圳）有限公司 | 基于视频的预警方法、装置、计算机设备及存储介质 |
| CN110324728A (zh) * | 2019-06-28 | 2019-10-11 | 浙江传媒学院 | 基于深度强化学习的体育赛事全场回顾短视频生成方法 |
| CN110674265A (zh) * | 2019-08-06 | 2020-01-10 | 上海孚典智能科技有限公司 | 面向非结构化信息的特征判别与信息推荐系统 |
| WO2020024958A1 (zh) * | 2018-08-03 | 2020-02-06 | 北京京东尚科信息技术有限公司 | 用于生成视频摘要的方法和系统 |
| CN110880011A (zh) * | 2018-09-05 | 2020-03-13 | 宏达国际电子股份有限公司 | 影像切割方法、装置及其非暂态电脑可读取媒体 |
| CN111026914A (zh) * | 2019-12-03 | 2020-04-17 | 腾讯科技（深圳）有限公司 | 视频摘要模型的训练方法、视频摘要生成方法及装置 |
| WO2020077999A1 (zh) * | 2018-10-19 | 2020-04-23 | 深圳市商汤科技有限公司 | 视频摘要生成方法和装置、电子设备、计算机存储介质 |
| CN111314792A (zh) * | 2020-02-27 | 2020-06-19 | 北京奇艺世纪科技有限公司 | 一种笔记生成方法和电子设备 |
| CN112101297A (zh) * | 2020-10-14 | 2020-12-18 | 杭州海康威视数字技术股份有限公司 | 训练数据集确定方法、行为分析方法、装置、系统及介质 |
| CN113438509A (zh) * | 2021-06-23 | 2021-09-24 | 腾讯音乐娱乐科技（深圳）有限公司 | 视频摘要的生成方法、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140037269A1 (en) * | 2012-08-03 | 2014-02-06 | Mrityunjay Kumar | Video summarization using group sparsity analysis |
| CN104244113A (zh) * | 2014-10-08 | 2014-12-24 | 中国科学院自动化研究所 | 一种基于深度学习技术的视频摘要生成方法 |
| CN106028134A (zh) * | 2015-03-31 | 2016-10-12 | 泽普实验室公司 | 针对移动计算设备检测体育视频精彩部分 |
-
2017
- 2017-12-19 CN CN201711374076.0A patent/CN108073902B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140037269A1 (en) * | 2012-08-03 | 2014-02-06 | Mrityunjay Kumar | Video summarization using group sparsity analysis |
| CN104244113A (zh) * | 2014-10-08 | 2014-12-24 | 中国科学院自动化研究所 | 一种基于深度学习技术的视频摘要生成方法 |
| CN106028134A (zh) * | 2015-03-31 | 2016-10-12 | 泽普实验室公司 | 针对移动计算设备检测体育视频精彩部分 |
Non-Patent Citations (2)
| Title |
|---|
| 丁乐乐: "基于深度学习和强化学习的车辆定位与识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 冯佳军: "暴力音频场景分类技术研究与系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110798752B (zh) * | 2018-08-03 | 2021-10-15 | 北京京东尚科信息技术有限公司 | 用于生成视频摘要的方法和系统 |
| WO2020024958A1 (zh) * | 2018-08-03 | 2020-02-06 | 北京京东尚科信息技术有限公司 | 用于生成视频摘要的方法和系统 |
| CN110798752A (zh) * | 2018-08-03 | 2020-02-14 | 北京京东尚科信息技术有限公司 | 用于生成视频摘要的方法和系统 |
| TWI738045B (zh) * | 2018-09-05 | 2021-09-01 | 宏達國際電子股份有限公司 | 影像切割方法、裝置及其非暫態電腦可讀取媒體 |
| CN110880011A (zh) * | 2018-09-05 | 2020-03-13 | 宏达国际电子股份有限公司 | 影像切割方法、装置及其非暂态电脑可读取媒体 |
| JP2021503123A (ja) * | 2018-10-19 | 2021-02-04 | 深▲せん▼市商▲湯▼科技有限公司Ｓｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． | ビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体 |
| WO2020077999A1 (zh) * | 2018-10-19 | 2020-04-23 | 深圳市商汤科技有限公司 | 视频摘要生成方法和装置、电子设备、计算机存储介质 |
| JP7150840B2 (ja) | 2018-10-19 | 2022-10-11 | 深▲セン▼市商▲湯▼科技有限公司 | ビデオ要約生成方法及び装置、電子機器並びにコンピュータ記憶媒体 |
| TWI711305B (zh) * | 2018-10-19 | 2020-11-21 | 大陸商深圳市商湯科技有限公司 | 視頻摘要生成方法和裝置、電子設備、電腦儲存介質 |
| CN109657546A (zh) * | 2018-11-12 | 2019-04-19 | 平安科技（深圳）有限公司 | 基于神经网络的视频行为识别方法及终端设备 |
| CN109743617A (zh) * | 2018-12-03 | 2019-05-10 | 清华大学 | 一种视频播放的跳转导航方法和设备 |
| CN109743617B (zh) * | 2018-12-03 | 2020-11-24 | 清华大学 | 一种视频播放的跳转导航方法和设备 |
| CN109740738A (zh) * | 2018-12-29 | 2019-05-10 | 腾讯科技（深圳）有限公司 | 一种神经网络模型训练方法、装置、设备和介质 |
| CN109740738B (zh) * | 2018-12-29 | 2022-12-16 | 腾讯科技（深圳）有限公司 | 一种神经网络模型训练方法、装置、设备和介质 |
| CN110263965A (zh) * | 2019-05-06 | 2019-09-20 | 平安科技（深圳）有限公司 | 基于视频的预警方法、装置、计算机设备及存储介质 |
| CN110324728B (zh) * | 2019-06-28 | 2021-11-23 | 浙江传媒学院 | 基于深度强化学习的体育赛事全场回顾短视频生成方法 |
| CN110324728A (zh) * | 2019-06-28 | 2019-10-11 | 浙江传媒学院 | 基于深度强化学习的体育赛事全场回顾短视频生成方法 |
| CN110674265A (zh) * | 2019-08-06 | 2020-01-10 | 上海孚典智能科技有限公司 | 面向非结构化信息的特征判别与信息推荐系统 |
| CN111026914B (zh) * | 2019-12-03 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 视频摘要模型的训练方法、视频摘要生成方法及装置 |
| CN111026914A (zh) * | 2019-12-03 | 2020-04-17 | 腾讯科技（深圳）有限公司 | 视频摘要模型的训练方法、视频摘要生成方法及装置 |
| CN111314792B (zh) * | 2020-02-27 | 2022-04-08 | 北京奇艺世纪科技有限公司 | 一种笔记生成方法、电子设备及存储介质 |
| CN111314792A (zh) * | 2020-02-27 | 2020-06-19 | 北京奇艺世纪科技有限公司 | 一种笔记生成方法和电子设备 |
| CN112101297A (zh) * | 2020-10-14 | 2020-12-18 | 杭州海康威视数字技术股份有限公司 | 训练数据集确定方法、行为分析方法、装置、系统及介质 |
| CN113438509A (zh) * | 2021-06-23 | 2021-09-24 | 腾讯音乐娱乐科技（深圳）有限公司 | 视频摘要的生成方法、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108073902B (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108073902A (zh) | 基于深度学习的视频总结方法、装置及终端设备 | |
| CN110766080B (zh) | 一种标注样本确定方法、装置、设备及存储介质 | |
| US20180357302A1 (en) | Method and device for processing a topic | |
| CN110287328A (zh) | 一种文本分类方法、装置、设备及计算机可读存储介质 | |
| CN106844407B (zh) | 基于数据集相关性的标签网络产生方法和系统 | |
| CN107545038B (zh) | 一种文本分类方法与设备 | |
| CN112633426B (zh) | 处理数据类别不均衡的方法、装置、电子设备及存储介质 | |
| CN109492093A (zh) | 基于高斯混合模型和em算法的文本分类方法及电子装置 | |
| CN117156442B (zh) | 基于5g网络的云数据安全保护方法及系统 | |
| CN111191731A (zh) | 数据处理的方法、装置、存储介质及电子设备 | |
| CN112966072A (zh) | 案件的预判方法、装置、电子装置和存储介质 | |
| CN110069546A (zh) | 一种数据分类方法、数据分类装置及终端设备 | |
| CN107169020B (zh) | 一种基于关键字的定向网页采集方法 | |
| CN110457387B (zh) | 一种应用于网络中用户标签确定的方法及相关装置 | |
| CN111144453A (zh) | 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备 | |
| CN113282433B (zh) | 集群异常检测方法、装置和相关设备 | |
| CN104572623B (zh) | 一种在线lda模型的高效数据总结分析方法 | |
| CN110807159B (zh) | 数据标记方法、装置、存储介质及电子设备 | |
| CN111612099B (zh) | 基于局部排序差值细化模式的纹理图像分类方法及系统 | |
| CN105574363A (zh) | 一种基于svm-rfe和重叠度的特征选择方法 | |
| CN112269937A (zh) | 一种计算用户相似度的方法、系统及装置 | |
| CN106033546A (zh) | 基于自上而下学习的行为分类方法 | |
| CN110837853A (zh) | 一种快速分类模型构建方法 | |
| US11609936B2 (en) | Graph data processing method, device, and computer program product | |
| CN115221350A (zh) | 一种基于少样本度量学习的事件音频检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |