CN112580563B - 视频摘要的生成方法、装置、电子设备和存储介质 - Google Patents
视频摘要的生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112580563B CN112580563B CN202011566470.6A CN202011566470A CN112580563B CN 112580563 B CN112580563 B CN 112580563B CN 202011566470 A CN202011566470 A CN 202011566470A CN 112580563 B CN112580563 B CN 112580563B
- Authority
- CN
- China
- Prior art keywords
- video frame
- graph
- video
- generating
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 66
- 230000005540 biological transmission Effects 0.000 claims abstract description 58
- 238000012512 characterization method Methods 0.000 claims abstract description 19
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 65
- 230000006870 function Effects 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010276 construction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了视频摘要的生成方法、装置、电子设备和存储介质，涉及计算机视觉和深度学习技术领域。具体实现方案为：获取待处理视频的视频帧的特征；根据所述视频帧的特征生成所述视频帧的图表征和图邻接矩阵；根据所述视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到所述视频帧中图节点的第一状态的集合；根据所述视频帧中图节点的第一状态的集合生成所述视频帧的重要性得分；根据所述视频帧的重要性生成所述待处理视频的摘要。本申请的视频摘要的生成方法、装置、电子设备和存储介质，提高生成的视频摘要的效果。
Description
技术领域
本申请涉及计算机技术领域中的计算机视觉和深度学习技术领域，尤其涉及一种视频摘要的生成方法、装置、电子设备和存储介质。
背景技术
随着视频技术的发展，高质量的视频摘要可以方便用户快速浏览大量的视频数据。
相关技术中，主要通过长短期记忆(Long Short-Term Memory，简称LSTM)网络、全卷积网络和图卷积网络等去建模视频帧间的时序依赖，进而生成视频摘要。但上述方式容易导致前景物体与背景间的语义混淆，生成的视频摘要效果较差。
发明内容
提供了一种视频摘要的生成方法、装置、电子设备和存储介质。
根据第一方面，提供了一种视频摘要的生成方法，包括：获取待处理视频的视频帧的特征；根据所述视频帧的特征生成所述视频帧的图表征和图邻接矩阵；根据所述视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到所述视频帧中图节点的第一状态的集合；根据所述视频帧中图节点的第一状态的集合生成所述视频帧的重要性得分；根据所述视频帧的重要性得分生成所述待处理视频的摘要。
根据第二方面，提供了一种视频摘要的生成装置，包括：获取模块，用于获取待处理视频的视频帧的特征；第一生成模块，用于根据所述视频帧的特征生成所述视频帧的图表征和图邻接矩阵；传递模块，用于根据所述视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到所述视频帧中图节点的第一状态的集合；第二生成模块，用于根据所述视频帧中图节点的第一状态的集合生成所述视频帧的重要性得分；第三生成模块，用于根据所述视频帧的重要性得分生成所述待处理视频的摘要。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的视频摘要的生成方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的视频摘要的生成方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本申请第一方面所述的视频摘要的生成方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的视频摘要的生成方法的流程示意图；
图2是本申请第二实施例的视频摘要的生成方法的流程示意图；
图3是本申请实施例的图构建模块的示意图；
图4是本申请第三实施例的视频摘要的生成方法的逻辑示意图；
图5是根据本申请第一实施例的视频摘要的生成装置的框图；
图6是根据本申请第二实施例的视频摘要的生成装置的框图；
图7是用来实现本申请实施例的视频摘要的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
计算机视觉(Computer Vision)又称为机器视觉(Machine Vision)，是一门“教”会计算机如何去“看”世界的学科。是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，处理成为更适合人眼观察或传送给仪器检测的图像。
深度学习(Deep Learning，简称DL)是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，是学习样本数据的内在规律和表示层次，使得机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据的一门科学，广泛应用于语音和图像识别。
下面结合附图描述本申请实施例的视频摘要的生成方法、装置、电子设备和存储介质。
图1是根据本申请第一实施例的视频摘要的生成方法的流程示意图。
如图1所示，本申请实施例的视频摘要的生成方法具体可包括以下步骤：
S101，获取待处理视频的视频帧的特征。
具体的，本申请实施例的视频摘要的生成方法的执行主体可为本申请实施例提供的视频摘要的生成装置，该视频摘要的生成装置可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。其中，用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。
其中，待处理视频可通过录制、网络传输等方式获取。例如，当采用录制的方式获取待处理视频时，设备上具有图像采集装置，图像采集装置可为摄像头等。或者，当采用网络传输的方式获取待处理视频时，设备上具有联网装置，可通过联网装置与其他设备或者服务器进行网络传输。
对于待处理视频，可以2帧每秒(fps)进行均匀采样得到待处理视频的T帧视频帧，然后使用深度神经网络GoogLeNet的“Inception-5b”层的输出作为每个视频帧的特征F，其分辨率为7x7x1024，其维度为C*A*B，即C表示特征的通道数，A表示特征的空间高度，B表示特征的空间宽度。此处需要说明的是，本申请实施例中的视频帧的特征也可以是任何其他图像级特征，例如残差网络ResNet特征，也可以是基于视频的三维卷积C3D(Convolutional 3Dimension)特征，本申请对此不做限定。
S102，根据视频帧的特征生成视频帧的图表征和图邻接矩阵。
具体的，可先根据步骤S101获取的视频帧的特征生成视频帧的图表征，再根据视频帧的图表征生成视频帧的图邻接矩阵。
将视频帧的特征输入至图构建模块，图构建模块输出视频帧的图表征形成空间图。把每个视频帧的空间图视为一个超级节点，则每个超级节点的编码即每个视频帧的图表征对应视频帧内的物体和场景。计算视频帧的图表征Z的转置ZT和视频帧的图表征Z的乘积，得到视频帧的图邻接矩阵A，即A＝ZTZ。其中，图表征Z的第k列为zk，zk表示视频帧中第k个图节点的特征向量。图邻接矩阵A中的第(i，j)个元素Aij是对应图节点的特征向量的余弦相似度：
对于采样后的T帧视频帧，我们标记该视频的图表征的集合为这里Zt和At是第t帧视频帧的图表征和图邻接矩阵。
此处需要说明的是，每个图节点是基于样本的掩膜张量自适应地聚合，不同于之前的空时图模型简单地分配固定区域到图节点，或者利用一个目标检测器发现的目标作为图节点，因此本申请实施例的图构建是非常灵活的。
S103，根据视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到视频帧中图节点的第一状态的集合。
具体的，根据步骤S102生成的视频帧的图表征Z和图邻接矩阵A，依次进行帧内的空间消息传递和帧间的时序消息传递，得到视频帧中图节点的第一状态的集合。例如根据第t帧视频帧的图表征Zt和图邻接矩阵At，得到第t帧视频帧中N个图节点(包括第0、1、…、N-1个图节点)迭代s次后的第一状态的集合空间消息传递执行节点级别(node-level)的消息传播，时序消息传递执行图级别(graph-level)的消息传播。
S104，根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分。
具体的，可以根据步骤S103中得到的视频帧中图节点的第一状态的集合，通过读取操作，得到视频帧的重要性得分。
S105，根据视频帧的重要性生成待处理视频的摘要。
具体的，可以将步骤S104得到的各视频帧的重要性得分按照由高到低的顺序进行排序，将排名靠前的预设数量，例如10帧、20帧等的视频帧确定为目标视频帧，根据目标视频帧的时间顺序，生成待处理视频的摘要。
综上，本申请实施例的视频摘要的生成方法，获取待处理视频的视频帧的特征，根据视频帧的特征生成视频帧的图表征和图邻接矩阵，根据视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到视频帧中图节点的第一状态的集合，根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分，根据视频帧的重要性生成待处理视频的摘要。通过空间消息传递和时序消息传递，实现了帧内的空间依赖和帧间的时序依赖的协同建立，建立帧内的空间依赖可以避免前景物体与背景间的语义混淆，提高了生成的视频摘要的效果。
图2是本申请第二实施例的视频摘要的生成方法的流程示意图。
如图2所示，本申请实施例的视频摘要的生成方法具体可包括以下步骤：
S201，获取待处理视频的视频帧的特征。
具体的，本步骤S201与上述实施例中的步骤S101相同，此处不再赘述。
上述实施例中的步骤S102“根据视频帧的特征生成视频帧的图表征和图邻接矩阵”具体可以包括以下步骤S202-S206。
S202，根据视频帧的特征生成视频帧中图节点的归一化的掩膜张量。
具体的，可以将步骤S201获取的视频帧的特征输入至图构建模块，如图3所示，图构建模块根据视频帧的特征/>采用一维向量卷积运算conv生成视频帧中图节点的掩膜张量/>掩膜张量/>表示该视频帧中所有图节点的掩膜值的集合。图构建模块采用二维(2Dimension，简称2D)归一化函数softmax将视频帧中图节点的掩膜张量/>映射到视频帧的空间位置，得到视频帧中图节点的归一化的掩膜张量U′。例如对于该视频帧中第k个图节点的掩膜值uk∈U，通过如下公式(1)将其映射到视频帧的空间位置，得到该视频帧中第k个图节点归一化的掩膜值u′k。
其中，p，q∈{1，2，...，AB}是空间位置索引，为视频帧中第k个图节点映射到空间位置p的归一化的掩膜值，/>为视频帧中第k个图节点映射到空间位置p的归一化前的掩膜值。
S203，根据视频帧的特征生成视频帧中图节点的隐特征向量。
具体的，如图3所示，图构建模块根据视频帧的特征采用一维向量卷积运算conv来变换特征F生成图节点的表征，即一个隐特征向量/>
S204，根据视频帧中图节点的归一化的掩膜张量和视频帧中图节点的隐特征向量，生成视频帧中图节点的特征向量。
具体的，如图3所示，图构建模块根据步骤S202生成的视频帧中图节点的归一化的掩膜张量U′和步骤S203生成的视频帧中图节点的隐特征向量Y，计算不同空间位置p下视频帧中图节点的归一化的掩膜张量U′和视频帧中图节点的隐特征向量Y的乘积的和值，得到和值向量z′k，计算和值向量z′k和和值向量的模||z′k||的商，得到生成视频帧中图节点的特征向量zk。例如，对于视频帧中第k个图节点，采用如下公式(2)和(3)得到视频帧中第k个图节点的特征向量zk。
其中，p∈{1，2，...，AB是空间位置索引，Yp为空间位置p的隐特征向量，为视频帧中第k个图节点映射到空间位置p的归一化的掩膜值。
S205，将视频帧中图节点的特征向量的集合确定为视频帧的图表征。
具体的，如图3所示，图构建模块将步骤S204生成的视频帧中各图节点的特征向量的集合确定为视频帧的图表征其中，图表征Z的第k列为视频帧中第k个图节点的特征向量zk。
S206，根据视频帧的图表征生成视频帧的图邻接矩阵。
具体的，计算视频帧的图表征Z的转置ZT和视频帧的图表征Z的乘积，得到视频帧的图邻接矩阵A，即A＝ZTZ。
上述实施例中的步骤S103“根据视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到视频帧中图节点的第一状态的集合”具体可以包括以下步骤S207-S208。
S207，根据视频帧的图表征和图邻接矩阵进行空间消息传递，得到视频帧中图节点的第二状态。
具体的，根据步骤S205生成的视频帧的图表征和步骤S206生成的视频帧的图邻接矩阵A进行帧内空间消息传递，得到视频帧中各图节点的第二状态。
例如，对于第t帧视频帧，可以采用如下第一预设公式(4)、第二预设公式(5)和第三预设公式(6)进行帧内空间消息传递，得到第t帧视频帧中第k个图节点迭代s次后的第二状态
其中，为第t帧视频帧中第k个图节点迭代s次后的消息；/>为第t帧视频帧中第k个图节点的邻居图节点的集合；/>为第t帧视频帧的图邻接矩阵中的第(i，j)个元素；/>为第t帧视频帧中第k个图节点的第l个邻居图节点迭代s-1次后的状态；/>为第t帧视频帧中第k个图节点迭代前的第二状态；/>为第t帧视频帧中第k个图节点的特征向量；为第t帧视频帧中第k个图节点迭代s次后的第二状态；ReLU(.)为深度学习激活函数，Ww为预设的第一参数矩阵，可通过学习得到。
S208，根据视频帧中图节点的第二状态的集合和待处理视频中另一视频帧中图节点的第二状态的集合进行时序消息传递，得到视频帧中图节点的第一状态的集合。
具体的，根据步骤S206生成的视频帧中各图节点迭代s次后的第二状态，得到视频帧中各图节点迭代s次后的第二状态的集合根据视频帧中各图节点迭代s次后的第二状态的集合/>和待处理视频中另一视频帧中各图节点迭代s次后的第二状态的集合/>进行帧间时序消息传递，得到视频帧中各图节点迭代s次后的第一状态的集合/>
例如，对于第t帧视频帧，可以采用如下第四预设公式(7)、第五预设公式(8)、第六预设公式(9)和第七预设公式(10)进行帧间时序消息传递，得到第t帧视频帧中各图节点迭代s次后的第一状态的集合
其中，为第t帧视频帧中各图节点迭代s次后的消息的集合，/>为第t′帧视频帧中各图节点迭代s次后的第二状态的集合，Softmax为归一化函数，/>为第t帧视频帧中各图节点迭代s次后的第二状态的集合，Wθ为预设的第二参数矩阵，可通过学习得到，Wφ为预设的第三参数矩阵，可通过学习得到，ConvGRU为卷积门控循环单元函数，/>为第t帧视频帧中各图节点迭代s次后的第一状态的集合。
通过上述公式(7)-(10)可知，先学习任意两个空间图的图节点到图节点的关系，然后通过加权求和为每个图节点收集信息。在聚合来自所有空间图的信息之后，图表征Zt通过融合它聚合到的消息和它之前的状态/>得到一个新的状态/>对于时序消息传递，本申请实施例放松了传统消息传递神经网络的约束，即只在邻居节点之间执行消息传播,在本申请实施例中消息传播发送在所有的视频帧之间，这样不仅可以学习短范围的时序依赖，也能学习长范围的时序依赖。
S209，根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分。
S210，根据视频帧的重要性得分生成待处理视频的摘要。
具体的，步骤S209-S210与上述实施例中的步骤S104-S105相同，此处不再赘述。
进一步的，上述步骤S209“根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分”具体可包括以下步骤：采用全局平均池化(Global Average Pooling，简称GAP)对视频帧中图节点的第一状态的集合进行计算，生成视频帧的池化特征向量/>采用一维卷积函数conv1D和归一化函数softmax对视频帧的池化特征向量/>进行计算，生成视频帧的重要性得分et。
例如，对于第t帧视频帧，可以通过读取操作，采用如下公式(11)得到视频帧的重要性得分et。
其中，FGAP(*)表示全局平均池化，它执行在节点维度。
为清楚说明本申请实施例的视频摘要的生成方法，下面参照图4的本申请实施例的视频摘要的生成方法逻辑示意图进行描述。如图4所示，视频帧通过深度神经网络后得到视频帧的特征F，视频帧的特征F经过图构建模块后得到视频帧的图表征，根据视频帧的图表征依次进行帧内空间消息传递和帧间时序消息传递后，得到视频帧中图节点的第一状态的集合，通过读取操作得到视频帧的重要性得分。
综上，本申请实施例的视频摘要的生成方法，获取待处理视频的视频帧的特征，根据视频帧的特征生成视频帧的图表征和图邻接矩阵，根据视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到视频帧中图节点的第一状态的集合，根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分，根据视频帧的重要性生成待处理视频的摘要。通过空间消息传递和时序消息传递，实现了帧内的空间依赖和帧间的时序依赖的协同建立，建立帧内的空间依赖可以避免前景物体与背景间的语义混淆，提高了生成的视频摘要的效果。
图5是根据本申请第一实施例的视频摘要的生成装置的框图。
如图5所示，本申请实施例的视频摘要的生成装置500，具体可包括：获取模块501、第一生成模块502、传递模块503、第二生成模块504和第三生成模块505。
获取模块501，用于获取待处理视频的视频帧的特征。
第一生成模块502，用于根据视频帧的特征生成视频帧的图表征和图邻接矩阵。
传递模块503，用于根据视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到视频帧中图节点的第一状态的集合。
第二生成模块504，用于根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分。
第三生成模块505，用于根据视频帧的重要性得分生成待处理视频的摘要。
需要说明的是，上述对视频摘要的生成方法实施例的解释说明，也适用于本申请实施例的视频摘要的生成装置，具体过程此处不再赘述。
综上，本申请实施例的视频摘要的生成装置，获取待处理视频的视频帧的特征，根据视频帧的特征生成视频帧的图表征和图邻接矩阵，根据视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到视频帧中图节点的第一状态的集合，根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分，根据视频帧的重要性生成待处理视频的摘要。通过空间消息传递和时序消息传递，实现了帧内的空间依赖和帧间的时序依赖的协同建立，建立帧内的空间依赖可以避免前景物体与背景间的语义混淆，提高了生成的视频摘要的效果。
图6是根据本申请第二实施例的视频摘要的生成装置的框图。
如图6所示，本申请实施例的视频摘要的生成装置600，包括：获取模块601、第一生成模块602、传递模块603、第二生成模块604和第三生成模块605。
其中，获取模块601与上述实施例中的获取模块501具有相同功能和结构，第一生成模块602与上述实施例中的第一生成模块502具有相同功能和结构，传递模块603与上述实施例中的传递模块503具有相同功能和结构，第二生成模块604与上述实施例中的第二生成模块504具有相同功能和结构，第三生成模块605与上述实施例中的第三生成模块505具有相同功能和结构。
其中，第一生成模块602具体可包括：第一生成子模块6021，用于根据视频帧的特征生成视频帧的图表征。第二生成子模块6022，用于根据视频帧的图表征生成视频帧的图邻接矩阵。
进一步的，第一生成子模块6021具体可包括：第一生成单元，用于根据视频帧的特征生成视频帧中图节点的归一化的掩膜张量；第二生成单元，用于根据视频帧的特征生成视频帧中图节点的隐特征向量；第三生成单元，用于根据视频帧中图节点的归一化的掩膜张量和视频帧中图节点的隐特征向量，生成视频帧中图节点的特征向量；确定单元，用于将视频帧中图节点的特征向量的集合确定为视频帧的图表征。
进一步的，第一生成单元具体可包括：第一生成子单元，用于根据视频帧的特征，采用一维向量卷积运算生成视频帧中图节点的掩膜张量；映射子单元，用于采用归一化函数将视频帧中图节点的掩膜张量映射到视频帧的空间位置，得到视频帧中图节点的归一化的掩膜张量。
进一步的，第三生成单元具体可包括：第一计算子单元，用于计算不同空间位置下视频帧中图节点的归一化的掩膜张量和视频帧中图节点的隐特征向量的乘积的和值，得到和值向量；第二计算子单元，用于计算和值向量和和值向量的模的商，得到视频帧中图节点的特征向量。
进一步的，第二生成子模块6022具体可包括：计算单元，用于计算视频帧的图表征的转置和视频帧的图表征的乘积，得到视频帧的图邻接矩阵。
进一步的，传递模块603具体可包括：第一传递子模块，用于根据视频帧的图表征和图邻接矩阵进行空间消息传递，得到视频帧中图节点的第二状态；第二传递子模块，用于根据视频帧中图节点的第二状态的集合和待处理视频中另一视频帧中图节点的第二状态的集合进行时序消息传递，得到视频帧中图节点的第一状态的集合。
进一步的，第一传递子模块具体可包括：第一传递单元，用于根据视频帧的图表征和图邻接矩阵，采用第一预设公式、第二预设公式和第三预设公式进行空间消息传递，得到视频帧中图节点的第二状态；第一预设公式为：第二预设公式为：第三预设公式为：/>其中，/>为第t帧视频帧中第k个图节点迭代s次后的消息；/>为第t帧视频帧中第k个图节点的邻居图节点的集合；/>为第t帧视频帧的图邻接矩阵中的第(i，j)个元素；/>为第t帧视频帧中第k个图节点的第l个邻居图节点迭代s-1次后的状态；/>为第t帧视频帧中第k个图节点迭代前的第二状态；/>为第t帧视频帧中第k个图节点的特征向量；/>为第t帧视频帧中第k个图节点迭代s次后的第二状态；ReLU(.)为深度学习激活函数，Ww为预设的第一参数矩阵。
进一步的，第二传递子模块包括：第二传递单元，用于根据视频帧中图节点的第二状态的集合和待处理视频中另一视频帧中图节点的第二状态的集合，采用第四预设公式、第五预设公式、第六预设公式和第七预设公式进行时序消息传递，得到视频帧中图节点的第一状态的集合；第四预设公式为：第五预设公式为：/>第六预设公式为：/>第七预设公式为：其中，/>为第t帧视频帧中各图节点迭代s次后的消息的集合，为第t′帧视频帧中各图节点迭代s次后的第二状态的集合，Softmax为归一化函数，为第t帧视频帧中各图节点迭代s次后的第二状态的集合，Wθ为预设的第二参数矩阵，Wφ为预设的第三参数矩阵，ConvGRU为卷积门控循环单元函数，/>为第t帧视频帧中各图节点迭代s次后的第一状态的集合。
进一步的，第二生成模块604具体可包括：第一计算子模块，用于采用全局平均池化对视频帧中图节点的第一状态的集合进行计算，生成视频帧的池化特征向量；第二计算子模块，用于采用一维卷积函数和归一化函数对视频帧的池化特征向量进行计算，生成视频帧的重要性得分。
需要说明的是，上述对视频摘要的生成方法实施例的解释说明，也适用于本申请实施例的视频摘要的生成装置，具体过程此处不再赘述。
综上，本申请实施例的视频摘要的生成装置，获取待处理视频的视频帧的特征，根据视频帧的特征生成视频帧的图表征和图邻接矩阵，根据视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到视频帧中图节点的第一状态的集合，根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分，根据视频帧的重要性生成待处理视频的摘要。通过空间消息传递和时序消息传递，实现了帧内的空间依赖和帧间的时序依赖的协同建立，建立帧内的空间依赖可以避免前景物体与背景间的语义混淆，提高了生成的视频摘要的效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的视频摘要的生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，智能语音交互设备、个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器701可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的视频摘要的生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的视频摘要的生成方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的视频摘要的生成方法对应的程序指令/模块(例如，附图5所示的获取模块501、第一生成模块502、传递模块503、第二生成模块504和第三生成模块505)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的视频摘要的生成方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据视频摘要的生成方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至视频摘要的生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
视频摘要的生成方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与视频摘要的生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请的实施例，本申请还提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现根据本申请上述实施例的视频摘要的生成方法。
根据本申请实施例的技术方案，获取待处理视频的视频帧的特征，根据视频帧的特征生成视频帧的图表征和图邻接矩阵，根据视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到视频帧中图节点的第一状态的集合，根据视频帧中图节点的第一状态的集合生成视频帧的重要性得分，根据视频帧的重要性生成待处理视频的摘要。通过空间消息传递和时序消息传递，实现了帧内的空间依赖和帧间的时序依赖的协同建立，建立帧内的空间依赖可以避免前景物体与背景间的语义混淆，提高了生成的视频摘要的效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (16)
1.一种视频摘要的生成方法，包括：
获取待处理视频的视频帧的特征；
根据所述视频帧的特征生成所述视频帧的图表征和图邻接矩阵；
根据所述视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到所述视频帧中图节点的第一状态的集合；
根据所述视频帧中图节点的第一状态的集合生成所述视频帧的重要性得分；
根据所述视频帧的重要性得分生成所述待处理视频的摘要；
其中，所述根据所述视频帧的特征生成所述视频帧的图表征和图邻接矩阵，包括：
根据所述视频帧的特征生成所述视频帧中图节点的归一化的掩膜张量；
根据所述视频帧的特征生成所述视频帧中图节点的隐特征向量；
根据所述视频帧中图节点的归一化的掩膜张量和所述视频帧中图节点的隐特征向量，生成所述视频帧中图节点的特征向量；
将所述视频帧中图节点的特征向量的集合确定为所述视频帧的图表征；
计算所述视频帧的图表征的转置和所述视频帧的图表征的乘积，得到所述视频帧的图邻接矩阵。
2.根据权利要求1所述的生成方法，其中，所述根据所述视频帧的特征生成所述视频帧中图节点的归一化的掩膜张量，包括：
根据所述视频帧的特征，采用一维向量卷积运算生成所述视频帧中图节点的掩膜张量；
采用归一化函数将所述视频帧中图节点的掩膜张量映射到所述视频帧的空间位置，得到所述视频帧中图节点的归一化的掩膜张量。
3.根据权利要求1所述的生成方法，其中，所述根据所述视频帧中图节点的归一化的掩膜张量和所述视频帧中图节点的隐特征向量，生成所述视频帧中图节点的特征向量，包括：
计算不同空间位置下所述视频帧中图节点的归一化的掩膜张量和所述视频帧中图节点的隐特征向量的乘积的和值，得到和值向量；
计算所述和值向量和所述和值向量的模的商，得到所述视频帧中图节点的特征向量。
4.根据权利要求1所述的生成方法，其中，所述根据所述视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到所述视频帧中图节点的第一状态的集合，包括：
根据所述视频帧的图表征和图邻接矩阵进行空间消息传递，得到所述视频帧中图节点的第二状态；
根据所述视频帧中图节点的第二状态的集合和所述待处理视频中另一视频帧中图节点的第二状态的集合进行时序消息传递，得到所述视频帧中图节点的第一状态的集合。
5.根据权利要求4所述的生成方法，其中，所述根据所述视频帧的图表征和图邻接矩阵进行空间消息传递，得到所述视频帧中图节点的第二状态，包括：
根据所述视频帧的图表征和图邻接矩阵，采用第一预设公式、第二预设公式和第三预设公式进行空间消息传递，得到所述视频帧中图节点的第二状态；
所述第一预设公式为：
=/>；
所述第二预设公式为：
；
所述第三预设公式为：
=/>；
其中，所述为第t帧视频帧中第k个图节点迭代s次后的消息；所述/>为第t帧视频帧中第k个图节点的邻居图节点的集合；所述/>为第t帧视频帧的图邻接矩阵中的第（i，j）个元素；所述/>为第t帧视频帧中第k个图节点的第l个邻居图节点迭代s-1次后的状态；所述/>为第t帧视频帧中第k个图节点迭代前的第二状态；所述/>为第t帧视频帧中第k个图节点的特征向量；所述/>为第t帧视频帧中第k个图节点迭代s次后的第二状态；所述（.）为深度学习激活函数，/>为预设的第一参数矩阵。
6.根据权利要求4所述的生成方法，其中，所述根据所述视频帧中图节点的第二状态的集合和所述待处理视频中另一视频帧中图节点的第二状态的集合进行时序消息传递，得到所述视频帧中图节点的第一状态的集合，包括：
根据所述视频帧中图节点的第二状态的集合和所述待处理视频中另一视频帧中图节点的第二状态的集合，采用第四预设公式、第五预设公式、第六预设公式和第七预设公式进行时序消息传递，得到所述视频帧中图节点的第一状态的集合；
所述第四预设公式为：
=/>；
所述第五预设公式为：
；
所述第六预设公式为：
；
所述第七预设公式为：
=/>；
其中，所述为第t帧视频帧中各图节点迭代s次后的消息的集合，所述/>为第/>帧视频帧中各图节点迭代s次后的第二状态的集合，所述/>为归一化函数，所述/>为第t帧视频帧中各图节点迭代s次后的第二状态的集合，所述/>为预设的第二参数矩阵，所述/>为预设的第三参数矩阵，所述/>为卷积门控循环单元函数，所述/>为第t帧视频帧中各图节点迭代s次后的第一状态的集合。
7.根据权利要求1所述的生成方法，其中，所述根据所述视频帧中图节点的第一状态的集合生成所述视频帧的重要性得分，包括：
采用全局平均池化对所述视频帧中图节点的第一状态的集合进行计算，生成所述视频帧的池化特征向量；
采用一维卷积函数和归一化函数对所述视频帧的池化特征向量进行计算，生成所述视频帧的重要性得分。
8.一种视频摘要的生成装置，包括：
获取模块，用于获取待处理视频的视频帧的特征；
第一生成模块，用于根据所述视频帧的特征生成所述视频帧的图表征和图邻接矩阵；
传递模块，用于根据所述视频帧的图表征和图邻接矩阵依次进行空间消息传递和时序消息传递，得到所述视频帧中图节点的第一状态的集合；
第二生成模块，用于根据所述视频帧中图节点的第一状态的集合生成所述视频帧的重要性得分；
第三生成模块，用于根据所述视频帧的重要性得分生成所述待处理视频的摘要；
其中，所述第一生成模块包括：
第一生成子模块，用于根据所述视频帧的特征生成所述视频帧的图表征；
第二生成子模块，用于根据所述视频帧的图表征生成所述视频帧的图邻接矩阵；
其中，所述第一生成子模块包括：
第一生成单元，用于根据所述视频帧的特征生成所述视频帧中图节点的归一化的掩膜张量；
第二生成单元，用于根据所述视频帧的特征生成所述视频帧中图节点的隐特征向量；
第三生成单元，用于根据所述视频帧中图节点的归一化的掩膜张量和所述视频帧中图节点的隐特征向量，生成所述视频帧中图节点的特征向量；
确定单元，用于将所述视频帧中图节点的特征向量的集合确定为所述视频帧的图表征；
其中，所述第二生成子模块包括：
计算单元，用于计算所述视频帧的图表征的转置和所述视频帧的图表征的乘积，得到所述视频帧的图邻接矩阵。
9.根据权利要求8所述的生成装置，其中，所述第一生成单元包括：
第一生成子单元，用于根据所述视频帧的特征，采用一维向量卷积运算生成所述视频帧中图节点的掩膜张量；
映射子单元，用于采用归一化函数将所述视频帧中图节点的掩膜张量映射到所述视频帧的空间位置，得到所述视频帧中图节点的归一化的掩膜张量。
10.根据权利要求8所述的生成装置，其中，所述第三生成单元包括：
第一计算子单元，用于计算不同空间位置下所述视频帧中图节点的归一化的掩膜张量和所述视频帧中图节点的隐特征向量的乘积的和值，得到和值向量；
第二计算子单元，用于计算所述和值向量和所述和值向量的模的商，得到所述视频帧中图节点的特征向量。
11.根据权利要求8所述的生成装置，其中，所述传递模块包括：
第一传递子模块，用于根据所述视频帧的图表征和图邻接矩阵进行空间消息传递，得到所述视频帧中图节点的第二状态；
第二传递子模块，用于根据所述视频帧中图节点的第二状态的集合和所述待处理视频中另一视频帧中图节点的第二状态的集合进行时序消息传递，得到所述视频帧中图节点的第一状态的集合。
12.根据权利要求11所述的生成装置，其中，所述第一传递子模块包括：
第一传递单元，用于根据所述视频帧的图表征和图邻接矩阵，采用第一预设公式、第二预设公式和第三预设公式进行空间消息传递，得到所述视频帧中图节点的第二状态；
所述第一预设公式为：
=/>；
所述第二预设公式为：
；
所述第三预设公式为：
=/>；
其中，所述为第t帧视频帧中第k个图节点迭代s次后的消息；所述/>为第t帧视频帧中第k个图节点的邻居图节点的集合；所述/>为第t帧视频帧的图邻接矩阵中的第（i，j）个元素；所述/>为第t帧视频帧中第k个图节点的第l个邻居图节点迭代s-1次后的状态；所述/>为第t帧视频帧中第k个图节点迭代前的第二状态；所述/>为第t帧视频帧中第k个图节点的特征向量；所述/>为第t帧视频帧中第k个图节点迭代s次后的第二状态；所述（.）为深度学习激活函数，/>为预设的第一参数矩阵。
13.根据权利要求11所述的生成装置，其中，所述第二传递子模块包括：
第二传递单元，用于根据所述视频帧中图节点的第二状态的集合和所述待处理视频中另一视频帧中图节点的第二状态的集合，采用第四预设公式、第五预设公式、第六预设公式和第七预设公式进行时序消息传递，得到所述视频帧中图节点的第一状态的集合；
所述第四预设公式为：
=/>；
所述第五预设公式为：
；
所述第六预设公式为：
；
所述第七预设公式为：
=/>；
其中，所述为第t帧视频帧中各图节点迭代s次后的消息的集合，所述/>为第/>帧视频帧中各图节点迭代s次后的第二状态的集合，所述/>为归一化函数，所述/>为第t帧视频帧中各图节点迭代s次后的第二状态的集合，所述/>为预设的第二参数矩阵，所述/>为预设的第三参数矩阵，所述/>为卷积门控循环单元函数，所述/>为第t帧视频帧中各图节点迭代s次后的第一状态的集合。
14.根据权利要求8所述的生成装置，其中，所述第二生成模块包括：
第一计算子模块，用于采用全局平均池化对所述视频帧中图节点的第一状态的集合进行计算，生成所述视频帧的池化特征向量；
第二计算子模块，用于采用一维卷积函数和归一化函数对所述视频帧的池化特征向量进行计算，生成所述视频帧的重要性得分。
15. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的视频摘要的生成方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的视频摘要的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011566470.6A CN112580563B (zh) | 2020-12-25 | 2020-12-25 | 视频摘要的生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011566470.6A CN112580563B (zh) | 2020-12-25 | 2020-12-25 | 视频摘要的生成方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112580563A CN112580563A (zh) | 2021-03-30 |
| CN112580563B true CN112580563B (zh) | 2024-02-06 |
Family
ID=75140680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011566470.6A Active CN112580563B (zh) | 2020-12-25 | 2020-12-25 | 视频摘要的生成方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580563B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113987264A (zh) * | 2021-10-28 | 2022-01-28 | 北京中科闻歌科技股份有限公司 | 视频摘要生成方法、装置、设备、系统及介质 |
| CN116069973B (zh) * | 2023-04-04 | 2023-06-06 | 石家庄铁道大学 | 一种基于语义自挖掘的视频摘要生成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844573A (zh) * | 2017-01-05 | 2017-06-13 | 天津大学 | 基于流形排序的视频摘要方法 |
| WO2018137126A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳大学 | 一种静态视频摘要的生成方法及装置 |
| CN109885723A (zh) * | 2019-02-20 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 一种视频动态缩略图的生成方法、模型训练的方法及装置 |
| CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN111787000A (zh) * | 2020-06-30 | 2020-10-16 | 绿盟科技集团股份有限公司 | 网络安全评估方法及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9564175B2 (en) * | 2013-04-02 | 2017-02-07 | International Business Machines Corporation | Clustering crowdsourced videos by line-of-sight |
-
2020
- 2020-12-25 CN CN202011566470.6A patent/CN112580563B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844573A (zh) * | 2017-01-05 | 2017-06-13 | 天津大学 | 基于流形排序的视频摘要方法 |
| WO2018137126A1 (zh) * | 2017-01-24 | 2018-08-02 | 深圳大学 | 一种静态视频摘要的生成方法及装置 |
| CN109885723A (zh) * | 2019-02-20 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 一种视频动态缩略图的生成方法、模型训练的方法及装置 |
| CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN111787000A (zh) * | 2020-06-30 | 2020-10-16 | 绿盟科技集团股份有限公司 | 网络安全评估方法及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| SumGraph: Video Summarization via Recursive Graph Modeling;Jungin Park等;《 European Conference on Computer Vision》;第647–663页 * |
| 基于超图排序算法的视频摘要;冀中;樊帅飞;;电子学报(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112580563A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113963087B (zh) | 图像处理方法、图像处理模型训练方法、装置及存储介质 | |
| CN111709878B (zh) | 人脸超分辨率实现方法、装置、电子设备及存储介质 | |
| CN111860167B (zh) | 人脸融合模型获取及人脸融合方法、装置及存储介质 | |
| CN113094550B (zh) | 视频检索方法、装置、设备和介质 | |
| CN113379627B (zh) | 图像增强模型的训练方法和对图像进行增强的方法 | |
| CN111709470B (zh) | 图像生成方法、装置、设备及介质 | |
| CN111967297B (zh) | 图像的语义分割方法、装置、电子设备及介质 | |
| CN112580563B (zh) | 视频摘要的生成方法、装置、电子设备和存储介质 | |
| CN112584077B (zh) | 视频的插帧方法、装置及电子设备 | |
| US11641446B2 (en) | Method for video frame interpolation, and electronic device | |
| CN111680600B (zh) | 人脸识别模型处理方法、装置、设备和存储介质 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| CN112001248B (zh) | 主动交互的方法、装置、电子设备和可读存储介质 | |
| CN111241838B (zh) | 文本实体的语义关系处理方法、装置及设备 | |
| CN112308770B (zh) | 人像转换模型生成方法及人像转换方法 | |
| CN111815595A (zh) | 图像语义分割方法、装置、设备和可读存储介质 | |
| CN110427864B (zh) | 一种图像处理方法、装置及电子设备 | |
| CN116342782A (zh) | 生成虚拟形象渲染模型的方法和装置 | |
| CN112784102B (zh) | 视频检索方法、装置和电子设备 | |
| CN111932530B (zh) | 三维对象检测方法、装置、设备和可读存储介质 | |
| CN112529058A (zh) | 图像生成模型训练方法和装置、图像生成方法和装置 | |
| CN114758130B (zh) | 图像处理及模型训练方法、装置、设备和存储介质 | |
| CN112053362B (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN116167426A (zh) | 人脸关键点定位模型的训练方法及人脸关键点定位方法 | |
| CN111814634B (zh) | 一种实时距离确定方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |