CN108881950B - 一种视频处理的方法和装置 - Google Patents
一种视频处理的方法和装置 Download PDFInfo
- Publication number
- CN108881950B CN108881950B CN201810538414.8A CN201810538414A CN108881950B CN 108881950 B CN108881950 B CN 108881950B CN 201810538414 A CN201810538414 A CN 201810538414A CN 108881950 B CN108881950 B CN 108881950B
- Authority
- CN
- China
- Prior art keywords
- video data
- content description
- frames
- similar frames
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 6
- 239000013598 vector Substances 0.000 claims abstract description 171
- 238000013499 data model Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
- H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种视频处理的方法和装置，所述方法包括：获取目标视频数据；从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息。通过本发明实施例，实现了基于图像特征，自动生成视频的内容描述，提升了内容描述生成的效率，减少了人力成本。
Description
技术领域
本发明涉及视频处理技术领域，特别是涉及一种视频处理的方法和装置。
背景技术
随着互联网技术的发展，电视剧、电影等视频资源越来越多，且部分视频资源的篇幅较长，用户若完整观看需要花费用户大量的时间。
目前，对于没有时间观看视频，或者，不想完整观看视频的用户，通常可以采用人工的方式，即由工作人员在观看视频资源后，用语言文字总结出视频资源的主要内容，并发布给需要观看的用户。
然而，这种人工的方式通常只针对热度较高的视频资源，不可能对每个视频资源进行总结，且每次总结都需要工作人员完整观看该视频资源，效率低且花费大量的人力成本。
发明内容
鉴于上述问题，提出了本发明实施例以便提供克服上述问题或者至少部分地解决上述问题的一种视频处理的方法和装置。
为了解决上述问题，本发明实施例公开了一种视频处理的方法，所述方法包括：
获取目标视频数据；
从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；
将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息。
可选地，所述从所述目标视频数据中，确定一组或多组第一相似帧的步骤包括：
确定所述目标视频数据中每个图像帧对应的第一特征向量；其中，所述每个图像帧按在所述目标视频数据中的播放顺序进行排列；
根据所述第一特征向量，确定多个第一关键帧；
针对每个第一关键帧，将所述第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，得到一组或多组第一相似帧。
可选地，所述根据所述第一特征向量，确定多个第一关键帧的步骤包括：
针对相邻图像帧，计算所述第一特征向量的差异值；其中，所述相邻图像帧为相邻排列的两个图像帧；
当检测到所述差异值大于预设差异值时，将所述差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第一关键帧。
可选地，所述确定每组第一相似帧对应的第一整体特征向量的步骤包括：
针对每组第一相似帧，对各个第一相似帧对应的第一特征向量进行均值处理，得到所述每组第一相似帧对应的第一整体特征向量。
可选地，在所述获取目标视频数据的步骤之前，还包括：
获取样本视频数据；
从所述样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量；
采用基于注意力机制的循环神经网络，对所述第二整体特征向量和所述内容描述向量进行训练，以建立数据模型。
可选地，所述确定每组第二相似帧对应的内容描述向量的步骤包括：
针对每组第二相似帧，获取对应的原始内容描述；
对所述原始内容描述进行分词处理，并对所述分词处理后的原始内容描述进行去重处理，得到一个或多个字词；
以所述一个或多个字词的数量为向量长度，对所述原始内容描述进行编码，得到每组相似帧对应的内容描述向量。
本发明实施例还公开了一种视频处理的装置，所述装置包括：
目标视频数据获取模块，用于获取目标视频数据；
第一整体特征向量确定模块，用于从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；
内容描述信息接收模块，用于将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息。
可选地，所述第一整体特征向量确定模块包括：
第一特征向量确定子模块，用于确定所述目标视频数据中每个图像帧对应的第一特征向量；其中，所述每个图像帧按在所述目标视频数据中的播放顺序进行排列；
第一关键帧确定子模块，用于根据所述第一特征向量，确定多个第一关键帧；
第一相似帧得到子模块，用于针对每个第一关键帧，将所述第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，得到一组或多组第一相似帧。
可选地，所述第一关键帧确定子模块包括：
差异值计算单元，用于针对相邻图像帧，计算所述第一特征向量的差异值；其中，所述相邻图像帧为相邻排列的两个图像帧；
第一关键帧作为单元，用于当检测到所述差异值大于预设差异值时，将所述差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第一关键帧。
可选地，所述第一整体特征向量确定模块还包括：
均值处理子模块，用于针对每组第一相似帧，对各个第一相似帧对应的第一特征向量进行均值处理，得到所述每组第一相似帧对应的第一整体特征向量。
可选地，还包括：
样本视频数据获取模块，用于获取样本视频数据；
向量确定模块，用于从所述样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量；
模型建立模块，用于采用基于注意力机制的循环神经网络，对所述第二整体特征向量和所述内容描述向量进行训练，以建立数据模型。
可选地，所述向量确定模块包括：
原始内容描述获取子模块，用于针对每组第二相似帧，获取对应的原始内容描述；
字词得到子模块，用于对所述原始内容描述进行分词处理，并对所述分词处理后的原始内容描述进行去重处理，得到一个或多个字词；
内容编码子模块，用于以所述一个或多个字词的数量为向量长度，对所述原始内容描述进行编码，得到每组相似帧对应的内容描述向量。
本发明实施例包括以下优点：
在本发明实施例中，通过获取目标视频数据，从目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量，然后将第一整体特征向量输入预先建立的数据模型，并接收数据模型针对目标视频数据输出的内容描述信息，实现了基于图像特征，自动生成视频的内容描述，提升了内容描述生成的效率，减少了人力成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种视频处理的方法的步骤流程图；
图2是本发明实施例的另一种视频处理的方法的步骤流程图；
图3是本发明实施例的一种图像帧的示意图；
图4是本发明实施例的另一种视频处理的方法的步骤流程图；
图5是本发明实施例的一种Encoder-Decoder架构的示意图；
图6是本发明实施例的一种视频处理的装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明实施例的一种视频处理的方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取目标视频数据；
作为一种示例，目标视频数据可以为电视剧、电影、监控录像等。
在本发明实施例中，客户端可以向服务器获取视频数据列表，并展示给用户，视频数据列表可以包括多个视频数据的标识。
当用户需要获知视频数据列表中某个视频数据的视频内容时，如某一集电视剧的剧情，其可以在客户端中选定目标视频数据的标识，客户端可以将目标视频数据的标识发送至服务器，服务器可以获取目标视频数据，或者，服务器也可以根据后台人员的操作直接获取目标视频数据。
步骤102，从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；
作为一种示例，特征向量可以为图像特征的向量表达形式。
由于目标视频数据是由多个图像帧组成，而相邻的图像帧之间可能表征同一视频内容，服务器可以对各个图像帧进行特征检测，并可以根据特征检测的结果，将组成目标视频数据的图像帧划分为一组或多组第一相似帧。
针对每组第一相似帧，服务器可以生成该组中各个第一相似帧的特征向量，并对该特征向量进行均值处理，生成该组第一相似帧对应的第一整体特征向量，以表征该组第一相似帧的整体图像特征。
步骤103，将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息。
作为一种示例，内容描述信息可以为文本信息。
在获得第一整体特征向量后，服务器可以将每组第一相似帧对应的第一整体特征向量输入数据模型，数据模型可以将分别确定每个第一整体特征向量对应的内容描述信息，并将每个第一整体特征向量对应的内容描述信息组织成针对目标视频数据的内容描述信息。
在本发明实施例中，通过获取目标视频数据，从目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量，然后将第一整体特征向量输入预先建立的数据模型，并接收数据模型针对目标视频数据输出的内容描述信息，实现了基于图像特征，自动生成视频的内容描述，提升了内容描述生成的效率，减少了人力成本。
参照图2，示出了本发明实施例的另一种视频处理的方法的步骤流程图，具体可以包括如下步骤：
步骤201，获取目标视频数据；
在本发明实施例中，客户端可以向服务器获取视频数据列表，并展示给用户，视频数据列表可以包括多个视频数据的标识。
当用户需要获知视频数据列表中某个视频数据的视频内容时，如某一集电视剧的剧情，其可以在客户端中选定目标视频数据的标识，客户端可以将目标视频数据的标识发送至服务器，服务器可以获取目标视频数据，或者，服务器也可以根据后台人员的操作直接获取目标视频数据。
步骤202，确定所述目标视频数据中每个图像帧对应的第一特征向量；
其中，每个图像帧可以按在目标视频数据中的播放顺序进行排列。
在获得目标视频数据后，服务器可以对目标视频数据进行解码，从中提取出组成目标视频数据的多个图像帧。
针对每个图像帧，服务器可以采用卷积神经网络(Convolutional NeuralNetwork，CNN)，如采用训练好的VGG16模型，分别对图像帧进行图像特征提取，如可以在前几层抽取图像的底层边缘特征，如图像的垂线等，后续层逐渐抽取更抽象的特征，进而得到每个图像帧对应的第一特征向量。
步骤203，根据所述第一特征向量，确定多个第一关键帧；
由于相邻的图像帧之间可能表征同一视频内容，而表征同一视频内容的图像帧对应的第一特征向量的差异较小，服务器可以根据第一特征向量的差异，从目标视频数据的多个图像帧中确定第一关键帧。
具体的，步骤203可以包括如下子步骤：
子步骤11，针对相邻图像帧，计算所述第一特征向量的差异值；
其中，相邻图像帧可以为相邻排列的两个图像帧。
针对相邻排列的两个图像帧，服务器可以按照预设的差异值公式，计算两个图像帧对应的第一特征向量的差异值。
例如，相邻排列的两个图像帧对应的第一特征向量分别为：A＝[1，2，3]，B＝[4，5，6]，则差异值为：
子步骤12，当检测到所述差异值大于预设差异值时，将所述差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第一关键帧。
由于图像帧是按在目标视频数据中的播放顺序进行排列，当检测到差异值大于预设差异值时，则可以将相邻排列的两个图像帧中排列在后的图像帧，作为第一关键帧，得到至少两个关键帧。
需要说明的是，为了保证目标视频数据的完整性，可以将在目标视频数据中的播放顺序排列为第一个的图像帧，作为一个第一关键帧，即将目标视频数据的第一个图像帧作为第一关键帧，也可以将按在目标视频数据中的播放顺序排列为最后一个的图像帧，作为一个第一关键帧，即将目标视频数据的最后一个图像帧作为第一关键帧。
如图3，在图像帧的示意图中，可以将第一个图像帧a、差异值大于预设差异值的图像帧b、c，以及最后一个图像帧d，作为第一关键帧。
步骤204，针对每个第一关键帧，将所述第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，得到一组或多组第一相似帧；
在确定第一关键帧后，可以将每个第一关键帧和该第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，如在图3中，可以将图像帧a和图像帧a与图像帧b之间图像帧作为一组第一相似帧，将图像帧b和图像帧b与图像帧c之间图像帧作为一组第一相似帧，将图像帧c和图像帧c与图像帧d之间图像帧作为一组第一相似帧，得到3组第一相似帧。
步骤205，针对每组第一相似帧，对各个第一相似帧对应的第一特征向量进行均值处理，得到所述每组第一相似帧对应的第一整体特征向量；
在确定第一相似帧后，可以对每组第一相似帧中的各个第一相似帧对应的第一特征向量进行均值处理，得到每组第一相似帧对应的第一整体特征向量，即表征整个连续第一相似帧的图像特征。
例如，一组第一相似帧中各个第一相似帧的第一特征向量分别为：[1，2，3]、[4，5，6]、[7，8，9]，则该组第一相似帧对应的第一整体特征向量为：[(1+4+7)/3，(2+5+8)/3，(3+6+9)/3]＝[4，5，6]。
步骤206，将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息。
在获得第一整体特征向量后，可以将目标视频数据中每组第一相似帧对应的第一整体特征向量输入预先建立的数据模型，数据模型可以将分别确定每个第一整体特征向量对应的内容描述信息，并将每个第一整体特征向量对应的内容描述信息组织成针对目标视频数据的内容描述信息。
在本发明实施例中，通过获取目标视频数据，从目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量，然后将第一整体特征向量输入预先建立的数据模型，并接收数据模型针对目标视频数据输出的内容描述信息，实现了基于图像特征，自动生成视频的内容描述，提升了内容描述生成的效率，减少了人力成本。
而且，通过确定每个图像帧对应的第一特征向量，并将差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第一关键帧，然后将第一关键帧，以及第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，实现了对视频中图像帧的全面分析，保证了内容描述的准确性、完整性。
参照图4，示出了本发明实施例的另一种视频处理的方法的步骤流程图，具体可以包括如下步骤：
步骤401，获取样本视频数据；
在本发明实施例中，服务器可以获得多个样本数据视频，以进行模型训练，建立数据模型，如样本视频数据可以为电视剧、电影、监控录像等。
步骤402，从所述样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量；
在获得样本视频数据后，服务器可以确定样本视频数据中每个图像帧对应的第二特征向量，并可以根据第二特征向量，确定多个第二关键帧。
在一种优选示例中，可以针对相邻图像帧，计算第二特征向量的差异值，当检测到差异值大于预设差异值时，将差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第二关键帧。
针对每个第二关键帧，可以将第二关键帧，以及第二关键帧与后一个第二关键帧之间的图像帧作为第二相似帧，得到一组或多组第二相似帧。
在确定第二相似帧后，可以针对每组第二相似帧，对各个第二相似帧对应的第二特征向量进行均值处理，得到每组第二相似帧对应的第二整体特征向量，并可以确定每组第二相似帧对应的内容描述向量，形成第二整体特征向量和内容描述向量的数据对，以作为训练集进行模型训练。
需要说明的是，由于确定第二整体特征向量的过程与上文中确定第一整体特征向量的过程基本相似，相关之处参见上文的部分说明即可。
在本发明一种优选实施例中，所述确定每组第二相似帧对应的内容描述向量的步骤可以包括如下子步骤：
子步骤21，针对每组第二相似帧，获取对应的原始内容描述；
作为一种示例，原始内容描述可以为文本信息。
在训练过程中，后台工作人员可以人工观看每组相似帧，然后采用人工标注的方式输入原始内容描述，以表征每组相似帧的视频内容。
子步骤22，对所述原始内容描述进行分词处理，并对所述分词处理后的原始内容描述进行去重处理，得到一个或多个字词；
在获得原始内容描述后，可以原始描述信息进行切分，然后再去除其中重复的字词，得到一个或多个字词。
例如，原始内容描述为文本a“我爱故宫”和文本b“北京故宫”，对文本a进行分词处理后，得到“我”、“爱”、“故宫”3个字词，对文本b进行分词处理后，得到“北京”、“故宫”2个字词，然后进行去重处理，得到“我”、“爱”、“北京”、“故宫”4个字词。
子步骤23，以所述一个或多个字词的数量为向量长度，对所述原始内容描述进行编码，得到每组相似帧对应的内容描述向量。
在获得一个或多个字词后，可以统计一个或多个字词的数量，然后可以以该数量为向量长度，对原始内容描述进行编码，如独热编码(One-Hot Encoding)，并在编码后，组织成内容描述向量。
例如，“我”、“爱”、“北京”、“故宫”为4个字词，向量长度为4，则对文本a进行独热编码为：[1，0，0，0]、[0，1，0，0]、[0，0，0，1]，对文本b进行独热编码为：、[0，0，1，0]、[0，0，0，1]。
步骤403，采用基于注意力机制的循环神经网络，对所述第二整体特征向量和所述内容描述向量进行训练，以建立数据模型。
在本发明实施例中，可以采用Encoder-Decoder架构进行模型训练，Encoder-Decoder架构即为编码-解码模型，如图5，编码即为将输入序列X转化成一个固定长度的向量C，如将输入的第二相似帧转化成第二整体特征向量，解码即为将之前生成的固定向量C再转化成输出序列Y，如第二整体特征向量再转化成内容描述信息。
其中，Encoder可以采用卷积神经网络，Encoder输出即为上文中的第二整体特征向量和内容描述向量，Decoder可以采用循环神经网络(Recurrent Neural Networks，RNN)，循环神经网络的隐层单元个数等于图像帧的特征维数，Encoder的输出可以作为Decoder的输入。
在训练的过程中，可以在Decoder中采用基于注意力机制的循环神经网络，注意力机制可以通过调整模型参数，确定图像帧中的关注位置，如第二整体特征向量为关于“故宫”的图像帧对应的向量，内容描述向量为“我”、“爱”、“故宫”，在输入“爱”时，通过调整模型参数，使模型关注图像帧中“故宫”对应的位置，然后基于调整后的模型参数，建立数据模型。
在生成内容描述信息的过程中，注意机制可以确定图像帧中关注位置，对该关注位置进行识别，得到对应的内容描述信息，如在上一刻输出的内容描述信息为“爱”时，通过注意力机制，数据模型会关注图像帧中“故宫”对应的位置，对该关注位置进行识别，得到当前的内容描述信息为“故宫”，从而使得数据模型能够输出更加流畅、更具有逻辑性的内容描述信息。
在一种示例中，注意力机制可以通过将上一刻输出的内容描述信息(可以为向量表达形式)与表征图像帧的图像特征(可以为向量表达形式)进行点乘运算，得到图像帧中每个位置的softmax概率，将softmax概率最大的位置作为关注位置。
例如，X1、X2是输入的图像像素向量，经CNN后得到抽象表达向量T1、T2，每一个向量对应于图像中的不同位置，如T2对应于图像中的“故宫”位置，H1、H2为Decoder上一刻的隐层输出，然后计算每个向量T对应的softmax概率，分别将该softmax概率与当前的H进行加权处理，作为当前时刻Decoder的输入，则数据模型会输出当前时刻的文本。
又如，T1是图像中“蓝天”的位置抽象特征，T2为图像中“故宫”的位置抽象特征，H1为文本“我爱”在RNN上一刻的隐层输出，H1与T1、T2分别进行点乘运算，得到softmax概率分别是a1，a2。
当T2位置计算得到的概率值a2最高时，说明“我爱”后面接“故宫”可能性最大，然后做加权运算c2＝a1*T1+a2*T2，得到的c2作为RNN的输入，RNN则可以输出文本“故宫”，以此类推。
在本发明实施例中，通过获取目标视频数据，从目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量，然后将第一整体特征向量输入预先建立的数据模型，并接收数据模型针对目标视频数据输出的内容描述信息，实现了基于图像特征，自动生成视频的内容描述，提升了内容描述生成的效率，减少了人力成本。
而且，通过获取样本视频数据，从样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量，采用基于注意力机制的循环神经网络，对第二整体特征向量和内容描述向量进行训练，以建立数据模型，实现了采用视频的整体特征进行模型训练，保证了数据模型的准确性，且通过引入注意力机制，保证了生成内容描述的流畅性、逻辑性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图6，示出了本发明实施例的一种视频处理的装置的结构框图，具体可以包括如下模块：
目标视频数据获取模块601，用于获取目标视频数据；
第一整体特征向量确定模块602，用于从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；
内容描述信息接收模块603，用于将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息。
在本发明一种优选实施例中，所述第一整体特征向量确定模块602包括：
第一特征向量确定子模块，用于确定所述目标视频数据中每个图像帧对应的第一特征向量；其中，所述每个图像帧按在所述目标视频数据中的播放顺序进行排列；
第一关键帧确定子模块，用于根据所述第一特征向量，确定多个第一关键帧；
第一相似帧得到子模块，用于针对每个第一关键帧，将所述第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，得到一组或多组第一相似帧。
在本发明一种优选实施例中，所述第一关键帧确定子模块包括：
差异值计算单元，用于针对相邻图像帧，计算所述第一特征向量的差异值；其中，所述相邻图像帧为相邻排列的两个图像帧；
第一关键帧作为单元，用于当检测到所述差异值大于预设差异值时，将所述差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第一关键帧。
在本发明一种优选实施例中，所述第一整体特征向量确定模块602还包括：
均值处理子模块，用于针对每组第一相似帧，对各个第一相似帧对应的第一特征向量进行均值处理，得到所述每组第一相似帧对应的第一整体特征向量。
在本发明一种优选实施例中，还包括：
样本视频数据获取模块，用于获取样本视频数据；
向量确定模块，用于从所述样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量；
模型建立模块，用于采用基于注意力机制的循环神经网络，对所述第二整体特征向量和所述内容描述向量进行训练，以建立数据模型。
在本发明一种优选实施例中，所述向量确定模块包括：
原始内容描述获取子模块，用于针对每组第二相似帧，获取对应的原始内容描述；
字词得到子模块，用于对所述原始内容描述进行分词处理，并对所述分词处理后的原始内容描述进行去重处理，得到一个或多个字词；
内容编码子模块，用于以所述一个或多个字词的数量为向量长度，对所述原始内容描述进行编码，得到每组相似帧对应的内容描述向量。
在本发明实施例中，通过设置目标视频数据获取模块，可以用于获取目标视频数据，设置第一整体特征向量确定模块，可以用于从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量，设置内容描述信息接收模块，可以用于将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息，实现了基于图像特征，自动生成视频的内容描述，提升了内容描述生成的效率，减少了人力成本。
本发明实施例还公开了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的一种视频处理的方法的步骤。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的一种视频处理的方法的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种视频处理的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种视频处理的方法，其特征在于，所述方法包括：
获取目标视频数据；
从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；每组第一相似帧包括第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧；
将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息；
其中，在所述获取目标视频数据的步骤之前，还包括：
获取样本视频数据；
从所述样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量；
采用基于注意力机制的循环神经网络，对所述第二整体特征向量和所述内容描述向量进行训练，以建立数据模型。
2.根据权利要求1所述的方法，其特征在于，所述从所述目标视频数据中，确定一组或多组第一相似帧的步骤包括：
确定所述目标视频数据中每个图像帧对应的第一特征向量；其中，所述每个图像帧按在所述目标视频数据中的播放顺序进行排列；
根据所述第一特征向量，确定多个第一关键帧；
针对每个第一关键帧，将所述第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，得到一组或多组第一相似帧。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征向量，确定多个第一关键帧的步骤包括：
针对相邻图像帧，计算所述第一特征向量的差异值；其中，所述相邻图像帧为相邻排列的两个图像帧；
当检测到所述差异值大于预设差异值时，将所述差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第一关键帧。
4.根据权利要求3所述的方法，其特征在于，所述确定每组第一相似帧对应的第一整体特征向量的步骤包括：
针对每组第一相似帧，对各个第一相似帧对应的第一特征向量进行均值处理，得到所述每组第一相似帧对应的第一整体特征向量。
5.根据权利要求1所述的方法，其特征在于，所述确定每组第二相似帧对应的内容描述向量的步骤包括：
针对每组第二相似帧，获取对应的原始内容描述；
对所述原始内容描述进行分词处理，并对所述分词处理后的原始内容描述进行去重处理，得到一个或多个字词；
以所述一个或多个字词的数量为向量长度，对所述原始内容描述进行编码，得到每组相似帧对应的内容描述向量。
6.一种视频处理的装置，其特征在于，所述装置包括：
目标视频数据获取模块，用于获取目标视频数据；
第一整体特征向量确定模块，用于从所述目标视频数据中，确定一组或多组第一相似帧，并确定每组第一相似帧对应的第一整体特征向量；每组第一相似帧包括第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧；
内容描述信息接收模块，用于将所述第一整体特征向量输入预先建立的数据模型，并接收所述数据模型针对所述目标视频数据输出的内容描述信息；
其中，所述装置还包括：
样本视频数据获取模块，用于获取样本视频数据；
向量确定模块，用于从所述样本视频数据中，确定一组或多组第二相似帧，并确定每组第二相似帧对应的第二整体特征向量和内容描述向量；
模型建立模块，用于采用基于注意力机制的循环神经网络，对所述第二整体特征向量和所述内容描述向量进行训练，以建立数据模型。
7.根据权利要求6所述的装置，其特征在于，所述第一整体特征向量确定模块包括：
第一特征向量确定子模块，用于确定所述目标视频数据中每个图像帧对应的第一特征向量；其中，所述每个图像帧按在所述目标视频数据中的播放顺序进行排列；
第一关键帧确定子模块，用于根据所述第一特征向量，确定多个第一关键帧；
第一相似帧得到子模块，用于针对每个第一关键帧，将所述第一关键帧，以及所述第一关键帧与后一个第一关键帧之间的图像帧作为第一相似帧，得到一组或多组第一相似帧。
8.根据权利要求7所述的装置，其特征在于，所述第一关键帧确定子模块包括：
差异值计算单元，用于针对相邻图像帧，计算所述第一特征向量的差异值；其中，所述相邻图像帧为相邻排列的两个图像帧；
第一关键帧作为单元，用于当检测到所述差异值大于预设差异值时，将所述差异值大于预设差异值对应的相邻图像帧中后一个图像帧，作为第一关键帧。
9.根据权利要求8所述的装置，其特征在于，所述第一整体特征向量确定模块还包括：
均值处理子模块，用于针对每组第一相似帧，对各个第一相似帧对应的第一特征向量进行均值处理，得到所述每组第一相似帧对应的第一整体特征向量。
10.根据权利要求6所述的装置，其特征在于，所述向量确定模块包括：
原始内容描述获取子模块，用于针对每组第二相似帧，获取对应的原始内容描述；
字词得到子模块，用于对所述原始内容描述进行分词处理，并对所述分词处理后的原始内容描述进行去重处理，得到一个或多个字词；
内容编码子模块，用于以所述一个或多个字词的数量为向量长度，对所述原始内容描述进行编码，得到每组相似帧对应的内容描述向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810538414.8A CN108881950B (zh) | 2018-05-30 | 2018-05-30 | 一种视频处理的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810538414.8A CN108881950B (zh) | 2018-05-30 | 2018-05-30 | 一种视频处理的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108881950A CN108881950A (zh) | 2018-11-23 |
| CN108881950B true CN108881950B (zh) | 2021-05-25 |
Family
ID=64336840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810538414.8A Active CN108881950B (zh) | 2018-05-30 | 2018-05-30 | 一种视频处理的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108881950B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111105342B (zh) * | 2019-12-31 | 2023-11-21 | 北京集创北方科技股份有限公司 | 视频图像的处理方法及装置、电子设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308501A (zh) * | 2008-06-30 | 2008-11-19 | 腾讯科技（深圳）有限公司 | 生成视频摘要的方法、系统及设备 |
| CN105279495A (zh) * | 2015-10-23 | 2016-01-27 | 天津大学 | 一种基于深度学习和文本总结的视频描述方法 |
| CN105894043A (zh) * | 2016-04-27 | 2016-08-24 | 上海高智科技发展有限公司 | 一种视频描述语句生成方法及系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591892A (zh) * | 2011-01-13 | 2012-07-18 | 索尼公司 | 数据分段设备和方法 |
| CN103345492A (zh) * | 2013-06-25 | 2013-10-09 | 无锡赛思汇智科技有限公司 | 一种视频浓缩的方法和系统 |
| CN104683885A (zh) * | 2015-02-04 | 2015-06-03 | 浙江大学 | 一种基于近邻保持重构的视频关键帧摘要提取方法 |
| CN105025392B (zh) * | 2015-06-25 | 2017-12-19 | 西北工业大学 | 基于摘要空间特征学习的视频摘要关键帧提取方法 |
| CN105005772B (zh) * | 2015-07-20 | 2018-06-12 | 北京大学 | 一种视频场景检测方法 |
| CN106375849B (zh) * | 2015-07-23 | 2019-05-24 | 无锡天脉聚源传媒科技有限公司 | 一种生成模板的方法、装置、视频的更新方法及装置 |
| US9807473B2 (en) * | 2015-11-20 | 2017-10-31 | Microsoft Technology Licensing, Llc | Jointly modeling embedding and translation to bridge video and language |
| CN105721955B (zh) * | 2016-01-20 | 2018-09-11 | 天津大学 | 一种视频关键帧选取方法 |
| CN106980683B (zh) * | 2017-03-30 | 2021-02-12 | 中国科学技术大学苏州研究院 | 基于深度学习的博客文本摘要生成方法 |
| CN107220585A (zh) * | 2017-03-31 | 2017-09-29 | 南京邮电大学 | 一种基于多特征融合镜头聚类的视频关键帧提取方法 |
| CN107066973B (zh) * | 2017-04-17 | 2020-07-21 | 杭州电子科技大学 | 一种利用时空注意力模型的视频内容描述方法 |
| CN107562812B (zh) * | 2017-08-11 | 2021-01-15 | 北京大学 | 一种基于特定模态语义空间建模的跨模态相似性学习方法 |
-
2018
- 2018-05-30 CN CN201810538414.8A patent/CN108881950B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308501A (zh) * | 2008-06-30 | 2008-11-19 | 腾讯科技（深圳）有限公司 | 生成视频摘要的方法、系统及设备 |
| CN105279495A (zh) * | 2015-10-23 | 2016-01-27 | 天津大学 | 一种基于深度学习和文本总结的视频描述方法 |
| CN105894043A (zh) * | 2016-04-27 | 2016-08-24 | 上海高智科技发展有限公司 | 一种视频描述语句生成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108881950A (zh) | 2018-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108683924B (zh) | 一种视频处理的方法和装置 | |
| CN107707931B (zh) | 根据视频数据生成解释数据、数据合成方法及装置、电子设备 | |
| CN109803180B (zh) | 视频预览图生成方法、装置、计算机设备及存储介质 | |
| CN111464833B (zh) | 目标图像生成方法、目标图像生成装置、介质及电子设备 | |
| CN106686452B (zh) | 一种动态图片的生成方法及装置 | |
| CN109218629B (zh) | 视频生成方法、存储介质和装置 | |
| CN112163122A (zh) | 确定目标视频的标签的方法、装置、计算设备及存储介质 | |
| CN111523566A (zh) | 目标视频片段定位方法和装置 | |
| CN109040779B (zh) | 字幕内容生成方法、装置、计算机设备及存储介质 | |
| US11288516B2 (en) | Video rating method, video rating device, equipment and storage medium | |
| CN110287375B (zh) | 视频标签的确定方法、装置及服务器 | |
| CN111753673A (zh) | 一种视频数据的检测方法和装置 | |
| CN112511854A (zh) | 一种直播视频精彩片段生成方法、装置、介质和设备 | |
| CN111541939B (zh) | 一种视频拆分方法、装置、电子设备及存储介质 | |
| CN112149642A (zh) | 一种文本图像识别方法和装置 | |
| CN107203763B (zh) | 文字识别方法和装置 | |
| CN111242110B (zh) | 一种新闻自动拆条的自适应条件随机场算法的训练方法 | |
| Jayanthiladevi et al. | AI in video analysis, production and streaming delivery | |
| CN108881950B (zh) | 一种视频处理的方法和装置 | |
| CN112073757B (zh) | 情绪波动指数获取方法、显示方法及多媒体内容制作方法 | |
| EP3809318A1 (en) | Artificial intelligence-assisted content source identification | |
| CN114845149A (zh) | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 | |
| CN116229313A (zh) | 标签构建模型的生成方法、装置、电子设备和存储介质 | |
| CN110555117A (zh) | 一种数据处理方法、装置及电子设备 | |
| CN111695670A (zh) | 神经网络模型训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |