CN108012191B - 视频数据处理方法及装置、计算设备、介质 - Google Patents
视频数据处理方法及装置、计算设备、介质 Download PDFInfo
- Publication number
- CN108012191B CN108012191B CN201711405701.3A CN201711405701A CN108012191B CN 108012191 B CN108012191 B CN 108012191B CN 201711405701 A CN201711405701 A CN 201711405701A CN 108012191 B CN108012191 B CN 108012191B
- Authority
- CN
- China
- Prior art keywords
- layer
- video data
- frame
- frame image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 188
- 238000013528 artificial neural network Methods 0.000 claims abstract description 183
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 13
- 230000003068 static effect Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频数据处理方法及装置、计算设备，其方法包括：获取录制后的视频数据，对视频数据所包含的帧图像进行分组处理；获取分组处理后视频数据中的一帧图像；判断帧图像是否为任一分组的第1帧图像；若是，则将帧图像输入至经训练得到的神经网络中，得到处理后的帧图像；若否，则将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像；重复执行上述步骤直至完成对视频数据中所有帧图像的处理。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种视频数据处理方法及装置、计算设备。
背景技术
随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰、分辨率、显示效果也大幅提高。在录制视频时还可以根据用户的各种个性化需求，对视频进行相应的处理。
现有技术在对视频进行处理后，往往是将视频中的每一帧图像作为单独的帧图像进行处理，而没有考虑到视频中前后帧之间的连续性。这样处理使得需要对每一帧均进行处理，处理的速度较慢，需要花费较多的时间。
因此，需要一种视频数据处理方法，以提升视频处理的速度。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频数据处理方法及装置、计算设备。
根据本发明的一个方面，提供了一种视频数据处理方法，其包括：
获取录制后的视频数据，对视频数据所包含的帧图像进行分组处理；
获取分组处理后视频数据中的一帧图像；
判断帧图像是否为任一分组的第1帧图像；
若是，则将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；
若否，则将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1 帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像；其中，i和j为自然数；
重复执行上述步骤直至完成对视频数据中所有帧图像的处理。
可选地，在判断出帧图像不是任一分组的第1帧图像之后，方法还包括：
计算帧图像与其所属分组的第1帧图像的帧间距；
根据帧间距，确定i和j的取值；其中，第i层卷积层与最后一层卷积层之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。
可选地，方法还包括：预先设置帧间距与i和j的取值的对应关系。
可选地，在直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合之后，方法还包括：
若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到处理后的帧图像；
若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到处理后的帧图像。
可选地，将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像进一步包括：在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。
可选地，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果之前，方法还包括：在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。
可选地，视频数据每组包含n帧帧图像；其中，n为固定预设值。
可选地，对视频数据所包含的帧图像进行分组处理进一步包括：
根据视频数据所包含的帧图像的静/动态模式，对视频数据所包含的帧图像进行分组处理。
可选地，对视频数据所包含的帧图像进行分组处理进一步包括：
对用户指定时间段的视频数据所包含的帧图像进行分组处理。
可选地，视频数据为本地视频数据和/或网络视频数据。
可选地，视频数据为由多个本地图片和/或多个网络图片合成的视频数据。
可选地，方法还包括：
将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
根据本发明的另一方面，提供了一种视频数据处理装置，其包括：
分组模块，适于获取录制后的视频数据，对视频数据所包含的帧图像进行分组处理；
获取模块，适于获取分组处理后视频数据中的一帧图像；
判断模块，适于判断帧图像是否为任一分组的第1帧图像，若是，执行第一处理模块；否则，执行第二处理模块；
第一处理模块，适于将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；
第二处理模块，适于将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像；其中，i和j为自然数；
循环模块，适于重复执行上述获取模块、判断模块、第一处理模块和/ 或第二处理模块直至完成对视频数据中所有帧图像的处理。
可选地，装置还包括：
帧间距计算模块，适于计算帧图像与其所属分组的第1帧图像的帧间距；
确定模块，适于根据帧间距，确定i和j的取值；其中，第i层卷积层与最后一层卷积层之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。
可选地，装置还包括：
预设模块，适于预先设置帧间距与i和j的取值的对应关系。
可选地，第二处理模块进一步适于：
若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到处理后的帧图像；
若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到处理后的帧图像。
可选地，第一处理模块进一步适于：
在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。
可选地，第二处理模块进一步适于：
在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。
可选地，视频数据每组包含n帧帧图像；其中，n为固定预设值。
可选地，分组模块进一步适于：
根据视频数据所包含的帧图像的静/动态模式，对视频数据所包含的帧图像进行分组处理。
可选地，分组模块进一步适于：
对用户指定时间段的视频数据所包含的帧图像进行分组处理。
可选地，视频数据为本地视频数据和/或网络视频数据。
可选地，视频数据为由多个本地图片和/或多个网络图片合成的视频数据。
可选地，装置还包括：
上传模块，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述视频数据处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述视频数据处理方法对应的操作。
根据本发明提供的视频数据处理方法及装置、计算设备，获取录制后的视频数据，对视频数据所包含的帧图像进行分组处理；获取分组处理后视频数据中的一帧图像；判断帧图像是否为任一分组的第1帧图像；若是，则将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；若否，则将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像；其中，i和j为自然数；重复执行上述步骤直至完成对视频数据中所有帧图像的处理。本发明充分利用了视频数据中各帧图像之间的连续性、关联性，在对录制后的视频数据进行处理时，将视频数据分组处理，每组中对第1帧图像由神经网络完成全部卷积层和反卷积层的运算，对除第1帧图像之外的其他帧图像仅运算至第i层卷积层，复用第1帧图像已经得到的第j层反卷积层的运算结果进行图像融合，大大降低了神经网络的运算量，提高了视频数据处理的速度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的视频数据处理方法的流程图；
图2示出了根据本发明另一个实施例的视频数据处理方法的流程图；
图3示出了根据本发明一个实施例的视频数据处理装置的功能框图；
图4示出了根据本发明另一个实施例的视频数据处理装置的功能框图；
图5示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的视频数据处理方法的流程图。如图 1所示，视频数据处理方法具体包括如下步骤：
步骤S101，获取录制后的视频数据，对视频数据所包含的帧图像进行分组处理。
获取到的录制后的视频数据可以是用户本地已录制完成的视频数据，也可以获取网络上已经录制完成的视频数据。其中，获取到的录制后的视频数据可以为采用图像采集设备进行拍摄或录制形成的视频数据，或者，视频数据是由多个本地图片合成的录制视频数据，或者视频数据是由多个网络图片合成的录制视频数据，或者视频数据是由多个本地图片和多个网络图片合成的录制视频数据。
对视频数据所包含的帧图像进行分组处理时，需要考虑各帧图像间的关联关系，将各帧图像中关联关系紧密的帧图像分为一组。不同组帧图像中具体包含的帧图像的帧数可以是相同的或者不同的，假设每组帧图像中包含n 帧帧图像，n可以为固定值或非固定值，n的取值根据实施情况设置。由于视频数据为录制后的视频数据，因此，通过对视频数据中各关键帧图像进行分析，可以得知视频数据为静态模式还是动态模式。静态模式的视频数据中各帧图像之间关联更为紧密，如视频数据为讲座类视频数据，演讲人在视频数据中的各帧图像的位置变化不大，视频数据为静态模式的视频数据。对静态模式的视频数据进行分组时，可以将较多帧图像分为一组。动态模式的视频数据中各帧图像之间变化可能会较快，有时仅几帧图像之间关联紧密。在对动态模式的视频数据进行分组时，需要根据视频数据中帧图像的关联进行分组处理。具体的，在分组处理时，按照各帧图像的先后顺序，将相邻的具有关联关系的多帧图像分为一组。进一步，在分组处理时，可以直接对帧图像进行标记，标记其为某一分组中的第X帧图像。实施中具体的分组方式根据实施情况确实，此处不做限定。
步骤S102，获取分组处理后视频数据中的一帧图像。
在获取帧图像时，先获取任一组中的一帧图像，在对该帧图像执行后续处理后，获取该组的其他帧图像执行后续处理，直至该组中的所有帧图像均执行后续处理后，再获取其他组的帧图像，并执行后续的处理。
进一步，在获取帧图像时，可以按照视频数据的时间顺序从前往后，依次获取视频数据的第1组的所有帧图像执行后续处理后，获取第2组、第3 组……的帧图像执行后续处理；也可以按照视频数据的时间顺序从后往前，依次获取……第3组的所有帧图像执行后续处理后，获取第2组、第1组中的帧图像执行后续处理。此处对具体获取某一分组的顺序不做限定。
步骤S103，判断帧图像是否为任一分组的第1帧图像。
判断帧图像是否为其中任一分组的第1帧图像，若是，执行步骤S104，否则执行步骤S105。具体判断方式根据分组方式、标记等进行判断。
步骤S104，将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像。
帧图像为任一分组中的第1帧图像，将帧图像输入至经训练得到的神经网络中，依次由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，最终得到处理后的帧图像。具体的，如该神经网络中包含4层卷积层的运算和3层反卷积层的运算，将帧图像输入至该神经网络经过全部的4层卷积层的运算和3层反卷积层的运算。其中，该神经网络还包括了将卷积层的运算结果与对应的反卷积层的运算结果进行图像融合的处理，最终得到处理后的帧图像。
步骤S105，将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i 层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像。
帧图像不是任一分组中的第1帧图像，将帧图像输入至经训练得到的神经网络中，此时，不需要由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，仅运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，直接获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j 层反卷积层的运算结果，将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，就可以得到处理后的帧图像。其中，第i层卷积层和第j 层反卷积层之间具有对应关系，该对应关系具体为第i层卷积层的运算结果与第j层反卷积层的运算结果的输出维度相同。i和j均为自然数，且i的取值不超过神经网络所包含的最后一层卷积层的层数，j的取值不超过神经网络所包含的最后一层反卷积层的层数。具体的，如将帧图像输入至神经网络中，运算至神经网络第1层卷积层，得到第1层卷积层的运算结果，直接获取帧图像所属分组的第1帧图像输入至神经网络中得到的第3层反卷积层的运算结果，将第1层卷积层的运算结果与第1帧图像的第3层反卷积层的运算结果进行融合。其中，第1层卷积层的运算结果与第3层反卷积层的运算结果的输出维度是相同的。
通过复用所属分组中第1帧图像已经运算得到的第j层反卷积层的运算结果，可以减少神经网络对帧图像的运算，大大加快神经网络的处理速度，从而提高神经网络的计算效率。
步骤S106，判断是否完成对视频数据中所有帧图像的处理。
判断时，根据视频数据中各分组的帧图像的获取顺序进行判断。具体的，如获取顺序为根据视频数据的时间顺序从前往后依次获取，判断若帧图像为视频数据的最后分组的最后一帧图像，则判断已经完成对视频数据中所有帧图像的处理，执行结束。否则，判断未完成对视频数据中所有帧图像的处理，则执行步骤S102，继续获取视频数据中的帧图像，并对其进行处理。
根据本发明提供的视频数据处理方法，获取录制后的视频数据，对视频数据所包含的帧图像进行分组处理；获取分组处理后视频数据中的一帧图像；判断帧图像是否为任一分组的第1帧图像；若是，则将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；若否，则将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像；其中，i和j为自然数；重复执行上述步骤直至完成对视频数据中所有帧图像的处理。本发明充分利用了视频数据中各帧图像之间的连续性、关联性，在对录制后的视频数据进行处理时，将视频数据分组处理，每组中对第1帧图像由神经网络完成全部卷积层和反卷积层的运算，对除第1帧图像之外的其他帧图像仅运算至第i层卷积层，复用第1帧图像已经得到的第j层反卷积层的运算结果进行图像融合，大大降低了神经网络的运算量，提高了视频数据处理的速度。
图2示出了根据本发明另一个实施例的视频数据处理方法的流程图。如图2所示，视频数据处理方法具体包括如下步骤：
步骤S201，获取录制后的视频数据，对用户指定时间段的视频数据所包含的帧图像进行分组处理。
获取到录制后的视频数据后，由于视频数据中包含很多帧图像，有时，用户不需要对视频数据中的全部帧图像进行处理，而仅对用户指定时间段的视频数据进行处理。此时，仅需要对用户指定时间段内的视频数据进行分组处理。分组处理的具体方式可以参照图1实施例中步骤S101的描述，在此不再赘述。
步骤S202，获取分组处理后视频数据中的一帧图像。
此处，仅获取分组处理的用户指定时间段的视频数据的帧图像。获取的顺序可以参照图1实施例中步骤S102的描述，在此不再赘述。
步骤S203，判断帧图像是否为任一分组的第1帧图像。
判断帧图像是否为其中任一分组的第1帧图像，若是，执行步骤S204，否则执行步骤S205。具体判断方式根据分组方式、标记等进行判断。
步骤S204，将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像。
帧图像为任一分组中的第1帧图像，将帧图像输入至经训练得到的神经网络中，依次由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，最终得到处理后的帧图像。
为进一步提高神经网络的运算速度，在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理，即将帧图像输入神经网络后，在第1层卷积层运算后，对运算结果进行下采样处理，降低运算结果的分辨率，再将下采样后的运算结果进行第2层卷积层运算，并对第2层卷积层的运算结果也进行下采样处理，依次类推，直至神经网络的最后一层卷积层(即卷积层的瓶颈层)，以最后一层卷积层为第 4层卷积层为例，在第4层卷积层运算结果之后不再做下采样处理。最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理，降低各层卷积层输入的帧图像的分辨率，可以提高神经网络的运算速度。需要注意的是，在神经网络的第一次卷积层运算时，输入的是获取的帧图像，而没有进行下采样处理，这样可以得到比较好的帧图像的细节。之后，在对输出的运算结果进行下采样处理时，既不会影响帧图像的细节，又可以提高神经网络的运算速度。
步骤S205，计算帧图像与其所属分组的第1帧图像的帧间距。
计算帧图像与其所属分组的第1帧图像的帧间距时，具体的，帧图像为任一分组的第3帧图像，计算得到其与所属分组的第1帧图像的帧间距为2。
步骤S206，根据帧间距，确定i和j的取值。
根据得到的帧间距，来确定神经网络中第i层卷积层的i的取值，以及第 1帧图像第j层反卷积层的j的取值。在确定i和j时，可以认为第i层卷积层与最后一层卷积层(卷积层的瓶颈层)之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。当帧间距越大时，第i层卷积层与最后一层卷积层之间的层距越小，i值越大，越需要运行较多的卷积层的运算；第j层反卷积层与输出层之间的层距越大，j值越小，需获取更小层数的反卷积层的运算结果。
以神经网络中包含第1-4层卷积层为例，其中，第4层卷积层为最后一层卷积层；神经网络中还包含了第1-3层反卷积层和输出层。当帧间距为1 时，确定第i层卷积层与最后一层卷积层之间的层距为3，确定i为1，即运算至第1层卷积层，确定第j层反卷积层与输出层之间的层距为1，确定j为 3，获取第3层反卷积层的运算结果；当帧间距为2时，确定第i层卷积层与最后一层卷积层之间的层距为2，确定i为2，即运算至第2层卷积层，确定第j层反卷积层与输出层之间的层距为2，j为2，获取第2层反卷积层的运算结果。具体层距的大小与神经网络所包含的卷积层和反卷积层的各层数、以及实际实施所要达到的效果相关，以上均为举例说明。
或者，根据得到的帧间距，确定神经网络中第i层卷积层的i的取值，以及第1帧图像第j层反卷积层的j的取值时，可以直接根据帧间距，预先设置帧间距与i和j的取值的对应关系。具体的，根据不同的帧间距预先设置不同 i和j的取值，如帧间距为1，设置i的取值为1，j的取值为3；帧间距为2，设置i的取值为2，j的取值为2；或者还可以根据不同的帧间距，设置相同的i和j的取值；如不论帧间距的大小时，均设置对应的i的取值为2，j的取值为2；或者还可以对一部分不同的帧间距，设置相同的i和j的取值，如帧间距为1和2，设置对应的i的取值为1，j的取值为3；帧间距为3和4，设置对应的i的取值为2，j的取值为2。具体根据实施情况进行设置，此处不做限定。
步骤S207，将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i 层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像。
帧图像不是任一分组中的第1帧图像，在确定i和j的取值后，将帧图像输入至经训练得到的神经网络中，仅运算至神经网络的第i层卷积层得到第i 层卷积层的运算结果后，直接获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，将第i层卷积层的运算结果与第j 层反卷积层的运算结果进行图像融合，就可以得到处理后的帧图像。其中，所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果可以直接获取到，不需要在重新将所属分组的第1帧图像输入神经网络获取，大大降低了神经网络的运算频率，加快了神经网络的运算速度。
进一步，在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。即将帧图像输入神经网络后，在第1层卷积层运算后，对运算结果进行下采样处理，降低运算结果的分辨率，再将下采样后的运算结果进行第2层卷积层运算，并对第2层卷积层的运算结果也进行下采样处理，依次类推，直至第i层卷积层，这样可以降低各层卷积层输入的帧图像的分辨率，提高神经网络的运算速度。需要注意的是，在神经网络的第一次卷积层运算时，输入的是获取的帧图像，而没有进行下采样处理，这样可以得到比较好的帧图像的细节。之后，在对输出的运算结果进行下采样处理时，既不会影响帧图像的细节，又可以提高神经网络的运算速度。
进一步，若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到处理后的帧图像。若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续各反卷积层，以及输出层的运算，以得到处理后的帧图像。
步骤S208，判断是否完成对视频数据中所有帧图像的处理。
判断时，根据视频数据的获取顺序进行判断。具体的，如获取顺序为根据视频数据的时间顺序从前往后依次获取，判断若帧图像为视频数据的最后分组的最后一帧图像，则判断已经完成对视频数据中所有帧图像的处理，执行结束。否则，判断未完成对视频数据中所有帧图像的处理，则执行步骤 S202，继续获取视频数据中的帧图像，并对其进行处理。
步骤S209，将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
处理后的视频数据可以保存在本地仅供用户观看，也可以将处理后的视频数据直接上传至一个或多个云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
根据本发明提供的视频数据处理方法，根据用户需求，对用户指定时间段的视频数据进行分组处理，可以更好的满足用户需求，实现灵活的视频数据处理方式。在获取到帧图像后，对帧图像进行判断，若帧图像是任一分组中的第1帧图像，将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；若帧图像不是任一分组中的第1帧图像，计算帧图像与其所属分组的第1帧图像的帧间距。根据帧间距，确定神经网络的第i层卷积层的i取值，得到第i层卷积层的运算结果。同时，确定神经网络的第j层反卷积层的j取值，从而直接获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，复用第j层反卷积层的运算结果，将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像，降低了神经网络运算的频率，提高计算效率。进一步，还可以在神经网络的第i层卷积层或最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理，降低各层卷积层输入的帧图像的分辨率，以提高神经网络的运算速度。进一步，本发明还可以将处理后的视频数据直接上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。本发明对用户技术水平不做限制，不需要用户手动对视频进行处理，自动实现对视频的处理，大大节省用户时间。
图3示出了根据本发明一个实施例的视频数据处理装置的功能框图。如图3所示，视频数据处理装置包括如下模块：
分组模块301，适于获取录制后的视频数据，对视频数据所包含的帧图像进行分组处理。
分组模块301获取到的录制后的视频数据可以是用户本地已录制完成的视频数据，分组模块301也可以获取网络上已经录制完成的视频数据。其中，分组模块301获取到的录制后的视频数据可以为采用图像采集设备进行拍摄或录制形成的视频数据，或者，视频数据是由多个本地图片合成的录制视频数据，或者视频数据是由多个网络图片合成的录制视频数据，或者视频数据是由多个本地图片和多个网络图片合成的录制视频数据。
分组模块301对视频数据所包含的帧图像进行分组处理时，需要考虑各帧图像间的关联关系，将各帧图像中关联关系紧密的帧图像分为一组。不同组帧图像中具体包含的帧图像的帧数可以是相同的或者不同的，假设每组帧图像中包含n帧帧图像，n可以为固定值或非固定值，n的取值根据实施情况设置。由于视频数据为录制后的视频数据，因此，分组模块301通过对视频数据中各关键帧图像进行分析，可以得知视频数据为静态模式还是动态模式。静态模式的视频数据中各帧图像之间关联更为紧密，如视频数据为讲座类视频数据，演讲人在视频数据中的各帧图像的位置变化不大，视频数据为静态模式的视频数据。分组模块301对静态模式的视频数据进行分组时，可以将较多帧图像分为一组。动态模式的视频数据中各帧图像之间变化可能会较快，有时仅几帧图像之间关联紧密。分组模块301在对动态模式的视频数据进行分组时，需要根据视频数据中帧图像的关联进行分组处理。具体的，分组模块301在分组处理时，按照各帧图像的先后顺序，将相邻的具有关联关系的多帧图像分为一组。进一步，分组模块301在分组处理时，可以直接对帧图像进行标记，标记其为某一分组中的第X帧图像。实施中具体的分组方式根据实施情况确实，此处不做限定。
进一步，分组模块301获取到录制后的视频数据后，由于视频数据中包含很多帧图像，有时，用户不需要对视频数据中的全部帧图像进行处理，而仅对用户指定时间段的视频数据进行处理。此时，分组模块301仅需要对用户指定时间段内的视频数据进行分组处理。分组处理的具体方式按照上述的各种分组处理，在此不再赘述。
获取模块302，适于获取分组处理后视频数据中的一帧图像。
获取模块302在获取帧图像时，先获取任一组中的一帧图像，在对该帧图像执行后续处理后，获取模块302获取该组的其他帧图像执行后续处理，直至该组中的所有帧图像均执行后续处理后，获取模块302再获取其他组的帧图像，并执行后续的处理。
进一步，获取模块302在获取帧图像时，可以按照视频数据的时间顺序从前往后，依次获取视频数据的第1组的所有帧图像执行后续处理后，获取模块302获取第2组、第3组……的帧图像执行后续处理；也可以按照视频数据的时间顺序从后往前，获取模块302依次获取……第3组的所有帧图像执行后续处理后，获取模块302获取第2组、第1组中的帧图像执行后续处理。此处对具体获取某一分组的顺序不做限定
若分组模块301仅对用户指定时间段内的视频数据进行分组处理时，相应的，获取模块302仅获取分组处理的用户指定时间段的视频数据的帧图像。
判断模块303，适于判断帧图像是否为任一分组的第1帧图像，若是，执行第一处理模块304；否则，执行第二处理模块305。
判断模块303判断帧图像是否为其中任一分组的第1帧图像，若是，执行第一处理模块304，否则执行第二处理模块305。判断模块303具体判断方式根据分组方式、标记等进行判断。
第一处理模块304，适于将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像。
判断模块303判断帧图像为任一分组中的第1帧图像，第一处理模块304 将帧图像输入至经训练得到的神经网络中，依次由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，最终得到处理后的帧图像。具体的，如该神经网络中包含4层卷积层的运算和3层反卷积层的运算，第一处理模块 304将帧图像输入至该神经网络经过全部的4层卷积层的运算和3层反卷积层的运算。其中，该神经网络还包括了将卷积层的运算结果与对应的反卷积层的运算结果进行图像融合的处理，最终得到处理后的帧图像。
进一步，为提高神经网络的运算速度，在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，第一处理模块304对每一层卷积层的运算结果进行下采样处理，即将帧图像输入神经网络后，在第1层卷积层运算后，第一处理模块304对运算结果进行下采样处理，降低运算结果的分辨率，再将下采样后的运算结果进行第2层卷积层运算，第一处理模块304对第2层卷积层的运算结果也进行下采样处理，依次类推，直至神经网络的最后一层卷积层(即卷积层的瓶颈层)，以最后一层卷积层为第4层卷积层为例，在第4层卷积层运算结果之后第一处理模块304不再做下采样处理。最后一层卷积层之前的每一层卷积层运算后，第一处理模块304对每一层卷积层的运算结果进行下采样处理，降低各层卷积层输入的帧图像的分辨率，可以提高神经网络的运算速度。需要注意的是，在神经网络的第一次卷积层运算时，第一处理模块304输入的是获取的帧图像，而没有进行下采样处理，这样可以得到比较好的帧图像的细节。之后，第一处理模块304在对输出的运算结果进行下采样处理时，既不会影响帧图像的细节，又可以提高神经网络的运算速度。
第二处理模块305，适于将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像。
判断模块303判断帧图像不是任一分组中的第1帧图像，第二处理模块 305将帧图像输入至经训练得到的神经网络中，此时，不需要由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，仅运算至神经网络的第i 层卷积层得到第i层卷积层的运算结果后，第二处理模块305直接获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，就可以得到处理后的帧图像。其中，第i层卷积层和第j层反卷积层之间具有对应关系，该对应关系具体为第i层卷积层的运算结果与第j层反卷积层的运算结果的输出维度相同。i和j均为自然数，且i的取值不超过神经网络所包含的最后一层卷积层的层数，j的取值不超过神经网络所包含的最后一层反卷积层的层数。具体的，如第二处理模块305将帧图像输入至神经网络中，运算至神经网络第1层卷积层，得到第1层卷积层的运算结果，第二处理模块 305直接获取帧图像所属分组的第1帧图像输入至神经网络中得到的第3层反卷积层的运算结果，将第1层卷积层的运算结果与第1帧图像的第3层反卷积层的运算结果进行融合。其中，第1层卷积层的运算结果与第3层反卷积层的运算结果的输出维度是相同的。
第二处理模块305通过复用所属分组中第1帧图像已经运算得到的第j 层反卷积层的运算结果，可以减少神经网络对帧图像的运算，大大加快神经网络的处理速度，从而提高神经网络的计算效率。
进一步，在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，第二处理模块305对每一层卷积层的运算结果进行下采样处理。即将帧图像输入神经网络后，在第1层卷积层运算后，第二处理模块305对运算结果进行下采样处理，降低运算结果的分辨率，再将下采样后的运算结果进行第2 层卷积层运算，第二处理模块305对第2层卷积层的运算结果也进行下采样处理，依次类推，直至第i层卷积层，这样可以降低各层卷积层输入的帧图像的分辨率，提高神经网络的运算速度。需要注意的是，在神经网络的第一次卷积层运算时，第二处理模块305输入的是获取的帧图像，而没有进行下采样处理，这样可以得到比较好的帧图像的细节。之后，第二处理模块305 在对输出的运算结果进行下采样处理时，既不会影响帧图像的细节，又可以提高神经网络的运算速度。
进一步，若第j层反卷积层是神经网络的最后一层反卷积层，则第二处理模块305将图像融合结果输入到输出层，以得到处理后的帧图像。若第j 层反卷积层不是神经网络的最后一层反卷积层，则第二处理模块305将图像融合结果输入到第j+1层反卷积层，经过后续各反卷积层，以及输出层的运算，以得到处理后的帧图像。
循环模块306，适于重复执行上述获取模块302、判断模块303、第一处理模块304和/或第二处理模块305直至完成对视频数据中所有帧图像的处理。
循环模块306需要判断是否完成对视频数据中所有帧图像的处理，循环模块306在判断时，根据视频数据的获取顺序进行判断。具体的，如获取模块302获取顺序为根据视频数据的时间顺序从前往后依次获取，循环模块306 判断若帧图像为视频数据的最后分组的最后一帧图像，则判断已经完成对视频数据中所有帧图像的处理，执行结束。否则，循环模块306判断未完成对视频数据中所有帧图像的处理，则重复执行上述获取模块302、判断模块303、第一处理模块304和/或第二处理模块305直至完成对视频数据中所有帧图像的处理。
根据本发明提供的视频数据处理装置，获取录制后的视频数据，对视频数据所包含的帧图像进行分组处理；获取分组处理后视频数据中的一帧图像；判断帧图像是否为任一分组的第1帧图像；若是，则将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；若否，则将帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像；其中，i和j为自然数；重复执行上述执行直至完成对视频数据中所有帧图像的处理。本发明充分利用了视频数据中各帧图像之间的连续性、关联性，在对录制后的视频数据进行处理时，将视频数据分组处理，每组中对第1帧图像由神经网络完成全部卷积层和反卷积层的运算，对除第1帧图像之外的其他帧图像仅运算至第i层卷积层，复用第1帧图像已经得到的第j层反卷积层的运算结果进行图像融合，大大降低了神经网络的运算量，提高了视频数据处理的速度。进一步，本发明还可以在神经网络的第i层卷积层或最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理，降低各层卷积层输入的帧图像的分辨率，以提高神经网络的运算速度。本发明还根据用户需求，对用户指定时间段的视频数据进行分组处理，可以更好的满足用户需求，实现灵活的视频数据处理方式。
图4示出了根据本发明另一个实施例的视频数据处理装置的功能框图。如图4所示，与图3不同之处在于，视频数据处理装置还包括：
帧间距计算模块307，适于计算帧图像与其所属分组的第1帧图像的帧间距。
帧间距计算模块307计算帧图像与其所属分组的第1帧图像的帧间距时，具体的，帧图像为任一分组的第3帧图像，帧间距计算模块307计算得到其与所属分组的第1帧图像的帧间距为2。
确定模块308，适于根据帧间距，确定i和j的取值。
确定模块308根据得到的帧间距，来确定神经网络中第i层卷积层的i 的取值，以及第1帧图像第j层反卷积层的j的取值。确定模块308在确定i 和j时，可以认为第i层卷积层与最后一层卷积层(卷积层的瓶颈层)之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。当帧间距越大时，第i层卷积层与最后一层卷积层之间的层距越小，i值越大，第二处理模块305越需要运行较多的卷积层；第j层反卷积层与输出层之间的层距越大，j值越小，第二处理模块305需获取更小层数的反卷积层的运算结果。以神经网络中包含第1-4层卷积层为例，其中，第4层卷积层为最后一层卷积层；神经网络中还包含了第1-3层反卷积层和输出层，帧间距计算模块307计算帧间距为1时，确定模块308确定第i层卷积层与最后一层卷积层之间的层距为3，确定i为1，即第二处理模块305运算至第 1层卷积层，确定模块308确定第j层反卷积层与输出层之间的层距为1，确定j为3，第二处理模块305获取第3层反卷积层的运算结果；帧间距计算模块307计算帧间距为2时，确定模块308确定第i层卷积层与最后一层卷积层之间的层距为2，确定i为2，即第二处理模块305运算至第2层卷积层，确定模块308确定第j层反卷积层与输出层之间的层距为2，j为2，第二处理模块305获取第2层反卷积层的运算结果。具体层距的大小与神经网络所包含的卷积层和反卷积层的各层数、以及实际实施所要达到的效果相关，以上均为举例说明。
预设模块309，适于预先设置帧间距与i和j的取值的对应关系。
预设模块309根据得到的帧间距，确定神经网络中第i层卷积层的i的取值，以及第1帧图像第j层反卷积层的j的取值时，可以直接根据帧间距，预先设置帧间距与i和j的取值的对应关系。具体的，预设模块309根据不同的帧间距预先设置不同i和j的取值，如帧间距计算模块307计算帧间距为1，预设模块309设置i的取值为1，j的取值为3；帧间距计算模块307计算帧间距为2，预设模块309设置i的取值为2，j的取值为2；或者还可以根据不同的帧间距，设置相同的i和j的取值；如不论帧间距的大小时，预设模块 309均设置对应的i的取值为2，j的取值为2；或者还可以对一部分不同的帧间距，设置相同的i和j的取值，如帧间距计算模块307计算帧间距为1和2，预设模块309设置对应的i的取值为1，j的取值为3；帧间距计算模块307 计算帧间距为3和4，预设模块309设置对应的i的取值为2，j的取值为2。具体根据实施情况进行设置，此处不做限定。
上传模块310，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
处理后的视频数据可以保存在本地仅供用户观看，也可以由上传模块 310将处理后的视频数据直接上传至一个或多个云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
根据本发明提供的视频数据处理装置，在获取到帧图像后，对帧图像进行判断，若帧图像是任一分组中的第1帧图像，将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；若帧图像不是任一分组中的第1帧图像，计算帧图像与其所属分组的第1帧图像的帧间距。根据帧间距，确定神经网络的第i层卷积层的i 取值，得到第i层卷积层的运算结果。同时，确定神经网络的第j层反卷积层的j取值，从而直接获取帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，复用第j层反卷积层的运算结果，将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像，降低了神经网络运算的频率，提高计算效率。进一步，本发明还可以将处理后的视频数据直接上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。本发明对用户技术水平不做限制，不需要用户手动对视频进行处理，自动实现对视频的处理，大大节省用户时间。
本申请还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频数据处理方法。
图5示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述视频数据处理方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC (ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述任意方法实施例中的视频数据处理方法。程序510中各步骤的具体实现可以参见上述视频数据处理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频数据处理的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (26)
1.一种视频数据处理方法，其包括：
获取录制后的视频数据，对所述视频数据所包含的帧图像进行分组处理；
获取分组处理后所述视频数据中的一帧图像；
判断所述帧图像是否为任一分组的第1帧图像；
若是，则将所述帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；
若否，则将所述帧图像输入至经训练得到的神经网络中，在运算至所述神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取所述帧图像所属分组的第1帧图像输入至所述神经网络中得到的第j层反卷积层的运算结果，直接将所述第i层卷积层的运算结果与所述第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像；其中，i和j为自然数；所述第i层卷积层和第j层反卷积层具有对应关系，所述对应关系为所述第i层卷积层的运算结果与第j层反卷积层的运算结果的输出维度相同；
重复执行上述步骤直至完成对视频数据中所有帧图像的处理。
2.根据权利要求1所述的方法，其中，在判断出所述帧图像不是任一分组的第1帧图像之后，所述方法还包括：
计算所述帧图像与其所属分组的第1帧图像的帧间距；
根据所述帧间距，确定i和j的取值；其中，所述第i层卷积层与最后一层卷积层之间的层距与所述帧间距成反比关系，所述第j层反卷积层与输出层之间的层距与所述帧间距成正比关系。
3.根据权利要求2所述的方法，其中，所述方法还包括：预先设置帧间距与所述i和j的取值的对应关系。
4.根据权利要求1-3中任一项所述的方法，其中，在所述直接将所述第i层卷积层的运算结果与所述第j层反卷积层的运算结果进行图像融合之后，所述方法还包括：
若所述第j层反卷积层是所述神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到处理后的帧图像；
若所述第j层反卷积层不是所述神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到处理后的帧图像。
5.根据权利要求1-3中任一项所述的方法，其中，所述将帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像进一步包括：在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。
6.根据权利要求1-3中任一项所述的方法，其中，在运算至所述神经网络的第i层卷积层得到第i层卷积层的运算结果之前，所述方法还包括：在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。
7.根据权利要求1-3中任一项所述的方法，其中，所述视频数据每组包含n帧帧图像；其中，n为固定预设值。
8.根据权利要求1-3中任一项所述的方法，其中，所述对所述视频数据所包含的帧图像进行分组处理进一步包括：
根据所述视频数据所包含的帧图像的静/动态模式，对所述视频数据所包含的帧图像进行分组处理。
9.根据权利要求1-3中任一项所述的方法，其中，所述对所述视频数据所包含的帧图像进行分组处理进一步包括：
对用户指定时间段的视频数据所包含的帧图像进行分组处理。
10.根据权利要求1-3中任一项所述的方法，其中，所述视频数据为本地视频数据和/或网络视频数据。
11.根据权利要求1-3中任一项所述的方法，其中，所述视频数据为由多个本地图片和/或多个网络图片合成的视频数据。
12.根据权利要求1-3中任一项所述的方法，其中，所述方法还包括：
将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
13.一种视频数据处理装置，其包括：
分组模块，适于获取录制后的视频数据，对所述视频数据所包含的帧图像进行分组处理；
获取模块，适于获取分组处理后所述视频数据中的一帧图像；
判断模块，适于判断所述帧图像是否为任一分组的第1帧图像，若是，执行第一处理模块；否则，执行第二处理模块；
第一处理模块，适于将所述帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到处理后的帧图像；
第二处理模块，适于将所述帧图像输入至经训练得到的神经网络中，在运算至所述神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取所述帧图像所属分组的第1帧图像输入至所述神经网络中得到的第j层反卷积层的运算结果，直接将所述第i层卷积层的运算结果与所述第j层反卷积层的运算结果进行图像融合，得到处理后的帧图像；其中，i和j为自然数；所述第i层卷积层和第j层反卷积层具有对应关系，所述对应关系为所述第i层卷积层的运算结果与第j层反卷积层的运算结果的输出维度相同；
循环模块，适于重复执行上述获取模块、判断模块、第一处理模块和/或第二处理模块直至完成对视频数据中所有帧图像的处理。
14.根据权利要求13所述的装置，其中，所述装置还包括：
帧间距计算模块，适于计算所述帧图像与其所属分组的第1帧图像的帧间距；
确定模块，适于根据所述帧间距，确定i和j的取值；其中，所述第i层卷积层与最后一层卷积层之间的层距与所述帧间距成反比关系，所述第j层反卷积层与输出层之间的层距与所述帧间距成正比关系。
15.根据权利要求14所述的装置，其中，所述装置还包括：
预设模块，适于预先设置帧间距与所述i和j的取值的对应关系。
16.根据权利要求13-15中任一项所述的装置，其中，所述第二处理模块进一步适于：
若所述第j层反卷积层是所述神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到处理后的帧图像；
若所述第j层反卷积层不是所述神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到处理后的帧图像。
17.根据权利要求13-15中任一项所述的装置，其中，所述第一处理模块进一步适于：
在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。
18.根据权利要求13-15中任一项所述的装置，其中，所述第二处理模块进一步适于：
在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。
19.根据权利要求13-15中任一项所述的装置，其中，所述视频数据每组包含n帧帧图像；其中，n为固定预设值。
20.根据权利要求13-15中任一项所述的装置，其中，所述分组模块进一步适于：
根据所述视频数据所包含的帧图像的静/动态模式，对所述视频数据所包含的帧图像进行分组处理。
21.根据权利要求13-15中任一项所述的装置，其中，所述分组模块进一步适于：
对用户指定时间段的视频数据所包含的帧图像进行分组处理。
22.根据权利要求13-15中任一项所述的装置，其中，所述视频数据为本地视频数据和/或网络视频数据。
23.根据权利要求13-15中任一项所述的装置，其中，所述视频数据为由多个本地图片和/或多个网络图片合成的视频数据。
24.根据权利要求13-15中任一项所述的装置，其中，所述装置还包括：
上传模块，适于将处理后的视频数据上传至一个或多个云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
25.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-12中任一项所述的视频数据处理方法对应的操作。
26.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-12中任一项所述的视频数据处理方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711405701.3A CN108012191B (zh) | 2017-12-22 | 2017-12-22 | 视频数据处理方法及装置、计算设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711405701.3A CN108012191B (zh) | 2017-12-22 | 2017-12-22 | 视频数据处理方法及装置、计算设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108012191A CN108012191A (zh) | 2018-05-08 |
| CN108012191B true CN108012191B (zh) | 2020-08-14 |
Family
ID=62060648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711405701.3A Active CN108012191B (zh) | 2017-12-22 | 2017-12-22 | 视频数据处理方法及装置、计算设备、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108012191B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110225413B (zh) * | 2019-07-09 | 2021-09-10 | 广州品唯软件有限公司 | 一种视频播放方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866900A (zh) * | 2015-01-29 | 2015-08-26 | 北京工业大学 | 一种反卷积神经网络训练方法 |
| CN105550701A (zh) * | 2015-12-09 | 2016-05-04 | 福州华鹰重工机械有限公司 | 实时图像提取识别方法及装置 |
| CN106529517A (zh) * | 2016-12-30 | 2017-03-22 | 北京旷视科技有限公司 | 图像处理方法和图像处理设备 |
| WO2017106998A1 (en) * | 2015-12-21 | 2017-06-29 | Sensetime Group Limited | A method and a system for image processing |
-
2017
- 2017-12-22 CN CN201711405701.3A patent/CN108012191B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866900A (zh) * | 2015-01-29 | 2015-08-26 | 北京工业大学 | 一种反卷积神经网络训练方法 |
| CN105550701A (zh) * | 2015-12-09 | 2016-05-04 | 福州华鹰重工机械有限公司 | 实时图像提取识别方法及装置 |
| WO2017106998A1 (en) * | 2015-12-21 | 2017-06-29 | Sensetime Group Limited | A method and a system for image processing |
| CN106529517A (zh) * | 2016-12-30 | 2017-03-22 | 北京旷视科技有限公司 | 图像处理方法和图像处理设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的单目视频深度恢复算法研究;陈启超;《中国优秀硕士学位论文全文数据库信息科技辑》;20170615;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108012191A (zh) | 2018-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107392842B (zh) | 图像风格化处理方法、装置、计算设备及计算机存储介质 | |
| CN107277615B (zh) | 直播风格化处理方法、装置、计算设备及存储介质 | |
| CN108876804B (zh) | 抠像模型训练和图像抠像方法、装置和系统及存储介质 | |
| CN108010538B (zh) | 音频数据处理方法及装置、计算设备 | |
| CN107277391B (zh) | 图像转换网络处理方法、服务器、计算设备及存储介质 | |
| CN107920257B (zh) | 视频关键点实时处理方法、装置及计算设备 | |
| CN107730514B (zh) | 场景分割网络训练方法、装置、计算设备及存储介质 | |
| CN107516290B (zh) | 图像转换网络获取方法、装置、计算设备及存储介质 | |
| Ignatov et al. | AIM 2020 challenge on rendering realistic bokeh | |
| CN107590811B (zh) | 基于场景分割的风景图像处理方法、装置及计算设备 | |
| US20200106945A1 (en) | Utilizing alignment models and motion vector path blending to generate a long exposure digital image from a sequence of short exposure digital images | |
| CN107644423B (zh) | 基于场景分割的视频数据实时处理方法、装置及计算设备 | |
| CN110163042B (zh) | 图像识别方法及装置 | |
| CN111260037B (zh) | 图像数据的卷积运算方法、装置、电子设备及存储介质 | |
| US20210064919A1 (en) | Method and apparatus for processing image | |
| CN107959798B (zh) | 视频数据实时处理方法及装置、计算设备 | |
| US20210342983A1 (en) | Iterative image inpainting with confidence feedback | |
| CN107392316B (zh) | 网络训练方法、装置、计算设备及计算机存储介质 | |
| CN107808394B (zh) | 一种基于卷积神经网络的图像处理方法及移动终端 | |
| CN108012191B (zh) | 视频数据处理方法及装置、计算设备、介质 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN111027670B (zh) | 特征图处理方法、装置、电子设备及存储介质 | |
| CN107622498B (zh) | 基于场景分割的图像穿越处理方法、装置及计算设备 | |
| CN107993217B (zh) | 视频数据实时处理方法及装置、计算设备 | |
| CN108810319A (zh) | 图像处理装置和图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |