CN110958469A - 视频处理方法、装置、电子设备及存储介质 - Google Patents
视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN110958469A CN110958469A CN201911283956.6A CN201911283956A CN110958469A CN 110958469 A CN110958469 A CN 110958469A CN 201911283956 A CN201911283956 A CN 201911283956A CN 110958469 A CN110958469 A CN 110958469A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- video frame
- target
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 206
- 238000012549 training Methods 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 34
- 238000007781 pre-processing Methods 0.000 claims description 10
- 241001465754 Metazoa Species 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种视频处理方法、装置、电子设备及存储介质，通过确定目标视频流的待处理视频帧的属性标签，利用与属性标签相匹配的超分辨率处理参数，对待处理视频帧对应的图像进行超分辨率处理，获得目标图像，生成与目标图像相匹配的目标视频帧，从而使得目标视频帧的分辨率大于待处理视频帧的分辨率。实现了在保证视频流实时处理的同时，通过利用与视频帧匹配的处理参数进行超分辨处理，使得处理后的视频帧处理效果明显，提升了用户的体验效果。
Description
技术领域
本申请涉及信息处理技术领域，更具体的说是涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
为了便于视频传输，会对视频进行处理，例如，降低视频的分辨率，保证视频的快速传输。播放时又需要通过超分辨率技术来提高传输视频的分辨率，使得用户能够获得较为清晰的视频。
但是，为了保证视频处理的实时性，通常对每一视频帧对应的画面利用同一算法进行超分辨率处理，会导致某些情况下超分辨率处理效果并不明显，影响用户的体验效果。
发明内容
有鉴于此，本申请提供如下技术方案：
一种视频处理方法，包括：
确定目标视频流的待处理视频帧的属性标签，所述待处理视频帧包括至少一帧视频帧，所述属性标签与所述待处理视频帧的图像特征相匹配；
利用与所述属性标签相匹配的超分辨处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像；
生成与所述目标图像相匹配的目标视频帧，所述目标视频的分辨率。
可选地，所述确定目标视频流的待处理视频帧的属性标签，包括：
获取目标视频流的待处理视频帧对应的图像信息；
对所述图像信息进行特征提取，依据提取到的特征确定属性标签。
可选地，所述确定目标视频流的待处理视频帧的属性标签，包括：
依据目标视频流的待处理视频帧对应的视频节点信息；
依据所述视频节点信息对所述待处理视频帧进行分段，并为每一段对应的视频帧生成与之对应的属性标签。
可选地，所述超分辨率处理参数表征预设处理模型的处理参数，所述利用与所述属性标签相匹配的超分辨处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像，包括：
基于所述属性标签，确定所述预设处理模型的目标处理参数；
利用具有所述目标处理参数的预设处理模型对待处理视频帧对应的图像进行超分辨处理，获得目标图像。
可选地，该方法还包括：
获取第一视频，所述第一视频的每一视频帧对应第一图像和第二图像，所述第一图像的分辨率低于所述第二图像的分辨率；
利用所述第一视频对处理模型进行训练，得到初始处理模型；
获取第二视频，所述第二视频的每一视频帧包括属性标签，且所述每一视频帧对应第三图像和第四图像，所述第三图像的分辨率低于所述第四图像的分辨率；
利用所述第二视频对所述初始处理模型进行训练，得到预设处理模型，使得所述预设处理模型包括至少一组处理参数，且每一组处理参数有与之相匹配的属性标签。
可选地，所述属性标签至少包括以下一种：
表征静态图像特征的标签；
表征动态图像特征的标签；
表征人物图像特征的标签；
表征风景图像特征的标签；
表征建筑图像特征的标签；
表征物品图像特征的标签；
表征动物图像特征的标签；
表征动作行为特征的标签；
表征背景图像特征的标签。
可选地，所述生成与所述目标图像相匹配的目标视频帧，包括：
对所述目标图像进行图像预处理，并对预处理后的目标图像进行拼接，得到与所述目标图像相匹配的目标视频帧，所述图像预处理表征依据目标视频帧的输出格式进行确定的处理模式。
一种视频处理装置，包括：
标签确定单元，用于确定目标视频流的待处理视频帧的属性标签，所述待处理视频帧包括至少一帧视频帧，所述属性标签与所述待处理视频帧的图像特征相匹配；
处理单元，用于利用与所述属性标签相匹配的超分辨率处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像；
生成单元，用于生成与所述目标图像相匹配的目标视频帧，所述目标视频帧的分辨率大于所述待处理视频帧的分辨率。
一种电子设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于：
确定目标视频流的待处理视频帧的属性标签，所述待处理视频帧包括至少一帧视频帧，所述属性标签与所述待处理视频帧的图像特征相匹配；
利用与所述属性标签相匹配的超分辨率处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像；
生成与所述目标图像相匹配的目标视频帧，所述目标视频帧的分辨率大于所述待处理视频帧的分辨率。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一所述的视频处理方法包含的各个步骤。
经由上述的技术方案可知，本申请公开一种视频处理方法、装置、电子设备及存储介质，通过确定目标视频流的待处理视频帧的属性标签，利用与属性标签相匹配的超分辨率处理参数，对待处理视频帧对应的图像进行超分辨率处理，获得目标图像，生成与目标图像相匹配的目标视频帧，从而使得目标视频帧的分辨率大于待处理视频帧的分辨率。实现了在保证视频流实时处理的同时，通过利用与视频帧匹配的处理参数进行超分辨处理，使得处理后的视频帧处理效果明显，提升了用户的体验效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种视频处理方法的流程示意图；
图2为本申请实施例提供的一种处理模型的创建方法的流程示意图；
图3为本申请实施例提供的一种卷积神经网络的结构示意图；
图4为本申请实施例提供的一种超分辨率处理模型的结构示意图；
图5为本申请实施例提供的一种视频处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种视频处理方法，该方法主要是针对视频的分辨率进行处理的。通常一段视频流是由若干视频帧组成的，而每一帧视频帧均为一张图像，因此对视频流的分辨率进行处理，其本质是对每一帧视频帧的图像进行超分辨率处理。
图像分辨率是指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率单位为PPI(Pixels Per Inch)，通常叫作像素每英寸。图像分辨率处理应用范围较广泛，一般是用来改变图像的清晰度。超分辨率处理目的是提高原有图像的分辨率，其本质是通过一系列低分辨率的图像来得到一副高分辨率的图像。
参见图1，其示出了本申请实施例提供的一种视频处理方法的流程示意图，该方法可以包括以下步骤：
S101、确定目标视频流的待处理视频帧的属性标签。
目标视频流为需要进行超分辨处理的视频流，在视频应用场景中可以是待输出的视频流即待播放的视频流。在某些特定的场景下，由于受视频采集设备硬件的限制，通常采集到的视频流的分辨率较低，另一方面为了节省视频流传输的带宽，在视频流传输过程中也会采用低分辨率的视频流进行传输。而为了保证视频流输出画面的清晰度，需要使得输出的视频流为高分辨率视频流。待处理视频帧表征了当前时刻需要进行超分辨率处理的视频帧，该待处理视频帧包括至少一帧视频帧。
属性标签与待处理视频帧的图像特征相匹配，即该属性标签能够反映待处理视频帧的图像特征，可以通过该属性标签来获知对应的待处理视频的图像内容。并且在本申请实施例若待处理视频帧具有相同的图像特征，则会配置为相同的属性标签，使得在处理过程中可以直接对这些待处理视频帧进行连续处理，无需再次对每一视频帧再次分析。
例如，某一帧视频帧的图像特征为风景特征，则对应这一视频帧的属性标签为风景标签。对应视频流的采集特点，通常在某个时间段内的视频帧会表现出相同的图像特征，如，某一时间段拍摄到的图像特征表示的是动物，则该时间段内的各个视频帧的属性标签相同，均设置为动物标签。
在本申请中属性标签至少包括以下一种：
表征静态图像特征的标签；
表征动态图像特征的标签；
表征人物图像特征的标签；
表征风景图像特征的标签；
表征建筑图像特征的标签；
表征物品图像特征的标签；
表征动物图像特征的标签；
表征动作行为特征的标签；
表征背景图像特征的标签。
上述属性标签是本申请实施例中举例说明的标签，只要是能够提取出视频帧图像对应的图像特征，并且该图像特征能够反映该视频帧的主体内容，该图像特征对应的标签均可作为本申请实施例中的属性标签。
S102、利用与属性标签相匹配的超分辨率处理参数，对待处理视频帧对应的图像进行超分辨率处理，获得目标图像。
在现有的图像或者视频超分辨处理中，在整个处理过程中都会采用同一套超分辨处理参数，这就会造成某些图像进行超分辨率处理时造成资源浪费，或者会使得一些图像的超分辨处理结果不理想。
在本申请实施例中将超分辨率处理参数与属性标签相匹配，实现了在对视频的超分辨处理过程中利用的超分辨处理参数并不是唯一的，也不是全程不变的。但是需要说明的是，由于本申请实施例的超分辨处理参数与属性标签是相匹配的，而属性标签是对应每一帧视频帧的，即每一帧视频帧的图像利用的超分辨率处理参数，是对该图像整体的超分辨率处理，而不需要对该图像进行分区处理，可以解决现有技术中对图像进行分区，如区分边缘区域和主体区域时带来的处理效率低的问题。
超分辨率处理参数为超分辨处理方法中应用的参数，如，基于差值、基于重建和基于学习的超分辨率处理方法中利用的参数。以基于重建的迭代反向投影法(IBP)为例，对于不同的属性标签的图像进行处理时，其对应的修正系数可以与属性标签相匹配，即不同的属性标签其修正系数不同。
又例如，基于学习的超分辨率处理方法中，可以根据不同的属性标签在模型训练时调整每层的权重值，使得训练后的模型可以针对不同的属性标签，即此时的超分辨率处理参数对应模型的每层的权重值。
然后，利用与属性标签相匹配的超分辨率处理参数，对与属性标签对应的视频帧的图像进行超分辨率处理，得到目标图像。由于采用了不同的超分辨率处理参数，而超分辨率处理参数又与图像特征相对应，使得超分辨处理效果更明显。
S103、生成与目标图像相匹配的目标视频帧。
上述过程执行了超分辨率处理，因此，目标视频帧的分辨率大于待处理视频帧的分辨率。
本申请实现的是对视频的超分辨处理，因此在得到目标图像后，需要生成与视频传输或者存储相匹配的视频格式对应的目标视频帧，从而使得输出或存储的是与待处理视频帧相匹配的目标视频帧。
本申请实施例公开了一种视频处理方法，通过确定目标视频流的待处理视频帧的属性标签，利用与属性标签相匹配的超分辨率处理参数，对待处理视频帧对应的图像进行超分辨率处理，获得目标图像，生成与目标图像相匹配的目标视频帧，从而使得目标视频帧的分辨率大于待处理视频帧的分辨率。实现了在保证视频流实时处理的同时，通过利用与视频帧匹配的处理参数进行超分辨处理，使得处理后的视频帧处理效果明显，提升了用户的体验效果。
下面对本申请的各个技术特征以及可以实现的方式进行详细说明。
针对确定目标视频流的待处理视频帧的属性标签，可以通过以下方式实现。
一种可以实现的方式是通过图像特征提取的方式确定属性标签，该过程可以包括以下步骤：
S201、获取目标视频流的待处理视频帧对应的图像信息；
S202、对图像信息进行特征提取，依据提取到的特征确定属性标签。
图像信息可以为当前视频帧对应的图像。特征是某一类对象区别于其他类对象的本质特点或特性，或是这些特点和特性的集合。特征是通过测量或处理能够抽取的数据。对于图像，每一幅图像都具有能够区别于其他类图像的自身特征，有些是可以直观感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则需要通过变换或处理才能得到的，如矩、直方图以及主成份等。
在本申请实施例中对图像特征提取的方式和提取的内容不做限制，但是会与确定与属性标签相匹配的参照图像，以及该系列图像的图像特征，这样可以通过待处理视频帧提取获得的图像特征与参照图像特征的图像特征进行比较，从而确定对应的参照图像，以该参照图像的图像标签作为待处理视频帧的图像标签。
也可以通过机器学习的方法确定待处理视频帧的属性标签，即将标注有图像属性标签的大量图像作为训练样本，通过对神经网络模型进行训练，得到特征识别模型，然后以该特征识别模型来预测待处理视频帧对应的图像信息的属性标签。
在另一种可能的实现方式中，可以利用目标视频流中的节点信息来生成属性标签，具体的该过程可以包括：
S301、获取目标视频流的待处理视频帧对应的视频节点信息；
S302、依据视频节点信息对待处理视频帧进行分段，并未每一段对应的视频帧生成与之对应的属性标签。
利用图像采集设备进行连续多帧图像的采集，会生成视频流。在视频采集过程中会利用到镜头切换方式，即采集到的画面通常不是针对同一画面的时间延长的视频流，而是会通过切换镜头的方式采集到内容丰富的视频流，而采集设备的镜头切换的节点信息会封装在视频流生成的过程中。因此，可以利用镜头切换的节点信息来对待处理视频帧进行内容上的分段，如，镜头切换节点表征人物到风景的切换，则可以将该节点之前的视频帧设置为人物标签，该节点之后的视频帧设置为风景切换。这样实现了为每一段对应的视频帧生成了与之对应的属性标签。
在本申请的另一实施例中超分辨处理参数表征预设处理模型的处理参数，即实现了通过预设处理模型对视频进行超分辨率处理。所述利用与属性标签相匹配的超分辨率处理参数，对待处理视频帧对应的图像进行超分辨率处理，获得目标图像，包括：
S401、基于属性标签，确定预设处理模型的目标处理参数；
S402、利用具有目标处理参数的预设处理模型对待处理视频帧对应的图像进行超分辨率处理，获得目标图像。
为了实现快速精准的处理，本实施例具体采用在大数据基础上所训练的处理模型对待处理视频帧进行超分辨处理。
具体的，在模型训练阶段，需要获得标注有属性标签的图像作为训练样本，并且训练样本包括低分辨图像和与低分辨率图像对应的高分辨率图像，在训练模型时，处理模型可以采用卷积神经网络、BP神经网络等，在完成模型训练的基础上，后续可将待处理视频帧及属性标签作为处理模型的输入信息输入模型，并由模型对其进行处理，得到目标图像。
在本申请另一种实施例中还提供了一种处理模型的创建方法，参见图2，其示出了本申请实施例的处理模型的创建方法的流程示意图，该方法可以包括以下步骤：
S501、获取第一视频；
第一视频的每一视频帧对应第一图像和第二图像，且第一图像的分辨率低于第二图像的分辨率。
S502、利用第一视频对处理模型进行训练，得到初始处理模型。
S503、获取第二视频；
第二视频的每一视频帧包括属性标签，且每一视频帧对应第三图像和第四图像，所述第三图像的分辨率低于所述第四图像的分辨率。
S504、利用第二视频对初始处理模型进行训练，得到预设处理模型。
预设处理模型包括至少一组处理参数，且每一组处理参数有与之相匹配的属性标签。
在本实施例中模型训练过程是一个反复训练的过程，即可以先训练得到一个初始处理模型，再利用训练样本得到一个精准的预设处理模型。因此，在本实施例的训练样本可以包括初始训练时的训练样本和再次训练时的训练样本。
初始训练时的训练样本为第一视频，该第一视频的每个视频帧对应一个低分辨率和一个高分辨的图像，具体分辨率的数值可以根据实际需求进行选取。而再次训练时在训练样本中添加属性标签，并且会依据属性标签分组成子样本进行训练，例如对应人物标签的子样本，对应建筑标签的子样本，这样以人物标签的子样本训练得到的模型，在处理具有人物标签的视频帧时得到的结果将更加准确。
其中，第二视频可以为第一视频添加属性标签后的视频，也可以是新样本。但是在训练时需要将具有相同属性标签的样本信息作为一组进行训练。之所以设置两组训练样本，可以降低训练过程的运算量，只要根据训练结果调整其对应的权重参数即可，也可以在初始处理模型的基础上进行训练，使得训练得到的模型更加准确。
下面以对卷积神经网络(convosutionas neuras network，CNN)的训练过程为例进行说明。卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是一个可训练的滤波器与一个输入的图像或者卷积特征平面做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分临层卷积元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经元组成。同一特征平面的神经单元共享权重，就是卷积核。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。
参见图3，其示出了一种卷积神经网络的结构示意图，在该图中包括了三层卷积层，两层池化层和一个全连接层。输入层可以处理多维数据，对应本申请输入层输入的是视频帧对应的图像；卷积层的功能是对输入层输入的数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和偏差量。在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。全连接层位于卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。特征图在全连接层中会失去空间拓扑结构，被展开为向量并通过激励函数。输出层输出处理结果。
在本实施例中是以标注有属性标签的训练样本对卷积神经网络模型进行训练，使得训练得到的卷积神经网络中的卷积层的权重值满足对应的属性标签。实现了对固定权重值进行调整的目的，进而有针对性的进行超分辨率处理，以取得更明显的超分效果。
需要说明的是，可以采用一个处理模型对应不同的处理参数即不同的权重值，也可以是对应多个处理模型，每个处理模型有与之匹配的属性标签。
参见图4，其示出了本申请实施例提供的一种超分辨率处理模型的结构示意图。如图4所示，超分辨率模型103可以包含n个超分辨率子模型1031，n为大于等于2的整数。超分辨率子模型1031用于重建输入超分辨率子模型1031的图像信息以提高分辨率；图像信息包含像素值信息、图像特征的信息和图像对应的属性标签。各个超分辨率子模型会输入经过标签处理102的属性标签处理后与之对应的图像，即标签处理102需要对低分辨率图像101进行标签处理，为其设置与之匹配的标签，低分辨率图像来源于待处理视频帧对应的图像。例如，属性标签为人物的图像会输入到人物超分辨率子模型中，属性标签为动物的图像会输入到动物超分辨率子模型中，属性标签为建筑的图像会输入到建筑超分辨率子模型中，然后各个模型的输出结果会输出至重建图像104中，其将各个图像按照视频帧的顺序组合输出目标视频帧。
对应的，在本申请实施例中在得到与待处理视频帧对应的目标图像后，并不是直接将图像进行输出或者存储，因为处理的是目标视频流，其最终输出的也会是视频的格式。因此，需要对目标图像进行图像预处理，并对预处理后的目标图像进行拼接，得到与目标图像相匹配的目标视频帧。其中，图像预处理表征依据目标视频帧的输出格式进行确定的处理格式。如播放格式、存储格式或者与其他视频画面相关的格式处理，对此本申请不做限制。
在本申请的另一实施例中还提供了一种视频处理装置，参见图5，该装置包括：
标签确定单元10，用于确定目标视频流的待处理视频帧的属性标签，所述待处理视频帧包括至少一帧视频帧，所述属性标签与所述待处理视频帧的图像特征相匹配；
处理单元20，用于利用与所述属性标签相匹配的超分辨率处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像；
生成单元30，用于生成与所述目标图像相匹配的目标视频帧，所述目标视频帧的分辨率大于所述待处理视频帧的分辨率。
在上述实施例的基础上，标签确定单元10包括：
信息获取子单元，用于获取目标视频流的待处理视频帧对应的图像信息；
特征提取子单元，用于对所述图像信息进行特征提取，依据提取到的特征确定属性标签。
在上述实施例的基础上，标签确定单元10包括：
节点信息获取子单元，用于获取目标视频流的待处理视频帧对应的视频节点信息；
分段子单元，用于依据所述视频节点信息对所述待处理视频帧进行分段，并为每一段对应的视频帧生成与之对应的属性标签。
在上述实施例的基础上，当所述超分辨率处理参数表征预设处理模型的处理参数，处理单元20包括：
参数确定子单元，用于基于所述属性标签，确定所述预设处理模型的目标处理参数；
模型处理子单元，用于利用具有所述目标处理参数的预设处理模型对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像。
在上述实施例的基础上，该装置还包括：模型训练单元，所述模型训练单元具体用于：
获取第一视频，所述第一视频的每一视频帧对应第一图像和第二图像，所述第一图像的分辨率低于所述第二图像的分辨率；
利用所述第一视频对处理模型进行训练，得到初始处理模型；
获取第二视频，所述第二视频的每一视频帧包括属性标签，且所述每一视频帧对应第三图像和第四图像，所述第三图像的分辨率低于所述第四图像的分辨率；
利用所述第二视频对所述初始处理模型进行训练，得到预设处理模型，使得所述预设处理模型包括至少一组处理参数，且每一组处理参数有与之相匹配的属性标签。
在上述实施例的基础上，所述属性标签至少包括以下一种：
表征静态图像特征的标签；
表征动态图像特征的标签；
表征人物图像特征的标签；
表征风景图像特征的标签；
表征建筑图像特征的标签；
表征物品图像特征的标签；
表征动物图像特征的标签；
表征动作行为特征的标签；
表征背景图像特征的标签。
在上述实施例的基础上，生成单元30具体用于：
对所述目标图像进行图像预处理，并对预处理后的目标图像进行拼接，得到与所述目标图像相匹配的目标视频帧，所述图像预处理表征依据目标视频帧的输出格式进行确定的处理模式。
本实施例公开一种视频处理装置，通过标签确定单元确定目标视频流的待处理视频帧的属性标签，处理单元利用与属性标签相匹配的超分辨率处理参数，对待处理视频帧对应的图像进行超分辨率处理，获得目标图像，生成单元生成与目标图像相匹配的目标视频帧，从而使得目标视频帧的分辨率大于待处理视频帧的分辨率。实现了在保证视频流实时处理的同时，通过利用与视频帧匹配的处理参数进行超分辨处理，使得处理后的视频帧处理效果明显，提升了用户的体验效果。
本申请实施例还提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于：
确定目标视频流的待处理视频帧的属性标签，所述待处理视频帧包括至少一帧视频帧，所述属性标签与所述待处理视频帧的图像特征相匹配；
利用与所述属性标签相匹配的超分辨率处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像；
生成与所述目标图像相匹配的目标视频帧，所述目标视频帧的分辨率大于所述待处理视频帧的分辨率。
进一步，所述程序用于：
所述确定目标视频流的待处理视频帧的属性标签，包括：
获取目标视频流的待处理视频帧对应的图像信息；
对所述图像信息进行特征提取，依据提取到的特征确定属性标签。
进一步，所述程序用于：
所述确定目标视频流的待处理视频帧的属性标签，包括：
依据目标视频流的待处理视频帧对应的视频节点信息；
依据所述视频节点信息对所述待处理视频帧进行分段，并为每一段对应的视频帧生成与之对应的属性标签。
进一步，所述程序用于：
所述超分辨率处理参数表征预设处理模型的处理参数，所述利用与所述属性标签相匹配的超分辨处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像，包括：
基于所述属性标签，确定所述预设处理模型的目标处理参数；
利用具有所述目标处理参数的预设处理模型对待处理视频帧对应的图像进行超分辨处理，获得目标图像。
进一步，所述程序用于：
获取第一视频，所述第一视频的每一视频帧对应第一图像和第二图像，所述第一图像的分辨率低于所述第二图像的分辨率；
利用所述第一视频对处理模型进行训练，得到初始处理模型；
获取第二视频，所述第二视频的每一视频帧包括属性标签，且所述每一视频帧对应第三图像和第四图像，所述第三图像的分辨率低于所述第四图像的分辨率；
利用所述第二视频对所述初始处理模型进行训练，得到预设处理模型，使得所述预设处理模型包括至少一组处理参数，且每一组处理参数有与之相匹配的属性标签。
可选地，所述属性标签至少包括以下一种：
表征静态图像特征的标签；
表征动态图像特征的标签；
表征人物图像特征的标签；
表征风景图像特征的标签；
表征建筑图像特征的标签；
表征物品图像特征的标签；
表征动物图像特征的标签；
表征动作行为特征的标签；
表征背景图像特征的标签。
进一步，所述程序用于：
所述生成与所述目标图像相匹配的目标视频帧，包括：
对所述目标图像进行图像预处理，并对预处理后的目标图像进行拼接，得到与所述目标图像相匹配的目标视频帧，所述图像预处理表征依据目标视频帧的输出格式进行确定的处理模式。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一实施例所述的视频处理方法包含的各个步骤。
本说明书中每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种视频处理方法，包括：
确定目标视频流的待处理视频帧的属性标签，所述待处理视频帧包括至少一帧视频帧，所述属性标签与所述待处理视频帧的图像特征相匹配；
利用与所述属性标签相匹配的超分辨率处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像；
生成与所述目标图像相匹配的目标视频帧，所述目标视频帧的分辨率大于所述待处理视频帧的分辨率。
2.根据权利要求1所述的方法，所述确定目标视频流的待处理视频帧的属性标签，包括：
获取目标视频流的待处理视频帧对应的图像信息；
对所述图像信息进行特征提取，依据提取到的特征确定属性标签。
3.根据权利要求1所述的方法，所述确定目标视频流的待处理视频帧的属性标签，包括：
获取目标视频流的待处理视频帧对应的视频节点信息；
依据所述视频节点信息对所述待处理视频帧进行分段，并为每一段对应的视频帧生成与之对应的属性标签。
4.根据权利要求1所述的方法，所述超分辨率处理参数表征预设处理模型的处理参数，所述利用与所述属性标签相匹配的超分辨率处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像，包括：
基于所述属性标签，确定所述预设处理模型的目标处理参数；
利用具有所述目标处理参数的预设处理模型对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像。
5.根据权利要求4所述的方法，该方法还包括：
获取第一视频，所述第一视频的每一视频帧对应第一图像和第二图像，所述第一图像的分辨率低于所述第二图像的分辨率；
利用所述第一视频对处理模型进行训练，得到初始处理模型；
获取第二视频，所述第二视频的每一视频帧包括属性标签，且所述每一视频帧对应第三图像和第四图像，所述第三图像的分辨率低于所述第四图像的分辨率；
利用所述第二视频对所述初始处理模型进行训练，得到预设处理模型，使得所述预设处理模型包括至少一组处理参数，且每一组处理参数有与之相匹配的属性标签。
6.根据权利要求1所述的方法，所述属性标签至少包括以下一种：
表征静态图像特征的标签；
表征动态图像特征的标签；
表征人物图像特征的标签；
表征风景图像特征的标签；
表征建筑图像特征的标签；
表征物品图像特征的标签；
表征动物图像特征的标签；
表征动作行为特征的标签；
表征背景图像特征的标签。
7.根据权利要求1所述的方法，所述生成与所述目标图像相匹配的目标视频帧，包括：
对所述目标图像进行图像预处理，并对预处理后的目标图像进行拼接，得到与所述目标图像相匹配的目标视频帧，所述图像预处理表征依据目标视频帧的输出格式进行确定的处理模式。
8.一种视频处理装置，包括：
标签确定单元，用于确定目标视频流的待处理视频帧的属性标签，所述待处理视频帧包括至少一帧视频帧，所述属性标签与所述待处理视频帧的图像特征相匹配；
处理单元，用于利用与所述属性标签相匹配的超分辨率处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像；
生成单元，用于生成与所述目标图像相匹配的目标视频帧，所述目标视频帧的分辨率大于所述待处理视频帧的分辨率。
9.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于：
确定目标视频流的待处理视频帧的属性标签，所述待处理视频帧包括至少一帧视频帧，所述属性标签与所述待处理视频帧的图像特征相匹配；
利用与所述属性标签相匹配的超分辨率处理参数，对所述待处理视频帧对应的图像进行超分辨率处理，获得目标图像；
生成与所述目标图像相匹配的目标视频帧，所述目标视频帧的分辨率大于所述待处理视频帧的分辨率。
10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7任一所述的视频处理方法包含的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911283956.6A CN110958469A (zh) | 2019-12-13 | 2019-12-13 | 视频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911283956.6A CN110958469A (zh) | 2019-12-13 | 2019-12-13 | 视频处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110958469A true CN110958469A (zh) | 2020-04-03 |
Family
ID=69981494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911283956.6A Pending CN110958469A (zh) | 2019-12-13 | 2019-12-13 | 视频处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110958469A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112188251A (zh) * | 2020-09-24 | 2021-01-05 | 青岛海信移动通信技术股份有限公司 | 图像处理方法及图像处理设备 |
| CN112910875A (zh) * | 2021-01-27 | 2021-06-04 | 维沃移动通信有限公司 | 显示方法及装置 |
| CN113055713A (zh) * | 2021-03-08 | 2021-06-29 | Oppo广东移动通信有限公司 | 视频图像超分方法及装置、存储介质和电子设备 |
| CN113409192A (zh) * | 2021-06-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 超分辨率芯片、超分辨率算法的更新方法和电子设备 |
| CN113613024A (zh) * | 2021-08-09 | 2021-11-05 | 北京金山云网络技术有限公司 | 视频预处理方法及设备 |
| CN113707280A (zh) * | 2021-10-28 | 2021-11-26 | 萱闱(北京)生物科技有限公司 | 标注数据集扩充方法、装置、介质和计算设备 |
| CN114650449A (zh) * | 2022-03-03 | 2022-06-21 | 京东科技信息技术有限公司 | 一种视频数据处理方法和装置 |
| CN116437120A (zh) * | 2023-04-20 | 2023-07-14 | 深圳森云智能科技有限公司 | 一种视频分帧处理方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150332434A1 (en) * | 2014-05-15 | 2015-11-19 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Demosaicking System and Method for Color array Based Multi-Spectral Sensors |
| CN105427243A (zh) * | 2015-10-29 | 2016-03-23 | 中国科学院自动化研究所 | 基于自适应插值核学习的视频超分辨率重建方法 |
| CN107967669A (zh) * | 2017-11-24 | 2018-04-27 | 腾讯科技（深圳）有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
| CN109064399A (zh) * | 2018-07-20 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和系统、计算机设备及其存储介质 |
| CN109862370A (zh) * | 2017-11-30 | 2019-06-07 | 北京大学 | 视频超分辨率处理方法及装置 |
| CN110136056A (zh) * | 2018-02-08 | 2019-08-16 | 华为技术有限公司 | 图像超分辨率重建的方法和装置 |
| CN110310229A (zh) * | 2019-06-28 | 2019-10-08 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端设备及可读存储介质 |
-
2019
- 2019-12-13 CN CN201911283956.6A patent/CN110958469A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150332434A1 (en) * | 2014-05-15 | 2015-11-19 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Demosaicking System and Method for Color array Based Multi-Spectral Sensors |
| CN105427243A (zh) * | 2015-10-29 | 2016-03-23 | 中国科学院自动化研究所 | 基于自适应插值核学习的视频超分辨率重建方法 |
| CN107967669A (zh) * | 2017-11-24 | 2018-04-27 | 腾讯科技（深圳）有限公司 | 图片处理的方法、装置、计算机设备及存储介质 |
| CN109862370A (zh) * | 2017-11-30 | 2019-06-07 | 北京大学 | 视频超分辨率处理方法及装置 |
| CN110136056A (zh) * | 2018-02-08 | 2019-08-16 | 华为技术有限公司 | 图像超分辨率重建的方法和装置 |
| CN109064399A (zh) * | 2018-07-20 | 2018-12-21 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法和系统、计算机设备及其存储介质 |
| CN110310229A (zh) * | 2019-06-28 | 2019-10-08 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端设备及可读存储介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112188251A (zh) * | 2020-09-24 | 2021-01-05 | 青岛海信移动通信技术股份有限公司 | 图像处理方法及图像处理设备 |
| CN112910875A (zh) * | 2021-01-27 | 2021-06-04 | 维沃移动通信有限公司 | 显示方法及装置 |
| WO2022161310A1 (zh) * | 2021-01-27 | 2022-08-04 | 维沃移动通信有限公司 | 显示方法、装置和电子设备 |
| CN113055713A (zh) * | 2021-03-08 | 2021-06-29 | Oppo广东移动通信有限公司 | 视频图像超分方法及装置、存储介质和电子设备 |
| CN113055713B (zh) * | 2021-03-08 | 2023-06-06 | Oppo广东移动通信有限公司 | 视频图像超分方法及装置、存储介质和电子设备 |
| CN113409192A (zh) * | 2021-06-17 | 2021-09-17 | Oppo广东移动通信有限公司 | 超分辨率芯片、超分辨率算法的更新方法和电子设备 |
| CN113613024A (zh) * | 2021-08-09 | 2021-11-05 | 北京金山云网络技术有限公司 | 视频预处理方法及设备 |
| CN113707280A (zh) * | 2021-10-28 | 2021-11-26 | 萱闱(北京)生物科技有限公司 | 标注数据集扩充方法、装置、介质和计算设备 |
| CN113707280B (zh) * | 2021-10-28 | 2022-04-08 | 萱闱(北京)生物科技有限公司 | 标注数据集扩充方法、装置、介质和计算设备 |
| CN114650449A (zh) * | 2022-03-03 | 2022-06-21 | 京东科技信息技术有限公司 | 一种视频数据处理方法和装置 |
| CN116437120A (zh) * | 2023-04-20 | 2023-07-14 | 深圳森云智能科技有限公司 | 一种视频分帧处理方法及装置 |
| CN116437120B (zh) * | 2023-04-20 | 2024-04-09 | 深圳森云智能科技有限公司 | 一种视频分帧处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| Bulat et al. | To learn image super-resolution, use a gan to learn how to do image degradation first | |
| Liu et al. | Robust video super-resolution with learned temporal dynamics | |
| CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
| WO2020199831A1 (zh) | 图像处理模型的训练方法、图像处理方法、网络设备及存储介质 | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| Ren et al. | Face video deblurring using 3D facial priors | |
| CN110598781A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN107464217B (zh) | 一种图像处理方法及装置 | |
| CN111444365B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN111985281B (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
| CN108875900A (zh) | 视频图像处理方法和装置、神经网络训练方法、存储介质 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| RU2770748C1 (ru) | Способ и аппарат для обработки изображений, устройство и носитель данных | |
| CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
| KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
| CN116363261B (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
| CN112509144A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN113658044A (zh) | 提高图像分辨率的方法、系统、装置及存储介质 | |
| CN114445651A (zh) | 一种语义分割模型的训练集构建方法、装置及电子设备 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200403 |