CN113225590A - 视频超分增强方法、装置、计算机设备和存储介质 - Google Patents
视频超分增强方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113225590A CN113225590A CN202110490403.9A CN202110490403A CN113225590A CN 113225590 A CN113225590 A CN 113225590A CN 202110490403 A CN202110490403 A CN 202110490403A CN 113225590 A CN113225590 A CN 113225590A
- Authority
- CN
- China
- Prior art keywords
- video
- video frame
- gradient
- inputting
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000006835 compression Effects 0.000 claims abstract description 28
- 238000007906 compression Methods 0.000 claims abstract description 28
- 230000006837 decompression Effects 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000002156 mixing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000003707 image sharpening Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种视频超分增强方法、装置、计算机设备和存储介质。本申请能够把去压缩模型和轻量级的超分模型组合起来使用，使得传统的复杂的超分模型简化，降低了对硬件算力的要求，并能达到实时增强视频的需求。该方法包括：将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；将第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；通过梯度算子针对第一视频帧进行处理，得到梯度图；以梯度图中的梯度作为权重，针对第一视频帧和第二视频帧进行混合加权运算，得到第三视频帧；将第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；将低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种视频超分增强方法、装置、计算机设备和存储介质。
背景技术
随着5G通信技术的发展和普及，高清视频正成为5G应用中典型的落地场景之一。5G通信技术提高了网络数据传输的阈值上限，但由于高清视频传输所需的带宽仍然偏大，需要使用数字视频编解码技术结合各种性能优越的视频编码标准针对视频进行各种编解码变换，以降低视频数据传输所需要的带宽，但同时也带来了视频压缩后画质下降的问题。因此，视频增强技术作为视频画质恢复的关键技术，逐渐受到了关注。
目前多使用视频超分技术对低码率视频进行画质增强，视频超分技术是一项底层图像处理任务，是将低分辨率的图像映射至高分辨率，以期达到增强图像细节的作用。
但目前的视频超分技术对硬件算力的要求较高，不能适用于一般的硬件设备上，不是对所有设备都具有普适性。
发明内容
基于此，有必要针对上述技术问题，提供一种视频超分增强方法、装置、计算机设备和存储介质。
一种视频超分增强方法，所述方法包括：
将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；
将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；
通过梯度算子针对所述第一视频帧进行处理，得到梯度图；
以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；
将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；
将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。
在其中一个实施例中，所述以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧，包括：
获取所述梯度图中的梯度矩阵；
对所述梯度矩阵进行归一化处理，得到归一化后的梯度矩阵；
使用预设的混合加权公式结合所述归一化的梯度矩阵对所述第一视频帧中的像素数值矩阵和所述第二视频帧中的像素数值矩阵进行运算，得到所述第三视频帧。
在其中一个实施例中，所述预设的混合加权公式为：
P3＝P1×ω1+P2×(1-ω1)
其中，P3为所述第三视频帧的像素数值矩阵，P1为所述第一视频帧的像素数值矩阵，P2为所述第二视频帧的像素数值矩阵；ω1为归一化后的梯度矩阵。
在其中一个实施例中，所述将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片之前，所述方法包括：
获取包含多个超分倍数的视频帧作为训练样本；
利用所述训练样本对待训练的超分模型进行训练，得到所述预先构建的超分模型。
在其中一个实施例中，所述将所述低码率视频对应的各增强图片输入视频编码器中编码之前，还包括：
对所述各增强图片进行图像锐化和色彩增强处理。
在其中一个实施例中，所述梯度算子至少包括Roberts算子、Prewitt算子和Sobel算子的其中之一。
在其中一个实施例中，所述去压缩模型是基于低通滤波器构建的；其中低通滤波器包括高斯低通滤波器或者巴特沃斯低通滤波器中的至少一种。
一种视频超分增强装置，所述装置包括：
视频解码模块，用于将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；
噪声去除模块，用于将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；
梯度计算模块，用于通过梯度算子针对所述第一视频帧进行处理，得到梯度图；
视频帧加权模块，用于以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；
超分处理模块，用于将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；
视频编码模块，用于将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的视频超分增强方法实施例中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的视频超分增强方法实施例中的步骤。
上述视频超分增强方法、装置、计算机设备和存储介质，通过将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；将第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；通过梯度算子针对第一视频帧进行处理，得到梯度图；以梯度图中的梯度作为权重，针对第一视频帧和第二视频帧进行混合加权运算，得到第三视频帧；将第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；将低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。该方法把去压缩模型和轻量级的超分模型组合起来使用，使得传统的复杂的超分模型简化，降低了对硬件算力的要求，并能达到实时增强视频的需求。
附图说明
图1为一个实施例中视频超分增强方法的流程示意图；
图2为另一个实施例中视频超分增强方法的流程示意图；
图3为一个实施例中视频超分增强装置的结构框图；
图4为一个实施例中计算机设备的内部结构图；
图5为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的视频超分增强方法，可以应用于终端或者服务器，其中终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备以及车载终端上。
在一个实施例中，如1所示，提供了一种视频超分增强方法，以该方法应用于终端为例进行说明，包括以下步骤：
步骤S101，将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；
其中，低码率视频是指原始视频，例如在移动终端上通过无线通信网络获取的原始视频由于受到带宽限制的原因，导致视频是不清楚的。视频码率是指视频数据传输时单位时间传送的数据位数。在同样的分辨率下，视频数据量越大(也就是码率越高)，越清晰，质量也越好。视频解码器，是指一个能够对数字视频进行解压缩的程序或者设备。
具体地，终端将原始视频即不够清楚的低码率视频输入视频解码器中解码，由于受到带宽限制，终端接收到的原始视频往往是经过压缩过的视频数据，这种压缩往往是有损压缩，会使像素或者画质有所损伤导致不清晰，因此解码后得到的也是带有压缩噪声的一幅幅视频帧。
步骤S102，将第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；
具体地，该去压缩模型可以为低通滤波器，可用于去除视频帧的压缩噪声。其中低通滤波器包括高斯低通滤波器或者巴特沃斯低通滤波器中的至少一种。将上述解码后得到的第一视频帧输入至压缩模型中去除压缩噪声，得到第二视频帧，即去除压缩噪声后的干净图片。
步骤S103，通过梯度算子针对第一视频帧进行处理，得到梯度图；
其中，由于数字图像都是将图像的像素值存储于计算机中，可以把图像堪称二维离散函数，图像梯度算子就是针对数字图像这个二维离散函数求导，求导的计算方式有多种，因此梯度算子也相应地有多种选择，例如梯度算子可以是Roberts算子、Prewitt算子和Sobel算子中的一个或多个。
具体地，使用预设的梯度算子针对解码后得到的第一视频帧进行求导运算，得到该第一视频帧对应的梯度图，该梯度图上的函数值为每个像素点对应的梯度。
步骤S104，以上述梯度图中的梯度作为权重，针对上述第一视频帧和上述第二视频帧进行混合加权运算，得到第三视频帧；
具体地，将第一视频帧即解码的原始图片和第二视频帧即去除压缩噪声后的干净图片的像素值进行加权求和，其权重因子为第一视频帧的梯度，最终得到第三视频帧。
步骤S105，将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片。
其中，超分模型是一种基于深度学习的超分辨率算法模型，即先利用大量的高分辨率图像积累进行学习，再对低分辨率的图像进行识别并优化，最后得到图像的高频细节，获得更好的图像恢复效果。
具体地，将上述第三视频帧输入预先构建的超分模型中进行进一步优化，恢复高频细节，得到增强图片，其中，预先构建的超分模型为已经训练好的超分模型。
步骤S106，将低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。
具体地，将上述得到的增强图片输入视频编码器中编码中，得到流畅的增强视频。其中增强图片是原始视频的各帧图像经过上述处理后得到的增强图片。
上述实施例，通过将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；将第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；通过梯度算子针对第一视频帧进行处理，得到梯度图；以梯度图中的梯度作为权重，针对第一视频帧和第二视频帧进行混合加权运算，得到第三视频帧；将第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；将低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。该方法把去压缩模型和轻量级的超分模型组合起来使用，使得传统的复杂的超分模型简化，降低了对硬件算力的要求，并能达到实时增强视频的需求。
在一实施例中，上述步骤S104，包括：
获取梯度图中的梯度矩阵；对梯度矩阵进行归一化处理，得到归一化后的梯度矩阵；使用预设的混合加权公式结合归一化的梯度矩阵对第一视频帧中的像素数值矩阵和第二视频帧中的像素数值矩阵进行运算，得到第三视频帧。
具体地，将梯度图中的梯度矩阵进行归一化处理，也即标准化处理，得到归一化矩阵，再使用该归一化矩阵作为权重通过预设的加权公式针对上述第一视频帧和第二端视频帧进行加权运算，得到第三视频帧。
上述实施例，通过对梯度矩阵进行归一化处理，有利于后续简化计算。
在一实施例中，上述预设的混合加权公式为：
P3＝P1×ω1+P2×(1-ω1)
其中，P3为所述第三视频帧的像素数值矩阵，P1为所述第一视频帧的像素数值矩阵，P2为所述第二视频帧的像素数值矩阵；ω1为归一化后的梯度矩阵。
上述实施例，通过叠加梯度权重，能够得到既保存了图像层次细节，由去除了噪声的图片结果。
在一实施例中，上述步骤S105之前，还包括：获取包含多个不同分辨率的视频帧作为训练样本；利用所述训练样本对待训练的超分模型进行训练，得到所述预先构建的超分模型。
具体地，收集多个不同分辨率的视频帧作为训练样本，利用这些训练样本训练超分模型，调整参数，得到训练好的超分模型，即预算构建的超分模型。
上述实施例，使用训练样本训练超分模型，有利于后续对视频帧进行图片增强。
在一实施例中，上述步骤S106之前，还包括：对上述各增强图片进行图像锐化和色彩增强处理。
具体地，可通过图像锐化以及色彩增强等步骤得到更清晰、色彩丰富的视频帧。
上述实施例，通过在编码前增加图像处理步骤，有利于得到更优质的视频流。
在一实施例中，如图2所示，展示了一具体流程，其中包括：
1.低码率的视频经过视频解码器解码成带有压缩噪声的视频帧。
2.第1步得到的视频帧通过去压缩模型处理得到干净图片。
3.第1步得到的视频帧通过求梯度算子操作，得到视频帧的梯度图。
4.把第3步得到的梯度图作为权重，对第1步得到的视频帧和第2步得到的干净图片进行混合叠加，得到既保存了细节又去除了噪声的图片结果。
5.第4步得到的图片结果通过超分模型得到上采样后的图片。
6.对第5步得到的结果进行编码得到增强视频。
其中，第4步的图片混合叠加操作如下：
4-1.假设第1步得到的噪声图片为P1，第2步得到的干净图片为P2，视频帧的梯度图为ω，ω越大说明细节越多，ω越小说明区域越平坦。
4-2.对视频帧的梯度图ω做归一化，得到w1。
4-3.图片混合叠加操作的结果：P1*w1+P2*(1-w1)。
上述实施例，能够应用于像视频会议这样的低码率复杂场景，实现了视频中多方面的修复增强，对硬件要求不高，且能够达到实施处理的需求。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种视频超分增强装置300，包括：视频解码模块301、噪声去除模块302、梯度计算模块303、视频帧加权模块304、超分处理模块305和视频编码模块306，其中：
视频解码模块301，用于将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；
噪声去除模块302，用于将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；
梯度计算模块303，用于通过梯度算子针对所述第一视频帧进行处理，得到梯度图；
视频帧加权模块304，用于以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；
超分处理模块305，用于将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；
视频编码模块306，用于将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。
在一实施例中，上述视频帧加权模块304，进一步用于：获取所述梯度图中的梯度矩阵；对所述梯度矩阵进行归一化处理，得到归一化后的梯度矩阵；使用预设的混合加权公式结合所述归一化的梯度矩阵对所述第一视频帧中的像素数值矩阵和所述第二视频帧中的像素数值矩阵进行运算，得到所述第三视频帧。
在一实施例中，上述预设的混合加权公式为：
P3＝P1×ω1+P2×(1-ω1)
其中，P3为所述第三视频帧的像素数值矩阵，P1为所述第一视频帧的像素数值矩阵，P2为所述第二视频帧的像素数值矩阵；ω1为归一化后的梯度矩阵。
在一实施例中，还包括一超分模型训练单元，用于获取包含多个不同分辨率的视频帧作为训练样本；利用所述训练样本对待训练的超分模型进行训练，得到所述预先构建的超分模型。
在一实施例中，还包括一图像增强单元，用于对所述各增强图片进行图像锐化和色彩增强处理。
在一实施例中，所述梯度算子至少包括Roberts算子、Prewitt算子和Sobel算子的其中之一。
在一实施例中，所述去压缩模型是基于低通滤波器构建的；其中低通滤波器包括高斯低通滤波器或者巴特沃斯低通滤波器中的至少一种。
关于视频超分增强装置的具体限定可以参见上文中对于视频超分增强方法的限定，在此不再赘述。上述视频超分增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各视频帧数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频超分增强方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频超分增强方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4-5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现如上述的视频超分增强方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述的视频超分增强方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视频超分增强方法，其特征在于，所述方法包括：
将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；
将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；
通过梯度算子针对所述第一视频帧进行处理，得到梯度图；
以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；
将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；
将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。
2.根据权利要求1所述的方法，其特征在于，所述以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧，包括：
获取所述梯度图中的梯度矩阵；
对所述梯度矩阵进行归一化处理，得到归一化后的梯度矩阵；
使用预设的混合加权公式结合所述归一化的梯度矩阵对所述第一视频帧中的像素数值矩阵和所述第二视频帧中的像素数值矩阵进行运算，得到所述第三视频帧。
3.根据权利要求2所述的方法，其特征在于，所述预设的混合加权公式为：
P3＝P1×ω1+P2×(1-ω1)
其中，P3为所述第三视频帧的像素数值矩阵，P1为所述第一视频帧的像素数值矩阵，P2为所述第二视频帧的像素数值矩阵；ω1为归一化后的梯度矩阵。
4.根据权利要求1所述的方法，其特征在于，所述将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片之前，所述方法包括：
获取包含多个不同分辨率的视频帧作为训练样本；
利用所述训练样本对待训练的超分模型进行训练，得到所述预先构建的超分模型。
5.根据权利要求1所述的方法，其特征在于，所述将所述低码率视频对应的各增强图片输入视频编码器中编码之前，还包括：
对所述各增强图片进行图像锐化和色彩增强处理。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述梯度算子至少包括Roberts算子、Prewitt算子和Sobel算子的其中之一。
7.根据权利要求1至5任意一项所述的方法，其特征在于，所述去压缩模型是基于低通滤波器构建的；其中低通滤波器包括高斯低通滤波器或者巴特沃斯低通滤波器中的至少一种。
8.一种视频超分增强装置，其特征在于，所述装置包括：
视频解码模块，用于将低码率视频输入视频解码器中解码，得到携带有压缩噪声的第一视频帧；
噪声去除模块，用于将所述第一视频帧输入至去压缩模型中去除压缩噪声，得到第二视频帧；
梯度计算模块，用于通过梯度算子针对所述第一视频帧进行处理，得到梯度图；
视频帧加权模块，用于以所述梯度图中的梯度作为权重，针对所述第一视频帧和所述第二视频帧进行混合加权运算，得到第三视频帧；
超分处理模块，用于将所述第三视频帧输入预先构建的超分模型中进行处理，得到增强图片；
视频编码模块，用于将所述低码率视频对应的各增强图片输入视频编码器中编码，得到增强视频。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110490403.9A CN113225590B (zh) | 2021-05-06 | 2021-05-06 | 视频超分增强方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110490403.9A CN113225590B (zh) | 2021-05-06 | 2021-05-06 | 视频超分增强方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113225590A true CN113225590A (zh) | 2021-08-06 |
| CN113225590B CN113225590B (zh) | 2023-04-14 |
Family
ID=77091448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110490403.9A Active CN113225590B (zh) | 2021-05-06 | 2021-05-06 | 视频超分增强方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113225590B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023060720A1 (zh) * | 2021-10-11 | 2023-04-20 | 北京工业大学 | 情绪状态展示方法、装置及系统 |
| CN117595920A (zh) * | 2024-01-19 | 2024-02-23 | 国任财产保险股份有限公司 | 一种基于卫星通信的保险处理方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025641A (zh) * | 2017-04-28 | 2017-08-08 | 南京觅踪电子科技有限公司 | 基于对比度分析的图像融合方法 |
| CN107563965A (zh) * | 2017-09-04 | 2018-01-09 | 四川大学 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
| CN109361919A (zh) * | 2018-10-09 | 2019-02-19 | 四川大学 | 一种联合超分辨率和去压缩效应的图像编码性能提升方法 |
| CN109978772A (zh) * | 2017-12-27 | 2019-07-05 | 四川大学 | 基于深度学习与双域互补的压缩图像复原方法 |
| CN110868625A (zh) * | 2019-11-22 | 2020-03-06 | 北京金山云网络技术有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
| CN111402172A (zh) * | 2020-03-24 | 2020-07-10 | 湖南国科微电子股份有限公司 | 一种图像降噪方法、系统、设备及计算机可读存储介质 |
| CN111726638A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种结合去压缩效应与超分辨率的hevc编码优化方法 |
| CN112188217A (zh) * | 2019-07-01 | 2021-01-05 | 四川大学 | 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法 |
-
2021
- 2021-05-06 CN CN202110490403.9A patent/CN113225590B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025641A (zh) * | 2017-04-28 | 2017-08-08 | 南京觅踪电子科技有限公司 | 基于对比度分析的图像融合方法 |
| CN107563965A (zh) * | 2017-09-04 | 2018-01-09 | 四川大学 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
| CN109978772A (zh) * | 2017-12-27 | 2019-07-05 | 四川大学 | 基于深度学习与双域互补的压缩图像复原方法 |
| CN109361919A (zh) * | 2018-10-09 | 2019-02-19 | 四川大学 | 一种联合超分辨率和去压缩效应的图像编码性能提升方法 |
| CN111726638A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种结合去压缩效应与超分辨率的hevc编码优化方法 |
| CN112188217A (zh) * | 2019-07-01 | 2021-01-05 | 四川大学 | 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法 |
| CN110868625A (zh) * | 2019-11-22 | 2020-03-06 | 北京金山云网络技术有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
| CN111402172A (zh) * | 2020-03-24 | 2020-07-10 | 湖南国科微电子股份有限公司 | 一种图像降噪方法、系统、设备及计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023060720A1 (zh) * | 2021-10-11 | 2023-04-20 | 北京工业大学 | 情绪状态展示方法、装置及系统 |
| CN117595920A (zh) * | 2024-01-19 | 2024-02-23 | 国任财产保险股份有限公司 | 一种基于卫星通信的保险处理方法及系统 |
| CN117595920B (zh) * | 2024-01-19 | 2024-04-05 | 国任财产保险股份有限公司 | 一种基于卫星通信的保险处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113225590B (zh) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11889096B2 (en) | Video codec assisted real-time video enhancement using deep learning | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| CN110222758B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN108012157A (zh) | 用于视频编码分数像素插值的卷积神经网络的构建方法 | |
| CN113225590B (zh) | 视频超分增强方法、装置、计算机设备和存储介质 | |
| Li et al. | Comisr: Compression-informed video super-resolution | |
| GB2539241B (en) | Video processing system | |
| CN113724136B (zh) | 一种视频修复方法、设备及介质 | |
| CN115409716B (zh) | 视频处理方法、装置、存储介质及设备 | |
| KR20140070535A (ko) | 공간적으로 스케일러블한 비디오 코딩에 대한 적응적 업샘플링 | |
| CN110913219A (zh) | 一种视频帧预测方法、装置及终端设备 | |
| CN110913230A (zh) | 一种视频帧预测方法、装置及终端设备 | |
| CN112053408A (zh) | 基于深度学习的人脸图像压缩方法及装置 | |
| Wang et al. | Multi-scale convolutional neural network-based intra prediction for video coding | |
| Feng et al. | A dual-network based super-resolution for compressed high definition video | |
| Sun et al. | A quality enhancement framework with noise distribution characteristics for high efficiency video coding | |
| CN111083478A (zh) | 一种视频帧重构方法、装置及终端设备 | |
| CN116847087A (zh) | 视频处理方法、装置、存储介质及电子设备 | |
| CN114900717A (zh) | 视频数据传输方法、装置、介质和计算设备 | |
| CN110958460B (zh) | 一种视频存储方法、装置、电子设备及存储介质 | |
| CN114972021A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| Kumar et al. | A novel method for image compression using spectrum | |
| CN107172425A (zh) | 缩略图生成方法、装置及终端设备 | |
| CN110830806A (zh) | 一种视频帧预测方法、装置及终端设备 | |
| Luo et al. | Super-resolving compressed images via parallel and series integration of artifact reduction and resolution enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Qiu Haihua Inventor after: Jiang Nianjuan Inventor after: Zhou Kun Inventor after: Jiang Juyong Inventor after: Chen Jie Inventor after: Shen Xiaoyong Inventor after: Lv Jiangbo Inventor before: Qiu Haihua Inventor before: Jiang Nianjuan Inventor before: Zhou Kun Inventor before: Jiang Juyong Inventor before: Chen Jie Inventor before: Jia Jiaya Inventor before: Shen Xiaoyong Inventor before: Lv Jiangbo |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |