CN112714321B

CN112714321B - 压缩视频处理方法、装置、设备及计算机可读存储介质

Info

Publication number: CN112714321B
Application number: CN202011514969.2A
Authority: CN
Inventors: 霍永凯; 练其炎
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2022-11-22
Anticipated expiration: 2040-12-18
Also published as: CN112714321A

Abstract

本发明公开了一种压缩视频处理方法、装置、设备及计算机可读存储介质，通过从预设待处理压缩视频中提取初始视频帧，利用预设增强模型，对所述初始视频帧进行递归式增强处理，得到所示初始视频帧对应的目标增强图像，对所述目标增强图像进行转化，得到目标压缩视频，在对压缩视频进行质量提升时，利用前驱帧图像信息和长范围的多帧图像信息，不依赖于任何预先提取的特征，简化了模型的输入和处理过程，降低了计算复杂度，解决了压缩视频质量提升过程中过于依赖预先提取的特征且计算复杂度高，处理效率低的问题。

Description

压缩视频处理方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及视频技术领域，尤其涉及一种压缩视频处理方法、装置、设备及计算机可读存储介质。

背景技术

目前，现有的压缩视频质量提升技术存在各种不足，例如，使用支持向量机作为峰值质量帧检测器的方法，重点在增强一帧视频时使用周围最邻近的峰值质量帧，并使用光流估计来实现视频帧之间内容的对齐，最后使用深度卷积神经网络完成对压缩视频质量的提升。但是该方法在检测峰值质量帧时过度依赖预先计算好的36维特征向量，并且在实现视频帧间对齐时使用的光流估计精度不够，准确读低且计算复杂度高，因此该方法性能有限。

QG-ConvLSTM法在卷积神经网络中引入了质量门，旨在根据压缩视频中每一帧图像的质量来分配不同的权重，但是该方法在评估帧质量时依然过度依赖于预先计算好的36维特征向量，给数据集的准备增加了计算复杂度。

还有一种近似的Non-local注意力机制，降低了原有non-local注意力机制的计算复杂度，但相对于视频处理任务而言，计算仍然不够高效。

发明内容

本发明的主要目的在于提供一种压缩视频处理方法、装置、设备及计算机可读存储介质，旨在解决现有压缩视频质量提升方法在对压缩视频进行处理时计算复杂度高，处理效率低的技术问题。

此外，为实现上述目的，本发明还提供一种压缩视频处理方法，所述压缩视频处理方法包括以下步骤：

从预设待处理压缩视频中提取初始视频帧；

利用预设增强模型，对所述初始视频帧进行递归式增强处理，得到所述初始视频帧对应的目标增强图像；

对所述目标增强图像进行转化，得到目标压缩视频。

可选地，所述利用预设增强模型，对所述初始视频帧进行递归式增强处理的步骤，包括：

从所述初始视频帧中提取预设数量的连续图像作为目标压缩图像；

利用预设增强模型，对所述目标压缩图像进行增强处理，得到所述目标压缩图像对应的第一增强图像；

将所述第一增强图像插入到所述初始视频帧中所述目标压缩图像对应的位置，得到第一目标图像，将所述第一目标图像作为所述初始视频帧，并返回从所述初始视频帧中提取预设数量的连续图像作为目标压缩图像的步骤。

可选地，所述利用预设增强模型，对所述目标压缩图像进行增强处理，得到所述目标压缩图像对应的第一增强图像的步骤，包括：

对所述目标压缩图像进行图像融合处理，得到所述目标压缩图像对应的第一特征图像；

对所述目标压缩图像进行差分与卷积处理，得到所述目标压缩图像对应的注意力图像；

利用第一预设算法，对所述第一特征图像和所述注意力图像进行计算，得到所述目标压缩图像对应的目标特征图像；

对所述目标特征图像进行残差重建处理，得到所述目标压缩图像对应的第一增强图像。

可选地，所述对所述目标压缩图像进行图像融合处理，得到所述目标压缩图像对应的第一特征图像的步骤，包括：

利用预设融合模型，对所述目标压缩图像进行连续编码处理，得到所述目标压缩图像对应的编码特征图像；

对所述编码特征图像进行连续解码处理，得到解码特征图像；

对所述编码特征图像中的卷积特征图像与所述解码特征图像进行短接处理，得到所述目标压缩图像对应的第一特征图像。

可选地，所述利用预设融合模型，对所述目标压缩图像进行编码处理，得到所述目标压缩图像对应的编码特征图像的步骤，包括：

利用预设融合模型，对所述目标压缩图像进行卷积处理，得到所述目标压缩图像对应的卷积特征图像；

对所述卷积特征图像进行池化处理，得到编码特征图像。

可选地，所述对所述目标特征图像进行残差重建处理，得到所述目标压缩图像对应的第一增强图像的步骤，包括：

对所述目标特征图像进行残差计算，得到所述目标特征图像的残差特征值；

利用第二预设算法，对所述残差特征值和所述目标压缩图像进行计算，得到所述目标压缩图像对应的第一增强图像。

可选地，所述将所述第一增强图像插入到所述初始视频帧中所述目标压缩图像对应的位置，得到第一目标图像之后的步骤，包括：

判断所述第一增强图像是否是所述第一目标图像中的最终图像；

若是，则生成增强处理终止指令，并将所述第一目标图像设置为所述目标增强图像。

此外，为实现上述目的，本发明还提供一种压缩视频处理装置，所述压缩视频处理装置包括：

图像提取模块，用于从预设待处理压缩视频中提取初始视频帧；

递归增强模块，用于利用预设增强模型，对所述初始视频帧进行递归式增强处理，得到所述初始视频帧对应的目标增强图像；

图像转化模块，用于对所述目标增强图像进行转化，得到目标压缩视频。

此外，为实现上述目的，本发明还提供一种压缩视频处理设备，所述压缩视频处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的压缩视频处理程序，所述压缩视频处理程序被所述处理器执行时实现如上述的压缩视频处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有压缩视频处理程序，所述压缩视频处理程序被处理器执行时实现如上述的压缩视频处理方法的步骤。

本发明实施例提出的一种方法、装置、设备及计算机可读存储介质，与现有技术中，压缩视频质量提升过程中，过于依赖预先提取的特征，且计算复杂度高相比，在本发明实施例中，通过从预设待处理压缩视频中提取初始视频帧，利用预设增强模型，对所述初始视频帧进行递归式增强处理，得到所述初始视频帧对应的目标增强图像，对所述目标增强图像进行转化，得到目标压缩视频，在提升压缩视频质量的处理过程中，通过对待处理压缩视频中的压缩图像进行递归式的循环增强处理，林递归循环利用通过前驱帧图像得到的高质量增强图像，对后序帧图像进行增强，不依赖于任何预先计算或提取的特征，简化了模型的输入好处理过程，大大降低了压缩视频质量提升的处理过程的计算复杂度，同时提高了压缩视频质量提升的处理效率。

附图说明

图1为本发明实施例提供的设备一种实施方式的硬件结构示意图；

图2为本发明压缩视频处理方法目标实施例的流程示意图；

图3为本发明第一实施例中递归式增强处理的流程示意图；

图4为本发明压缩视频处理方法第二实施例的流程示意图；

图5为本发明第二实施例中预设增强模型的增强处理流程示意图；

图6为本发明第二实施例中的自编码器多粒度融合模型的融合流程示意图；

图7为本发明压缩视频处理方法目标实施例的装置示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明实施例终端(又叫终端、设备或者终端设备)可以是PC，也可以是智能手机、平板电脑和便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及压缩视频处理程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的压缩视频处理程序，所述压缩视频处理程序被处理器执行时实现下述实施例提供的压缩视频处理方法中的操作。

基于上述设备硬件结构，提出了本发明压缩视频处理方法的实施例。

参照图2，在本发明压缩视频处理方法的目标实施例中，所述压缩视频处理方法包括：

步骤S10，从预设待处理压缩视频中提取初始视频帧；

待处理压缩视频是需要处理以提升质量的压缩视频，从待处理压缩视频中，提取对应的压缩视频帧图像，即初始视频帧，以下以初始视频帧为例进行说明，视频是由一帧一帧的图像组成的，对视频进行处理实际上可以转化为对视频中的图像的处理，因此，可以从待处理压缩视频中提取出初始的压缩图像，然后对初始视频帧进行处理。从待处理压缩视频中提取的初始视频帧包含有时序信息，即初始视频帧中的图像是按照视频的时间顺序排列的，在对初始视频帧进行处理时，可以按照初始压缩视频在时间上的逻辑先后关系进行，在时间上连续的图像，一般具有较大的相关性，因此，具有时序信息的连续多帧图像之间可以互为参考，作为图像处理时的依据。本发明在从待处理压缩视频中提取压缩图像时，能更好的提取和保持多帧图像间的时序信息。

步骤S20，利用预设增强模型，对所述初始视频帧进行递归式增强处理，得到所述初始视频帧对应的目标增强图像；

预设增强模型是通过大量样本压缩视频数据训练好的，可以直接用于对压缩视频处理以提升视频质量的模型，预设增强模型包括图像融合模型和递归循环模型，由于从预设待处理压缩视频中提取的初始视频帧包含有时序信息，在对初始视频帧进行递归式增强处理时，先从初始视频帧的初始帧图像开始，选取预设数量的连续帧图像作为预设增强模型的输入，然后通过预设增强模型对输入的图像进行增强处理，得到对应的增强图像，然后将原来连续帧的作为模型输入的预设数量的图像替换为对应的增强图像，再选取连续的相同数量帧的图像，与前面的增强图像一起作为模型的输入，再次得到对应的增强图像。简单来说，对初始视频帧中的连续多帧包含时序信息的图像进行增强，然后用增强图像代替原来未被增强的图像，然后再将增强图像和相同数量帧的未被增强的图像作为下一次增强处理的输入。递归循环的特点就是，自己调用自己，且自己包含自己，将输出作为下次循环的输入，且下次循环的输入中仍包含部分原始数据。

如图3所示的流程示意图，是本发明对初始视频帧进行递归式增强处理的一种方法，需要说明的是，在得到第一张增强图像时，预设增强模型的输入只有未被增强的原始压缩图像，在利用预设增强模型对初始视频帧进行增强处理时，对模型输入多帧图像得到的可以是一帧对应的增强图像。如图3所示的流程示意图，在对所述初始视频帧进行递归式增强处理时，输入的图像数量可以根据用户的需求进行自定义设置，一般来说，输入的图像数量越多，增强效果越好，在进行递归循环时，输入的增强图像的数量也可以由用户根据需要自定义设置，例如，在进行第5次增强处理时，可以调用前面四张经过增强处理的增强图像，即将前面四次增强处理得到的增强图像，以及第5次增强处理对应的预设数量的原始图像一起作为第5次增强处理的输入，若每次增强处理只需要调用前面两帧增强图像，则再进行第5次增强处理时，将前面第3次和第4次增强处理得到的增强图像，以及第5次增强处理对应的预设数量的原始图像作为第5次增强处理的输入。本发明中，采用递归式增强处理，可以充分利用前驱帧和长范围的多帧图像的信息，通过前驱帧提升过的高质量增强图像对后序帧图像进行修复，当所述初始视频帧中的所有图像被增强处理完毕后，得到目标增强图像。

步骤S30，对所述目标增强图像进行转化，得到目标压缩视频。

目标增强图像是对初始视频帧中的所有帧图像进行增强处理后得到的，对经过增强处理得到的目标增强图像进行图像转化，得到目标压缩视频，在本实施例中，可以利用预设增强模型中的图像融合模型对目标增强图像进行转化，在图像融合模型中有自编码器模型，自编码器模型在对图像进行转化时可以对图像进行编码和解码，不管是将视频转化为图像，还是将图像转化为视频，都可以很好地提取和保持图像的时序信息，对目标增强图像进行转化后，得到的目标压缩视频，即为被提升过质量的压缩视频。

具体地，步骤S20中，所述利用预设增强模型，对所述初始视频帧进行递归式增强处理，包括步骤A1-A3：

步骤A1，从所述初始视频帧中提取预设数量的连续图像作为目标压缩图像；

从待处理压缩视频中提取的初始视频帧包含有时序信息，从初始视频帧的初始帧图像开始，提取预设数量的连续图像作为需要进行增强处理的目标压缩图像，在预设增强模型中，输入图像中未被增强的原始图像即为目标压缩图像，以下以目标压缩图像为例进行说明。

步骤A2，利用预设增强模型，对所述目标压缩图像进行增强处理，得到所述目标压缩图像对应的第一增强图像；

利用预设增强模型，对目标压缩图像进行增强处理，得到目标压缩图像对应的第一增强图像，目标压缩图像可以包括多帧图像，具体数量可以由用户自定义进行设置，第一增强图像可以是一帧图像，即对多帧连续图像进行增强处理后，得到的对应的增强图像可以是一帧图像。

步骤A3，将所述第一增强图像插入到所述初始视频帧中所述目标压缩图像对应的位置，得到第一目标图像，将所述第一目标图像作为所述初始视频帧，并返回从所述初始视频帧中提取预设数量的连续图像作为目标压缩图像的步骤。

将经过增强处理的第一增强图像插入到初始视频帧中，替换掉对应的目标压缩图像，得到第一目标图像，将第一目标图像作为初始视频帧，并返回从所述初始视频帧中提取预设数量的连续图像作为目标压缩图像的步骤，即从第一增强图像之后的未被增强处理过的图像中，再次提取预设数量的连续图像作为目标压缩图像，并与第一增强图像一起作为预设增强模型的输入。

步骤A3中，将所述第一增强图像插入到所述初始视频帧中所述目标压缩图像对应的位置，得到第一目标图像之后，包括步骤A4-A5：

步骤A4，判断所述第一增强图像是否是所述第一目标图像中的最终图像；

在将第一增强图像插入到初始视频帧中目标压缩图像对应的位置，得到第一目标图像之后，判断第一增强图像是否是第一目标图像的最终图像，由于初始视频帧中的图像是按照时序排列，因此，通过对初始视频帧中的图像进行增强处理得到的第一目标图像也包含时序信息，判断第一增强图像是否是第一目标图像的最终图像，即判断第一增强图像之后，是否还有未被增强处理的图像。

步骤A5，若是，则生成增强处理终止指令，并将所述第一目标图像设置为所述目标增强图像。

目标增强图像是通过对初始视频帧中，用户设置的所有需要增强的图像完成增强处理后得到的，若第一增强图像是第一目标图像的最终图像，则第一目标图像即为目标增强图像，如果第一增强图像之后，没有待增强处理的图像，则生成增强处理终止指令，以终止增强处理并跳出递归循环，将第一目标图像设置为目标增强图像，然后对目标增强图像进行转化，得到目标压缩视频。

在本实施例中，通过从预设待处理压缩视频中提取初始视频帧，利用预设增强模型，对初始视频帧进行递归式增强处理，得到初始视频帧对应的目标增强图像，对目标增强图像进行转化，得到目标压缩视频，采用递归式的循环方式，充分利用初始视频帧中前驱帧的信息，利用通过对前驱帧图像进行处理得到的高质量图像，对后序帧图像进行修复和质量提升，不仅简化了输入输出的模型，同时降低了图像处理过程中的计算复杂度。

进一步地，参照图4，在本发明上述实施例的基础上，提出了本发明压缩视频处理方法的第二实施例。

本实施例是目标实施例中步骤A2细化的步骤，本实施例与本发明上述实施例的区别在于：

步骤S21，对所述目标压缩图像进行图像融合处理，得到所述目标压缩图像对应的第一特征图像；

预设增强模型对初始视频帧进行增强处理时，模型输入端包括压缩图像和增强图像，输入端对额压缩图像即为目标压缩图像，是需要被增强处理的图像，其中，压缩图像的帧数与增强图像的帧数都是可以根据用户的需求进行自定义设置的，目标压缩图像可以包括多帧原始图像，通过预设增强模型中的图像融合模型，对目标压缩图像中的多帧图像进行融合处理，得到目标压缩图像对应的特征图像，利用预设增强模型中的融合模型对目标压缩图像进行增强处理，可以很好的保留图像帧间的时序信息。

步骤S22，对所述目标压缩图像进行差分与卷积处理，得到所述目标压缩图像对应的注意力图；

对待处理的目标压缩图像中的每一帧图像之间进行差分计算和卷积处理，主要是计算目标压缩图像中的每帧图像之间的像素点的差值，通过卷积计算对连续帧图像之间的像素差值进行处理，进而突出连续帧图像之间的差异，例如通过卷积处理将连续连续帧图像之间的像素差值进行放大，从待处理压缩视频中提取的图像，大小尺寸是基本相同的，连续帧图像之间的差别很小，通过对连续帧和增强图像之间进行差分计算，找出连续帧图像之间，像素值相差较大的像素点，由于压缩视频中的失真内容往往聚集于视频内容中的纹理与边缘部位，因此，从压缩视频中提取到的压缩图像的失真部分与压缩视频是对应的，通过度压缩图像进行差分计算，确定图像中像素值相差较大的部分，并通过卷积处理将注意力集中在像素值相差较大的部位，得到对应的注意力图像，根据注意力图像确定需要对压缩图像进行质量提升的重点部位。

步骤S23，利用第一预设算法，对所述第一特征图像和所述注意力图像进行计算，得到所述目标压缩图像对应的目标特征图像；

利用预设算法对特征图像和注意力图像进行计算，得到目标压缩图像对应的目标特征图像，例如，利用按元素乘积的算法，确定特征图像中的图像与注意力图像中的图像的对应关系，将对应的图像之间相同位置的像素点的像素值做乘法运算，得到目标压缩图像对应的目标特征图像。

步骤S24，对所述目标特征图像进行残差重建处理，得到所述目标压缩图像对应的第一增强图像。

如图5所示，是本实施例中，对目标压缩图像进行增强处理的流程示意图，在图5所示的增强模型中，利用残差重建模型对目标特征图像进行残差重建处理，残差重建模型可以是基于帧间差分的残差重建模型，利用基于帧间差分的残差重建模型对目标特征图像进行残差重建处理，得到目标特征图像的残差值，根据残差值和目标压缩图像得到目标压缩图像对应的第一增强图像。其中，根据图5所示的增强过程，得到第一增强图像的过程可以由下列公式得到(公式1-4)：

d_t-i＝f_t-f_t-i (1)

其中，t表示图像的时序序号，i表示增强处理的递归循环次数，d_t-i表示差分图像，f_t和f_t-i表示模型输入的目标压缩图像，A_t表示注意力图像，sigmoid(·)神经网络中常用的激活函数，

θ(·)、c(·)是卷积函数，F_t是多帧视频帧融合所得的特征图像，

是目标压缩图像对应的目标特征图像，R(·)是预增强模型中的基于帧间差分的残差重建模型函数，

是第一增强图像。

步骤S21的细化步骤，包括步骤A21-A23：

步骤A21，利用预设融合模型，对所述目标压缩图像进行编码处理，得到所述目标压缩图像对应的编码特征图像；

步骤A22，对所述编码特征图像进行连续解码处理，得到解码特征图像；

步骤A23，对所述编码特征图像中的卷积特征图像与所述解码特征图像进行短接处理，得到所述目标压缩图像对应的第一特征图像。

预设增强模型中的预设融合模型可以是自编码器多粒度融合模型，以自编码器多粒度融合模型为例，如图6所示，是本实施例中，自编码器多粒度融合模型对目标压缩图像进行融合的流程示意图，自编码器多粒度融合模型在进行图像融合处理时，先对图像进行连续编码处理，得到编码特征图像，然后对编码特征图像进行对应的连续解码处理，得到解码特征图像，然后将编码特征图像中的卷积特征图像与解码特征图像进行短接，得到融合图像，即目标压缩图像对应的第一特征图像。利用自编码器多粒度融合模型对目标压缩图像进行处理得到的第一特征图像，可以很好的保留目标压缩图像中多帧图像间的时序信息。

步骤A21的细化步骤，包括步骤B1-B2：

步骤B1，利用预设融合模型，对所述目标压缩图像进行卷积处理，得到所述目标压缩图像对应的卷积特征图像；

步骤B2，对所述卷积特征图像进行池化处理，得到编码的特征图像。

利用自编码器多粒度融合模型进行图像融合处理时，先对目标压缩图像进行卷积，得到卷积特征图像，然后对卷积特征图像进行池化处理，例如，最大池化处理，由于压缩视频中包含3D信息，即压缩视频中的物体是三维图像，因此，在对从压缩视频中提取的压缩图像进行卷积和池化处理时，也是基于3D的卷积和池化，对目标压缩图像进行3D卷积和3D最大池化处理后，得到编码特征图像，对编码特征图像进行3D反卷积即解码处理，得到目标压缩图像对应的特征图像。在对图像进行3D卷积和最大池化处理，可以改变图像的尺寸和像素值，将图像变为预设尺寸的图像，例如，经过一次3D卷积和3D最大池化处理，可以将原始压缩图像的大小变为原来的二分之一，通过连续解码处理，将图像尺寸回复为原来的大小。卷积池化处理的次数可以由用户自定义设置，图6所示的融合过程为三次卷积池化处理的流程示意图，即解码次数与编码次数相同，在图6中，通过三次3D池化处理，依次将图像变为原来的二分之一、四分之一、八分之一，通过3D反卷积的解码过程，将编码图片依次从原来的八分之一恢复为四分之一、二分之一，最终恢复为原来的大小，得到目标压缩图像对应的第一特征图像，由图6可知，目标压缩图像在多层3D卷积过程中，也存在短接步骤，即利用前驱卷积得到的卷积特征图像与后序卷积特征图像一起进行池化处理，充分利用了前驱帧的信息，不依赖特征的提取。

对编码特征图像进行连续解码处理时，是基于最后一次编码处理得到的编码特征图像开始解码，在对编码特征图像进行连续解码处理时，先对编码特征图像进行相同层数的卷积处理，然后进行反卷积处理，得到对应的解码特征图像。例如，以图6所示的图像融合过程为例，先对原始压缩图像进行三次的连续编码过程，其中，每次编码过程包含预设数量的卷积层，在进行连续解码处理时，对最后一次编码得到的编码特征图像进行相同层数的卷积处理，然后进行反卷积处理，得到对应的解码特征图像，然后基于得到的解码特征图像进行下一次解码处理。需要说明的是，在每一次解码处理过程中，包含与编码处理相同的卷积层，多层卷积同样存在与编码处理中相同的短接步骤，利用前驱卷积得到的卷积特征图像与后序卷积特征图像一起进行反卷积处理。

步骤A23的细化步骤，包括步骤C1-C2：

步骤C1，对所述目标特征图像进行残差计算，得到所述目标特征图像的残差特征值；

步骤C2，利用第二预设算法，对所述残差值和所述目标压缩图像进行计算，得到所述目标压缩图像对应的第一增强图像。

如图5所示的增强处理过程，预设增强模型中的基于帧间差分的残差重建模型在对目标特征图像进行残差重建时，先对目标特征图像进行残差计算，得到目标特征图像的残差值，然后利于第二预设算法对残差值和目标压缩图像进行计算，第二预设算法可以是加法运算，即计算出目标特征图像的残差值，根据注意力图像确定要对目标压缩图像进行增强的像素点，残差值即为目标压缩图像对应的像素点需要增加的像素值，在对残差值和目标压缩图像进行计算后，即得到目标压缩图像对应的第一增强图像。

在本实施例中，利用预设增强模型中的图像融合模型对目标压缩图像进行融合处理，得到特征图像，利用预设增强模型中的基于注意力机制的帧间差分模型对目标压缩图像进行处理，得到注意力图像，利用第一预设算法对注意力图像和特征图像进行计算，得到目标特征图像，通过对目标特征图像进行残差重建处理，得到目标压缩图像对应的第一增强图像，在对图像进行增强处理时，简化使用的模型和处理步骤，利用通过对前驱帧进行处理得到的高质量增强图像，对后序图像进行修复和处理，充分利用了图像的帧间时序信息和长范围的前驱帧信息，不依赖于任何预先提取的特征，降低了压缩视频质量提升处理过程的计算复杂度。

此外，参照图7，本发明实施例还提出一种压缩视频处理装置，所述压缩视频处理装置包括：

图像提取模块10，用于从预设待处理压缩视频中提取初始视频帧；

递归增强模块20，用于利用预设增强模型，对所述初始视频帧进行递归式增强处理，得到所述初始视频帧对应的目标增强图像；

图像转化模块30，用于对所述目标增强图像进行转化，得到目标压缩视频。

可选地，所述递归增强模块20，包括：

提取单元，用于从所述初始视频帧中提取预设数量的连续图像作为目标压缩图像；

增强单元，用于利用预设增强模型，对所述目标压缩图像进行增强处理，得到所述目标压缩图像对应的第一增强图像；

递归循环单元，用于将所述第一增强图像插入到所述初始视频帧中所述目标压缩图像对应的位置，得到第一目标图像，将所述第一目标图像作为所述初始视频帧，并返回从所述初始视频帧中提取预设数量的连续图像作为目标压缩图像的步骤。

可选地，所述增强单元，包括：

融合子单元，用于对所述目标压缩图像进行图像融合处理，得到所述目标压缩图像对应的第一特征图像；

差分子单元，用于对所述目标压缩图像进行差分与卷积处理，得到所述目标压缩图像对应的注意力图像；

第一计算子单元，用于利用第一预设算法，对所述第一特征图像和所述注意力图像进行计算，得到所述目标压缩图像对应的目标特征图像；

残差重建子单元，用于对所述目标特征图像进行残差重建处理，得到所述目标压缩图像对应的第一增强图像。

可选地，所述增强单元，还包括：

编码子单元，用于利用预设融合模型，对所述目标压缩图像进行连续编码处理，得到所述目标压缩图像对应的编码特征图像；

解码子单元，用于对所述编码特征图像进行连续解码处理，得到解码特征图像；

短接子单元，用于对所述编码特征图像中的卷积特征图像与所述解码特征图像进行短接处理，得到所述目标压缩图像对应的第一特征图像。

可选地，所述增强单元，还包括：

卷积子单元，用于利用预设融合模型，对所述目标压缩图像进行卷积处理，得到所述目标压缩图像对应的卷积特征图像；

池化子单元，用于对所述卷积特征图像进行池化处理，得到编码特征图像。

可选地，所述增强单元，还包括：

残差计算子单元，用于对所述目标特征图像进行残差计算，得到所述目标特征图像的残差特征值；

第二计算子单元，用于利用第二预设算法，对所述残差特征值和所述目标压缩图像进行计算，得到所述目标压缩图像对应的第一增强图像。

可选地，所述压缩视频处理装置，还包括：

判断单元，用于判断所述第一增强图像是否是所述第一目标图像中的最终图像；

循环终止单元，用于若所述第一增强图像是所述第一目标图像中的最终图像，则生成增强处理终止指令，并将所述第一目标图像设置为所述目标增强图像。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有压缩视频处理程序，所述压缩视频处理程序被处理器执行时实现上述实施例提供的压缩视频处理方法中的操作。

上述各程序模块所执行的方法可参照本发明方法各个实施例，此处不再赘述。

需要说明的是，在本文中，诸如目标和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的压缩视频处理方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种压缩视频处理方法，其特征在于，所述压缩视频处理方法包括以下步骤：

从预设待处理压缩视频中提取初始视频帧；

对所述目标增强图像进行转化，得到目标压缩视频；

所述利用预设增强模型，对所述初始视频帧进行递归式增强处理的步骤，包括：

将所述第一增强图像插入到所述初始视频帧中所述目标压缩图像对应的位置，得到第一目标图像，将所述第一目标图像作为所述初始视频帧，并返回从所述初始视频帧中提取预设数量的连续图像作为目标压缩图像的步骤；

所述利用预设增强模型，对所述目标压缩图像进行增强处理，得到所述目标压缩图像对应的第一增强图像的步骤，包括：

对所述目标特征图像进行残差重建处理，得到所述目标压缩图像对应的第一增强图像；

所述将所述第一增强图像插入到所述初始视频帧中所述目标压缩图像对应的位置，得到第一目标图像之后的步骤，包括：

2.如权利要求1所述的压缩视频处理方法，其特征在于，所述对所述目标压缩图像进行图像融合处理，得到所述目标压缩图像对应的第一特征图像的步骤，包括：

3.如权利要求2所述的压缩视频处理方法，其特征在于，所述利用预设融合模型，对所述目标压缩图像进行连续编码处理，得到所述目标压缩图像对应的编码特征图像的步骤，包括：

对所述卷积特征图像进行池化处理，得到编码特征图像。

4.如权利要求1所述的压缩视频处理方法，其特征在于，所述对所述目标特征图像进行残差重建处理，得到所述目标压缩图像对应的第一增强图像的步骤，包括：

5.一种压缩视频处理装置，其特征在于，所述压缩视频处理装置包括：

图像转化模块，用于对所述目标增强图像进行转化，得到目标压缩视频；

所述递归增强模块，还用于：

所述压缩视频处理装置，还用于：

6.一种压缩视频处理设备，其特征在于，所述压缩视频处理设备包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的压缩视频处理程序，所述压缩视频处理程序被所述处理器执行时实现如权利要求1至4中任一项所述的压缩视频处理方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有压缩视频处理程序，所述压缩视频处理程序被处理器执行时实现如权利要求1至4中任一项所述的压缩视频处理方法的步骤。