CN114897711A - 一种视频中图像处理方法、装置、设备及存储介质 - Google Patents

一种视频中图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114897711A
CN114897711A CN202210354339.6A CN202210354339A CN114897711A CN 114897711 A CN114897711 A CN 114897711A CN 202210354339 A CN202210354339 A CN 202210354339A CN 114897711 A CN114897711 A CN 114897711A
Authority
CN
China
Prior art keywords
image
processed
feature map
distillation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210354339.6A
Other languages
English (en)
Inventor
黄文举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN202210354339.6A priority Critical patent/CN114897711A/zh
Publication of CN114897711A publication Critical patent/CN114897711A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种视频中图像处理方法、装置、设备及存储介质，涉及计算机技术领域。该方法包括：依次获取待处理视频中的待处理图像，将待处理图像以及待处理图像相邻的前一帧图像的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，得到第一特征图，将第一特征图输入目标图像处理模型中的骨干模块，得到第二特征图，将第二特征图输入目标图像处理模型中的输出模块，得到第三特征图以及待处理图像的时序特征图，对第三特征图进行像素重排，并将像素重排后得到的第一图像与待处理图像进行叠加，得到待处理图像对应的目标图像，根据各待处理图像对应的目标图像，得到待处理视频对应的处理后视频。应用本申请实施例，可以提高视频的清晰度。

Description

一种视频中图像处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种视频中图像处理方法、装置、设备及存储介质。
背景技术
随着计算机技术的不断发展，视频的压缩率越来越高，这样虽然节省了传输带宽以及存储空间，但由此会带来压缩伪影问题，影响视频画质。
目前采用的画质优化算法将低画质视频恢复为清晰画质视频的效果有限，难以满足用户对高清晰度视频的日常需求。所以，如何提高视频清晰度是当前亟待解决的技术问题。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种视频中图像处理方法、装置、设备及存储介质，可以提高视频清晰度。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种视频中图像处理方法，所述方法包括：
依次获取待处理视频中的待处理图像；
将所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经所述输入模块对所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图；
将所述第一特征图输入所述目标图像处理模型中的骨干模块，经所述骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图；
将所述第二特征图输入所述目标图像处理模型中的输出模块，经所述输出模块对所述第二特征图进行特征提取，得到第三特征图以及所述待处理图像的时序特征图；
对所述第三特征图进行像素重排，并将像素重排后得到的图像与所述待处理图像进行叠加，得到所述待处理图像对应的目标图像；
根据各所述待处理图像对应的目标图像，得到所述待处理视频对应的处理后视频。
可选地，所述输入模块中包括第一像素重排模块、第一卷积层、输入拼接层、第二卷积层；
所述将所述待处理图像以及所述待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经所述输入模块对所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图，包括：
将所述待处理图像输入所述第一像素重排模块，得到第一图像；
将所述第一图像输入所述第一卷积层，经所述第一卷积层对所述第一图像进行特征提取，得到所述第一图像对应的特征图；
将所述第一图像对应的特征图以及所述待处理图像相邻的前一帧图像对应的时序特征图输入所述输入拼接层，得到第一拼接特征图；
将所述第一拼接特征图输入所述第二卷积层，经所述第二卷积层对所述第一拼接特征图进行通道降维，得到所述第一特征图。
可选地，所述将所述第一特征图输入所述目标图像处理模型中的骨干模块，经所述骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图，包括：
将所述第一特征图输入所述骨干模块中的首位残差特征蒸馏网络，得到所述首位残差特征蒸馏网络输出的参考特征图；
将第K-1个残差特征蒸馏网络输出的参考特征图以及输入的特征图进行叠加后的叠加特征图输入第K个残差特征蒸馏网络，得到所述第K个残差特征蒸馏网络输出的参考特征图，K为大于或等于2的整数；
若所述第K个残差特征蒸馏网络为所述骨干模块中的最后一个残差特征蒸馏网络，则将所述第K个残差特征蒸馏网络输出的参考特征图以及所述叠加特征图叠加后得到的特征图作为所述第二特征图。
可选地，所述每一个残差特征蒸馏网络包括N层蒸馏子网络、第三卷积层、蒸馏拼接层、蒸馏降维层，各所述蒸馏子网络包括蒸馏卷积层和降维卷积层；
所述N层蒸馏子网络中：第Y层蒸馏子网络包括的蒸馏卷积层与第Y+1层蒸馏子网络的输入端连接，第N层蒸馏子网络包括的蒸馏卷积层的输出端与所述第三卷积层的输入端连接，Y为大于或等于1且小于N的任一正整数；
所述N层蒸馏子网络中的降维卷积层的输出端以及所述第三卷积层的输出端分别与所述蒸馏拼接层的输入端连接；
所述蒸馏拼接层的输出端与所述蒸馏降维层的输入端连接。
可选地，所述输出模块包括输出卷积网络、第二像素重排模块、输出叠加层，所述输出卷积网络包括通道恢复卷积层、第四卷积层；
所述第二特征图输入所述目标图像处理模型中的输出模块，经所述输出模块对所述第二特征图进行特征提取，得到第三特征图以及所述待处理图像的时序特征图；对所述第三特征图进行像素重排，并将像素重排后得到的图像与所述待处理图像进行叠加，得到所述待处理图像对应的目标图像，包括：
将所述第二特征图输入所述输出卷积网络中的所述通道恢复卷积层，得到所述第三特征图；
将所述第二特征图输入所述输出卷积网络中的所述第四卷积层，得到所述待处理图像的时序特征图；
将所述第三特征图输入所述第二像素重排模块进行像素重排，得到重排后的图像；
将重排后的图像以及所述待处理图像输入所述输出叠加层，经所述输出叠加层对所述重排后的图像以及所述待处理图像进行叠加，得到所述目标图像。
可选地，所述将所述待处理图像以及所述待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，所述方法还包括：
获取训练完成的初始图像处理模型，所述初始图像处理模型中包括：所述输入模块、初始骨干模块以及所述输出模块，所述初始骨干模块中包括多个初始残差特征蒸馏网络；
将各所述初始残差特征蒸馏网络中的初始蒸馏卷积层中的残差连接结构删除，得到蒸馏卷积层；
将所述初始图像处理模型中所述蒸馏卷积层的参数矩阵与单位矩阵叠加后的矩阵作为所述蒸馏卷积层的目标参数矩阵，得到修正后的初始图像处理模型；
根据所述修正后的初始图像处理模型得到所述目标图像处理模型。
可选地，所述将所述待处理图像以及所述待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，所述方法还包括：
根据目标压缩率，随机生成初始图像处理模型对应的初始剪枝系数；
利用所述初始剪枝系数对所述初始图像处理模型进行剪枝，获取第一评估值；
对所述初始剪枝系数进行扰动，得到新剪枝系数；
根据所述新剪枝系数对所述初始图像处理模型进行剪枝，获取第二评估值；
利用所述第一评估值、所述第二评估值、预设的所述新剪枝系数的接受策略、预设的迭代次数以及预设的终止条件确定目标剪枝系数；
利用所述目标剪枝系数对所述初始图像处理模型进行剪枝，得到所述目标图像处理模型。
可选地，所述将所述待处理图像以及所述待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，所述方法还包括：
获取训练完成的初始图像处理模型，所述初始图像处理模型中包括：教师网络和学生网络，所述教师网络包括：初始第一输入模块、初始第一骨干模块，所述学生网络包括：初始第二输入模块、初始第二骨干模块；
将样本视频中的图像分别输入所述教师网络和所述学生网络，得到所述教师网络输出的教师空间特征图以及所述学生网络输出的学生空间特征图；
将所述教师空间特征图输入预先构建的第一长短期记忆网络，得到教师时序特征图；
将所述学生空间特征图输入预先构建的第二长短期记忆网络，得到学生时序特征图，所述第一长短期记忆网络和所述第二长短期记忆网络的参数共享；
根据所述教师空间特征图和所述学生空间特征图、所述教师时序特征图和所述学生时序特征图对所述学生网络进行修正，将修正后的学生网络作为所述目标图像处理模型。
第二方面，本申请实施例还提供了一种视频中图像处理装置，所述装置包括：
获取模块，用于依次获取待处理视频中的待处理图像；
第一特征提取模块，用于将所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经所述输入模块对所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图；
第二特征提取模块，用于将所述第一特征图输入所述目标图像处理模型中的骨干模块，经所述骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图；
第三特征提取模块，用于将所述第二特征图输入所述目标图像处理模型中的输出模块，经所述输出模块对所述第二特征图进行特征提取，得到第三特征图以及所述待处理图像的时序特征图；
叠加模块，用于对所述第三特征图进行像素重排，并将像素重排后得到的图像与所述待处理图像进行叠加，得到所述待处理图像对应的目标图像；
确定模块，用于根据各所述待处理图像对应的目标图像，得到所述待处理视频对应的处理后视频。
可选地，所述输入模块中包括第一像素重排模块、第一卷积层、输入拼接层、第二卷积层；
相应地，所述第一特征提取模块，具体用于将所述待处理图像输入所述第一像素重排模块，得到第一图像；将所述第一图像输入所述第一卷积层，经所述第一卷积层对所述第一图像进行特征提取，得到所述第一图像对应的特征图；将所述第一图像对应的特征图以及所述待处理图像相邻的前一帧图像对应的时序特征图输入所述输入拼接层，得到第一拼接特征图；将所述第一拼接特征图输入所述第二卷积层，经所述第二卷积层对所述第一拼接特征图进行通道降维，得到所述第一特征图。
可选地，所述第二特征提取模块，具体用于将所述第一特征图输入所述骨干模块中的首位残差特征蒸馏网络，得到所述首位残差特征蒸馏网络输出的参考特征图；将第K-1个残差特征蒸馏网络输出的参考特征图以及输入的特征图进行叠加后的叠加特征图输入第K个残差特征蒸馏网络，得到所述第K个残差特征蒸馏网络输出的参考特征图，K为大于或等于2的整数；若所述第K个残差特征蒸馏网络为所述骨干模块中的最后一个残差特征蒸馏网络，则将所述第K个残差特征蒸馏网络输出的参考特征图以及所述叠加特征图叠加后得到的特征图作为所述第二特征图。
可选地，所述每一个残差特征蒸馏网络包括N层蒸馏子网络、第三卷积层、蒸馏拼接层、蒸馏降维层，各所述蒸馏子网络包括蒸馏卷积层和降维卷积层；
相应地，所述N层蒸馏子网络中：第Y层蒸馏子网络包括的蒸馏卷积层与第Y+1层蒸馏子网络的输入端连接，第N层蒸馏子网络包括的蒸馏卷积层的输出端与所述第三卷积层的输入端连接，Y为大于或等于1且小于N的任一正整数；所述N层蒸馏子网络中的降维卷积层的输出端以及所述第三卷积层的输出端分别与所述蒸馏拼接层的输入端连接；所述蒸馏拼接层的输出端与所述蒸馏降维层的输入端连接。
可选地，所述输出模块包括输出卷积网络、第二像素重排模块、输出叠加层，所述输出卷积网络包括通道恢复卷积层、第四卷积层；
相应地，所述第三特征提取模块，具体用于将所述第二特征图输入所述输出卷积网络中的所述通道恢复卷积层，得到所述第三特征图；将所述第二特征图输入所述输出卷积网络中的所述第四卷积层，得到所述待处理图像的时序特征图；将所述第三特征图输入所述第二像素重排模块进行像素重排，得到重排后的图像；将重排后的图像以及所述待处理图像输入所述输出叠加层，经所述输出叠加层对所述重排后的图像以及所述待处理图像进行叠加，得到所述目标图像。
可选地，所述确定模块，还用于获取训练完成的初始图像处理模型，所述初始图像处理模型中包括：所述输入模块、初始骨干模块以及所述输出模块，所述初始骨干模块中包括多个初始残差特征蒸馏网络；将各所述初始残差特征蒸馏网络中的初始蒸馏卷积层中的残差连接结构删除，得到蒸馏卷积层；将所述初始图像处理模型中所述蒸馏卷积层的参数矩阵与单位矩阵叠加后的矩阵作为所述蒸馏卷积层的目标参数矩阵，得到修正后的初始图像处理模型；根据所述修正后的初始图像处理模型得到所述目标图像处理模型。
可选地，所述确定模块，还用于根据目标压缩率，随机生成初始图像处理模型对应的初始剪枝系数；利用所述初始剪枝系数对所述初始图像处理模型进行剪枝，获取第一评估值；对所述初始剪枝系数进行扰动，得到新剪枝系数；根据所述新剪枝系数对所述初始图像处理模型进行剪枝，获取第二评估值；利用所述第一评估值、所述第二评估值、预设的所述新剪枝系数的接受策略、预设的迭代次数以及预设的终止条件确定目标剪枝系数；利用所述目标剪枝系数对所述初始图像处理模型进行剪枝，得到所述目标图像处理模型。
可选地，所述确定模块，还用于获取训练完成的初始图像处理模型，所述初始图像处理模型中包括：教师网络和学生网络，所述教师网络包括：初始第一输入模块、初始第一骨干模块，所述学生网络包括：初始第二输入模块、初始第二骨干模块；将样本视频中的图像分别输入所述教师网络和所述学生网络，得到所述教师网络输出的教师空间特征图以及所述学生网络输出的学生空间特征图；将所述教师空间特征图输入预先构建的第一长短期记忆网络，得到教师时序特征图；将所述学生空间特征图输入预先构建的第二长短期记忆网络，得到学生时序特征图，所述第一长短期记忆网络和所述第二长短期记忆网络的参数共享；根据所述教师空间特征图和所述学生空间特征图、所述教师时序特征图和所述学生时序特征图对所述学生网络进行修正，将修正后的学生网络作为所述目标图像处理模型。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的所述视频中图像处理方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面的所述视频中图像处理方法的步骤。
本申请的有益效果是：
本申请实施例提供一种视频中图像处理方法、装置、设备及存储介质，该方法包括：依次获取待处理视频中的待处理图像，将待处理图像以及待处理图像相邻的前一帧图像的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经输入模块对待处理图像以及待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图，将第一特征图输入目标图像处理模型中的骨干模块，经骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图，将第二特征图输入目标图像处理模型中的输出模块，经输出模块对第二特征图进行特征提取，得到第三特征图以及待处理图像的时序特征图，对第三特征图进行像素重排，并将像素重排后得到的第一图像与待处理图像进行叠加，得到待处理图像对应的目标图像，根据各待处理图像对应的目标图像，得到待处理视频对应的处理后视频。
采用本申请实施例提供的视频中图像处理方法，可首先通过目标图像处理模型中的输入模块结合待处理图像以及该待处理图像的前一帧图像，使得到的第一特征图中包括该待处理图像中的浅层特征，继续利用骨干模块对第一特征图进行特征提取，使得到的第二特征图中包括待处理图像的深层特征，再继续利用输出模块对第二特征图进行进一步地特征提取，使得到的第三特征图中更完整的该待处理图像的图像信息，从而基于第三特征图得到的该待处理图像对应的目标图像的清晰度更高，进而使待处理视频经过目标图像处理模型处理后，可以得到高质量的目标视频，即目标图像处理模型可以恢复出高清晰度的视频。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种目标图像处理模型的框架示意图；
图2为本申请实施例提供的一种视频中图像处理方法的流程示意图；
图3为本申请实施例提供的另一种视频中图像处理方法的流程示意图；
图4为本申请实施例提供的一种残差特征蒸馏网络的结构示意图；
图5为本申请实施例提供的又一种视频中图像处理方法的流程示意图；
图6为本申请实施例提供的一种初始残差特征蒸馏网络中的初始蒸馏卷积层的转换结构示意图；
图7为本申请实施例提供的再一种视频中图像处理方法的流程示意图；
图8为本申请实施例提供的一种进行联合蒸馏处理的结构示意图；
图9为本申请实施例提供的一种长短期记忆网络的训练结构示意图；
图10为本申请实施例提供的一种视频中图像处理的结构示意图；
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在对本申请实施例进行详细解释之前，首先对本申请的应用场景予以介绍。该应用场景具体可以为将低画质视频恢复为清晰画质视频的场景，可以理解的是，视频是由播放时间相邻的多帧连续的图像构成的，将低画质视频恢复为清晰画质视频即是提升视频中各帧图像的分辨率，进而就可以提升视频的分辨率。在本申请中，待处理视频中包括多帧待处理图像，本申请下述实施例以待处理视频中的任一帧待处理图像为维度进行说明，在通过视频中图像处理方法得到待处理视频中各帧待处理图像对应的目标图像后，进而可根据各帧待处理图像对应的目标图像得到目标视频，目标视频即为待处理视频提高分辨率后的视频，也就是说，目标视频比待处理视频更清晰。
本申请提到的视频中图像处理方法可以改善视频压缩带来的伪影问题，将高压缩率的低质量视频恢复为高质量的清晰视频，还可以修复老视频、网络下载的低质量视频。具体的，可广泛应用于例如视频点播、视频直播等视频流产品中，需要说明的是，本申请不对其进行限定。
上述提到的视频中图像处理方法主要是利用预先训练得到的目标图像处理模型将待处理视频中低清晰度的各帧待处理图像恢复为高清晰度的目标图像，进而得到高清晰度的目标视频，详细过程可参考下述实施例描述。应理解的是，目标图像处理模型是利用预先构建的训练样本训练得到，以包含有同一内容的两个视频(低清晰度视频、高清晰度视频)来说，分别将低清晰度视频、高清晰度视频中对应的两帧图像组成一个训练样本，将训练样本输入框架类似于图1的待训练图像处理模型中，训练得到目标图像处理模型，本申请主要对应用目标图像处理模型阶段进行说明。
需要说明的是，本申请提到的视频中图像处理方法可以由计算机设备执行，计算机设备可以是终端和/或服务器，也就是说，可由终端单独执行或服务器单独执行，或者服务器单独执行，还可以由终端以及服务器结合执行，本申请不对其进行限定。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。
图1为本申请实施例提供的一种目标图像处理模型的框架示意图，如图1所示，该目标图像处理模型包括输入模块10、骨干模块20、输出模块30，输入模块10、骨干模块20、输出模块30依次连接，输入模块10的输出端与骨干模块20的输入端连接，用于将生成的第一特征图输入骨干模块20，第一特征图中包括少量的图像信息，骨干模块20利用多个级联的残差特征蒸馏网络对第一特征图进行特征提取，得到第二特征图，第二特征图中包括的图像信息较第一特征图增多；骨干模块20的输出端与输出模块30的输入端连接，输出模块30对第二特征图继续进行特征提取，得到第三特征图，第三特征图较第二特征图包括更完整的图像信息，输出模块30对第三特征图进行像素重排后得到第一图像，最后将第一图像与待处理图像的叠加结果作为该待处理图像对应的目标图像，并将该待处理图像对应的目标图像输出。同时，输出模块30在得到第三特征图时，还输出该待处理图像的时序特征图。可以理解的是，该待处理图像的时序特征图可用于与该待处理图像相邻的下一帧图像输入至输入模块10，经输入模块10进行特征提取以及特征拼接后，得到第一特征图。以此类推，最后可得到待处理视频中各帧图像对应的目标图像，进而得到上述提到的目标视频。
需要说明的是，输入模块10、骨干模块20以及输出模块30内部的结构以及特征提取过程可在下述示例中进行介绍。
目标图像处理模型中的输入模块、骨干模块以及输出模块提取出的图像信息逐渐增多，具体的，骨干模块可对输出模块生成的第一特征图进行深层特征提取，生成待处理图像更完整的细节信息，从而基于包括深层特征的第三特征图得到的目标图像具有较高的质量和较好的效果，即得到高清晰度的目标图像，从而提高待处理视频对应的目标视频的清晰度。
如下结合附图对本申请提到的视频中图像处理方法进行示例说明。图2为本申请实施例提供的一种视频中图像处理方法的流程示意图。如图2所示，该方法可包括：
S201、依次获取待处理视频中的待处理图像。
根据上述描述可知，待处理视频是由播放时间相邻的多帧连续的图像构成的，各帧图像可称为待处理图像。可根据图像提取技术依次从待处理视频中提取出所包括的各帧待处理图像，可将各帧待处理图像以及其对应的播放时间对应存储在存储器中。可以理解的是，待处理视频为需要进行清晰度恢复的视频。
S202、将待处理图像以及待处理图像相邻的前一帧图像的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经输入模块对待处理图像以及待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图。
从待处理视频中提取出了多帧待处理图像，各帧待处理图像与播放时间对应，可按照播放时间从小到大的顺序依次获取待处理图像，将待处理图像分别输入目标图像处理模型中。此处以一帧待处理图像为例进行说明，将该待处理图像输入目标图像处理模型中的输入模块，输入模块可由一个或多个卷积层以及拼接层组成，卷积层中可包括多个卷积核，卷积核的尺寸可为(3×3)，需要说明的是，本申请不对卷积层以及卷积层上包括的卷积核个数进行限定。输入模块中的卷积层对待处理图像进行特征提取，得到特征图，输入模块中的拼接层可对该特征图以及该待处理图像相邻的前一帧图像的时序特征图进行拼接，将该拼接结果作为第一特征图。
可以理解的是，该待处理图像相邻的前一帧图像的时序特征图是目标图像处理模型对该待处理图像相邻的前一帧图像进行处理得到，也就是说，利用目标图像处理模型对待处理图像进行特征提取，得到该待处理图像对应的目标图像时需要该待处理图像相邻的前一帧图像的时序特征图的参与。
可以看出，目标图像处理模型中的输入模块对待处理图像进行特征提取，得到的第一特征图中包括待处理图像中的浅层特征，浅层特征例如可以是边缘、线条和角等层级的特征。同时，由于前一帧图像的时序特征图中也会包括待处理图像的一部分图像信息，输入模块对待处理图像以及待处理图像相邻的前一帧图像的时序特征图进行融合，这样可以进一步使得到的第一特征图中包括更多待处理图像中的图像信息。
S203、将第一特征图输入目标图像处理模型中的骨干模块，经骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图。
利用输入模块对待处理图像进行特征提取以及特征拼接，得到第一特征图后，可以继续利用骨干模块对第一特征图进行特征提取。其中，骨干模块中可包括多个级联残差特征蒸馏网络(RFDB)，如三个RFDB(RFDB1、RFDB2、RFDB3)，RFDB1、RFDB2、RFDB3依次连接，RFDB1的输入端与输入网络的输出端连接，RFDB3的输出端与输出模块的输入端连接。骨干模块中的RFDB对第一特征图进行进一步地特征提取，使得到的第二特征图中包括待处理图像的深层特征。
也就是说，通过骨干模块对第一特征图进行特征提取，这样可以使得到的第二特征图中包括更多的图像细节信息。
S204、将第二特征图输入目标图像处理模型中的输出模块，经输出模块对第二特征图进行特征提取，得到第三特征图以及待处理图像的时序特征图。
S205、对第三特征图进行像素重排，并将像素重排后得到的图像与待处理图像进行叠加，得到待处理图像对应的目标图像。
利用骨干模块对第一特征图进行特征提取，得到第二特征图后，可继续利用输出模块对第二特征图进行进一步地特征提取，即骨干模块中的最后一个RGDB(如RGDB3)将生成的第二特征图输入输出模块，输出模块包括两个分支，这两个分支分别输出第三特征图以及该待处理图像的时序特征图。其中，该待处理图像的时序特征图可参与到提取该待处理图像的相邻下一帧图像的第一特征图的过程中。
在得到第三特征图后，输出模块还需要对第三特征图进行像素重排，将第三特征图恢复为空间数据。将像素重排后得到的图像以及该待处理图像输入该输出模块中的拼接层，经拼接层进行拼接后，输出该待处理图像对应的目标图像。
可以看出，第三特征图中包括更完整的该待处理图像的图像信息，从而基于第三特征图得到的该待处理图像对应的目标图像的清晰度更高。
S206、根据各待处理图像对应的目标图像，得到待处理视频对应的处理后视频。
参照上述描述，最后可得到待处理视频中包括的各帧待处理图像对应的目标图像，可按照各帧待处理图像对应的播放时间先后顺序将各帧目标图像进行拼接得到该待处理视频对应的处理后视频，可将待处理视频对应的处理后视频作为目标视频。
由于目标视频中的各帧目标图像对应有高清晰度，所以得到的目标视频也对应有高清晰度。
综上所述，本申请提供的视频中图像处理方法中，可首先通过目标图像处理模型中的输入模块结合待处理图像以及该待处理图像的前一帧图像，使得到的第一特征图中包括该待处理图像中的浅层特征，继续利用骨干模块对第一特征图进行特征提取，使得到的第二特征图中包括待处理图像的深层特征，再继续利用输出模块对第二特征图进行进一步地特征提取，使得到的第三特征图中更完整的该待处理图像的图像信息，从而基于第三特征图得到的该待处理图像对应的目标图像的清晰度更高，进而使待处理视频经过目标图像处理模型处理后，可以得到高质量的目标视频，即目标图像处理模型可以恢复出高清晰度的视频。
结合图1，此处先对输入模块10中的结构进行说明，输入模块10中包括第一像素重排模块、第一卷积层、输入拼接层、第二卷积层，第一像素重排模块、第一卷积层、输入拼接层、第二卷积层依次连接，第一像素重排模块具体可为space-to-depth模块，用于将数据从空间重新排列为深度数据块；第一卷积层中可包括多个卷积核，各卷积核的大小可为(3×3)，第一卷积层可用于将第一像素重排模块输出的重排后的图像进行特征提取；输入拼接层用于将多个特征图进行拼接；第二卷积层中可包括多个卷积核，各卷积核的大小可为(3×3)，第二卷积层可用于对输入拼接层输出的拼接图进行通道降维，通道可以理解为第二卷积层所包括的卷积核的个数，即第二卷积层中包括3个卷积核，则第二卷积层输出的特征图为3通道，需要说明的是，本申请不对卷积层中卷积核的个数进行限定。
图3为本申请实施例提供的另一种视频中图像处理方法的流程示意图。可选地，如图3所示，上述将待处理图像以及待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经输入模块对所述待处理图像以及待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图，包括：
S301、将待处理图像输入第一像素重排模块，得到第一图像。
S302、将第一图像输入第一卷积层，经第一卷积层对第一图像进行特征提取，得到第一图像对应的特征图。
S303、将第一图像对应的特征图以及待处理图像相邻的前一帧图像对应的时序特征图输入所述输入拼接层，得到第一拼接特征图。
其中，假设待处理图像是一种大小为(vH×vW×C)RGB图像，第一像素重排模块可将大小为(vH×vW×C)的待处理图像转换为大小为(H×W×C·v2)的第一图像。可以看出，第一图像的分辨率小于待处理图像的分辨率，目标图像处理模型对第一图像进行处理，这样可以提高图像处理效率。
一种示例性的，第一卷积层中大小为(3×3)的卷积核对第一图像进行特征提取，得到第一图像对应的特征图，第一图像对应的特征图对应的通道数与第一卷积层中包括的卷积核个数相关。在第一卷积层输出第一图像对应的特征图后，输入拼接层可将第一图像对应的特征图以及对应的时序特征图进行拼接，进行拼接之前，第一图像对应的特征图与该时序特征图的大小一致，输入拼接层进行拼接后，可得到第一拼接特征图。
S304、将第一拼接特征图输入第二卷积层，经第二卷积层对第一拼接特征图进行通道降维，得到第一特征图。
可利用第二卷积层中包括的卷积核个数控制第一特征图的通道数，第二卷积层包括的卷积核个数可与第一卷积层包括的卷积核个数相同，也可以不同，本申请不对其进行限定。第二卷积层利用所包括的卷积核对第一拼接特征图进行特征提取，可得到第一特征图。
可选地，上述将第一特征图输入目标图像处理模型中的骨干模块，经骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图，包括：将第一特征图输入骨干模块中的首位残差特征蒸馏网络，得到首位残差特征蒸馏网络输出的参考特征图；将第K-1个残差特征蒸馏网络输出的参考特征图以及输入的特征图进行叠加后的叠加特征图输入第K个残差特征蒸馏网络，得到第K个残差特征蒸馏网络输出的参考特征图，K为大于或等于2的整数；若第K个残差特征蒸馏网络为骨干模块中的最后一个残差特征蒸馏网络，则将第K个残差特征蒸馏网络输出的参考特征图作为第二特征图。
结合图1进行说明，图1中的骨干模块20包括3个残差特征蒸馏网络(RFDB1、RFDB2、RFDB3)，即K等于3，需要说明的是，图1只是一种示例，不作为对残差特征蒸馏网络的限定。RFDB1对第一特征图进行特征提取，得到RFDB1对应的参考特征图；将RFDB1对应的参考特征图与第一特征图叠加后的叠加特征图作为RFDB2的输入特征图输入RFDB2，得到RFDB2对应的参考特征图；将RFDB2对应的参考特征图与RFDB2的输入特征图叠加后的叠加特征图作为RFDB3的输入特征图输入RFDB3，得到RFDB3对应的参考特征图，最后将RFDB3对应的参考特征图与RFDB3的输入特征图叠加后的特征图作为第二特征图。
可以看出，骨干模块中的残差特征蒸馏网络(RFDB)逐次对得到的参考特征图进行进一步地特征提取，中间残差特征蒸馏网络的输入特征图不仅包含上一个相邻残差特征蒸馏网络输出的特征图，而且还包含上一个相邻残差特征蒸馏网络输入的特征图，这样会更全面的融合待处理图像的图像信息，进一步提高目标图像的清晰度。
此处以骨干模块中的一个残差特征蒸馏网络为例进行说明。图4为本申请实施例提供的一种残差特征蒸馏网络的结构示意图。如图4所示，残差特征蒸馏网络400包括N层蒸馏子网络、第三卷积层、蒸馏拼接层、蒸馏降维层，各蒸馏子网络包括蒸馏卷积层和降维卷积层；N层蒸馏子网络中：第Y层蒸馏子网络包括的蒸馏卷积层与第Y+1层蒸馏子网络的输入端连接，第N层蒸馏子网络包括的蒸馏卷积层的输出端与第三卷积层的输入端连接，Y为大于或等于1且小于N的任一正整数；N层蒸馏子网络中的降维卷积层的输出端以及第三卷积层的输出端分别与蒸馏拼接层的输入端连接；蒸馏拼接层的输出端与蒸馏降维层的输入端连接。
可以看出，图4为N等于3的情况，需要说明的是，本申请不对N进行限定。在残差特征蒸馏网络400中，除第三卷积层外，每一层蒸馏子网络都有一个并列的3×3和1×1卷积层。3×3卷积层用于增大感受野，提取深层图像信息，1×1卷积层用于对上层提取的图像信息进行通道降维。最后，所有的1×1卷积层的输出和第三卷积层的输出拼接在一起，再经过蒸馏降维层(1×1卷积层)后作为残差特征蒸馏网络400的最终输出。
结合图1进行说明，输出模块30包括输出卷积网络、第二像素重排模块、输出叠加层，输出卷积网络包括通道恢复卷积层、第四卷积层。一种示例性的，该输出卷积网络包括的通道恢复卷积层可为(3×3)的卷积层，通道恢复卷积层用于使输出的第三特征图的通道数为(C·v2)；该输出卷积网络包括的第四卷积层可为(1×1)的卷积层；第二像素重排模块可以理解为与上述提到的第一像素重排模块互逆的过程，即将深度数据重新排列为空间数据库，第二像素重排模块具体可为depth-to-space模块，将大小为(H×W×C·v2)的第三特征图恢复为大小为(vH×vW×C)的图像；输出叠加层可将重排后的图像(vH×vW×C)以及待处理图像(vH×vW×C)进行叠加，得到目标图像。可以理解的是，进行叠加即为对应位置上的像素进行叠加。
也就是说，上述第二特征图输入目标图像处理模型中的输出模块，经输出模块对第二特征图进行特征提取，得到第三特征图以及待处理图像的时序特征图；对第三特征图进行像素重排，并将像素重排后得到的图像与待处理图像进行叠加，得到待处理图像对应的目标图像，包括：将第二特征图输入所述输出卷积网络中的通道恢复卷积层，得到第三特征图；将第二特征图输入输出卷积网络中的第四卷积层，得到待处理图像的时序特征图；将第三特征图输入第二像素重排模块进行像素重排，得到重排后的图像；将重排后的图像以及待处理图像输入输出叠加层，经输出叠加层对重排后的图像以及待处理图像进行叠加，得到目标图像。
可以理解的是，为了保证目标图像处理模型输出的图像质量，通常需要建立一个较大规模的目标图像处理模型，由此所建立的目标图像处理模型往往包含大量的冗余参数，使得在应用目标图像处理模型时，需要较大存储空间以及较多的计算资源，这样会影响图像处理的效率。所以，下述实施例主要对在保证图像质量(清晰度)的前提下，如何提高图像处理效率进行说明。通过下述实施例的方式可以将目标图像处理模型部署在内存和计算资源受限的终端上。
图5为本申请实施例提供的又一种视频中图像处理方法的流程示意图。可选地，如图5所示，上述将待处理图像以及待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，该方法还可以包括：
S501、获取训练完成的初始图像处理模型。
其中，初始图像处理模型中包括：输入模块、初始骨干模块以及输出模块。根据上述描述可知，利用预先构建的训练样本对待训练图像处理模型进行训练，训练得到初始图像处理模型，该初始图像处理模型中的输入模块的结构与目标图像处理模型中的输入模块的结构类似，该初始图像处理模型中的输出模块的结构与目标图像处理模型中的输出模块的结构类似，具体可参考相关部分描述。此处重点对初始图像处理模型中的初始骨干模块进行说明，参考图4进行说明，初始骨干模块中包括多个初始残差特征蒸馏网络，各初始残差特征蒸馏网络中包括初始蒸馏子网络，初始蒸馏子网络包括初始蒸馏卷积层和降维卷积层，初始残差特征蒸馏网络中的初始蒸馏卷积层的结构可参考图6中的左侧图。图6为本申请实施例提供的一种初始残差特征蒸馏网络中的初始蒸馏卷积层的转换结构示意图，如图6所示，初始残差特征蒸馏网络中的初始蒸馏卷积层有残差连接，即第Y+1层初始蒸馏子网络的输入为第Y层初始蒸馏子网络包括的初始蒸馏卷积层输出的特征图与第Y层初始蒸馏子网络包括的初始蒸馏卷积层输入的特征图叠加后的特征图，第Y+1层初始蒸馏子网络的输入可用(Wx+b)+x表示，其中，W为第Y层初始蒸馏卷积层的参数矩阵，x为第Y层初始蒸馏卷积层输入的特征图，b为第Y层初始蒸馏卷积层对应的一个偏置值。
S502、将各初始残差特征蒸馏网络中的初始蒸馏卷积层中的残差连接结构删除，得到蒸馏卷积层。
S503、将初始图像处理模型中蒸馏卷积层的参数矩阵与单位矩阵叠加后的矩阵作为蒸馏卷积层的目标参数矩阵，得到修正后的初始图像处理模型。
S504、根据修正后的初始图像处理模型得到所述目标图像处理模型。
如图6中的右侧图，该右侧图为初始蒸馏卷积层中的残差连接结构删除后，得到的蒸馏卷积层。残差连接结构删除后得到的蒸馏卷积层可以理解为第Y+1层蒸馏子网络的输入为第Y层蒸馏子网络包括的蒸馏卷积层输出的特征图，第Y+1层蒸馏子网络的输入可用(W+I)x+b'表示，其中，W为蒸馏卷积层的参数矩阵，I为单位矩阵，x为第Y层蒸馏卷积层输入的特征图，b'为蒸馏卷积层对应的一个偏置值。即初始图像处理模型中蒸馏卷积层的参数矩阵与单位矩阵叠加后的矩阵作为蒸馏卷积层的目标参数矩阵，进而可根据修正后的初始图像处理模型得到目标图像处理模型，这一过程可称为结构重参数化。
初始蒸馏卷积层与蒸馏卷积层之间的对应关系可用下式进行表示：
(Wx+b')+x＝(W+I)x+b'
可以理解的是，在初始图像处理模型确定后，蒸馏卷积层的参数矩阵W就是一个定值，可将(W+I)的相加结果预先存储在存储器中，这样可在利用目标图像处理模型对待处理图像继续处理时，减少对内存的访问量，这样可以加快目标图像处理模型对待处理图像进行处理的效率。
图7为本申请实施例提供的再一种视频中图像处理方法的流程示意图。可选地，上述将待处理图像以及待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，该方法还包括:
S701、根据目标压缩率，随机生成初始图像处理模型对应的初始剪枝系数。
可以理解的是，初始图像处理模型对应有大量的参数，即对应有一定的参数数据量，可根据该参数数据量以及预设的目标压缩率确定出需要减去的参数数据量，根据需要减去的参数数据量随机生成初始图像处理模型对应的初始剪枝系数。初始图像处理模型中的初始输入模块、初始骨干模块以及初始输出模块均对应有参数数据量。更细化的，以初始输入模块为例进行说明，初始输入模块中可包括多个卷积层，各卷积层对应有参数数据量。根据需要减去的参数数据量以及各卷积层对应的参数数据量确定出各卷积层对应的初始剪枝系数R，初始剪枝系数R可用于指示各卷积层需要减去的参数数据量。
S702、利用初始剪枝系数对所述初始图像处理模型进行剪枝，获取第一评估值。
在各卷积层需要减去的参数数据量确定后，可根据L1范数确定各卷积层中各卷积核的权重，以一个卷积层来说，可根据该卷积层中各卷积核的权重大小关系以及该卷积层需要减去的参数数据量1，将权重小的卷积核剔除，相当于对初始图像处理模型进行了剪枝，分别利用剪枝前后的初始图像处理模型处理同一个待处理图像，根据得到的目标图像确定第一评估值，第一评估值可用于指示利用初始剪枝系数进行剪枝后的初始图像处理模型的精确度损失量。
S703、对初始剪枝系数进行扰动，得到新剪枝系数。
S704、根据新剪枝系数对所述初始图像处理模型进行剪枝，获取第二评估值。
可基于需要减去的参数数据量对初始剪枝系数R进行扰动，得到新剪枝系数R'。根据新剪枝系数R'确定各卷积层需要减去的参数数据量，可根据L1范数确定各卷积层中各卷积核的权重，以一个卷积层来说，可根据该卷积层中各卷积核的权重大小关系以及该卷积层需要减去的参数数据量2，将权重小的卷积核剔除，相当于对初始图像处理模型进行了剪枝，分别利用剪枝前后的初始图像处理模型处理同一个待处理图像，根据得到的目标图像确定第二评估值，第二评估值可用于指示利用新剪枝系数进行剪枝后的初始图像处理模型的精确度损失量。
S705、利用第一评估值、第二评估值、预设的新剪枝系数的接受策略、预设的迭代次数以及预设的终止条件确定目标剪枝系数。
S706、利用目标剪枝系数对初始图像处理模型进行剪枝，得到目标图像处理模型。
在第一评估值、第二评估值确定后，可将第一评估值与第二评估值进行对比，若第一评估值大于第二评估值，且满足预设的迭代次数以及预设的终止条件，那么可将该新剪枝系数作为目标剪枝系数，若第一评估值大于第二评估值，但不满足预设的迭代次数时，那么可将新剪枝系数为基准进行扰动，即该新剪枝系数作为上述提到的初始剪枝系数，对新剪枝系数继续进行扰动，其他内容参考上述确定目标剪枝系数的过程。
若第一评估值小于第二评估值，那么可利用预设的新剪枝系数的接受策略确定是否将第二评估值对应的新剪枝系数作为基准进行扰动，P(t，ΔS)用于指示第二评估值作为基准进行扰动的概率，P(t，ΔS)值越大，第二评估值作为基准进行扰动的概率就越大。
预设的新剪枝系数的接受策略可用下述公式进行表示。
Figure BDA0003581798950000271
其中，ΔS表示第一评估值与第二评估值的差值；t表示当前温度，是个常量。
在目标剪枝系数确定后，可根据目标剪枝系数得到初始图像处理模型中各卷积层需要减去的目标参数数据量，进而可根据L1范数确定各卷积层中各卷积核的权重，以一个卷积层来说，可根据该卷积层中各卷积核的权重大小关系以及该卷积层需要减去的目标参数数据量，将权重小的卷积核剔除，相当于利用目标剪枝系数对初始图像处理模型进行了剪枝，得到目标图像处理模型。
利用预设的新剪枝系数的接受策略能够快速的得到目标剪枝系数，进而提高获取目标图像处理模型的效率。利用上述提到的模型剪枝方式对初始图像处理模型进行剪枝，可以在保证一定目标图像处理模型精确度的前提下，还可以提高目标图像处理模型对待处理图像进行处理的效率。
可选地，上述将待处理图像以及待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，该方法还包括：
获取训练完成的初始图像处理模型，初始图像处理模型中包括：教师网络和学生网络，教师模型包括：初始第一输入模块、初始第一骨干模块，学生模型包括：初始第二输入模块、初始第二骨干模块；将样本视频中的图像分别输入教师网络和所述学生网络，得到教师网络输出的教师空间特征图以及学生网络输出的学生空间特征图；将教师空间特征图输入预先构建的第一长短期记忆网络，得到教师时序特征图；将学生空间特征图输入预先构建的第二长短期记忆网络，得到学生时序特征图，第一长短期记忆网络和第二长短期记忆网络的参数共享；根据教师空间特征图和学生空间特征图、教师时序特征图和学生时序特征图对学生网络进行修正，将修正后的学生网络作为目标图像处理模型。
可预先在服务器上训练得到两类初始图像处理模型，这两类初始图像处理模型可包括教师网络和学生网络，教师网络是一种比学生网络更复杂的一种网络，复杂性可用卷积层数量定义，教师网络中的卷积层数量多于学生网络。教师网络和学生网络的结构可参考图1，教师网络和学生网络均没没有输出模块。
图8为本申请实施例提供的一种进行联合蒸馏处理的结构示意图。图8中的教师网络以及学生网络分别将样本视频中的图像序列(It-1、It、It+1)处理完成后得到教师空间特征图(FT t-1、FT t、FT t+1)和学生空间特征图(FS t-1、FS t、FS t+1)，可将教师空间特征图输入预先构建的第一长短期记忆网络(CLSTM1)，得到教师时序特征图(CT t-1)，可将学生空间特征图输入预先构建的第二长短期记忆网络(CLSTM2)，得到学生时序特征图(CS t-1)。图8中的空间损失函数(LSD)和时序损失函数(LTD)皆为L1损失函数。由于教师网络和学生网络的CLSTM共享参数，以及根据教师空间特征图和学生空间特征图对学生网络进行第一修正，根据教师时序特征图以及学生时序特征图对学生网络进行第二修正，得到修正后的学生网络，且将修正后的学生网络称为目标图像处理模型。这样可以防止训练过程中的网络坍塌，同时为CLSTM添加一个额外预测器(predictor)和采用梯度截断的学习策略，训练结束后移除predictor，CLSTM的训练过程如图9所示。
可选地，本申请实施例还可以利用模型量化方式对初始图像处理模型进行处理，得到目标图像处理模型。其中，模型量化指使用低比特数据来表示初始图像处理模型的参数，可以有效减小参数数据量，避免占用大量的内存和带宽。在支持低比特运算的终端上还可以极大地减小运算耗时。
一种示例性的，可使用训练感知的量化方法(Quantization Aware Trai ning，QAT)对画质优化模型进行8bit优化，最大限度地降低量化带来的精度损失。QAT在训练过程中使用伪量化的方式计算量化损失，然后通过正常的浮点梯度回传更新参数，真实值r与伪量化值q的关系可以表示为：
Figure BDA0003581798950000301
其中，S＝(a-b)/255，Z＝int(-a/S)*S。
其中，真实值r可用于指示在初始图像处理模型中的参数，伪量化值q可用于指示在目标图像处理模型中的参数。
以卷积层为维度进行说明，[a，b]表示卷积层中待量化参数的最小值和最大值。对于模型权重的量化，直接统计当前权重的最值即可；对于特征值的量化，通过需要统计训练过程中特征的移动平均值。
需要说明的是，上述提到的结构重参数化、模型剪枝、联合蒸馏以及模型量化可以任意组合对初始图像处理模型进行处理，得到目标图像处理模型。
值的注意的是，本申请可针对不同的计算平台(终端)提供使用不同方式(结构重参数化、模型剪枝、联合蒸馏以及模型量化)得到目标图像处理模型。下述以终端中包括AI专用处理器、Hexagon处理器、CPU处理器这三种情况进行说明，
终端中包括AI专用处理器，可选择非模型量化+结构重参数化+联合蒸馏的集合方案对初始图像处理模型进行处理，得到目标图像处理模型；终端中包括Hexagon处理器，模型量化+结构重参数化+联合蒸馏的集合对初始图像处理模型进行处理，得到目标图像处理模型；终端中包括CPU处理器，可选择模型剪枝+联合蒸馏+模型量化的方案对初始图像处理模型进行处理，得到目标图像处理模型。
可以看出，可根据终端的计算能力、内存情况选择合适的模型处理方案，为不同类型的终端匹配合适的目标图像处理模型，这样可在保证视屏清晰度的前提下，还可以提高图像处理效率。
图10为本申请实施例提供的一种视频中图像处理的结构示意图。如图10所示，该装置包括：
获取模块1001，用于依次获取待处理视频中的待处理图像；
第一特征提取模块1002，用于将待处理图像以及待处理图像相邻的前一帧图像的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经输入模块对待处理图像以及待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图；
第二特征提取模块1003，用于将第一特征图输入目标图像处理模型中的骨干模块，经骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图；
第三特征提取模块1004，用于将第二特征图输入目标图像处理模型中的输出模块，经输出模块对第二特征图进行特征提取，得到第三特征图以及待处理图像的时序特征图；
叠加模块1005，用于对第三特征图进行像素重排，并将像素重排后得到的图像与待处理图像进行叠加，得到待处理图像对应的目标图像；
确定模块1006，用于根据各待处理图像对应的目标图像，得到待处理视频对应的处理后视频。
可选地，输入模块中包括第一像素重排模块、第一卷积层、输入拼接层、第二卷积层；
相应地，第一特征提取模块1002，具体用于将待处理图像输入第一像素重排模块，得到第一图像；将第一图像输入第一卷积层，经第一卷积层对第一图像进行特征提取，得到第一图像对应的特征图；将第一图像对应的特征图以及待处理图像相邻的前一帧图像对应的时序特征图输入拼接层，得到第一拼接特征图；将第一拼接特征图输入第二卷积层，经第二卷积层对第一拼接特征图进行通道降维，得到第一特征图。
可选地，第二特征提取模块1002，具体用于将第一特征图输入骨干模块中的首位残差特征蒸馏网络，得到首位残差特征蒸馏网络输出的参考特征图；将第K-1个残差特征蒸馏网络输出的参考特征图以及输入的特征图进行叠加后的叠加特征图输入第K个残差特征蒸馏网络，得到第K个残差特征蒸馏网络输出的参考特征图，K为大于或等于2的整数；若第K个残差特征蒸馏网络为骨干模块中的最后一个残差特征蒸馏网络，则将第K个残差特征蒸馏网络输出的参考特征图以及叠加特征图叠加后得到的特征图作为第二特征图。
可选地，每一个残差特征蒸馏网络包括N层蒸馏子网络、第三卷积层、蒸馏拼接层、蒸馏降维层，各蒸馏子网络包括蒸馏卷积层和降维卷积层；
相应地，N层蒸馏子网络中：第Y层蒸馏子网络包括的蒸馏卷积层与第Y+1层蒸馏子网络的输入端连接，第N层蒸馏子网络包括的蒸馏卷积层的输出端与第三卷积层的输入端连接，Y为大于或等于1且小于N的任一正整数；N层蒸馏子网络中的降维卷积层的输出端以及第三卷积层的输出端分别与蒸馏拼接层的输入端连接；蒸馏拼接层的输出端与蒸馏降维层的输入端连接。
可选地，输出模块包括输出卷积网络、第二像素重排模块、输出叠加层，输出卷积网络包括通道恢复卷积层、第四卷积层；
相应地，第三特征提取模块1004，具体用于将第二特征图输入输出卷积网络中的通道恢复卷积层，得到第三特征图；将第二特征图输入输出卷积网络中的第四卷积层，得到待处理图像的时序特征图；将第三特征图输入第二像素重排模块进行像素重排，得到重排后的图像；将重排后的图像以及待处理图像输入输出叠加层，经输出叠加层对重排后的图像以及待处理图像进行叠加，得到目标图像。
可选地，确定模块1006，还用于获取训练完成的初始图像处理模型，初始图像处理模型中包括：输入模块、初始骨干模块以及输出模块，初始骨干模块中包括多个初始残差特征蒸馏网络；将各初始残差特征蒸馏网络中的初始蒸馏卷积层中的残差连接结构删除，得到蒸馏卷积层；将初始图像处理模型中蒸馏卷积层的参数矩阵与单位矩阵叠加后的矩阵作为蒸馏卷积层的目标参数矩阵，得到修正后的初始图像处理模型；根据修正后的初始图像处理模型得到目标图像处理模型。
可选地，确定模块1006，还用于根据目标压缩率，随机生成初始图像处理模型对应的初始剪枝系数；利用初始剪枝系数对初始图像处理模型进行剪枝，获取第一评估值；对初始剪枝系数进行扰动，得到新剪枝系数；根据新剪枝系数对初始图像处理模型进行剪枝，获取第二评估值；利用第一评估值、第二评估值、预设的新剪枝系数的接受策略、预设的迭代次数以及预设的终止条件确定目标剪枝系数；利用目标剪枝系数对初始图像处理模型进行剪枝，得到目标图像处理模型。
可选地，确定模块1006，还用于获取训练完成的初始图像处理模型，初始图像处理模型中包括：教师网络和学生网络，教师网络包括：初始第一输入模块、初始第一骨干模块，学生网络包括：初始第二输入模块、初始第二骨干模块；将样本视频中的图像分别输入教师网络和学生网络，得到教师网络输出的教师空间特征图以及学生网络输出的学生空间特征图；将教师空间特征图输入预先构建的第一长短期记忆网络，得到教师时序特征图；将学生空间特征图输入预先构建的第二长短期记忆网络，得到学生时序特征图，第一长短期记忆网络和第二长短期记忆网络的参数共享；根据教师空间特征图和学生空间特征图、教师时序特征图以及学生时序特征图对学生网络进行修正，将修正后的学生网络作为目标图像处理模型。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图11为本申请实施例提供的一种电子设备的结构示意图，如图11所示，该电子设备可以包括：处理器1101、存储介质1102和总线1103，存储介质1102存储有处理器1101可执行的机器可读指令，当该电子设备运行时，处理器1101与存储介质1102之间通过总线1103通信，处理器1101执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种视频中图像处理方法，其特征在于，所述方法包括：
依次获取待处理视频中的待处理图像；
将所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经所述输入模块对所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图；
将所述第一特征图输入所述目标图像处理模型中的骨干模块，经所述骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图；
将所述第二特征图输入所述目标图像处理模型中的输出模块，经所述输出模块对所述第二特征图进行特征提取，得到第三特征图以及所述待处理图像的时序特征图；
对所述第三特征图进行像素重排，并将像素重排后得到的图像与所述待处理图像进行叠加，得到所述待处理图像对应的目标图像；
根据各所述待处理图像对应的目标图像，得到所述待处理视频对应的处理后视频。
2.根据权利要求1所述的方法，其特征在于，所述输入模块中包括第一像素重排模块、第一卷积层、输入拼接层、第二卷积层；
所述将所述待处理图像以及所述待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经所述输入模块对所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图，包括：
将所述待处理图像输入所述第一像素重排模块，得到第一图像；
将所述第一图像输入所述第一卷积层，经所述第一卷积层对所述第一图像进行特征提取，得到所述第一图像对应的特征图；
将所述第一图像对应的特征图以及所述待处理图像相邻的前一帧图像对应的时序特征图输入所述输入拼接层，得到第一拼接特征图；
将所述第一拼接特征图输入所述第二卷积层，经所述第二卷积层对所述第一拼接特征图进行通道降维，得到所述第一特征图。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一特征图输入所述目标图像处理模型中的骨干模块，经所述骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图，包括：
将所述第一特征图输入所述骨干模块中的首位残差特征蒸馏网络，得到所述首位残差特征蒸馏网络输出的参考特征图；
将第K-1个残差特征蒸馏网络输出的参考特征图以及输入的特征图进行叠加后的叠加特征图输入第K个残差特征蒸馏网络，得到所述第K个残差特征蒸馏网络输出的参考特征图，K为大于或等于2的整数；
若所述第K个残差特征蒸馏网络为所述骨干模块中的最后一个残差特征蒸馏网络，则将所述第K个残差特征蒸馏网络输出的参考特征图以及所述叠加特征图叠加后得到的特征图作为所述第二特征图。
4.根据权利要求3所述的方法，其特征在于，每一所述残差特征蒸馏网络包括N层蒸馏子网络、第三卷积层、蒸馏拼接层、蒸馏降维层，各所述蒸馏子网络包括蒸馏卷积层和降维卷积层；
所述N层蒸馏子网络中：第Y层蒸馏子网络包括的蒸馏卷积层与第Y+1层蒸馏子网络的输入端连接，第N层蒸馏子网络包括的蒸馏卷积层的输出端与所述第三卷积层的输入端连接，Y为大于或等于1且小于N的任一正整数；
所述N层蒸馏子网络中的降维卷积层的输出端以及所述第三卷积层的输出端分别与所述蒸馏拼接层的输入端连接；
所述蒸馏拼接层的输出端与所述蒸馏降维层的输入端连接。
5.根据权利要求1所述的方法，其特征在于，所述输出模块包括输出卷积网络、第二像素重排模块、输出叠加层，所述输出卷积网络包括通道恢复卷积层、第四卷积层；
所述第二特征图输入所述目标图像处理模型中的输出模块，经所述输出模块对所述第二特征图进行特征提取，得到第三特征图以及所述待处理图像的时序特征图；对所述第三特征图进行像素重排，并将像素重排后得到的图像与所述待处理图像进行叠加，得到所述待处理图像对应的目标图像，包括：
将所述第二特征图输入所述输出卷积网络中的所述通道恢复卷积层，得到所述第三特征图；
将所述第二特征图输入所述输出卷积网络中的所述第四卷积层，得到所述待处理图像的时序特征图；
将所述第三特征图输入所述第二像素重排模块进行像素重排，得到重排后的图像；
将重排后的图像以及所述待处理图像输入所述输出叠加层，经所述输出叠加层对所述重排后的图像以及所述待处理图像进行叠加，得到所述目标图像。
6.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像以及所述待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，所述方法还包括：
获取训练完成的初始图像处理模型，所述初始图像处理模型中包括：所述输入模块、初始骨干模块以及所述输出模块，所述初始骨干模块中包括多个初始残差特征蒸馏网络；
将各所述初始残差特征蒸馏网络中的初始蒸馏卷积层中的残差连接结构删除，得到蒸馏卷积层；
将所述初始图像处理模型中所述蒸馏卷积层的参数矩阵与单位矩阵叠加后的矩阵作为所述蒸馏卷积层的目标参数矩阵，得到修正后的初始图像处理模型；
根据所述修正后的初始图像处理模型得到所述目标图像处理模型。
7.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像以及所述待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，所述方法还包括：
根据目标压缩率，随机生成初始图像处理模型对应的初始剪枝系数；
利用所述初始剪枝系数对所述初始图像处理模型进行剪枝，获取第一评估值；
对所述初始剪枝系数进行扰动，得到新剪枝系数；
根据所述新剪枝系数对所述初始图像处理模型进行剪枝，获取第二评估值；
利用所述第一评估值、所述第二评估值、预设的所述新剪枝系数的接受策略、预设的迭代次数以及预设的终止条件确定目标剪枝系数；
利用所述目标剪枝系数对所述初始图像处理模型进行剪枝，得到所述目标图像处理模型。
8.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像以及所述待处理图像相邻的前一帧图像对应的时序特征图输入预先训练得到的目标图像处理模型中的输入模块之前，所述方法还包括：
获取训练完成的初始图像处理模型，所述初始图像处理模型中包括：教师网络和学生网络，所述教师网络包括：初始第一输入模块、初始第一骨干模块，所述学生网络包括：初始第二输入模块、初始第二骨干模块；
将样本视频中的图像分别输入所述教师网络和所述学生网络，得到所述教师网络输出的教师空间特征图以及所述学生网络输出的学生空间特征图；
将所述教师空间特征图输入预先构建的第一长短期记忆网络，得到教师时序特征图；
将所述学生空间特征图输入预先构建的第二长短期记忆网络，得到学生时序特征图，所述第一长短期记忆网络和所述第二长短期记忆网络的参数共享；
根据所述教师空间特征图和所述学生空间特征图、所述教师时序特征图以及所述学生时序特征图对所述学生网络进行修正，将修正后的学生网络作为所述目标图像处理模型。
9.一种视频中图像处理装置，其特征在于，所述装置包括：
获取模块，用于依次获取待处理视频中的待处理图像；
第一特征提取模块，用于将所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图输入预先训练得到的目标图像处理模型中的输入模块，经所述输入模块对所述待处理图像以及所述待处理图像相邻的前一帧图像的时序特征图进行特征提取以及特征拼接，得到第一特征图；
第二特征提取模块，用于将所述第一特征图输入所述目标图像处理模型中的骨干模块，经所述骨干模块中的多个级联的残差特征蒸馏网络进行特征提取，得到第二特征图；
第三特征提取模块，用于将所述第二特征图输入所述目标图像处理模型中的输出模块，经所述输出模块对所述第二特征图进行特征提取，得到第三特征图以及所述待处理图像的时序特征图；
叠加模块，用于对所述第三特征图进行像素重排，并将像素重排后得到的图像与所述待处理图像进行叠加，得到所述待处理图像对应的目标图像；
确定模块，用于根据各所述待处理图像对应的目标图像，得到所述待处理视频对应的处理后视频。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8任一项所述视频中图像处理方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-8任一项所述视频中图像处理方法的步骤。
CN202210354339.6A 2022-04-06 2022-04-06 一种视频中图像处理方法、装置、设备及存储介质 Pending CN114897711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210354339.6A CN114897711A (zh) 2022-04-06 2022-04-06 一种视频中图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210354339.6A CN114897711A (zh) 2022-04-06 2022-04-06 一种视频中图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114897711A true CN114897711A (zh) 2022-08-12

Family

ID=82715809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210354339.6A Pending CN114897711A (zh) 2022-04-06 2022-04-06 一种视频中图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114897711A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861903A (zh) * 2023-02-16 2023-03-28 合肥工业大学智能制造技术研究院 一种弱监督视频异常检测方法、系统及模型训练方法
WO2024078403A1 (zh) * 2022-10-13 2024-04-18 维沃移动通信有限公司 图像处理方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078403A1 (zh) * 2022-10-13 2024-04-18 维沃移动通信有限公司 图像处理方法、装置及设备
CN115861903A (zh) * 2023-02-16 2023-03-28 合肥工业大学智能制造技术研究院 一种弱监督视频异常检测方法、系统及模型训练方法

Similar Documents

Publication Publication Date Title
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN109087273B (zh) 基于增强的神经网络的图像复原方法、存储介质及系统
CN110163801B (zh) 一种图像超分辨和着色方法、系统及电子设备
CN109919874B (zh) 图像处理方法、装置、计算机设备及存储介质
CN114897711A (zh) 一种视频中图像处理方法、装置、设备及存储介质
CN111127331B (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN110958469A (zh) 视频处理方法、装置、电子设备及存储介质
CN111340694A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110852948A (zh) 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
CN113222855A (zh) 一种图像恢复方法、装置和设备
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
CN114529456A (zh) 一种视频的超分辨率处理方法、装置、设备及介质
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
CN112489103B (zh) 一种高分辨率深度图获取方法及系统
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN110717913B (zh) 一种图像分割方法及装置
CN117095217A (zh) 多阶段对比知识蒸馏方法
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质
CN114943655A (zh) 基于循环深度卷积生成对抗网络结构的图像修复系统
CN114549300A (zh) 图像字典的生成方法、图像重建方法及相关装置
CN114782256B (zh) 图像重建方法、装置、计算机设备和存储介质
CN115019022B (zh) 一种基于双深度融合网络的轮廓检测方法
CN115631115B (zh) 基于递归Transformer的动态图像复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination