CN108932697A - 一种失真图像的去失真方法、装置及电子设备 - Google Patents

一种失真图像的去失真方法、装置及电子设备 Download PDF

Info

Publication number
CN108932697A
CN108932697A CN201710395423.1A CN201710395423A CN108932697A CN 108932697 A CN108932697 A CN 108932697A CN 201710395423 A CN201710395423 A CN 201710395423A CN 108932697 A CN108932697 A CN 108932697A
Authority
CN
China
Prior art keywords
distorted image
pixel
image
distortion
side information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710395423.1A
Other languages
English (en)
Other versions
CN108932697B (zh
Inventor
浦世亮
周璐璐
王莉
武晓阳
谢迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710395423.1A priority Critical patent/CN108932697B/zh
Priority to PCT/CN2018/083238 priority patent/WO2018214671A1/zh
Priority to US16/617,214 priority patent/US11250546B2/en
Priority to EP18806140.2A priority patent/EP3633599B1/en
Publication of CN108932697A publication Critical patent/CN108932697A/zh
Application granted granted Critical
Publication of CN108932697B publication Critical patent/CN108932697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种失真图像的去失真方法、装置及电子设备，包括：生成失真图像对应的边信息分量，其中，失真图像为对原始图像进行图像处理得到的，边信息分量表示失真图像相对原始图像的失真特征；将失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量；其中，卷积神经网络模型为基于预设训练集进行训练得到的，预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量。从而实现了使用一种不同于现有技术的卷积神经网络模型对失真图像进行去失真处理。

Description

一种失真图像的去失真方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种失真图像的去失真方法，以及一种卷积神经网络模型训练方法，及相关装置和电子设备。
背景技术
在数字图像系统的处理过程中，滤波、数据四舍五入、量化或其他处理可能使得像素值发生强度偏移，导致视觉障碍或假象。为了避免或减轻上述的潜在问题，可以设计使用图像去失真滤波器对图像进行后处理，以恢复像素强度偏移，减轻视觉损失。
传统的图像去失真滤波器通常是人为地去归纳失真图像的特征，人为地设计滤波器结构，以实验和经验为基础配置滤波器系数，例如图像/视频编码标准里使用的去块滤波器(DBK，Deblocking Filter)等；也有一类图像去失真滤波器，它们基于局部图像区域的一些统计信息，自适应地配置滤波器结构、滤波器系数等，如H.265标准中使用的样点自适应补偿技术(SAO，Sample Adaptive Offset)、视频编解码里使用的自适应环路滤波技术(ALF，Adaptive loop Filter)等，这类自适应滤波器复杂度较高，且在编解码领域使用时，需要将依赖于局部统计信息的滤波器相关参数写入码流中以保证编解码端的一致性，这无疑增加了编码比特数。
近年来，深度学习理论迅速发展，与传统依赖先验知识的特征提取算法不同，深度神经网络可在训练数据驱动下自适应地构建特征描述，具有更高的灵活性和普适性。
深度学习在许多高层次的计算机视觉问题上已经取得很大的成功，如图像分类、目标检测和目标分割等。例如，2015年业界已经提出了基于卷积神经网络的端到端的图像超分辨率重建算法(SRCNN，Super Resolutin Convolutional Neural Network)，该网络相对于当时超分辨率重建领域的最领先技术展现了明显的优势，深度学习开始在低层次计算机视觉问题上显示出巨大的潜力；又如，受卷积神经网络在超分辨率恢复中的应用启发，业界内提出使用训练得到的多层卷积神经网络ARCNN(Artifacts Reduction ConvolutionalNeural Network)对JPEG编码后图像进行后处理滤波以去除图像失真，相对传统的滤波方法获得了明显的主、客观质量提升。
目前，业界内还提出使用训练得到的卷积神经网络VRCNN(Variable Filter sizeResidue Convolutional Neural Network)替代传统的去块滤波技术和自适应样点补偿技术，对帧内编码后的图像进行后处理滤波，实验结果表明相对于上述传统的环内滤波方法，卷积神经网络使得重建图像主、客观质量获得了大幅提升。
基于卷积神经网络的端到端的图像去失真算法，避免了图像预处理、人工设计滤波器系数等过程，通过数据驱动自动学习失真特征及补偿方法，使用更简便、泛化性更佳、性能提升更明显，特别适用于糅合了多种失真的图像/视频压缩领域。
发明内容
本发明实施例的目的在于提供一种失真图像的去失真方法，以实现使用一种不同于现有技术的卷积神经网络模型对失真图像进行去失真处理。
本发明实施例提供一种失真图像的去失真方法，包括：
生成失真图像对应的边信息分量，其中，所述失真图像为对原始图像进行图像处理得到的，所述边信息分量表示所述失真图像相对所述原始图像的失真特征；
将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量。
进一步的，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始图像的失真程度；
表示所述失真图像相对所述原始图像的失真位置；
表示所述失真图像相对所述原始图像的失真类型。
进一步的，生成失真图像对应的边信息分量，包括：
确定失真图像每个像素点的失真程度值；
基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
进一步的，确定失真图像每个像素点的失真程度值，包括：
针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者
针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者
使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
进一步的，基于所述失真图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述失真图像对应的边信息分量，包括：
基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者
基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
本发明实施例还提供一种失真图像的去失真装置，包括：
生成模块，用于生成失真图像对应的边信息分量，其中，所述失真图像为对原始图像进行图像处理得到的，所述边信息分量表示所述失真图像相对所述原始图像的失真特征；
滤波处理模块，用于将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量。
进一步的，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始图像的失真程度；
表示所述失真图像相对所述原始图像的失真位置；
表示所述失真图像相对所述原始图像的失真类型。
进一步的，所述生成模块，具体用于确定失真图像每个像素点的失真程度值；以及基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
进一步的，所述生成模块，具体用于针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者，针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者，使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
进一步的，所述生成模块，具体用于基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
本发明实施例还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的失真图像的去失真方法步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的失真图像的去失真方法步骤。
本发明实施例提供的失真图像的去失真方法中，所使用的卷积神经网络模型为基于预设训练集进行训练得到的，预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，边信息分量能够表示失真图像相对原始样本图像的失真特征；在进行去失真滤波的过程中，针对失真图像，首先生成失真图像对应的边信息分量，然后将失真图像的失真图像颜色分量以及边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量。从而实现了使用卷积神经网络模型对失真图像进行去失真处理。
本发明实施例还提供一种卷积神经网络模型训练方法，包括：
获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，其中，失真图像对应的边信息分量表示该失真图像相对原始样本图像的失真特征；
将所述预设训练集中的每个失真图像的失真图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该失真图像对应的去失真图像颜色分量；
基于获得的所述原始样本图像的原始图像颜色分量和得到的去失真图像颜色分量，确定所述去失真图像的损失值；
当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
进一步的，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始样本图像的失真程度；
表示所述失真图像相对所述原始样本图像的失真位置；
表示所述失真图像相对所述原始样本图像的失真类型。
进一步的，采用如下步骤生成一个失真图像对应的边信息分量：
确定失真图像每个像素点的失真程度值；
基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
进一步的，确定失真图像每个像素点的失真程度值，包括：
针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者
针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者
使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
进一步的，基于所述失真图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述失真图像对应的边信息分量，包括：
基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者
基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
本发明实施例还提供一种卷积神经网络模型训练装置，包括：
获取模块，用于获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，其中，失真图像对应的边信息分量表示该失真图像相对原始样本图像的失真特征；
计算模块，用于将所述预设训练集中的每个失真图像的失真图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该失真图像对应的去失真图像颜色分量；
损失值确定模块，用于基于获得的所述原始样本图像的原始图像颜色分量和得到的去失真图像颜色分量，确定所述去失真图像的损失值；
模型确定模块，用于当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
进一步的，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始样本图像的失真程度；
表示所述失真图像相对所述原始样本图像的失真位置；
表示所述失真图像相对所述原始样本图像的失真类型。
进一步的，还包括：
生成模块，用于采用如下步骤生成一个失真图像对应的边信息分量：
确定失真图像每个像素点的失真程度值；
基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
进一步的，所述生成模块，具体用于针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者，针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者，使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
进一步的，所述生成模块，具体用于基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
本发明实施例还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的卷积神经网络模型训练方法步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的卷积神经网络模型训练方法步骤。
本发明实施例提供的卷积神经网络模型训练方法中，训练所使用的预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，边信息分量能够表示失真图像相对原始样本图像的失真特征。从而提供了一种用于对失真图像进行去失真处理的卷积神经网络模型。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的技术方案的系统架构图；
图2为本发明实施例提供的技术方案的数据流示意图；
图3为本发明实施例中获得失真图像的失真图像颜色分量的示意图；
图4A为本发明实施例中边信息分量的示意图之一；
图4B为本发明实施例中边信息分量的示意图之二；
图5为本发明实施例提供的失真图像的去失真方法的流程图；
图6为本发明实施例提供的失真图像的去失真方法的流程图；
图7为本发明实施例提供的卷积神经网络模型训练方法的流程图；
图8为本发明实施例提供的失真图像的去失真装置的结构示意图；
图9为本发明实施例提供的电子设备的结构示意图；
图10为本发明实施例提供的卷积神经网络模型训练的结构示意图；
图11为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对如何使用卷积神经网络对失真图像进行去失真处理的问题，本发明实施例提供一种解决方案，该方案中，针对由对原始图像进行图像处理得到的失真图像，生成对应的能够表示该失真图像相对原始图像的失真特征的边信息分量，并将生成的边信息分量与该失真图像的失真图像颜色分量，共同作为预先建立的卷积神经网络模型的输入，在经过该卷积神经网络模型进行卷积滤波处理之后，输出去失真图像颜色分量，用于生成去失真图像。
并且，在该解决方案中，卷积神经网络模型为基于预设训练集进行训练得到的，且该预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，基于初始化的网络参数，按照上述网络结构进行多次迭代训练获得。
进一步的，训练集可以包括一个原始样本图像，针对该原始样本图像进行上述图像处理，得到失真特征不同的多个失真图像，进而得到多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量；
训练集也可以包括多个原始样本图像，分别针对每个原始样本图像进行上述图像处理，得到失真特征不同的多个失真图像，进而得到多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量。
在进行卷积神经网络模型的训练，以及使用训练的卷积神经网络模型对失真图像进行去失真滤波时，均将表示失真图像相对原始图像的失真特征的边信息分量作为模型的输入，即引入了能够表示失真图像的失真特征的信息，并通过针对各种边信息分量进行模型训练以及实际应用的试验，确定出在使用一些特定的边信息分量时，能够训练出具备更强泛化能力的卷积神经网络模型，即在平均意义上，对大量的具有差异性的失真图像的去失真能力会更强，进而能够对失真图像进行更好的去失真处理，得到更接近原始图像颜色分量的去失真图像颜色分量。
虽然目前已经存在多种基于卷积神经网络模型进行图像去失真处理的方法，但当前公开的大多数基于卷积神经网络的图像去失真滤波技术中，若使用单一预训练网络对不同失真程度的图像(例如编解码领域中使用不同量化参数编码的图像，超分辨率问题中的不同的上采样倍数等)进行后处理滤波，在某些失真程度的图像上会存在质量提升有限或质量损失的问题，说明网络的泛化能力存在一定问题。
为了解决该问题，现有技术提出对不同失真程度的图像分别训练一套网络参数，在实际使用时根据当前应用中图像的失真程度加载相应的一套网络参数。然而，大量的参数浪费了存储空间，应用中参数的频繁加载更是一种不必要的计算资源浪费。
因此，在一种确定的数字图像系统的处理过程下，发明一种单一的，能适应不同失真程度图像的后处理滤波的卷积神经网络，具有重要的价值。
针对现有技术中仅采用一套网络参数的卷积神经网络，无法应对不同失真程度的失真图像的去失真滤波问题，进一步的，本发明实施例提出的上述解决方案中，可以生成表示失真图像相对原始图像的失真程度的边信息分量，预设训练集中可以包括多个不同失真程度的失真图像，则在进行卷积神经网络模型的训练，以及使用训练的卷积神经网络模型对失真图像进行去失真滤波时，即引入了能够准确表示失真图像的失真程度的信息，从而能够训练出适应于各种不同失真程度的失真图像的卷积神经网络模型，进而能够针对不同失真程度的失真图像，仅使用一套网络参数即可以获得较佳的去失真效果。
图1为实现该解决方案的系统架构图，包括：边信息分量生成模块11，卷积神经网络12，网络训练模块13；
其中，卷积神经网络12可以包括如下三层结构：
输入层处理单元121，用于接收卷积神经网络的输入，本方案中包括失真图像的失真图像颜色分量，以及失真图像的边信息分量；并对输入的数据进行第一层的卷积滤波处理；
隐含层处理单元122，对输入层处理单元121的输出数据，进行至少一层的卷积滤波处理；
输出层处理单元123，对隐含层处理单元122的输出数据，进行最后一层的卷积滤波处理，输出结果作为去失真图像颜色分量，用于生成去失真图像。
图2为实现该解决方案的数据流的示意图，其中，失真图像的失真图像颜色分量，以及失真图像的边信息分量作为输入数据，输入到预先训练的卷积神经网络模型中，卷积神经网络模型可以由预设结构的卷积神经网络和配置的网络参数集进行表示，输入数据经过输入层、隐含层和输出的卷积滤波处理之后，得到去失真图像数据。
本发明实施例提供的上述解决方案中，作为卷积神经网络模型的输入数据，根据实际需要，可以包括一种或多种边信息分量，也可以包括一种或多种失真图像颜色分量，例如，至少包括R颜色分量、G颜色分量和B颜色分量之一，相应的，包括一种或多种去失真图像颜色分量。
例如，在一些图像处理中，可能仅针对全部颜色分量中的一种颜色分量存在失真情况，则可以在去失真处理时，仅将失真图像的该颜色分量作为输入数据，如两种颜色分量存在失真情况，则将失真图像的该两种颜色分量均作为输入数据，相应的，均输出对应的去失真图像颜色分量。
一个图像的每个像素点的存储数据，包括该像素点的所有颜色分量的值，本发明实施例中，在获得失真图像的失真图像颜色分量时，可以根据需要，从每个像素点的存储数据中，提取出需要的一种或多种颜色分量的值，从而得到失真图像的失真图像颜色分量。
如图3所示，以RGB颜色空间为例，从中提取出每个像素点的R颜色分量的值，从而得到失真图像的R颜色分量。
对于边信息分量，其表示失真图像相对原始图像的失真特征，是一种由图像处理过程确定的失真特征的表达。
在实际应用中，上述失真特征可以至少包括如下失真特征之一：
失真程度、失真位置，失真类型：
首先，边信息分量可以表示失真图像相对原始图像的失真程度。
其次，边信息分量也可以表示失真图像相对原始图像的失真位置，例如在主流的视频编解码应用中，图像通常被划分为多个不重叠且不固定大小的编码单元，编码单元分别进行预测编码及不同程度的量化处理，编码单元之间的失真通常不具有一致性，在编码单元的边界处通常会产生像素突变，因此，编码单元的边界坐标可以作为一种先验的表征失真位置的边信息。
再次，边信息分量也可以表示失真图像相对原始图像的失真类型，例如在视频编解码应用中，图像中不同编码单元可能采用不同预测模式，不同预测模式会影响残差数据的分布，从而影响失真图像的特征，因此，编码单元的预测模式可以作为一种表征失真类型的边信息。
本发明实施例提供的上述解决方案中，边信息分量可以为上述一种或多种的组合，也可以为上述一种的多个边信息分量，例如，经过图像处理后，可能通过一种物理含义的参量表示失真图像的失真程度，也可能通过不同物理含义的两种参量表示失真图像的失真程度，相应的，即可以根据实际需要，将一种或多种均表示失真程度的边信息分量作为输入数据。
如图4A所示，边信息分量的矩阵结构与失真图像颜色分量的矩阵结构相同，其中，坐标[0,0]、[0,1]表示失真位置，矩阵的元素值1表示失真程度，即边信息分量同时能表示失真程度与失真位置。
又如图4B所示，坐标[0,0]、[0,1]、[2,0]、[2,4]表示失真位置，矩阵的元素值1、2表示失真类型，即边信息分量同时能表示失真程度与失真位置。
并且，本发明实施例提供的上述解决方案中，可以同时包括图4A和图4B分别所示意的两个边信息分量。
进一步的，根据方案的实际应用情况和需要，当失真图像颜色分量包括多种时，边信息分量可以包括分别与每种失真图像颜色分量对应的边信息分量。
本发明实施例提供的上述解决方案，可以应用于目前已知的各种实际应用场景中，例如，可应用于对图像进行超分辨率处理的应用场景中，本发明在此不做限定。
在本发明实施例提供的上述解决方案中，提出了一种失真图像的去失真方法，如图5所示，具体包括如下处理步骤：
步骤51、生成失真图像对应的边信息分量，其中，失真图像为对原始图像进行图像处理得到的，边信息分量表示失真图像相对原始图像的失真特征。
边信息分量，表示失真图像相对原始图像的失真特征，是一种由图像处理过程确定的失真特征的表达。
步骤52、将失真图像的失真图像颜色分量以及生成的边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量；
其中，卷积神经网络模型为基于预设训练集进行训练得到的，预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量。
下面结合附图，以边信息分量表示失真图像相对原始图像的失真程度为例，对上述失真图像的去失真方法进行详细描述。
图6所示为本发明实施例提供的一种失真图像的去失真方法的流程图，具体包括如下处理步骤：
步骤61、针对待处理的失真图像，确定失真图像每个像素点的失真程度值。
在实际应用中，对原始图像进行不同方式的图像处理之后，表示失真程度的物理参量也可能不同，因此，本步骤中，可以基于不同的图像处理方式，确定出对应的能够准确表示像素点失真程度的失真程度值，具体可以如下：
第一种方式：针对通过编解码得到的失真图像，每个编码区域的量化参数都是已知的，即可以获取每个编码区域的量化参数，将失真图像每个像素点所在编码区域的量化参数，确定为失真图像每个像素点的失真程度值；
第二种方式：针对通过超分辨率处理得到的失真图像，图像的上采样倍数是已知的，即可以将进行超分辨率处理时的上采样倍数，确定为失真图像每个像素点的失真程度值；例如，在对图像进行超分辨率处理中，需要将分辨率100×100的图像，处理成分辨率200×200的图像，则上采样倍数为2。
上述两种方式，均是在图像失真程度已知的情况下采用的，对于通过其他图像处理方式得到的失真图像，只要其失真程度已知，均可以采用类似的方式，直接将进行图像处理时所使用的能够表示失真程度的参数，确定为表示像素点失真程度的失真程度值。
对于失真程度未知的失真图像，可以采用如下第三种方式：
第三种方式：使用无参考图像质量评价方法对失真图像进行评估，得到失真图像每个像素点的失真程度值。
例如，无参考图像质量评价方法可以为图像主观质量评价方法。受测者根据主观观看感受对当前失真图像的质量进行评分，该评分分值可确定为失真图像每个像素点的失真程度值。
步骤62、基于失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成失真图像对应的边信息分量，其中，边信息分量包括的每个分量值与失真图像上相同位置的像素点相对应。
由于边信息分量包括的每个分量值与失真图像上相同位置的像素点相对应，则边信息分量与失真图像的失真图像颜色分量的结构相同，即表示边信息分量的矩阵与表示失真图像颜色分量的矩阵是同型的。
本步骤中，可以基于失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为失真图像对应的边信息分量中该像素点相同位置的分量值，即直接将每个像素点的失真程度值，确定为该像素点对应的分量值。
当失真图像的像素值范围与像素点的失真程度值的取值范围不同时，也可以基于失真图像的像素值范围，对获取的各像素点的失真程度值进行标准化处理，得到处理后失真程度值，处理后失真程度值的取值范围与像素值范围相同；
然后基于失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为失真图像对应的边信息分量中该像素点相同位置的分量值。
本步骤中，可以采用如下公式对像素点的失真程度值进行标准化处理：
其中，norm(x)为标准化处理后得到的处理后失真程度值，x为像素点的失真程度值，失真图像的像素值范围为[PIEXLMIN,PIXELMAX]，像素点的失真程度值的取值范围为[QPMIN,QPMAX]。
通过上述步骤61和步骤62，即生成了失真图像的边信息分量，生成边信息分量的过程，也可以理解为生成了失真图像对应的边信息引导图，该边信息引导图通过其边信息分量表示失真图像的失真程度，且该边信息引导图与失真图像是等高等宽的。
本发明实施例中，以卷积神经网络模型包括输入层、隐含层和输出层的结构为例，对方案进行描述。
步骤63、将失真图像的失真图像颜色分量以及生成的边信息分量，作为预先建立的卷积神经网络模型的输入数据，由输入层进行第一层的卷积滤波处理，具体可以如下：
在卷积神经网络模型中，输入数据可以是通过各自的通道输入到网络中，本步骤中，可以将cy通道的失真图像颜色分量Y与cm通道的边信息分量M，在通道的维度上进行合并，共同组成cy+cm通道的输入数据I，并采用如下公式对输入数据I进行多维卷积滤波和非线性映射，产生n1个以稀疏形式表示的图像块：
F1(I)＝g(W1*I+B1)；
其中，F1(I)为输入层的输出，I为输入层中卷积层的输入，*为卷积操作，W1为输入层的卷积层滤波器组的权重系数，B1为输入层的卷积层滤波器组的偏移系数，g()为非线性映射函数。
其中，W1对应于n1个卷积滤波器，即有n1个卷积滤波器作用于输入层的卷积层的输入，输出n1个图像块；每个卷积滤波器的卷积核的大小为c1×f1×f1，其中c1为输入通道数，f1为每个卷积核在空间上的大小。
在一个具体的实施例中，该输入层的参数可以为：c1＝2，f1＝5，n1＝64，使用ReLU(Rectified linear unit)函数作为g()，它的函数表达式为：
g(x)＝max(0,x)；
则该实施例中输入层卷积处理表达式为：
F1(I)＝max(0,W1*I+B1)；
步骤64、隐含层对输入层输出的稀疏表示的图像块F1(I)进行进一步的高维映射。
本发明实施例中，不对隐含层中包含的卷积层层数、卷积层连接方式、卷积层属性等作限定，可以采用目前已知的各种结构，但隐含层中包含至少1个卷积层。
例如，隐含层包含N-1(N≥2)层卷积层，隐含层处理由下式表示：
Fi(I)＝g(Wi*Fi-1(I)+Bi),i∈{2,3,…,N}；
其中，Fi(I)表示卷积神经网络中第i层卷积层的输出，*为卷积操作，Wi为第i层卷积层滤波器组的权重系数，Bi为卷积层滤波器组的偏移系数，g()为非线性映射函数。
其中，Wi对应于ni个卷积滤波器，即有ni个卷积滤波器作用于第i层卷积层的输入，输出ni个图像块；每个卷积滤波器的卷积核的大小为ci×fi×fi，其中ci为输入通道数，fi为每个卷积核在空间上的大小。
在一个具体的实施例中，该隐含层可以包括1个卷积层，该卷积层的卷积滤波器参数为：c2＝64，f2＝1，n2＝32，使用ReLU(Rectified linear unit)函数作为g()，则该实施例中隐含层的卷积处理表达式为：
F2(I)＝max(0,W2*F1(I)+B2)；
步骤65、输出层对隐含层输出的高维图像块FN(I)进行聚合，输出去失真图像颜色分量，用于生成去失真图像。
本发明实施例中不对输出层的结构作限定，输出层可以是Residual Learning结构，也可以是Direct Learning结构，或者其他的结构。
采用Residual Learning结构的处理如下：
对隐含层的输出进行卷积操作获取补偿残差，再与输入的失真图像颜色分量相加，得到去失真图像颜色分量，即得到去失真图像。输出层处理可由下式表示：
F(I)＝WN+1*FN(I)+BN+1+Y；
其中，F(I)为输出层输出，FN(I)为隐含层的输出，*为卷积操作，WN+1为输出层的卷积层滤波器组的权重系数，BN+1为输出层的卷积层滤波器组的偏移系数，Y为未经过卷积滤波处理、欲进行去失真处理的失真图像颜色分量。
其中，WN+1对应于nN+1个卷积滤波器，即有nN+1个卷积滤波器作用于第N+1层卷积层的输入，输出nN+1个图像块，nN+1为输出的去失真图像颜色分量个数，一般与输入的失真图像颜色分量的个数相等，如果只输出一种去失真图像颜色分量，则nN+1一般取值为1；每个卷积滤波器的卷积核的大小为cN+1×fN+1×fN+1，其中cN+1为输入通道数，fN+1为每个卷积核在空间上的大小。
采用Direct Learning结构的处理如下：
对隐含层的输出进行卷积操作后直接输出去失真图像颜色分量，即得到去失真图像。输出层处理可由下式表示：
F(I)＝WN+1*FN(I)+BN+1；
其中，F(I)为输出层输出，FN(I)为隐含层的输出，*为卷积操作，WN+1为输出层的卷积层滤波器组的权重系数，BN+1为输出层的卷积层滤波器组的偏移系数。
其中，WN+1对应于nN+1个卷积滤波器，即有nN+1个卷积滤波器作用于第N+1层卷积层的输入，输出nN+1个图像块，nN+1为输出的去失真图像颜色分量个数，一般与输入的失真图像颜色分量的个数相等，如果只输出一种去失真图像颜色分量，则nN+1一般取值为1；每个卷积滤波器的卷积核的大小为cN+1×fN+1×fN+1，其中cN+1为输入通道数，fN+1为每个卷积核在空间上的大小。
在一个具体的实施例中，该输出层采用Residual Learning结构，输出层包括1个卷积层，该输出层的卷积滤波器参数为：c3＝32，f3＝3，n3＝1，则该实施例中输出层的卷积处理表达式为：
F(I)＝W3*F3(I)+B3+Y。
在本发明实施例提供的上述解决方案中，还提出了一种卷积神经网络模型训练方法，如图7所示，具体包括如下处理步骤：
步骤71、获取预设训练集，预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，其中，失真图像对应的边信息分量表示该失真图像相对原始样本图像的失真特征。该多个失真图像的失真特征不同。
本步骤中，可以预先对原始样本图像(即未失真的自然图像)，进行不同失真程度的一种图像处理，得到各自对应的失真图像，并按照上述去失真方法中的步骤，针对每个失真图像，生成对应的边信息分量，从而将每个原始样本图像、对应的失真图像以及对应的边信息分量组成图像对，由这些图像对组成预设训练集Ω。
进一步的，训练集可以包括一个原始样本图像，针对该原始样本图像进行上述图像处理，得到失真特征不同的多个失真图像，以及每个失真图像对应的边信息分量；
训练集也可以包括多个原始样本图像，分别针对每个原始样本图像进行上述图像处理，得到失真特征不同的多个失真图像，以及每个失真图像对应的边信息分量。
步骤72、针对预设结构的卷积神经网络CNN，初始化该卷积神经网络CNN的网络参数集中的参数，初始化的参数集可以由Θ1表示，初始化的参数可以根据实际需要和经验进行设置。
本步骤中，还可以对训练相关的高层参数如学习率、梯度下降算法等进行合理的设置，具体可以采用现有技术中的各种方式，在此不再进行详细描述。
步骤73、进行前向计算，具体如下：
将预设训练集中的每个失真图像的失真图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该失真图像对应的去失真图像颜色分量。
本步骤中，具体可以为对预设训练集Ω进行参数集为Θi的卷积神经网络CNN的前向计算，获取卷积神经网络的输出F(Y)，即每个失真图像对应的去失真图像颜色分量。
第一次进入本步骤处理时，当前参数集为Θ1，后续再次进入本步骤处理时，当前参数集Θi为对上一次使用的参数集Θi-1进行调整后得到的，详见后续描述。
步骤74、基于多个原始样本图像的原始图像颜色分量和得到的去失真图像颜色分量，确定去失真图像的损失值。
具体可以使用均方误差(MSE)公式作为损失函数，得到损失值L(Θi)，详见如下公式：
其中，H表示单次训练中从预设训练集中选取的图像对个数，Ih表示第h个失真图像对应的由边信息分量和失真图像颜色分量合并后的输入数据，F(Ih|Θi)表示针对第h个失真图像，卷积神经网络CNN在参数集Θi下前向计算得到的去失真图像颜色分量，Xh表示第h个失真图像对应的原始图像颜色分量，i为当前已进行前向计算的次数计数。
步骤75、基于损失值确定采用当前参数集的该预设结构的卷积神经网络是否收敛，如果不收敛，进入步骤76，如果收敛，进入步骤77。
具体的，可以当损失值小于预设损失值阈值时，确定收敛；也可以当本次计算得到损失值与上一次计算得到的损失值之差，小于预设变化阈值时，确定收敛，本发明在此不做限定。
步骤76，对当前参数集中的参数进行调整，得到调整后的参数集，然后进入步骤73，用于下一次前向计算。
具体可以利用反向传播算法对当前参数集中的参数进行调整。
步骤77、将当前参数集作为输出的最终参数集Θfinal，并将采用最终参数集Θfinal的该预设结构的卷积神经网络，作为训练完成的卷积神经网络模型。
基于同一发明构思，根据本发明上述实施例提供的失真图像的去失真方法，相应地，本发明另一实施例还提供了一种失真图像的去失真装置，其结构示意图如图8所示，具体包括：
生成模块81，用于生成失真图像对应的边信息分量，其中，所述失真图像为对原始图像进行图像处理得到的，所述边信息分量表示所述失真图像相对所述原始图像的失真特征；
滤波处理模块82，用于将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量。
进一步的，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始样本图像的失真程度；
表示所述失真图像相对所述原始样本图像的失真位置；
表示所述失真图像相对所述原始样本图像的失真类型。
进一步的，所述生成模块81，具体用于确定失真图像每个像素点的失真程度值；以及基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
进一步的，所述生成模块81，具体用于针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者，针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者，使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
进一步的，所述生成模块81，具体用于基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
基于同一发明构思，根据本发明上述实施例提供的失真图像的去失真方法，相应地，本发明另一实施例还提供了一种电子设备，其结构示意图如图9所示，具体包括：
处理器91、通信接口92、存储器93和通信总线94，其中，处理器91，通信接口92，存储器93通过通信总线94完成相互间的通信；
存储器93，用于存放计算机程序；
处理器91，用于执行存储器上所存放的程序时，实现上述任一失真图像的去失真方法步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一失真图像的去失真方法步骤。
基于同一发明构思，根据本发明上述实施例提供的卷积神经网络模型训练方法，相应地，本发明另一实施例还提供了一种卷积神经网络模型训练装置，其结构示意图如图10所示，具体包括：
获取模块101，用于获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，其中，失真图像对应的边信息分量表示该失真图像相对原始样本图像的失真特征；
计算模块102，用于将所述预设训练集中的每个失真图像的失真图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该失真图像对应的去失真图像颜色分量；
损失值确定模块103，用于基于获得的所述原始样本图像的原始图像颜色分量和得到的去失真图像颜色分量，确定所述去失真图像的损失值；
模型确定模块104，用于当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
进一步的，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始样本图像的失真程度；
表示所述失真图像相对所述原始样本图像的失真位置；
表示所述失真图像相对所述原始样本图像的失真类型。
进一步的，还包括：
生成模块105，用于采用如下步骤生成一个失真图像对应的边信息分量：
确定失真图像每个像素点的失真程度值；
基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
进一步的，所述生成模块105，具体用于针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者，针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者，使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
进一步的，所述生成模块105，具体用于基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
基于同一发明构思，根据本发明上述实施例提供的卷积神经网络模型训练方法，相应地，本发明另一实施例还提供了一种电子设备，其结构示意图如图11所示，具体包括：
处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信；
存储器113，用于存放计算机程序；
处理器111，用于执行存储器上所存放的程序时，实现上述任一卷积神经网络模型训练方法步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一卷积神经网络模型训练方法步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (24)

1.一种失真图像的去失真方法，其特征在于，包括：
生成失真图像对应的边信息分量，其中，所述失真图像为对原始图像进行图像处理得到的，所述边信息分量表示所述失真图像相对所述原始图像的失真特征；
将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量。
2.如权利要求1所述的方法，其特征在于，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始图像的失真程度；
表示所述失真图像相对所述原始图像的失真位置；
表示所述失真图像相对所述原始图像的失真类型。
3.如权利要求1所述的方法，其特征在于，生成失真图像对应的边信息分量，包括：
确定失真图像每个像素点的失真程度值；
基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
4.如权利要求3所述的方法，其特征在于，确定失真图像每个像素点的失真程度值，包括：
针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者
针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者
使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
5.如权利要求3所述的方法，其特征在于，基于所述失真图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述失真图像对应的边信息分量，包括：
基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者
基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
6.一种失真图像的去失真装置，其特征在于，包括：
生成模块，用于生成失真图像对应的边信息分量，其中，所述失真图像为对原始图像进行图像处理得到的，所述边信息分量表示所述失真图像相对所述原始图像的失真特征；
滤波处理模块，用于将所述失真图像的失真图像颜色分量以及所述边信息分量，输入预先建立的卷积神经网络模型进行卷积滤波处理，得到去失真图像颜色分量；
其中，所述卷积神经网络模型为基于预设训练集进行训练得到的，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量。
7.如权利要求6所述的装置，其特征在于，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始图像的失真程度；
表示所述失真图像相对所述原始图像的失真位置；
表示所述失真图像相对所述原始图像的失真类型。
8.如权利要求6所述的装置，其特征在于，所述生成模块，具体用于确定失真图像每个像素点的失真程度值；以及基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
9.如权利要求8所述的装置，其特征在于，所述生成模块，具体用于针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者，针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者，使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
10.如权利要求8所述的装置，其特征在于，所述生成模块，具体用于基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
13.一种卷积神经网络模型训练方法，其特征在于，包括：
获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，其中，失真图像对应的边信息分量表示该失真图像相对原始样本图像的失真特征；
将所述预设训练集中的每个失真图像的失真图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该失真图像对应的去失真图像颜色分量；
基于所述原始样本图像的原始图像颜色分量和得到的去失真图像颜色分量，确定所述去失真图像的损失值；
当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
14.如权利要求13所述的方法，其特征在于，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始样本图像的失真程度；
表示所述失真图像相对所述原始样本图像的失真位置；
表示所述失真图像相对所述原始样本图像的失真类型。
15.如权利要求13所述的方法，其特征在于，采用如下步骤生成一个失真图像对应的边信息分量：
确定失真图像每个像素点的失真程度值；
基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
16.如权利要求15所述的方法，其特征在于，确定失真图像每个像素点的失真程度值，包括：
针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者
针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者
使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
17.如权利要求15所述的方法，其特征在于，基于所述失真图像各像素点的位置，使用获取的所述各像素点的失真程度值，生成所述失真图像对应的边信息分量，包括：
基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者
基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
18.一种卷积神经网络模型训练装置，其特征在于，包括：
获取模块，用于获取预设训练集，所述预设训练集包括原始样本图像，以及原始样本图像对应的多个失真图像的失真图像颜色分量，以及每个失真图像对应的边信息分量，其中，失真图像对应的边信息分量表示该失真图像相对原始样本图像的失真特征；
计算模块，用于将所述预设训练集中的每个失真图像的失真图像颜色分量以及对应的边信息分量，输入预设结构的卷积神经网络进行卷积滤波处理，得到该失真图像对应的去失真图像颜色分量；
损失值确定模块，用于基于所述原始样本图像的原始图像颜色分量和得到的去失真图像颜色分量，确定所述去失真图像的损失值；
模型确定模块，用于当基于所述损失值确定所述预设结构的卷积神经网络收敛时，完成训练，得到卷积神经网络模型。
19.如权利要求18所述的装置，其特征在于，所述边信息分量至少表示如下失真特征如下之一：
表示所述失真图像相对所述原始样本图像的失真程度；
表示所述失真图像相对所述原始样本图像的失真位置；
表示所述失真图像相对所述原始样本图像的失真类型。
20.如权利要求18所述的装置，其特征在于，还包括：
生成模块，用于采用如下步骤生成一个失真图像对应的边信息分量：
确定失真图像每个像素点的失真程度值；
基于所述失真图像各像素点的位置，使用获取的各像素点的失真程度值，生成所述失真图像对应的边信息分量，其中，所述边信息分量包括的每个分量值与所述失真图像上相同位置的像素点相对应。
21.如权利要求20所述的装置，其特征在于，所述生成模块，具体用于针对通过编解码得到的失真图像，获取每个编码区域的量化参数，将所述失真图像每个像素点所在编码区域的量化参数，确定为所述失真图像每个像素点的失真程度值；或者，针对通过超分辨率处理得到的失真图像，将进行超分辨率处理时的上采样倍数，确定为所述失真图像每个像素点的失真程度值；或者，使用无参考图像质量评价方法对失真图像进行评估，得到所述失真图像每个像素点的失真程度值。
22.如权利要求20所述的装置，其特征在于，所述生成模块，具体用于基于所述失真图像各像素点的位置，将获取的每个像素点的失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值；或者，基于所述失真图像的像素值范围，对获取的所述各像素点的失真程度值进行标准化处理，得到处理后失真程度值，所述处理后失真程度值的取值范围与所述像素值范围相同；基于所述失真图像各像素点的位置，将每个像素点的处理后失真程度值，确定为所述失真图像对应的边信息分量中该像素点相同位置的分量值。
23.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求13-17任一所述的方法步骤。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求13-17任一所述的方法步骤。
CN201710395423.1A 2017-05-26 2017-05-26 一种失真图像的去失真方法、装置及电子设备 Active CN108932697B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710395423.1A CN108932697B (zh) 2017-05-26 2017-05-26 一种失真图像的去失真方法、装置及电子设备
PCT/CN2018/083238 WO2018214671A1 (zh) 2017-05-26 2018-04-16 一种失真图像的去失真方法、装置及电子设备
US16/617,214 US11250546B2 (en) 2017-05-26 2018-04-16 Image distortion correction method and device and electronic device
EP18806140.2A EP3633599B1 (en) 2017-05-26 2018-04-16 Image distortion correction method and device and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710395423.1A CN108932697B (zh) 2017-05-26 2017-05-26 一种失真图像的去失真方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108932697A true CN108932697A (zh) 2018-12-04
CN108932697B CN108932697B (zh) 2020-01-17

Family

ID=64396207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710395423.1A Active CN108932697B (zh) 2017-05-26 2017-05-26 一种失真图像的去失真方法、装置及电子设备

Country Status (4)

Country Link
US (1) US11250546B2 (zh)
EP (1) EP3633599B1 (zh)
CN (1) CN108932697B (zh)
WO (1) WO2018214671A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840883A (zh) * 2019-01-10 2019-06-04 深圳前海达闼云端智能科技有限公司 一种训练物体识别神经网络的方法、装置及计算设备
WO2019141258A1 (zh) * 2018-01-18 2019-07-25 杭州海康威视数字技术股份有限公司 一种视频编码方法、视频解码方法、装置及系统
CN110166779A (zh) * 2019-05-23 2019-08-23 西安电子科技大学 基于超分辨率重构的视频压缩方法
WO2020192034A1 (zh) * 2019-03-24 2020-10-01 Oppo广东移动通信有限公司 滤波方法及装置、计算机存储介质
CN111784580A (zh) * 2020-06-30 2020-10-16 北京金山云网络技术有限公司 图像的超分辨率方法、装置和服务器
CN112116589A (zh) * 2020-09-30 2020-12-22 腾讯科技（深圳）有限公司 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN112991192A (zh) * 2019-12-18 2021-06-18 杭州海康威视数字技术股份有限公司 图像处理方法、装置、设备及其系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116170590A (zh) * 2017-08-10 2023-05-26 夏普株式会社 图像滤波装置、图像解码装置以及图像编码装置
WO2019074339A1 (ko) * 2017-10-15 2019-04-18 알레시오 주식회사 신호 변환 시스템 및 신호 변환 방법
JP2020046774A (ja) * 2018-09-14 2020-03-26 株式会社東芝 信号処理装置、距離計測装置、および距離計測方法
CN109741253A (zh) * 2018-12-12 2019-05-10 深圳慧源创新科技有限公司 无人机图传视频近景远景切换技术
CN110047044B (zh) * 2019-03-21 2021-01-29 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
JP7093015B2 (ja) * 2019-04-24 2022-06-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム
CN110570373A (zh) * 2019-09-04 2019-12-13 北京明略软件系统有限公司 畸变校正方法和装置、计算机可读的存储介质及电子装置
CN111246209B (zh) * 2020-01-20 2022-08-02 北京字节跳动网络技术有限公司 自适应编码方法、装置、电子设备及计算机存储介质
TWI768759B (zh) * 2021-03-11 2022-06-21 瑞昱半導體股份有限公司 具有超解析放大機制的影像放大裝置及方法
CN113516599A (zh) * 2021-05-19 2021-10-19 中国工商银行股份有限公司 图像校正方法、装置和服务器
US20230024037A1 (en) * 2021-07-21 2023-01-26 Avago Technologies International Sales Pte. Limited Methods for non-reference video-quality prediction
CN113505854B (zh) * 2021-07-29 2023-08-15 济南博观智能科技有限公司 一种人脸图像质量评价模型构建方法、装置、设备及介质
US12058312B2 (en) * 2021-10-06 2024-08-06 Kwai Inc. Generative adversarial network for video compression
KR20240072956A (ko) * 2022-11-17 2024-05-24 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139376A1 (en) * 2004-07-30 2006-06-29 Le Dinh Chon T Content adaptive resizer
US20070291170A1 (en) * 2006-06-16 2007-12-20 Samsung Electronics Co., Ltd. Image resolution conversion method and apparatus
CN102930518A (zh) * 2012-06-13 2013-02-13 上海汇纳网络信息科技有限公司 基于改进的稀疏表示的图像超分辨率方法
CN103390266A (zh) * 2013-07-31 2013-11-13 广东威创视讯科技股份有限公司 一种图像超分辨率方法和装置
CN105844640A (zh) * 2016-03-24 2016-08-10 西安电子科技大学 基于梯度的彩色图像质量评价方法
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
CN106447609A (zh) * 2016-08-30 2017-02-22 上海交通大学 一种基于深度卷积神经网络的图像超分辨方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101974261B1 (ko) * 2016-06-24 2019-04-30 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
CN108229508B (zh) * 2016-12-15 2022-01-04 富士通株式会社 用于训练图像处理装置的训练装置和训练方法
US10037601B1 (en) * 2017-02-02 2018-07-31 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images
US10885608B2 (en) * 2018-06-06 2021-01-05 Adobe Inc. Super-resolution with reference images
US11030487B2 (en) * 2018-09-05 2021-06-08 Vanderbilt University Noise-robust neural networks and methods thereof
US11367185B2 (en) * 2019-07-12 2022-06-21 Mayo Foundation For Medical Education And Research Deep learning-based medical image quality evaluation and virtual clinical trial

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139376A1 (en) * 2004-07-30 2006-06-29 Le Dinh Chon T Content adaptive resizer
US20070291170A1 (en) * 2006-06-16 2007-12-20 Samsung Electronics Co., Ltd. Image resolution conversion method and apparatus
CN102930518A (zh) * 2012-06-13 2013-02-13 上海汇纳网络信息科技有限公司 基于改进的稀疏表示的图像超分辨率方法
CN103390266A (zh) * 2013-07-31 2013-11-13 广东威创视讯科技股份有限公司 一种图像超分辨率方法和装置
CN105844640A (zh) * 2016-03-24 2016-08-10 西安电子科技大学 基于梯度的彩色图像质量评价方法
CN105976318A (zh) * 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
CN106447609A (zh) * 2016-08-30 2017-02-22 上海交通大学 一种基于深度卷积神经网络的图像超分辨方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019141258A1 (zh) * 2018-01-18 2019-07-25 杭州海康威视数字技术股份有限公司 一种视频编码方法、视频解码方法、装置及系统
CN109840883A (zh) * 2019-01-10 2019-06-04 深圳前海达闼云端智能科技有限公司 一种训练物体识别神经网络的方法、装置及计算设备
CN109840883B (zh) * 2019-01-10 2022-12-23 达闼机器人股份有限公司 一种训练物体识别神经网络的方法、装置及计算设备
WO2020192034A1 (zh) * 2019-03-24 2020-10-01 Oppo广东移动通信有限公司 滤波方法及装置、计算机存储介质
US11985313B2 (en) 2019-03-24 2024-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Filtering method and apparatus, and computer storage medium
CN110166779A (zh) * 2019-05-23 2019-08-23 西安电子科技大学 基于超分辨率重构的视频压缩方法
CN110166779B (zh) * 2019-05-23 2021-06-08 西安电子科技大学 基于超分辨率重构的视频压缩方法
CN112991192A (zh) * 2019-12-18 2021-06-18 杭州海康威视数字技术股份有限公司 图像处理方法、装置、设备及其系统
CN111784580A (zh) * 2020-06-30 2020-10-16 北京金山云网络技术有限公司 图像的超分辨率方法、装置和服务器
CN112116589A (zh) * 2020-09-30 2020-12-22 腾讯科技（深圳）有限公司 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN112116589B (zh) * 2020-09-30 2024-02-27 腾讯科技（深圳）有限公司 虚拟形象的评测方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20210125310A1 (en) 2021-04-29
EP3633599B1 (en) 2021-12-08
WO2018214671A1 (zh) 2018-11-29
US11250546B2 (en) 2022-02-15
CN108932697B (zh) 2020-01-17
EP3633599A4 (en) 2020-04-08
EP3633599A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
CN108932697A (zh) 一种失真图像的去失真方法、装置及电子设备
CN109120937A (zh) 一种视频编码方法、解码方法、装置及电子设备
CN109151475A (zh) 一种视频编码方法、解码方法、装置及电子设备
CN110969589B (zh) 基于多流注意对抗网络的动态场景模糊图像盲复原方法
Yoo et al. Image restoration by estimating frequency distribution of local patches
CN110136057B (zh) 一种图像超分辨率重建方法、装置及电子设备
CN110232670B (zh) 一种基于高低频分离的图像视觉效果增强的方法
Shi et al. Low-light image enhancement algorithm based on retinex and generative adversarial network
CN111105357B (zh) 一种失真图像的去失真方法、装置及电子设备
CN109064423A (zh) 一种基于非对称循环生成对抗损失的智能修图方法
CN108665417A (zh) 一种车牌图像去模糊方法、装置及系统
CN107895350B (zh) 一种基于自适应双伽玛变换的hdr图像生成方法
CN117011194B (zh) 一种基于多尺度双通道注意力网络的低光图像增强方法
KR102177247B1 (ko) 조작 이미지 판별 장치 및 방법
CN109886906B (zh) 一种细节敏感的实时弱光视频增强方法和系统
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN107729885A (zh) 一种基于多重残差学习的人脸增强方法
CN116977191A (zh) 画质提升模型的训练方法和视频会议系统画质的提升方法
CN118172290A (zh) 一种基于多级自适应CNN与混合Transformer的唐卡图像修复方法、系统及存储介质
DE102012201024A1 (de) Verfahren zum Verarbeiten eines Bildes zur Verdeutlichung von Text in dem Bild
Soni et al. Removal of high density salt and pepper noise removal by modified median filter
He et al. FM-VSR: Feature Multiplexing Video Super-Resolution for Compressed Video
CN111784580A (zh) 图像的超分辨率方法、装置和服务器
CN116433509A (zh) 一种基于cnn和卷积lstm网络的递进式图像去雾方法及系统
Yang et al. Semantic preprocessor for image compression for machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant