CN112200721A - 一种图像处理方法、系统、设备及介质 - Google Patents

一种图像处理方法、系统、设备及介质 Download PDF

Info

Publication number
CN112200721A
CN112200721A CN202011080519.7A CN202011080519A CN112200721A CN 112200721 A CN112200721 A CN 112200721A CN 202011080519 A CN202011080519 A CN 202011080519A CN 112200721 A CN112200721 A CN 112200721A
Authority
CN
China
Prior art keywords
image
definition
low
real
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011080519.7A
Other languages
English (en)
Other versions
CN112200721B (zh
Inventor
姚志强
周曦
蔡舒啸
徐亮
蒋韵雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Original Assignee
Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd filed Critical Guangzhou Cloudwalk Artificial Intelligence Technology Co ltd
Priority to CN202011080519.7A priority Critical patent/CN112200721B/zh
Publication of CN112200721A publication Critical patent/CN112200721A/zh
Application granted granted Critical
Publication of CN112200721B publication Critical patent/CN112200721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的一种图像处理方法、系统、设备及介质，针对目前存在的问题，设计了一种图像处理方式，该方式能够从真实图像中区分高清图像和低清图像；并且还设计了一个退化模型，可以先学习低清图像的特征，生成与高清图像一一对应的模拟低清图像，解决了超分辨模型难以在真实图像上训练的问题；同时，本发明还设计了滤波器机制，将图像拆分成高频和低频两部分，显著提高了真实图像的超分效果。而且本发明具有通用性，根据不同的应用场景，只需要使用对应的真实图像进行训练，就能得到该场景最优的超分辨效果。并且本发明通过超分辨模型提升图像质量后的图像，其颜色不失真，细节清晰，边缘锐利，整体观感好。

Description

一种图像处理方法、系统、设备及介质
技术领域
本发明涉及图像识别技术领域，特别是涉及一种图像处理方法、系统、设备及介质。
背景技术
图像质量是计算机视觉领域的根本。不论是普通人的影视娱乐，还是目标检测、目标跟踪、图像分割、无人驾驶等，都对图像质量提出了越来越高的要求。但是，通过拍摄设备获得的真实图像可能因为拍摄设备、拍摄环境、拍摄参数、拍摄技术等因素导致高清和低清图像的内容各不相同；例如由于拍摄设备老旧、弱光环境、拍摄距离、视频压缩等因素，低质量图像不可避免地产生；从而无法找到两张完全相同的低清和高清图像作为训练数据。因此，就需要提高图像的质量，超分辨算法应运而生。目前，现有的超分辨算法通常是采用人造图像，比如高斯模糊、加噪声等。但人造图像和真实图像差异较大，用人造图像训练出的超分辨算法在真实图像的效果较差，通常表现为大量的噪声和不合理的纹理。导致目前没有方法能够使用真实图像来训练超分辨模型；同时，人造图像训练出的超分辨模型无法处理真实图像。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像处理方法、系统、设备及介质，用于解决现有技术中存在的技术问题。
为实现上述目的及其他相关目的，本发明提供一种图像处理方法，包括以下步骤：
获取图像拍摄设备拍摄的真实图像；
按照图像质量对所述真实图像进行分组，分为高清图像组和低清图像组；其中，高清图像组中真实图像的图像质量高于低清图像组；
将所述高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且图像质量相对下降的模拟低清图像；
根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；
通过所述超分辨模型提升待处理的真实图像的图像质量。
可选地，在训练所述退化模型时，包括：
随机选择单张高清真实图像和低清真实图像；
通过退化模型对该张高清真实图像进行退化，生成低质量图像；以及对该张高清真实图像进行低通滤波，获取低通滤波后的高清真实图像；
对生成的低质量图像进行低通滤波和高通滤波，分别获取低通滤波后的低质量图像和高通滤波后的低质量图像；
对该张低清真实图像进行高通滤波，获取高通滤波后的低清真实图像；
根据低通滤波后的高清真实图像和低通滤波后的低质量图像生成颜色损失；以及通过判别模型对高通滤波后的低质量图像和高通滤波后的低清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述退化模型，直至完成所述退化模型的训练。
可选地，在训练超分辨模型时，包括：
获取成对的高清真实图像和模拟低清图像；
基于所述模拟低清图像，通过预设的超分辨模型生成模拟高清图像；
对所述模拟高清图像进行低通滤波和高通滤波，分别获取低通滤波后的模拟高清图像和高通滤波后的模拟高清图像；
对所述高清真实图像进行低通滤波和高通滤波，分别获取低通滤波后的高清真实图像和高通滤波后的高清真实图像；
根据低通滤波后的模拟低清图像和低通滤波后的模拟高清图像生成颜色损失；以及通过判别模型对高通滤波后的模拟高清图像和高通滤波后的高清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述超分辨模型，直至完成所述超分辨模型的训练。
可选地，按照图像质量对所述真实图像进行分组的具体过程包括：
通过预先训练好的神经网络模型将每一张真实图像映射至512维的向量空间；
使用t-SNE降维算法将512维的向量空间映射到2维空间；
利用聚类算法在所述2维空间内对所有的真实图像进行聚类，获取高清图像组和低清图像组；其中，高清图像组中的真实图像为高清真实图像；低清图像组中的真实图像为低清真实图像。
可选地，通过图像拍摄设备拍摄真实图像的应用场景包括以下至少之一：证件照场景、安防摄像场景。
可选地，还包括将训练后的超分辨模型部署至线上环境中实时提升待处理的真实图像的图像质量；其中，线上环境至少包括服务器端和客户端。
本发明还提供一种图像处理系统，包括有：
采集模块，用于获取图像拍摄设备拍摄的真实图像；
图像分组模块，用于按照图像质量对所述真实图像进行分组，分为高清图像组和低清图像组；其中，高清图像组中真实图像的图像质量高于低清图像组；
图像退化模块，用于将所述高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且图像质量相对下降的模拟低清图像；
超分辨处理模块，用于根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；通过所述超分辨模型提升待处理的真实图像的图像质量。
可选地，所述图像退化模块在训练退化模型时，包括：
随机选择单张高清真实图像和低清真实图像；
通过退化模型对该张高清真实图像进行退化，生成低质量图像；以及对该张高清真实图像进行低通滤波，获取低通滤波后的高清真实图像；
对生成的低质量图像进行低通滤波和高通滤波，分别获取低通滤波后的低质量图像和高通滤波后的低质量图像；
对该张低清真实图像进行高通滤波，获取高通滤波后的低清真实图像；
根据低通滤波后的高清真实图像和低通滤波后的低质量图像生成颜色损失；以及通过判别模型对高通滤波后的低质量图像和高通滤波后的低清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述退化模型，直至完成所述退化模型的训练。
可选地，所述超分辨处理模块在训练超分辨模型时，包括：
获取成对的高清真实图像和模拟低清图像；
基于所述模拟低清图像，通过预设的超分辨模型生成模拟高清图像；
对所述模拟高清图像进行低通滤波和高通滤波，分别获取低通滤波后的模拟高清图像和高通滤波后的模拟高清图像；
对所述高清真实图像进行低通滤波和高通滤波，分别获取低通滤波后的高清真实图像和高通滤波后的高清真实图像；
根据低通滤波后的模拟低清图像和低通滤波后的模拟高清图像生成颜色损失；以及通过判别模型对高通滤波后的模拟高清图像和高通滤波后的高清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述超分辨模型，直至完成所述超分辨模型的训练。
本发明还提供一种图像处理系统，包括有：客户端和服务端，所述服务端内设有如上述任一所述的超分辨模型；
所述客户端用于获取图像质量待提升的真实图像，并将获取的真实图像通过网络传输至所述服务端；
所述服务端接收真实图像并进行解码，将解码后的真实图像通过前处理输入至所述超分辨模型中进行图像质量提升；并将进行图像质量提升后的图像通过网络传输至所述客户端。
本发明还提供一种图像处理设备，包括：
获取图像拍摄设备拍摄的真实图像；
按照图像质量对所述真实图像进行分组，分为高清图像组和低清图像组；其中，高清图像组中真实图像的图像质量高于低清图像组；
将所述高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且图像质量相对下降的模拟低清图像；
根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；通过所述超分辨模型提升待处理的真实图像的图像质量。
本发明还提供一种设备，包括：
一个或多个处理器；和
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。
本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。
如上所述，本发明提供的一种图像处理方法、系统、设备及介质，具有以下有益效果：通过获取图像拍摄设备拍摄的真实图像；按照图像质量对真实图像进行分组，分为高清图像组和低清图像组；将高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且质量相对下降的模拟低清图像；根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；并通过超分辨模型提升待处理的真实图像的图像质量。本发明针对目前存在的问题，设计了一种图像处理方式，该方式能够从真实图像中区分高清图像和低清图像；并且本发明还设计了一个退化模型，可以先学习低清图像的特征，生成与高清图像一一对应的模拟低清图像，解决了超分辨模型难以在真实图像上训练的问题；同时，本发明还设计了滤波器机制，将图像拆分成高频和低频两部分，显著提高了真实图像的超分效果。所以，本发明能够使用真实图像作为训练数据来训练超分辨算法，并且训练出的超分辨模型超分效果好、通用性强。而且，本发明在对真实图像按照图像质量进行高清真实图像、低清真实图像自动分类时，无需人工分拣，节约了大量人力资源；并且本发明具有通用性，根据不同的应用场景(例如证件照、安防摄像头等场景)，只需要使用对应的真实图像进行训练，就能得到该场景最优的超分辨效果。同时，本发明通过超分辨模型提升图像质量后的图像，其颜色不失真，细节清晰，边缘锐利，整体观感好。
附图说明
图1为一实施例提供的图像处理方法的流程示意图；
图2为一实施例提供的对真实图像按照图像进行分组后的示意图；
图3为一实施例提供的模型训练的流程示意图；
图4为一实施例提供的退化模型训练示意图；
图5为一实施例提供的高清图像退化成低清图像的示意图；
图6为一实施例提供的超分辨模型训练示意图；
图7为另一实施例提供的图像处理方法的流程示意图；
图8为一实施例提供的图像处理系统的硬件结构示意图；
图9为另一实施例提供的图像处理系统的硬件结构示意图；
图10为一实施例提供的终端设备的硬件结构示意图；
图11为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 采集模块
M20 图像分组模块
M30 图像退化模块
M40 超分辨处理模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 音频组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
真实图像：有别于人工添加高斯噪声或者高斯模糊的合成图像，真实图像往往包含更多的未知噪声，比如CMOS传感器噪声，镜头边缘畸变等。
超分辨：一种将低清图像恢复成高清图像的方法，超分辨后的图像通常要求去除噪声，锐化边缘，恢复图像细节，整体观感良好。
退化模型：一种深度神经网络模型，能够学习到低质量图像的分布规律，输入高清图像，输出低质量图像的模型。
超分辨模型：一种深度神经网络模型，能够学习到高清图像的分布规律，输入低质量图像，输出高清图像的模型。
生成对抗学习：一种训练神经网络的技术，基于博弈论原理，在超分辨场景中比传统方法更好地学习到真实图像的分布规律。
滤波器：常见的有高斯滤波，使图像看上去模糊，实际上是过滤了图像的高频信息(细节)，保留了低频信息(边缘、颜色)。
请参阅图1所示，本发明提供一种图像处理方法，包括以下步骤：
S100，获取图像拍摄设备拍摄的真实图像；
S200，按照图像质量对真实图像进行分组，分为高清图像组和低清图像组；其中，高清图像组中真实图像的图像质量高于低清图像组；
S300，将高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且质量相对下降的模拟低清图像；
S400，根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；
S500，通过超分辨模型提升待处理的真实图像的图像质量。
本方法设计了一种图像处理方式，该方式能够从真实图像中区分高清图像和低清图像；并且还设计了一个退化模型，可以先学习低清图像的特征，生成与高清图像一一对应的模拟低清图像，解决了超分辨模型难以在真实图像上训练的问题；同时，本方法还设计了滤波器机制，将图像拆分成高频和低频两部分，显著提高了真实图像的超分效果。所以，本方法能够使用真实图像作为训练数据来训练超分辨算法，并且训练出的超分辨模型超分效果好、通用性强。而且，本方法在对真实图像按照图像质量进行高清真实图像、低清真实图像自动分类时，无需人工分拣，节约了大量人力资源；并且本方法具有通用性，根据不同的应用场景(例如证件照、安防摄像头等场景)，只需要使用对应的真实图像进行训练，就能得到该场景最优的超分辨效果。同时，本方法通过超分辨模型提升图像质量后的图像，其颜色不失真，细节清晰，边缘锐利，整体观感好。
在一些示例性实施例中，如图2所示，按照图像质量对真实图像进行分组的具体过程包括：
通过预先训练好的神经网络模型将每一张真实图像映射至512维的向量空间；
使用t-SNE降维算法将512维的向量空间映射到2维空间；
利用聚类算法在2维空间内对所有的真实图像进行聚类，获取高清图像组和低清图像组；其中，高清图像组中的真实图像为高清真实图像；低清图像组中的真实图像为低清真实图像。其中，聚类算法包括但不限于K-means。
在一些示例性实施例中，通过图像拍摄设备拍摄真实图像的应用场景包括以下至少之一：证件照场景、安防摄像场景。本方法根据不同的应用场景，如证件照，安防摄像头等场景，只需要使用对应的真实图像进行训练，就能得到该场景最优的超分辨效果。
根据上述记载，在一示例性实施例中，在训练退化模型时，包括：利用高通滤波和生成对抗学习在真实图像上训练退化模型，使退化模型学习真实图像从高清到低清的退化过程、以及学习低清真实图像的分布特征；和利用低通滤波来约束高清真实图像退化前后的颜色保持不变。作为示例，如图3和图4所示，在训练退化模型时，包括：
随机选择单张高清真实图像和低清真实图像；
通过退化模型对该张高清真实图像进行退化，生成低质量图像；以及对该张高清真实图像进行低通滤波，获取低通滤波后的高清真实图像；
对生成的低质量图像进行低通滤波和高通滤波，分别获取低通滤波后的低质量图像和高通滤波后的低质量图像；
对该张低清真实图像进行高通滤波，获取高通滤波后的低清真实图像；
根据低通滤波后的高清真实图像和低通滤波后的低质量图像生成颜色损失；以及通过判别模型对高通滤波后的低质量图像和高通滤波后的低清真实图像进行鉴别，获得生成对抗损失；
基于颜色损失和生成对抗损失迭代优化退化模型，直至完成退化模型的训练。
作为示例，本实施例还可以用颜色损失约束该张高清真实图像退化前后的颜色保持不变，以及通过生成对抗损失来学习低清真实图像的分布特征。其中，在按照图3所示的训练流程对退化模型进行训练时，退化模型的训练阈值可以进行自定义，例如设置为0.001。
在一示例性实施例中，在训练超分辨模型时，包括利用高通滤波和生成对抗学习来学习该真实高清图像的细节；以及利用低通滤波限制该模拟低清图像生成模拟高清图像时的边缘和色彩。作为示例，具体地，如图3、图5和图6所示，在训练超分辨模型时，包括：
获取成对的高清真实图像和模拟低清图像；
基于模拟低清图像，通过预设的超分辨模型生成模拟高清图像；其中，预设的超分辨模型可以是现有的超分辨模型，也可以是已经生成的超分辨模型。
对模拟高清图像进行低通滤波和高通滤波，分别获取低通滤波后的模拟高清图像和高通滤波后的模拟高清图像；
对所述高清真实图像进行低通滤波和高通滤波，分别获取低通滤波后的高清真实图像和高通滤波后的高清真实图像；
根据低通滤波后的模拟低清图像和低通滤波后的模拟高清图像生成颜色损失；以及通过判别模型对高通滤波后的模拟高清图像和高通滤波后的高清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述超分辨模型，直至完成超分辨模型的训练。
作为示例，本实施例中可以通过颜色损失限制模拟低清图像生成模拟高清图像时的边缘和色彩；以及根据生成对抗损失来学习该真实高清图像的细节。其中，在按照图3所示的训练流程对超分辨模型进行训练时，超分辨模型的训练阈值可以进行自定义，例如设置为0.001。
在一示例性实施例中，还包括将训练后的超分辨模型部署至线上环境中实时提升待处理的真实图像的图像质量；其中，线上环境至少包括服务器端和客户端。作为示例，例如使用云从科技的TensorRT Is Service框架，将训练好的超分辨模型部署到线上环境；线上环境分为服务器端和客户端，客户端将任意低清图像通过网络传输发送给服务器端，服务器端接收图像流，并进行解码，通过前处理后输入至训练后的超分辨模型中进行图像质量提升；且经过超分辨模型进行图像质量提升后的结果通过后处理后再经过网络传输发送给客户端。在本申请实施例中，将训练后的超分辨模型部署至线上环境后，可以实时处理128x128(单位为：像素)的低清图像。
根据上述记载，在一具体实施例中，如图2至图7所示，包括有：
步骤S101，数据预处理。由于图像拍摄设备拍摄的真实图像往往混合了高清图像和低清图像。为了方便训练从低清到高清的超分辨模型，可以对这些图像进行分组，筛选出低清图像和高清图像。本实施例通过一个训练好的VGG模型将每一张真实图像映射到512维的向量空间，然后使用t-SNE降维算法映射到2维空间。分组结果如图2所示，本实施例可以使用聚类算法(包括但不限于K-means等)来区分高清图像和低清图像。作为示例，本申请使用了VGG模型将图像映射到向量空间。在另外的实现方式中，也可以采用其他技术，包括但不限于Alex Net、Res Net、Res Net、Dense Net、Shuffle Net、Inception等神经网络。
步骤S102，训练退化模型。根据步骤S101的预处理后，本实施例可以区分出高清图像和低清图像，但是这些高清图像和低清图像并不是一一对应的，即图像中的内容不是完全一致的；因此这些图像很难直接用于训练超分辨模型。为了解决这个问题，本实施例先训练一个退化模型来学习低清图像的特征规律。然后可以用这个退化模型为每一张高清图像生成一一对应的模拟低清图像，然后将原始高清图像和生成的模拟低清图像对应后训练超分辨模型。如图4所示，对任意一张真实高清图像，随机选择一张真实低清图像，然后用选取的这两张图像来训练退化模型，直至退化模型中的颜色损失、生成对抗损失均大于或等于对应的退化训练损失阈值时输出训练好的退化模型。在训练退化模型时，包括：随机选择单张高清真实图像和低清真实图像；通过退化模型对该张高清真实图像进行退化，生成低质量图像；以及对该张高清真实图像进行低通滤波，获取低通滤波后的高清真实图像；对生成的低质量图像进行低通滤波和高通滤波，分别获取低通滤波后的低质量图像和高通滤波后的低质量图像；对该张低清真实图像进行高通滤波，获取高通滤波后的低清真实图像；根据低通滤波后的高清真实图像和低通滤波后的低质量图像生成颜色损失；以及通过判别模型对高通滤波后的低质量图像和高通滤波后的低清真实图像进行鉴别，获得生成对抗损失；基于颜色损失和生成对抗损失迭代优化退化模型，直至完成退化模型的训练。本步骤巧妙地使用了滤波器把图像分解成两部分：对图像的低清部分，使用颜色损失约束图像退化前后的颜色保持不变。对图像的高清部分，使用生成对抗(Generative Adversarial)技术图像学习真实低清图像的特征。由于两个部分各司其职，既保证了退化模型在退化图像的颜色不变，又能让退化模型学习到真实低清图像的特征规律。本实施例通过在低清和高清图像上训练退化模型，通过巧妙地利用高通滤波和生成对抗学习技术，能够学习到真实图像从高清到低清的退化过程。
步骤S103，创建成对数据。如图5所示，利用训练好的退化模型，可以为每一张真实高清图像都生成一一对应的模拟低清图像；且通过退化模型获得的模拟低清真实图像与输入退化模型中的高清真实图像可以自动匹配成对。然后利用这些成对的真实高清图像和模拟低清图像作为超分辨模型的训练数据。本实施例使用训练好的退化模型，从高清真实图像获得内容相同，质量相对下降的模拟低清真实图像。这样可以满足超分辨模型对低清高清图像的内容要求严格一致的条件。
步骤S104，训练超分辨模型。将步骤S103中获得的成对的高清低清图像直接用于训练超分辨模型。在训练超分辨模型时，也可以使用高通滤波和生成对抗学习来学习图像的高频特征。同时，还可以使用低通滤波，保证进行图像质量提升后的图像的低频信息不变。如图6所示，超分辨模型的训练过程包括：获取成对的高清真实图像和模拟低清图像；基于模拟低清图像，通过预设的超分辨模型生成模拟高清图像；其中，预设的超分辨模型可以是现有的超分辨模型，也可以是已经生成的超分辨模型。对模拟高清图像进行低通滤波和高通滤波，分别获取低通滤波后的模拟高清图像和高通滤波后的模拟高清图像；对所述高清真实图像进行低通滤波和高通滤波，分别获取低通滤波后的高清真实图像和高通滤波后的高清真实图像；根据低通滤波后的模拟低清图像和低通滤波后的模拟高清图像生成颜色损失；以及通过判别模型对高通滤波后的模拟高清图像和高通滤波后的高清真实图像进行鉴别，获得生成对抗损失；基于所述颜色损失和所述生成对抗损失迭代优化所述超分辨模型，直至完成超分辨模型的训练。作为示例，本实施例中可以通过颜色损失限制模拟低清图像生成模拟高清图像时的边缘和色彩；以及根据生成对抗损失来学习该真实高清图像的细节。本实施例将真实高清和模拟低清图像用于训练超分辨算法，也巧妙运用了高通滤波和生成对抗学习技术学习高清图像的细节，同时运用低通滤波，限制生成图像的边缘清晰，色彩不变。本申请中的超分辨模型可以使用Generator生成器网络，还可以使用ESRGAN、EDSR、WDSR等。
步骤S105，线上实时处理。本步骤将训练后的超分辨模型部署至线上环境中实时提升待处理的真实图像的图像质量；其中，线上环境至少包括服务器端和客户端。作为示例，例如使用云从科技的TensorRT Is Service框架，将训练好的超分辨模型部署到线上环境；线上环境分为服务器端和客户端，客户端将任意低清图像通过网络传输发送给服务器端，服务器端接收图像流，并进行解码，通过前处理后输入至训练后的超分辨模型中进行图像质量提升；且经过超分辨模型进行图像质量提升后的结果通过后处理后再经过网络传输发送给客户端。在本申请实施例中，将训练后的超分辨模型部署至线上环境后，可以实时处理128x128(单位为：像素)的低清图像。
根据上述记载，步骤S101～104完成了基于真实图像的离线训练，步骤S105是线上实时超分辨的应用。在对退化模型和超分辨模型进行训练时，本方法使用的滤波器包括但不限于高斯(Gaussian)滤波，贝塞尔(Bessel)滤波，平均池化等。并且，本方法的判别模型可以使用Discriminator判别器网络，还可以使用VGG、Insight face、DBCNN等神经网络。
综上所述，本方法能够使用真实图像作为训练数据来训练超分辨模型，并且训练出的超分辨模型超分效果好、通用性强。同时，本方法在对真实图像按照图像质量进行高清真实图像、低清真实图像自动分类时，无需人工分拣，节约了大量人力资源；而且本方法具有通用性，根据不同的应用场景(例如证件照、安防摄像头等场景)，只需要使用对应的真实图像进行训练，就能得到该场景最优的超分辨效果。并且本方法通过超分辨模型提升图像质量后的图像，其颜色不失真，细节清晰，边缘锐利，整体观感好。而且，本方法设计了一个退化模型，通过先学习低清图像的特征，可以将高清图像退化成内容相同、图像质量相对下降的低清图像，从而生成一一对应的低清图像，解决了超分辨模型难以在真实图像上训练的问题。同时，本方法还在训练退化模型和超分辨模型时设计了滤波器机器，将图像拆分成高频和低频两部分，显著提高了真实图像的超分效果。通过本方法中的退化、超分辨二阶段训练，以及图像滤波后再训练，能尽量降低超分辨训练的难度，进而实现最好的超分结果。与现有技术中的一些方法相比，本方法还具有以下明显区别：
(1)和现有的cycleGAN算法相比，cycleGAN算法在超分辨和退化阶段都只利用了低质量图像，而本方法则综合利用了高清图像。
(2)和现有的realSR相比，本方法训练了一个退化模型，完整地学习到了真实低清图像的分布规律。而realSR只是提取了低清图像的噪声，随机地叠加在高清图像上用来模拟低清数据。
(3)和现有的dualGAN算法相比，本方法巧妙地利用了滤波器，将图像拆解成低频和高频两个部分，显著降低了训练难度，因此得到了更好的超分辨结果。
如图8所示，本发明还提供一种图像处理系统，包括有：
采集模块M10，用于获取图像拍摄设备拍摄的真实图像；
图像分组模块M20，用于按照图像质量对真实图像进行分组，分为高清图像组和低清图像组；其中，高清图像组中真实图像的图像质量高于低清图像组；
图像退化模块M30，用于将高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且质量相对下降的模拟低清图像；
超分辨处理模块M40，用于根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；并通过超分辨模型提升待处理的真实图像的图像质量。
本系统设计了一种图像处理方式，该方式能够从真实图像中区分高清图像和低清图像；并且还设计了一个退化模型，可以先学习低清图像的特征，生成与高清图像一一对应的模拟低清图像，解决了超分辨模型难以在真实图像上训练的问题；同时，本系统还设计了滤波器机制，将图像拆分成高频和低频两部分，显著提高了真实图像的超分效果。所以，本系统能够使用真实图像作为训练数据来训练超分辨算法，并且训练出的超分辨模型超分效果好、通用性强。而且，本系统在对真实图像按照图像质量进行高清真实图像、低清真实图像自动分类时，无需人工分拣，节约了大量人力资源；并且本系统具有通用性，根据不同的应用场景(例如证件照、安防摄像头等场景)，只需要使用对应的真实图像进行训练，就能得到该场景最优的超分辨效果。同时，本系统通过超分辨模型提升图像质量后的图像，其颜色不失真，细节清晰，边缘锐利，整体观感好。
在一示例性实施例中，图像退化模块M30在训练退化模型时，包括：
随机选择单张高清真实图像和低清真实图像；
通过退化模型对该张高清真实图像进行退化，生成低质量图像；以及对该张高清真实图像进行低通滤波，获取低通滤波后的高清真实图像；
对生成的低质量图像进行低通滤波和高通滤波，分别获取低通滤波后的低质量图像和高通滤波后的低质量图像；
对该张低清真实图像进行高通滤波，获取高通滤波后的低清真实图像；
根据低通滤波后的高清真实图像和低通滤波后的低质量图像生成颜色损失；以及通过判别模型对高通滤波后的低质量图像和高通滤波后的低清真实图像进行鉴别，获得生成对抗损失；
基于颜色损失和生成对抗损失迭代优化退化模型，直至完成退化模型的训练。
作为示例，本实施例还可以用颜色损失约束该张高清真实图像退化前后的颜色保持不变，以及通过生成对抗损失来学习低清真实图像的分布特征。其中，在按照图3所示的训练流程对退化模型进行训练时，退化模型的训练阈值可以进行自定义，例如设置为0.001。
在一示例性实施例中，超分辨处理模块M40在训练超分辨模型时，包括：
获取成对的高清真实图像和模拟低清图像；
基于模拟低清图像，通过预设的超分辨模型生成模拟高清图像；其中，预设的超分辨模型可以是现有的超分辨模型，也可以是已经生成的超分辨模型。
对模拟高清图像进行低通滤波和高通滤波，分别获取低通滤波后的模拟高清图像和高通滤波后的模拟高清图像；
对所述高清真实图像进行低通滤波和高通滤波，分别获取低通滤波后的高清真实图像和高通滤波后的高清真实图像；
根据低通滤波后的模拟低清图像和低通滤波后的模拟高清图像生成颜色损失；以及通过判别模型对高通滤波后的模拟高清图像和高通滤波后的高清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述超分辨模型，直至完成超分辨模型的训练。
作为示例，本实施例中可以通过颜色损失限制模拟低清图像生成模拟高清图像时的边缘和色彩；以及根据生成对抗损失来学习该真实高清图像的细节。其中，在按照图3所示的训练流程对超分辨模型进行训练时，超分辨模型的训练阈值可以进行自定义，例如设置为0.001。
根据上述记载，在一具体实施例中，包括有：
数据预处理。由于图像拍摄设备拍摄的真实图像往往混合了高清图像和低清图像。为了方便训练从低清到高清的超分辨模型，可以对这些图像进行分组，筛选出低清图像和高清图像。本实施例通过一个训练好的VGG模型将每一张真实图像映射到512维的向量空间，然后使用t-SNE降维算法映射到2维空间。分组结果如图2所示，本实施例可以使用聚类算法(包括但不限于K-means等)来区分高清图像和低清图像。作为示例，本申请使用了VGG模型将图像映射到向量空间。在另外的实现方式中，也可以采用其他技术，包括但不限于Alex Net、Res Net、Res Net、Dense Net、Shuffle Net、Inception等神经网络。
训练退化模型。进行数据预处理后，本实施例可以区分出高清图像和低清图像，但是这些高清图像和低清图像并不是一一对应的，即图像中的内容不是完全一致的；因此这些图像很难直接用于训练超分辨模型。为了解决这个问题，本实施例先训练一个退化模型来学习低清图像的特征规律。然后可以用这个退化模型为每一张高清图像生成一一对应的模拟低清图像，然后将原始高清图像和生成的模拟低清图像对应后训练超分辨模型。如图4所示，对任意一张真实高清图像，随机选择一张真实低清图像，然后用选取的这两张图像来训练退化模型，直至退化模型中的颜色损失、生成对抗损失均大于或等于对应的退化训练损失阈值时输出训练好的退化模型。在训练退化模型时，包括：随机选择单张高清真实图像和低清真实图像；通过退化模型对该张高清真实图像进行退化，生成低质量图像；以及对该张高清真实图像进行低通滤波，获取低通滤波后的高清真实图像；对生成的低质量图像进行低通滤波和高通滤波，分别获取低通滤波后的低质量图像和高通滤波后的低质量图像；对该张低清真实图像进行高通滤波，获取高通滤波后的低清真实图像；根据低通滤波后的高清真实图像和低通滤波后的低质量图像生成颜色损失；以及通过判别模型对高通滤波后的低质量图像和高通滤波后的低清真实图像进行鉴别，获得生成对抗损失；基于颜色损失和生成对抗损失迭代优化退化模型，直至完成退化模型的训练。本实施例巧妙地使用了滤波器把图像分解成两部分：对图像的低清部分，使用颜色损失约束图像退化前后的颜色保持不变。对图像的高清部分，使用生成对抗(Generative Adversarial)技术图像学习真实低清图像的特征。由于两个部分各司其职，既保证了退化模型在退化图像的颜色不变，又能让退化模型学习到真实低清图像的特征规律。本实施例通过在低清和高清图像上训练退化模型，通过巧妙地利用高通滤波和生成对抗学习技术，能够学习到真实图像从高清到低清的退化过程。
创建成对数据。如图5所示，利用训练好的退化模型，可以为每一张真实高清图像都生成一一对应的模拟低清图像；且通过退化模型获得的模拟低清真实图像与输入退化模型中的高清真实图像可以自动匹配成对。然后利用这些成对的真实高清图像和模拟低清图像作为超分辨模型的训练数据。本实施例使用训练好的退化模型，从高清真实图像获得内容相同，质量相对下降的模拟低清真实图像。这样可以满足超分辨模型对低清高清图像的内容要求严格一致的条件。
训练超分辨模型。将获得的成对的高清低清图像直接用于训练超分辨模型。在训练超分辨模型时，也可以使用高通滤波和生成对抗学习来学习图像的高频特征。同时，还可以使用低通滤波，保证进行图像质量提升后的图像的低频信息不变。如图6所示，超分辨模型的训练过程包括：获取成对的高清真实图像和模拟低清图像；基于模拟低清图像，通过预设的超分辨模型生成模拟高清图像；其中，预设的超分辨模型可以是现有的超分辨模型，也可以是前面生成的超分辨模型。对模拟高清图像进行低通滤波和高通滤波，分别获取低通滤波后的模拟高清图像和高通滤波后的模拟高清图像；对所述高清真实图像进行低通滤波和高通滤波，分别获取低通滤波后的高清真实图像和高通滤波后的高清真实图像；根据低通滤波后的模拟低清图像和低通滤波后的模拟高清图像生成颜色损失；以及通过判别模型对高通滤波后的模拟高清图像和高通滤波后的高清真实图像进行鉴别，获得生成对抗损失；基于所述颜色损失和所述生成对抗损失迭代优化所述超分辨模型，直至完成超分辨模型的训练。作为示例，本实施例中可以通过颜色损失限制模拟低清图像生成模拟高清图像时的边缘和色彩；以及根据生成对抗损失来学习该真实高清图像的细节。本实施例将真实高清和模拟低清图像用于训练超分辨算法，也巧妙运用了高通滤波和生成对抗学习技术学习高清图像的细节，同时运用低通滤波，限制生成图像的边缘清晰，色彩不变。本申请中的超分辨模型可以使用Generator生成器网络，还可以使用ESRGAN、EDSR、WDSR等。
线上实时处理。将训练后的超分辨模型部署至线上环境中实时提升待处理的真实图像的图像质量；其中，线上环境至少包括服务器端和客户端。作为示例，例如使用云从科技的TensorRT Is Service框架，将训练好的超分辨模型部署到线上环境；线上环境分为服务器端和客户端，客户端将任意低清图像通过网络传输发送给服务器端，服务器端接收图像流，并进行解码，通过前处理后输入至训练后的超分辨模型中进行图像质量提升；且经过超分辨模型进行图像质量提升后的结果通过后处理后再经过网络传输发送给客户端。在本申请实施例中，将训练后的超分辨模型部署至线上环境后，可以实时处理128x128(单位为：像素)的低清图像。
根据上述记载，步骤S101～104完成了基于真实图像的离线训练，步骤S105是线上实时超分辨的应用。在对退化模型和超分辨模型进行训练时，本系统使用的滤波器包括但不限于高斯(Gaussian)滤波，贝塞尔(Bessel)滤波，平均池化等。并且，本系统的判别模型可以使用Discriminator判别器网络，还可以使用VGG、Insight face、DBCNN等神经网络。
综上所述，本系统能够使用真实图像作为训练数据来训练超分辨模型，并且训练出的超分辨模型超分效果好、通用性强。同时，本系统在对真实图像按照图像质量进行高清真实图像、低清真实图像自动分类时，无需人工分拣，节约了大量人力资源；而且本系统具有通用性，根据不同的应用场景(例如证件照、安防摄像头等场景)，只需要使用对应的真实图像进行训练，就能得到该场景最优的超分辨效果。并且本系统通过超分辨模型提升图像质量后的图像，其颜色不失真，细节清晰，边缘锐利，整体观感好。而且，本系统设计了一个退化模型，通过先学习低清图像的特征，可以将高清图像退化成内容相同、图像质量相对下降的低清图像，从而生成一一对应的低清图像，解决了超分辨模型难以在真实图像上训练的问题。同时，本系统还在训练退化模型和超分辨模型时设计了滤波器机器，将图像拆分成高频和低频两部分，显著提高了真实图像的超分效果。通过本系统中的退化、超分辨二阶段训练，以及图像滤波后再训练，能尽量降低超分辨训练的难度，进而实现最好的超分结果。与现有技术中的一些方法相比，本系统还具有以下明显区别：
(1)和现有的cycleGAN算法相比，cycleGAN算法在超分辨和退化阶段都只利用了低质量图像，而本系统则综合利用了高清图像。
(2)和现有的realSR相比，本系统训练了一个退化模型，完整地学习到了真实低清图像的分布规律。而realSR只是提取了低清图像的噪声，随机地叠加在高清图像上用来模拟低清数据。
(3)和现有的dualGAN算法相比，本系统巧妙地利用了滤波器，将图像拆解成低频和高频两个部分，显著降低了训练难度，因此得到了更好的超分辨结果。
如图9所示，本发明还提供一种图像处理系统，包括有：客户端和服务端，服务端内设有上述任一所述的超分辨模型；
客户端用于获取图像质量待提升的真实图像，并将获取的真实图像通过网络传输至服务端；
服务端接收真实图像并进行解码，将解码后的真实图像通过前处理输入至超分辨模型中进行图像质量提升；并将进行图像质量提升后的图像通过网络传输至客户端。
作为示例，本系统可以在线上部署训练好的超分辨模型，从而可以实时的提升待处理的真实图像的图像质量。例如使用云从科技的TensorRT Is Service框架，将训练好的超分辨模型部署到线上环境；线上环境分为服务器端和客户端，客户端将任意低清图像通过网络传输发送给服务器端，服务器端接收图像流，并进行解码，通过前处理后输入至训练后的超分辨模型中进行图像质量提升；且经过超分辨模型进行图像质量提升后的结果通过后处理后再经过网络传输发送给客户端。在本申请实施例中，将训练后的超分辨模型部署至线上环境后，可以实时处理128x128(单位为：像素)的低清图像。在本实施例中，本系统的其他具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种图像处理设备，包括有：
获取图像拍摄设备拍摄的真实图像；
按照图像质量对真实图像进行分组，分为高清图像组和低清图像组；其中，高清图像组中真实图像的图像质量高于低清图像组；
将高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且质量相对下降的模拟低清图像；
根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；并通过超分辨模型提升待处理的真实图像的图像质量。
在本实施例中，该图像处理设备执行上述系统或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。
图10为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图11为本申请的另一个实施例提供的终端设备的硬件结构示意图。图11是对图10在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图像，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图11实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图10实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种图像处理方法，其特征在于，包括以下步骤：
获取图像拍摄设备拍摄的真实图像；
按照图像质量对所述真实图像进行分组，分为高清图像组和低清图像组；
将所述高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且图像质量相对下降的模拟低清图像；
根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；
通过所述超分辨模型提升待处理的真实图像的图像质量。
2.根据权利要求1所述的图像处理方法，其特征在于，在训练所述退化模型时，包括：
随机选择单张高清真实图像和低清真实图像；
通过退化模型对该张高清真实图像进行退化，生成低质量图像；以及对该张高清真实图像进行低通滤波，获取低通滤波后的高清真实图像；
对生成的低质量图像进行低通滤波和高通滤波，分别获取低通滤波后的低质量图像和高通滤波后的低质量图像；
对该张低清真实图像进行高通滤波，获取高通滤波后的低清真实图像；
根据低通滤波后的高清真实图像和低通滤波后的低质量图像生成颜色损失；以及通过判别模型对高通滤波后的低质量图像和高通滤波后的低清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述退化模型，直至完成所述退化模型的训练。
3.根据权利要求1所述的图像处理方法，其特征在于，在训练超分辨模型时，包括：
获取成对的高清真实图像和模拟低清图像；
基于所述模拟低清图像，通过预设的超分辨模型生成模拟高清图像；
对所述模拟高清图像进行低通滤波和高通滤波，分别获取低通滤波后的模拟高清图像和高通滤波后的模拟高清图像；
对所述高清真实图像进行低通滤波和高通滤波，分别获取低通滤波后的高清真实图像和高通滤波后的高清真实图像；
根据低通滤波后的模拟低清图像和低通滤波后的模拟高清图像生成颜色损失；以及通过判别模型对高通滤波后的模拟高清图像和高通滤波后的高清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述超分辨模型，直至完成所述超分辨模型的训练。
4.根据权利要求1至3中任一所述的图像处理方法，其特征在于，按照图像质量对所述真实图像进行分组的具体过程包括：
通过预先训练好的神经网络模型将每一张真实图像映射至512维的向量空间；
使用t-SNE降维算法将512维的向量空间映射到2维空间；
利用聚类算法在所述2维空间内对所有的真实图像进行聚类，获取高清图像组和低清图像组；其中，高清图像组中的真实图像为高清真实图像；低清图像组中的真实图像为低清真实图像。
5.根据权利要求1至3中任一所述的图像处理方法，其特征在于，通过图像拍摄设备拍摄真实图像的应用场景包括以下至少之一：证件照场景、安防摄像场景。
6.根据权利要求1所述的图像处理方法，其特征在于，还包括将训练后的超分辨模型部署至线上环境中实时提升待处理的真实图像的图像质量；其中，线上环境至少包括服务器端和客户端。
7.一种图像处理系统，其特征在于，包括有：
采集模块，用于获取图像拍摄设备拍摄的真实图像；
图像分组模块，用于按照图像质量对所述真实图像进行分组，分为高清图像组和低清图像组；
图像退化模块，用于将所述高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且图像质量相对下降的模拟低清图像；
超分辨处理模块，用于根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；通过所述超分辨模型提升待处理的真实图像的图像质量。
8.根据权利要求7所述的图像处理系统，其特征在于，所述图像退化模块在训练退化模型时，包括：
随机选择单张高清真实图像和低清真实图像；
通过退化模型对该张高清真实图像进行退化，生成低质量图像；以及对该张高清真实图像进行低通滤波，获取低通滤波后的高清真实图像；
对生成的低质量图像进行低通滤波和高通滤波，分别获取低通滤波后的低质量图像和高通滤波后的低质量图像；
对该张低清真实图像进行高通滤波，获取高通滤波后的低清真实图像；
根据低通滤波后的高清真实图像和低通滤波后的低质量图像生成颜色损失；以及通过判别模型对高通滤波后的低质量图像和高通滤波后的低清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述退化模型，直至完成所述退化模型的训练。
9.根据权利要求7所述的图像处理系统，其特征在于，所述超分辨处理模块在训练超分辨模型时，包括：
获取成对的高清真实图像和模拟低清图像；
基于所述模拟低清图像，通过预设的超分辨模型生成模拟高清图像；
对所述模拟高清图像进行低通滤波和高通滤波，分别获取低通滤波后的模拟高清图像和高通滤波后的模拟高清图像；
对所述高清真实图像进行低通滤波和高通滤波，分别获取低通滤波后的高清真实图像和高通滤波后的高清真实图像；
根据低通滤波后的模拟低清图像和低通滤波后的模拟高清图像生成颜色损失；以及通过判别模型对高通滤波后的模拟高清图像和高通滤波后的高清真实图像进行鉴别，获得生成对抗损失；
基于所述颜色损失和所述生成对抗损失迭代优化所述超分辨模型，直至完成所述超分辨模型的训练。
10.一种图像处理系统，其特征在于，包括有：客户端和服务端，所述服务端内设有如权利要求1至6中任一所述的超分辨模型；
所述客户端用于获取图像质量待提升的真实图像，并将获取的真实图像通过网络传输至所述服务端；
所述服务端接收真实图像并进行解码，将解码后的真实图像通过前处理输入至所述超分辨模型中进行图像质量提升；并将进行图像质量提升后的图像通过网络传输至所述客户端。
11.一种图像处理设备，其特征在于，包括：
获取图像拍摄设备拍摄的真实图像；
按照图像质量对所述真实图像进行分组，分为高清图像组和低清图像组；其中，高清图像组中真实图像的图像质量高于低清图像组；
将所述高清图像组中的高清真实图像输入至预先训练好的退化模型中，获取与高清真实图像成对的内容相同且图像质量相对下降的模拟低清图像；
根据成对的模拟低清图像和高清真实图像训练超分辨算法，生成超分辨模型；通过所述超分辨模型提升待处理的真实图像的图像质量。
12.一种设备，其特征在于，包括：
一个或多个处理器；和
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-6中任意一项所述的方法。
13.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-6中任意一项所述的方法。
CN202011080519.7A 2020-10-10 2020-10-10 一种图像处理方法、系统、设备及介质 Active CN112200721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011080519.7A CN112200721B (zh) 2020-10-10 2020-10-10 一种图像处理方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011080519.7A CN112200721B (zh) 2020-10-10 2020-10-10 一种图像处理方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN112200721A true CN112200721A (zh) 2021-01-08
CN112200721B CN112200721B (zh) 2021-11-09

Family

ID=74013368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011080519.7A Active CN112200721B (zh) 2020-10-10 2020-10-10 一种图像处理方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112200721B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584675A (zh) * 2022-05-06 2022-06-03 中国科学院深圳先进技术研究院 一种自适应视频增强方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871902A (zh) * 2019-03-08 2019-06-11 哈尔滨工程大学 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN110807740A (zh) * 2019-09-17 2020-02-18 北京大学 一种面向监控场景车窗图像的图像增强方法与系统
CN111062886A (zh) * 2019-12-10 2020-04-24 携程计算机技术（上海）有限公司 酒店图片的超分辨方法、系统、电子产品和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871902A (zh) * 2019-03-08 2019-06-11 哈尔滨工程大学 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN110807740A (zh) * 2019-09-17 2020-02-18 北京大学 一种面向监控场景车窗图像的图像增强方法与系统
CN111062886A (zh) * 2019-12-10 2020-04-24 携程计算机技术（上海）有限公司 酒店图片的超分辨方法、系统、电子产品和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114584675A (zh) * 2022-05-06 2022-06-03 中国科学院深圳先进技术研究院 一种自适应视频增强方法和装置

Also Published As

Publication number Publication date
CN112200721B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
Do et al. Forensics face detection from GANs using convolutional neural network
Gallagher et al. Image authentication by detecting traces of demosaicing
Swaminathan et al. Digital image forensics via intrinsic fingerprints
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
US10521700B2 (en) Methods and systems for converting a line drawing to a rendered image
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN112348747A (zh) 图像增强方法、装置及存储介质
CN111444826A (zh) 视频检测方法、装置、存储介质及计算机设备
Anjum et al. Recapture detection technique based on edge-types by analysing high-frequency components in digital images acquired through LCD screens
Kim et al. Exposing fake faces through deep neural networks combining content and trace feature extractors
CN114529490B (zh) 一种数据处理方法、装置、设备以及可读存储介质
Murugan et al. Security system using raspberry Pi
KR20210092138A (ko) 심층 신경망을 이용한 다중 프레임 이미지 및 비디오 처리를 위한 다중 프레임 상황별 어텐션을 위한 시스템 및 방법
CN111429374A (zh) 图像中摩尔纹的消除方法及装置
CN112200721B (zh) 一种图像处理方法、系统、设备及介质
CN111724310A (zh) 图像修复模型的训练方法、图像修复方法及装置
Kong et al. Digital and physical face attacks: Reviewing and one step further
CN113033677A (zh) 视频分类方法、装置、电子设备和存储介质
Rao et al. An Efficient Contourlet-Transform-Based Algorithm for Video Enhancement.
Ng et al. Classifying photographic and photorealistic computer graphic images using natural image statistics
CN114332976A (zh) 虚拟对象处理方法、电子设备及存储介质
Wu et al. Toward blind joint demosaicing and denoising of raw color filter array data
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An image processing method, system, device, and medium

Effective date of registration: 20230918

Granted publication date: 20211109

Pledgee: Bank of China Co.,Ltd. Nansha Branch of Guangdong Free Trade Pilot Area

Pledgor: GUANGZHOU CLOUDWALK ARTIFICIAL INTELLIGENCE TECHNOLOGY Co.,Ltd.

Registration number: Y2023980057268

PE01 Entry into force of the registration of the contract for pledge of patent right