CN113658076B - 基于特征纠缠调制的图像复原方法、装置、设备和介质 - Google Patents

基于特征纠缠调制的图像复原方法、装置、设备和介质 Download PDF

Info

Publication number
CN113658076B
CN113658076B CN202110946355.XA CN202110946355A CN113658076B CN 113658076 B CN113658076 B CN 113658076B CN 202110946355 A CN202110946355 A CN 202110946355A CN 113658076 B CN113658076 B CN 113658076B
Authority
CN
China
Prior art keywords
image
feature
characteristic
modulation
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110946355.XA
Other languages
English (en)
Other versions
CN113658076A (zh
Inventor
温峻峰
张浪文
李鑫
杜海江
江志伟
谢巍
杨晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Tianwang Guangdong Technology Co ltd
Original Assignee
Zhongke Tianwang Guangdong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Tianwang Guangdong Technology Co ltd filed Critical Zhongke Tianwang Guangdong Technology Co ltd
Priority to CN202110946355.XA priority Critical patent/CN113658076B/zh
Publication of CN113658076A publication Critical patent/CN113658076A/zh
Application granted granted Critical
Publication of CN113658076B publication Critical patent/CN113658076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于特征纠缠调制的图像复原方法、装置、设备和存储介质，所述方法包括：获取训练数据集；训练数据集中的图像对包括退化图像和高质量图像；利用网络模型中的特征纠缠调制子网络对退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；利用网络模型中的重构子网络对退化特征和图像调制特征进行图像重构，获得复原图像；根据复原图像和退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；将待测的图像输入训练好的网络模型，生成具有清晰细节的复原图像。本发明获得了具有清晰且准确的复原图像细节，为后续图像处理和应用打下坚实基础。

Description

基于特征纠缠调制的图像复原方法、装置、设备和介质
技术领域
本发明涉及深度学习应用技术领域，具体涉及一种基于特征纠缠调制的图像复原方法、装置、设备和存储介质。
背景技术
视频监控已广泛应用于社会治安防控体系建设中，并成为公安机关侦查破案的有力技术手段。但是，由于物体与摄像机之间存在相对运动，监控视频中的画面往往出现模糊、噪声和失真等退化情况，而具有退化情况的图像往往会掩盖图像中关键的信息点，例如车牌信息、人脸信息、证件文字信息等，因此需要对图像的相关退化特性进行去除。
目前针对退化图像的复原方法主要有两种，一种是根据图像退化数学模型，利用设计的图像先验知识或者正则化约束，例如图像暗通道先验、稀疏先验等，再结合凸优化的方法，求解清晰图像；另一种是通过数据驱动的方法，构建清晰图像与模糊图像的映射关系和网络模型，进而可以对测试的模糊图像进行恢复。基于退化模型的方法，往往只能针对单一的退化因素，难以同时对多种退化因素进行处理。
对于具有多种退化因素的图像复原问题，其关键的问题是如何设计相应合理的深度学习网络框架，利用高性能的计算机处理能力对网络进行训练，进而可以生成高质量的图像，进而有效地获得丰富和准确的图像细节，为后续图像的使用提供关键线索。
发明内容
为了解决上述现有技术的不足，本发明提供了一种基于特征纠缠调制的图像复原方法、装置、设备和存储介质，该方法构建的网络模型包括特征纠缠调制子网络和重构子网络，特征纠缠调制子网络通过特征纠缠与调制机制，使退化特征指导图像调制特征的生成，同时图像调制特征也进一步完善退化特征的语义信息，进而提取更为准确的图像调制特征以及退化特征；重构子网络对退化特征和图像特征进行图像重构，获得复原图像。本发明可以同时对多种退化因素的图像进行处理，并获得具有清晰细节的复原图像。
本发明的第一个目的在于提供一种基于特征纠缠调制的图像复原方法。
本发明的第二个目的在于提供一种基于特征纠缠调制的图像复原装置。
本发明的第三个目的在于提供一种基于特征纠缠调制的图像复原设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种基于特征纠缠调制的图像复原方法，所述方法包括：
获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；
利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；
利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；
根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；
将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像。
进一步的，所述特征纠缠调制子网络包括退化特征提取器和图像特征调制器；
所述利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征，具体包括：
利用所述退化特征提取器对所述退化图像进行特征提取，得到退化特征；
利用所述图像特征调制器对所述退化图像进行特征调制，得到图像调制特征。
进一步的，所述退化特征提取器包括n个退化特征残差模块；其中，n为设定阈值；
所述利用所述退化特征提取器对所述退化图像进行特征提取，得到退化特征，具体包括：
当i为1时，利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征；其中，所述第一输入图像为所述退化图像；
当i为大于1且小于等于n的正整数时，利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征；其中，所述第一输入图像为第i-1个退化特征；
所述图像特征调制器包括n个图像特征残差模块；
所述利用所述图像特征调制器对所述退化图像进行特征调制，得到图像调制特征，具体包括：
当i为1时，利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征；其中，所述第二输入图像为所述退化图像；
当i为大于1且小于等于n的正整数时，利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征；其中，所述第二输入图像为第i-1个图像调制特征。
进一步的，每个所述退化特征残差模块包括第一卷积层、第二卷积层以及第一特征叠加操作层和第二特征叠加操作层；
所述第一输入图像为
Figure GDA0003697701370000031
所述第i个退化特征为
Figure GDA0003697701370000032
所述第二输入图像为为
Figure GDA0003697701370000033
所述第i个图像调制特征为
Figure GDA0003697701370000034
所述利用第i个所述退化特征残差模块对第一输入图像进行特征提取，得到第i个退化特征，具体包括：
根据下式，利用第i个所述退化特征残差模块对第一输入图像
Figure GDA0003697701370000035
进行特征提取，得到第i个退化特征为
Figure GDA0003697701370000036
Figure GDA0003697701370000037
其中，
Figure GDA0003697701370000038
分别为第i个退化特征残差模块的第一卷积层以及第二卷积层，
Figure GDA0003697701370000039
分别为第i个退化特征残差模块的第一特征叠加操作层和第二特征叠加操作层，
Figure GDA00036977013700000310
分别为第i个退化特征残差模块的第一卷积层、第二卷积层、第一特征叠加操作层以及第二特征叠加操作层的输出；
所述特征纠缠调制子网络包括n个特征纠缠模块；
每个所述特征纠缠模块包括第一特征级联操作层和第二特征级联操作层；
每个所述图像特征残差模块包括第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层；
所述利用第i个所述图像特征残差模块对第二输入图像进行特征调制，得到第i个图像调制特征，具体包括：
根据下式，利用第i个所述图像特征残差模块对第二输入图像
Figure GDA00036977013700000311
进行特征调制，得到第i个图像调制特征为
Figure GDA00036977013700000312
Figure GDA0003697701370000041
其中，
Figure GDA0003697701370000042
分别为第i个图像特征残差模块的第一卷积层、第二卷积层以及第三卷积层，
Figure GDA0003697701370000043
表示第i个图像特征残差模块的第一特征叠加操作层，Cat1(),Cat2()分别为第i个特征纠缠模块的第一特征级联操作层以及第二特征级联操作层，
Figure GDA0003697701370000044
分别为第i个图像特征残差模块的第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层的输出。
进一步的，所述重构子网络包括特征级联操作层和多个卷积层；
所述利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像，具体为：
利用重构子网络的特征级联操作层对所述退化特征和所述图像调制特征进行级联后，再利用多个卷积层进行特征学习，获得复原图像。
进一步的，所述根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型，具体包括：
设置损失函数如下所示：
Figure GDA0003697701370000045
其中，Y0为所述复原图像，H与W分别为所述复原图像Y0的高度和宽度；I为所述退化图像对应的训练数据集中的高质量图像，
Figure GDA0003697701370000046
为图像的梯度操作，λI为惩罚项权重，||·||1和||·||2分别为L1范数度量形式和L2范数度量形式；
优化所述损失函数，实现网络模型的收敛。
进一步的，所述获取训练数据集，具体包括：
获取高清高质量的图像数据集；
利用退化模拟算法，分别为所述图像数据集中的每一张高质量图像，添加退化因素，得到退化图像；其中，所述退化因素包括模糊效果、压缩失真效果以及随机噪声；
将所述退化图像与对应的所述高质量图像作为训练数据集的图像对，用于模型训练。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于特征纠缠调制的图像复原装置，所述装置包括：
图像获取模块，用于获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；
特征纠缠调制模块，用于利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；
图像重构模块，用于利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；
优化模块，用于根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；
图像重建模块，用于将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像。
本发明的第三个目的可以通过采取如下技术方案达到：
一种基于特征纠缠调制的图像复原设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的图像复原方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的图像复原方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明将深度学习网络技术应用到退化图像，可以快速且准确地生成具有清晰细节的复原图像。
2、本发明通过特征纠缠调制子网络利用特征纠缠与调制机制，使退化特征与图像调制特征之间相互完善：退化特征不断指导图像调制特征的生成，同时图像调制特征也进一步完善退化特征的语义信息，进而提取更为准确的图像调制特征以及退化特征。
3、本发明构建的网络模型，可以同时对多种退化因素的图像进行处理，并获得了具有清晰且准确的复原图像细节，为后续图像处理和应用打下坚实基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于特征纠缠调制的图像复原方法的流程图。
图2为本发明实施例1的获取训练数据集的流程图。
图3为本发明实施例1的网络模型的结构示意图。
图4为本发明实施例1的特征纠缠调制子网络的结构示意图。
图5为本发明实施例1的特征纠缠调制子网络的特征纠缠调制机制的结构示例图。
图6为本发明实施例1的重构子网络的结构示意图。
图7为本发明实施例2的基于特征纠缠调制的图像复原装置的结构框图。
图8为本发明实施例3的基于特征纠缠调制的图像复原设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例1：
本实施例基于TensorFlow框架和Pycharm的开发环境。TensorFlow框架是基于python语言的开发架构，能够方便快捷地搭建合理的深度学习网络模型，并具有很好的跨平台交互能力，同时能够使用GPU对模型进行训练和验证，提高了计算的效率。TensorFlow提供了深度学习架构中的众多封装函数和各类图像处理函数的接口，包括OpenCV相关的图像处理函数。
在Windows平台或者Linux平台下的Pycharm开发环境(IDE)，是目前深度学习网络设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具，同时能够为客户提供直接调用远程服务器的接口。
如图1所示，本实施例提供一种基于特征纠缠调制的图像复原方法，主要包括以下步骤：
S101、获取训练数据集。
如图2所示，获取训练数据集，具体包括以下步骤：
(1)获取高清高质量的图像数据集；
(2)利用退化模拟算法，分别为图像数据集中的每一张高质量图像Ih，添加模糊效果、压缩失真效果以及随机噪声这三种退化因素，得到退化图像；
退化模拟算法的计算公式如下：
Figure GDA0003697701370000071
其中，Y为退化图像，Ih为图像数据集中的高质量图像，K和N分别为随机模糊核和随机噪声，
Figure GDA0003697701370000072
为卷积操作，Com()为压缩失真操作；
(3)将退化图像Y与对应的高质量图像Ih作为训练数据集的图像对，用于模型训练。
S102、利用网络模型中的特征纠缠调制子网络对退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征。
如图3所示，网络模型包括特征纠缠调制子网络和重构子网络。
如图4所示，特征纠缠调制子网络包括退化特征提取器、特征纠缠模块和图像特征调制器，退化特征提取器包括n个退化特征残差模块，图像特征调制器包括n个图像特征残差模块，特征纠缠调制子网络中的特征纠缠模块为n个；其中，n为设定阈值。
本实施例中，n为32。
每个退化特征残差模块，包括两个卷积层以及两个特征叠加操作层，所有卷积层的卷积核大小为3×3，步长为1。
每个特征纠缠模块，包括两个特征级联操作层。
每个图像特征残差模块包括三个卷积层和一个特征叠加操作层，卷积层的卷积核大小为3×3，步长为1。
如图5所示，以第i个退化特征残差模块、第i个特征纠缠模块以及第i个图像特征残差模块为示例，说明特征纠缠调制子网络的特征纠缠调制机制，其他的模块结构与本示例对应的模块结构相同。
输入特征纠缠调制子网络G的退化图像为Y，其训练数据集中对应的高质量图像为Ih，获得的退化特征为FD以及图像调制特征为FI。
其中，第i个退化特征残差模块的输入来自第i-1个退化特征模块的输出，第i个图像特征残差模块的输入来自第i-1个图像特征模块输出，并且第i个退化特征残差模块与第i个图像特征残差模块分别与第i个特纠缠模块进行交互，实现特征纠缠调制。具体步骤如下：
(1)第i-1个退化特征残差模块的输出作为第i个退化特征残差模块的输入，表示为
Figure GDA0003697701370000081
第i-1个图像特征残差模块的输出作为第i个图像特征残差模块的输入，表示为
Figure GDA0003697701370000082
(2)每个退化特征残差模块包括2个卷积层以及两个特征叠加操作层，每个特征纠缠模块包括两个特征级联操作层，每个图像特征残差模块包括三个卷积层以及一个特征叠加操作层。第i个退化特征残差模块的输出
Figure GDA0003697701370000083
和第i个图像特征残差模块的输出
Figure GDA0003697701370000084
由下式得到：
Figure GDA0003697701370000085
其中，
Figure GDA0003697701370000086
分别为第i个退化特征残差模块的第一卷积层以及第二卷积层，
Figure GDA0003697701370000087
分别为第i个退化特征残差模块的第一特征叠加操作层和第二特征叠加操作层，
Figure GDA0003697701370000088
分别为第i个退化特征残差模块的第一卷积层、第二卷积层、第一特征叠加操作层以及第二特征叠加操作层的输出；
Figure GDA0003697701370000089
分别为第i个图像特征残差模块的第一卷积层、第二卷积层以及第三卷积层，
Figure GDA00036977013700000810
表示第i个图像特征残差模块的第一特征叠加操作层，Cat1(),Cat2()分别为第i个特征纠缠模块的第一特征级联操作层以及第二特征级联操作层，
Figure GDA00036977013700000811
分别为第i个图像特征残差模块的第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层的输出。
一组特征纠缠调制模块包括一个退化特征残差模块、一个图像特征残差模块和一个特征纠缠模块，在经过32组特征纠缠调制模块后，获得退化特征FD以及图像调制特征FI。通过上述的特征纠缠与调制机制，能够使退化特征不断指导图像调制特征的生成，同时图像调制特征也能够进一步完善退化特征的语义信息，进而提取更为准确的图像调制特征以及退化特征。
S103、利用网络模型中的重构子网络对退化特征和图像调制特征进行图像重构，获得复原图像。
如图6所示，重构子网络包括五个卷积层和一个特征级联操作层，卷积层的卷积核大小均为5×5，步长为1，最后生成通道数为3的复原图像。
在重构子网络中，其输入的图像为退化特征FD和图像调制特征FI，通过将退化特征FD以及图像调制特征FI进行级联后，再先后进入五个卷积层进行特征学习，最后获得复原图像Y0。
S104、根据复原图像和退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型。
网络模型的训练是在高性能的GPU上进行的，具体的训练参数如下：
使用Adam优化器，其参数设置为0.9/0.999；epoch设置为500，学习率初始值设置为0.001；当所部署的GPU内存一定时，无论训练图像的数据集样本多少，batch应尽可能设置为比较大(但不能超过部署GPU内存，否则无法成果训练)。
利用训练数据集对网络模型进行训练，具体包括：
(1)设置损失函数如下所示：
Figure GDA0003697701370000091
其中，Y0为复原图像，H与W分别为复原图像Y0的高度和宽度；I为训练数据集中退化图像对应的高质量图像，
Figure GDA0003697701370000092
为图像的梯度操作，λI为惩罚项权重。||||1和||||2分别表示L1范数度量，以及L2范数度量。
(2)通过优化上述损失函数，从而实现网络模型的收敛。
具体包括：
通过计算上述损失函数的结果，采用随机梯度下降法进行后向传播计算，对网络模型参数进行优化更新；
为了使到网络模型在训练过程中尽可能达到最优值，避免其达到次优值，随着epoch增加，利用余弦退火策略将学习率不断调整减小；当网络模型的epoch已达到预设的epoch值时，则网络模型实现收敛，从而得到训练好的网络模型。
其中，网络模型的参数包括构成网络的各个卷积层、激化函数、正则化项等相关的参数，这些参数在网络训练过程中，不断优化迭代。
S105、将待测的图像输入训练好的网络模型，生成具有清晰细节的复原图像。
将待测的图像输入训练好的网络模型，生成具有较多细节的超分辨率图像，具体包括：
(1)根据实际需求，获取实际图像中的退化图像；
本实施例中，直接从图像数据库中获取退化图像或获取监控视频中的退化图像。
(2)将退化图像输入训练好的网络模型，生成具有清晰细节的复原图像。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图7所示，本实施例提供了一种文本图像识别装置，该装置包括图像获取模块701、特征纠缠调制模块702、图像重构模块703、优化模块704和图像重建模块705，其中
图像获取模块701，用于获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；
特征纠缠调制模块702，用于利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；
图像重构模块703，用于利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；
优化模块704，用于根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；
图像重建模块705，用于将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像。
本实施例1的各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种基于特征纠缠调制的图像复原设备，该图像复原设备可以为计算机，如图8所示，其通过系统总线801连接的处理器802、存储器、输入装置803、显示器804和网络接口805，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质806和内存储器807，该非易失性存储介质806存储有操作系统、计算机程序和数据库，该内存储器807为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器802执行存储器存储的计算机程序时，实现上述实施例1的图像复原方法，如下：
获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；
利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；
利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；
根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；
将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的图像复原方法，如下：
获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；
利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；
利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；
根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；
将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明针对同时存在多种退化因素的图像进行处理，构建的网络模型包括特征纠缠调制子网络和重构子网络，特征纠缠调制子网络包括退化特征提取器、特征纠缠模块和图像特征调制器，通过退化特征提取器、特征纠缠模块和图像特征调制器的相互结合，实现特征纠缠调制机制，使退化特征与图像调制特征之间相互完善：退化特征指导图像调制特征的生成，同时图像调制特征也进一步完善退化特征的语义信息，进而提取更为准确的图像调制特征以及退化特征，为后续图像重构提供更多有效信息，从而生成具有清晰细节的复原图像，并为后续图像处理和应用打下坚实基础。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (8)

1.一种基于特征纠缠调制的图像复原方法，其特征在于，所述方法包括：
获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；
利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；所述特征纠缠调制子网络包括退化特征提取器、n个特征纠缠模块和图像特征调制器，所述退化特征提取器包括n个退化特征残差模块，所述图像特征调制器包括n个图像特征残差模块，利用第i个退化特征残差模块与第i个图像特征残差模块分别与第i个特纠缠模块进行交互，实现特征纠缠调制；其中，i＝1…n，n为设定的正整数；
利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；
根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；
将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像；
其中，所述利用第i个退化特征残差模块与第i个图像特征残差模块分别与第i个特纠缠模块进行交互，实现特征纠缠调制，包括：
设所述退化图像为第一输入图像
Figure FDA0003697701360000011
每个退化特征残差模块包括第一卷积层、第二卷积层以及第一特征叠加操作层和第二特征叠加操作层；
当i为1时，利用第i个退化特征残差模块对所述第一输入图像
Figure FDA0003697701360000012
进行特征提取，得到第i个退化特征为
Figure FDA0003697701360000013
Figure FDA0003697701360000014
其中，
Figure FDA0003697701360000015
分别为第i个退化特征残差模块的第一卷积层以及第二卷积层，
Figure FDA0003697701360000016
分别为第i个退化特征残差模块的第一特征叠加操作层和第二特征叠加操作层，
Figure FDA0003697701360000017
分别为第i个退化特征残差模块的第一卷积层、第二卷积层、第一特征叠加操作层以及第二特征叠加操作层的输出；
当i为大于1且小于或等于n的正整数时，将
Figure FDA0003697701360000021
作为第一输入图像
Figure FDA0003697701360000022
利用第i个退化特征残差模块对所述第一输入图像
Figure FDA0003697701360000023
进行特征提取，得到第i个退化特征为
Figure FDA0003697701360000024
设所述退化图像为第二输入图像
Figure FDA0003697701360000025
每个图像特征残差模块包括第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层；
每个特征纠缠模块包括第一特征级联操作层和第二特征级联操作层；
当i为1时，利用第i个所述图像特征残差模块对所述第二输入图像
Figure FDA0003697701360000026
进行特征调制，得到第i个图像调制特征为
Figure FDA0003697701360000027
Figure FDA0003697701360000028
其中，
Figure FDA0003697701360000029
分别为第i个图像特征残差模块的第一卷积层、第二卷积层以及第三卷积层，
Figure FDA00036977013600000210
表示第i个图像特征残差模块的第一特征叠加操作层，Cat1(),Cat2()分别为第i个特征纠缠模块的第一特征级联操作层以及第二特征级联操作层，
Figure FDA00036977013600000211
分别为第i个图像特征残差模块的第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层的输出；
当i为大于1且小于或等于n的正整数时，将
Figure FDA00036977013600000212
作为第二输入图像
Figure FDA00036977013600000213
利用第i个所述图像特征残差模块对所述第二输入图像
Figure FDA00036977013600000214
进行特征调制，得到第i个图像调制特征为
Figure FDA00036977013600000215
2.根据权利要求1所述的图像复原方法，其特征在于，利用所述退化特征提取器对所述退化图像进行特征提取，得到退化特征，所述退化特征为第n个退化特征作；
利用所述图像特征调制器对所述退化图像进行特征调制，得到图像调制特征，所述图像调制特征为第n个图像调制特征。
3.根据权利要求1所述的图像复原方法，其特征在于，所述重构子网络包括特征级联操作层和多个卷积层；
所述利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像，具体为：
利用重构子网络的特征级联操作层对所述退化特征和所述图像调制特征进行级联后，再利用多个卷积层进行特征学习，获得复原图像。
4.根据权利要求1所述的图像复原方法，其特征在于，所述根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型，具体包括：
设置损失函数如下所示：
Figure FDA0003697701360000031
其中，Y0为所述复原图像，H与W分别为所述复原图像Y0的高度和宽度；I为所述退化图像对应的训练数据集中的高质量图像，
Figure FDA0003697701360000032
为图像的梯度操作，λI为惩罚项权重，||·||1和||·||2分别为L1范数度量形式和L2范数度量形式；
优化所述损失函数，实现网络模型的收敛。
5.根据权利要求1-4任一项所述的图像复原方法，其特征在于，所述获取训练数据集，具体包括：
获取高清高质量的图像数据集；
利用退化模拟算法，分别为所述图像数据集中的每一张高质量图像，添加退化因素，得到退化图像；其中，所述退化因素包括模糊效果、压缩失真效果以及随机噪声；
将所述退化图像与对应的所述高质量图像作为训练数据集的图像对，用于模型训练。
6.一种基于特征纠缠调制的图像复原装置，其特征在于，所述装置包括：
图像获取模块，用于获取训练数据集；所述训练数据集中的图像对包括退化图像和高质量图像；
特征纠缠调制模块，用于利用网络模型中的特征纠缠调制子网络对所述退化图像分别进行特征提取和特征调制，得到退化特征和图像调制特征；所述特征纠缠调制子网络包括退化特征提取器、n个特征纠缠模块和图像特征调制器，所述退化特征提取器包括n个退化特征残差模块，所述图像特征调制器包括n个图像特征残差模块，利用第i个退化特征残差模块与第i个图像特征残差模块分别与第i个特纠缠模块进行交互，实现特征纠缠调制；其中，i＝1…n，n为设定的正整数；
图像重构模块，用于利用网络模型中的重构子网络对所述退化特征和所述图像调制特征进行图像重构，获得复原图像；
优化模块，用于根据所述复原图像和所述退化图像对应的训练数据集中的高质量图像，优化网络模型的损失函数，实现网络模型的收敛，从而得到训练好的网络模型；
图像重建模块，用于将待测的图像输入所述训练好的网络模型，生成具有清晰细节的复原图像；
其中，所述利用第i个退化特征残差模块与第i个图像特征残差模块分别与第i个特纠缠模块进行交互，实现特征纠缠调制，包括：
设所述退化图像为第一输入图像
Figure FDA0003697701360000041
每个退化特征残差模块包括第一卷积层、第二卷积层以及第一特征叠加操作层和第二特征叠加操作层；
当i为1时，利用第i个退化特征残差模块对所述第一输入图像
Figure FDA0003697701360000042
进行特征提取，得到第i个退化特征为
Figure FDA0003697701360000043
Figure FDA0003697701360000044
其中，
Figure FDA0003697701360000045
分别为第i个退化特征残差模块的第一卷积层以及第二卷积层，
Figure FDA0003697701360000046
分别为第i个退化特征残差模块的第一特征叠加操作层和第二特征叠加操作层，
Figure FDA0003697701360000047
分别为第i个退化特征残差模块的第一卷积层、第二卷积层、第一特征叠加操作层以及第二特征叠加操作层的输出；
当i为大于1且小于或等于n的正整数时，将
Figure FDA0003697701360000048
作为第一输入图像
Figure FDA0003697701360000049
利用第i个退化特征残差模块对所述第一输入图像
Figure FDA00036977013600000414
进行特征提取，得到第i个退化特征为
Figure FDA00036977013600000410
设所述退化图像为第二输入图像
Figure FDA00036977013600000411
每个图像特征残差模块包括第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层；
每个特征纠缠模块包括第一特征级联操作层和第二特征级联操作层；
当i为1时，利用第i个所述图像特征残差模块对所述第二输入图像
Figure FDA00036977013600000412
进行特征调制，得到第i个图像调制特征为
Figure FDA00036977013600000413
Figure FDA0003697701360000051
其中，
Figure FDA0003697701360000052
分别为第i个图像特征残差模块的第一卷积层、第二卷积层以及第三卷积层，
Figure FDA0003697701360000053
表示第i个图像特征残差模块的第一特征叠加操作层，Cat1(),Cat2()分别为第i个特征纠缠模块的第一特征级联操作层以及第二特征级联操作层，
Figure FDA0003697701360000054
分别为第i个图像特征残差模块的第一卷积层、第二卷积层、第三卷积层以及第一特征叠加操作层的输出；
当i为大于1且小于或等于n的正整数时，将
Figure FDA0003697701360000055
作为第二输入图像
Figure FDA0003697701360000056
利用第i个所述图像特征残差模块对所述第二输入图像
Figure FDA0003697701360000057
进行特征调制，得到第i个图像调制特征为
Figure FDA0003697701360000058
7.一种基于特征纠缠调制的图像复原设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-5任一项所述的图像复原方法。
8.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-5任一项所述的图像复原方法。
CN202110946355.XA 2021-08-18 2021-08-18 基于特征纠缠调制的图像复原方法、装置、设备和介质 Active CN113658076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110946355.XA CN113658076B (zh) 2021-08-18 2021-08-18 基于特征纠缠调制的图像复原方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110946355.XA CN113658076B (zh) 2021-08-18 2021-08-18 基于特征纠缠调制的图像复原方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113658076A CN113658076A (zh) 2021-11-16
CN113658076B true CN113658076B (zh) 2022-08-02

Family

ID=78492188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110946355.XA Active CN113658076B (zh) 2021-08-18 2021-08-18 基于特征纠缠调制的图像复原方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113658076B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163215B (zh) * 2018-06-08 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
CN110782399B (zh) * 2019-08-22 2023-05-12 天津大学 一种基于多任务cnn的图像去模糊方法
CN112419219A (zh) * 2020-11-25 2021-02-26 广州虎牙科技有限公司 图像增强模型训练方法、图像增强方法以及相关装置
CN112734649A (zh) * 2021-01-06 2021-04-30 暨南大学 一种基于轻量级神经网络的图像退化方法及退化系统
CN112801912B (zh) * 2021-02-09 2023-10-31 华南理工大学 一种人脸图像复原方法、系统、装置及存储介质

Also Published As

Publication number Publication date
CN113658076A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
Chen et al. Simple baselines for image restoration
CN111105352B (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN110782395B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
JP2019535091A (ja) 畳み込みニューラルネットワークを使用したシーケンスの処理
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN109949221B (zh) 一种图像处理方法及电子设备
US11144782B2 (en) Generating video frames using neural networks
CN114936979B (zh) 一种模型训练方法、图像去噪方法、装置、设备及存储介质
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
CN113538281A (zh) 图像去噪方法、装置、计算机设备和存储介质
CN111738435A (zh) 一种基于移动设备的在线稀疏训练方法及系统
CN115082306A (zh) 一种基于蓝图可分离残差网络的图像超分辨率方法
CN106981046A (zh) 基于多层梯度约束回归的单幅图像超分辨率重建方法
Wu et al. Multiple-operation image anti-forensics with WGAN-GP framework
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN113674172A (zh) 一种图像处理方法、系统、装置及存储介质
CN113192201A (zh) 点云数据的数据拟合方法、装置及介质
CN113658076B (zh) 基于特征纠缠调制的图像复原方法、装置、设备和介质
CN115345279B (zh) 多指标异常检测方法、装置、电子设备及存储介质
CN113658046B (zh) 基于特征分离的超分辨率图像生成方法、装置、设备和介质
Lai et al. Generative focused feedback residual networks for image steganalysis and hidden information reconstruction
CN111640061A (zh) 一种自适应图像超分辨率系统
CN117011130A (zh) 图像超分辨率的方法、装置、设备、介质及程序产品
US11928855B2 (en) Method, device, and computer program product for video processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant