CN112419216A - 图像去干扰方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像去干扰方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112419216A
CN112419216A CN202011298217.7A CN202011298217A CN112419216A CN 112419216 A CN112419216 A CN 112419216A CN 202011298217 A CN202011298217 A CN 202011298217A CN 112419216 A CN112419216 A CN 112419216A
Authority
CN
China
Prior art keywords
image
interference
sample
features
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011298217.7A
Other languages
English (en)
Inventor
彭健腾
康斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011298217.7A priority Critical patent/CN112419216A/zh
Publication of CN112419216A publication Critical patent/CN112419216A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像去干扰方法、装置、电子设备及计算机可读存储介质；方法包括：对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像；通过图像去干扰模型的第一特征提取层，对待处理图像进行特征提取，得到待处理图像的图像特征；通过图像去干扰模型的第二特征提取层，分别对各目标图像进行干扰特征提取，得到相应的干扰特征；通过图像去干扰模型的特征融合层，对各目标图像的干扰特征进行融合处理，得到融合干扰特征；通过图像去干扰模型的输出层，基于融合干扰特征及图像特征，对待处理图像进行去干扰处理，得到相应的去干扰图像。通过本申请，能够准确去除图像中的干扰信息。

Description

图像去干扰方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术，尤其涉及一种图像去干扰方法、装置、电子设备及计算机可读存储介质。
背景技术
图像在数字化传输过程中，容易因为成像设备或外界环境等的干扰而产生干扰信息，例如图像噪声以及图像锯齿等，为了得到画质更好的图像，通常需要对图像进行去干扰处理。
相关技术中所采用的图像去干扰处理方式为，直接将需要去干扰的图像输入至一个已训练好的机器学习模型中，使机器学习模型对该图像进行去干扰处理。然而这种方式，机器学习模型能够获得的图像信息十分有限，从而使得基于有限的图像信息进行去干扰处理时去除的干扰信息不够准确。
发明内容
本申请实施例提供一种图像去干扰方法、装置、电子设备及计算机可读存储介质，能够准确去除图像中的干扰信息。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像去干扰方法，包括：
对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像；
通过图像去干扰模型的第一特征提取层，对所述待处理图像进行特征提取，得到所述待处理图像的图像特征；
通过所述图像去干扰模型的第二特征提取层，分别对各所述目标图像进行干扰特征提取，得到相应的干扰特征；
通过所述图像去干扰模型的特征融合层，对各所述目标图像的干扰特征进行融合处理，得到融合干扰特征；
通过所述图像去干扰模型的输出层，基于所述融合干扰特征及所述图像特征，对所述待处理图像进行去干扰处理，得到相应的去干扰图像。
本申请实施例提供一种图像去干扰装置，包括：
图像分解模块，用于对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像；
图像特征提取模块，用于通过图像去干扰模型的第一特征提取层，对所述待处理图像进行特征提取，得到所述待处理图像的图像特征；
干扰特征提取模块，用于通过所述图像去干扰模型的第二特征提取层，分别对各所述目标图像进行干扰特征提取，得到相应的干扰特征；
特征融合模块，用于通过所述图像去干扰模型的特征融合层，对各所述目标图像的干扰特征进行融合处理，得到融合干扰特征；
去干扰模块，用于通过所述图像去干扰模型的输出层，基于所述融合干扰特征及所述图像特征，对所述待处理图像进行去干扰处理，得到相应的去干扰图像。
上述方案中，所述图像分解模块，还用于对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；将所述高斯金字塔中每层的图像作为所述目标图像。
上述方案中，所述图像分解模块，还用于对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；基于所述对应所述待处理图像的高斯金字塔，构建对应所述待处理图像的拉普拉斯金字塔；分别将所述高斯金字塔中各层的图像与所述拉普拉斯金字塔中相应层级的图像进行组合，得到至少两个图像组合；将所述至少两个图像组合作为所述目标图像。
上述方案中，所述图像分解模块，还用于对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；基于所述对应所述待处理图像的高斯金字塔，构建对应所述待处理图像的拉普拉斯金字塔；分别对所述高斯金字塔中各层的图像进行下采样处理，得到相应的下采样图像；分别将所述高斯金字塔中各层的图像、所述拉普拉斯金字塔中相应层级的图像、以及与所述拉普拉斯金字塔中相应层级的图像的尺寸相同的下采样图像进行组合，得到至少两个图像组合；将所述至少两个图像组合作为所述目标图像。
上述方案中，所述第二特征提取层包括N个子特征提取层，所述目标图像的数量为N，所述N为不小于2的正整数；所述干扰特征提取模块，还用于将每个所述目标图像输入一个所述子特征提取层，通过所述子特征提取层对所述目标图像进行干扰特征提取，得到相应的干扰特征。
上述方案中，所述干扰特征包括尺寸特征和通道特征，所述特征融合模块，还用于分别对各所述目标图像的干扰特征进行尺寸变换，得到对应各所述干扰特征的目标干扰特征；其中，各所述目标干扰特征的尺寸特征相同；对各所述目标干扰特征的通道特征进行融合处理，得到融合通道特征；将所述目标干扰特征的尺寸特征与所述融合通道特征进行特征拼接，得到所述融合干扰特征。
上述方案中，当所述目标图像的数量为m时，相应的，所述干扰特征的数量为m，所述特征融合模块，还用于将m个所述干扰特征中第j个干扰特征与第j+1个干扰特征进行融合，得到第j融合干扰特征；其中，m为不小于3的正整数，j为正整数，且j∈[1，m-1]；将所述第j融合干扰特征与第j+2个干扰特征进行融合，得到第j+1融合干扰特征；对j取值为1开始，对j进行遍历，并当所述j+2的值与所述m的值相同时，将所述第j+1融合干扰特征作为所述融合干扰特征。
上述方案中，所述去干扰模块，还用于通过所述图像去干扰模型的输出层，确定所述图像特征与所述融合干扰特征之间的差值特征；通过所述图像去干扰模型的输出层，对所述差值特征进行解码，得到所述去干扰图像。
上述方案中，所述图像去干扰装置还包括：模型训练模块，用于对携带干扰信息的样本干扰图像进行图像分解，得到至少两张样本目标图像；其中，所述样本干扰图像为对样本原始图像添加干扰信息得到；通过所述图像去干扰模型的第一特征提取层，对所述样本干扰图像进行特征提取，得到所述样本干扰图像的样本图像特征；通过所述图像去干扰模型的第二特征提取层，分别对各所述样本目标图像进行干扰特征提取，得到相应的样本干扰特征；通过所述图像去干扰模型的特征融合层，对各所述样本目标图像对应的样本干扰特征进行融合处理，得到样本融合干扰特征；通过所述图像去干扰模型的输出层，基于所述样本融合干扰特征及所述样本图像特征，对所述样本干扰图像进行去干扰处理，得到相应的预测去干扰图像；基于所述预测去干扰图像与所述样本原始图像的差异，更新所述图像去干扰模型的模型参数。
上述方案中，所述样本原始图像对应有至少两张样本干扰图像，各所述样本干扰图像均为对所述样本原始图像添加干扰信息得到，相应的，所述图像分解模块，还用于分别针对各所述样本干扰图像，执行所述对携带干扰信息的样本干扰图像进行图像分解、至所述对所述样本干扰图像进行去干扰处理的操作，得到各所述样本干扰图像对应的预测去干扰图像；相应的，所述模型训练模块，还用于基于各所述预测去干扰图像与所述样本原始图像的差异，更新所述图像去干扰模型的模型参数。
上述方案中，所述干扰信息包括图像锯齿和图像噪声中的至少一种；相应的，所述图像去干扰装置还包括：干扰信息添加模块，用于对所述样本原始图像添加图像锯齿，得到携带图像锯齿的样本锯齿图像，将所述样本锯齿图像作为所述样本干扰图像；或者对所述样本原始图像添加图像噪声，得到携带图像噪声的样本噪声图像，将所述样本噪声图像作为所述样本干扰图像；或者对所述样本原始图像添加图像锯齿和图像噪声，得到同时携带图像锯齿和图像噪声的样本锯齿噪声图像，将所述样本锯齿噪声图像作为所述样本干扰图像。
本申请实施例提供一种图像去干扰模型的训练方法，包括：
对携带干扰信息的样本干扰图像进行图像分解，得到至少两张样本目标图像；其中，所述样本干扰图像为对样本原始图像添加干扰信息得到；
通过图像去干扰模型的第一特征提取层，对所述样本干扰图像进行特征提取，得到所述样本干扰图像的样本图像特征；
通过所述图像去干扰模型的第二特征提取层，分别对各所述样本目标图像进行干扰特征提取，得到相应的样本干扰特征；
通过所述图像去干扰模型的特征融合层，对各所述样本目标图像对应的样本干扰特征进行融合处理，得到样本融合干扰特征；
通过所述图像去干扰模型的输出层，基于所述样本融合干扰特征及所述样本图像特征，对所述样本干扰图像进行去干扰处理，得到相应的预测去干扰图像；
基于所述预测去干扰图像与所述样本原始图像的差异，分别对所述第一特征提取层的参数、所述第二特征提取层的参数、所述特征融合层的参数及所述输出层的参数进行更新。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像去干扰方法或者本申请实施例提供的图像去干扰模型的训练方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的图像去干扰方法或者本申请实施例提供的图像去干扰模型的训练方法。
本申请实施例具有以下有益效果：
本申请实施例通过将待处理图像分解为多张目标图像，可以理解，每一张目标图像中均含有待处理图像的图像信息，随着待处理图像的分解，待处理图像的图像信息也被分解为多种表示，由此，能够通过多张目标图像更加清晰全面地表示待处理图像的图像信息，然后利用图像去干扰模型提取每一张目标图像的干扰特征，并将各干扰特征进行融合，得到的融合干扰特征则对应涵盖有待处理图像中更多且更准确的干扰信息，从而使得能够基于该融合干扰特征准确去除待处理图像中的干扰信息。
附图说明
图1是本申请实施例提供的图像去干扰系统的一个可选的结构示意图；
图2是本申请实施例提供的电子设备的一个可选的结构示意图；
图3是本申请实施例提供的图像去干扰方法的一个可选的流程示意图；
图4是本申请实施例提供的图像去干扰方法的一个可选的流程示意图；
图5是本申请实施例提供的高斯金字塔的一个可选的结构示意图；
图6是本申请实施例提供的下采样处理过程的一个可选的示意图；
图7是本申请实施例提供的图像去干扰方法的一个可选的流程示意图；
图8是本申请实施例提供的高斯金字塔和拉普拉斯金字塔的构建过程的一个可选的示意图；
图9是本申请实施例提供的高斯金字塔和对应的拉普拉斯金字塔的一个可选的结构示意图；
图10是本申请实施例提供的上采样处理过程的一个可选的示意图；
图11是本申请实施例提供的图像组合金字塔的一个可选的示意图；
图12是本申请实施例提供的图像去干扰方法的一个可选的流程示意图；
图13是本申请实施例提供的下采样图像金字塔的一个可选的示意图；
图14是本申请实施例提供的图像组合金字塔的一个可选的示意图；
图15是本申请实施例提供的下采样处理过程的一个可选的示意图；
图16是本申请实施例提供的图像组合金字塔的一个可选的示意图；
图17是本申请实施例提供的图像组合金字塔的一个可选的示意图；
图18为本申请实施例提供的图像去干扰模型的一个可选的结构示意图；
图19为本申请实施例提供的图像去干扰模型的一个可选的结构示意图；
图20是本申请实施例提供的图像去干扰方法的一个可选的流程示意图；
图21是本申请实施例提供的图像特征的一个可选的示意图；
图22是本申请实施例提供的图像去干扰方法的一个可选的流程示意图；
图23是本申请实施例提供的图像去干扰过程的一个可选的示意图；
图24是本申请实施例提供的图像去干扰模型的训练方法的一个可选的流程示意图；
图25是本申请实施例提供的样本集的一个可选的示意图；
图26是本申请实施例提供的图像去干扰方法的一个可选的流程示意图；
图27是本申请实施例提供的图像去干扰装置的一个可选的示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)干扰信息，指存在于图像数据中的不必要的或多余的影响图像质量的信息，例如图像噪声和图像锯齿等。
2)图像分解，将原始图像分解成具备不同图像特征的子图像，这里的图像特征，可以是图像的结构、纹理、噪声、锯齿以及尺度等等。
其中，图像的尺度包括空间尺度、时间尺度以及语义尺度等，空间尺度包括制图尺度、地理尺度、运行尺度及分辨率测量尺度。在计算机视觉领域，图像的尺度一般指分辨率测量尺度。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明。
发明人发现，将需要去干扰的图像输入至机器学习模型，通过机器学习模型将图像进行下采样以提取图像特征，再对图像特征进行反卷积扩大图像特征的尺寸，获得与输入的图像相同尺寸的干扰信息，然后将图像与干扰信息相减，得到预测的去干扰后的图像的方式进行图像去干扰时，图像特征在上采样的过程中容易出现锯齿，对图像去锯齿的效果不佳。
基于此，发明人发现，通过采用空洞卷积来替代下采样进行图像特征的提取，能够在变大感受野的同时规避上采样的操作。然而空洞卷积会使得生成的图像出现一定程度的孔洞，这也对图像的去干扰不利，使得图像去干扰效果不佳。
基于此，本申请实施例提供一种图像去干扰方法、装置、电子设备和计算机可读存储介质，能够准确去除图像中的干扰信息。
首先对本申请实施例提供的图像去干扰系统进行说明，图1为本申请实施例提供的图像去干扰系统100的一个可选的示意图，为实现支撑一个图像去干扰应用，终端400上设置有图像去干扰客户端410，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。在一些实施例中，终端400可以是笔记本电脑，平板电脑，台式计算机，智能手机，专用消息设备，便携式游戏设备，智能音箱，智能手表等，但并不局限于此。服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。网络300可以是广域网或者局域网，又或者是二者的组合。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
终端400用于，响应于针对待处理图像的上传操作，获取待处理图像，并响应于针对待处理图像的去干扰指令，发送待处理图像至服务器。
服务器200用于，对待处理图像进行图像分解，得到至少两张目标图像，将待处理图像和至少两张目标图像输入至图像去干扰模型，通过图像去干扰模型的第一特征提取层，对待处理图像进行特征提取，得到待处理图像的图像特征，通过图像去干扰模型的第二特征提取层，分别对各目标图像进行干扰特征提取，得到相应的干扰特征，通过图像去干扰模型的特征融合层，对各目标图像的干扰特征进行融合处理，得到融合干扰特征，通过图像去干扰模型的输出层，基于融合干扰特征及所述图像特征，对待处理图像进行去干扰处理，得到相应的去干扰图像，并将去干扰图像发送至终端400。
终端400还用于，接收服务器200发送的去干扰图像并输出。
接下来对本申请实施例提供的用于实施上述图像去干扰方法的电子设备进行说明，参见图2，图2是本申请实施例提供的电子设备500的结构示意图，在实际应用中，电子设备500可以实施为图1中的终端400或服务器200，以电子设备为图1所示的服务器200为例，对实施本申请实施例的图像去干扰方法的电子设备进行说明。图2所示的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的图像去干扰装置可以采用软件方式实现，图2示出了存储在存储器550中的图像去干扰装置555，其可以是程序和插件等形式的软件，包括以下软件模块：图像分解模块5551、图像特征提取模块5552、干扰特征提取模块5553、特征融合模块5554和去干扰模块5555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的图像去干扰装置可以采用硬件方式实现，作为示例，本申请实施例提供的图像去干扰装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像去干扰方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
接下来，将结合本申请实施例提供的服务器的示例性应用和实施，说明本申请实施例提供的图像去干扰方法。
参见图3，图3是本申请实施例提供的图像去干扰方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
步骤101，服务器对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像。
这里，每张目标图像具备不同的图像特征，服务器通过对待处理图像集图像分解处理，得到具备不同图像特征的多张目标图像。这里，目标图像可以包括待处理图像。在实际实施时，服务器可以对构成待处理图像的多个像素点进行处理，以得到至少两张目标图像。具体地，服务器可以从待处理图像中筛选出多个目标像素点，将多个目标像素点构建成一张目标图像。
在一些实施例中，参见图4，图4是本申请实施例提供的图像去干扰方法的一个可选的流程示意图，基于图3，步骤101还可以通过如下方式实现：
步骤201，服务器对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应待处理图像的高斯金字塔；
步骤202，将高斯金字塔中每层的图像作为目标图像。
在实际实施时，服务器可以对待处理图像进行至少一次图像分解，得到与待处理图像的尺度不同的目标图像，然后基于待处理图像和目标图像构建高斯金字塔，得到的高斯金字塔中则包含有待处理图像和目标图像等两个尺度的图像。参照图5，图5是本申请实施例提供的高斯金字塔的一个可选的结构示意图，它包括第0层至第i+1层共计i+2层图像，其中，i为大于等于0的整数。本申请实施例构建高斯金字塔的过程具体为：服务器将待处理图像I0作为高斯金字塔的底层图像，也即第0层图像，对待处理图像I0利用高斯核进行卷积操作，得到高斯卷积后的高斯图像G(I0)，然后对高斯图像G(I0)进行下采样处理，得到下采样图像down_sample(G(I0))，将下采样得到的图像作为待处理图像I0在高斯金字塔中的上一层图像I1，即I1＝down_sample(G(I0))，以同样的方式，得到高斯金字塔第i+1层的图像Ii+1＝down_sample(G(Ii))。
此外，上述构建高斯金字塔的过程所涉及的下采样处理方式具体为：提取原图像中行数和列数均为奇数的像素点，基于提取出的像素点构建新的图像，将构建的图像作为下采样图像。示例性地，参照图6，图6是本申请实施例提供的下采样处理过程的一个可选的示意图，其中，将原图像P中的行数和列数均为奇数的像素点记为1，其余像素点记为0，通过本申请实施例上述的下采样处理，从原图P中提取出行数和列数均为奇数的像素点，然后基于这些像素点构建一张图像，即下采样图像down_sample(P)。可以理解，通过这种下采样方式得到的下采样图像的尺寸大小为原图像的1/4。也即，高斯金字塔中上一层图像的尺寸为其下一层图像的1/4，即Ii+1的尺寸大小为Ii的1/4。例如，图5示出的高斯金字塔中第0层图像I0的尺寸为(W,H)，其中，W为图像宽度，H为图像高度，那么，第1层图像I1的尺寸则为(W/2,H/2)，即I1的尺寸大小为W/2*H/2＝1/4W*H，为I0的1/4，相应的，第i层图像Ii的尺寸则为(W/2i,H/2i)，
在实际实施时，服务器将构建的高斯金字塔中的每一层图像作为目标图像，以将目标图像输入至图像去干扰模型中对待处理图像进行去干扰处理，通过这种方式将待处理图像分解为多个尺度的目标图像，目标图像是待处理图像在不同尺度上的低频信号，具备待处理图像不同强度的图像信息，例如高斯金字塔中层级高的图像相较于层级第的图像具备有更低的图像分辨率、更弱的细节信息、更多的干扰信息及更强的轮廓信息，从而使得图像去干扰模型能够学习到多个尺度的图像信息，从而能够更准确地进行去干扰处理，使得得到的去干扰图像的图像质量更高。
在一些实施例中，参见图7，图7是本申请实施例提供的图像去干扰方法的一个可选的流程示意图，基于图3，步骤101还可以通过如下方式实现：
步骤301，服务器对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应待处理图像的高斯金字塔。
步骤302，基于对应待处理图像的高斯金字塔，构建对应待处理图像的拉普拉斯金字塔。
参照图8和图9，图8是本申请实施例提供的高斯金字塔和拉普拉斯金字塔的构建过程的一个可选的示意图，图9是本申请实施例提供的高斯金字塔和对应的拉普拉斯金字塔的一个可选的结构示意图。在实际实施时，构建拉普拉斯金字塔的过程具体为：服务器将高斯金字塔的第0层图像I0进行上采样处理，得到上采样图像up_sample(I0)，并将上采样图像利用高斯核进行卷积操作，得到的图像为G’(up_sample(I0))，这里所采用的高斯核的结构与构建高斯金字塔时所采用的高斯核的结构相同，而数值是构建高斯金字塔时所采用的高斯核的4倍，接着，服务器基于高斯金字塔的第0层图像I0与该图像G’(up_sample(I0))，得到拉普拉斯金字塔的第0层图像L0，这里，将高斯金字塔的第0层图像I0与该图像G’(up_sample(I0))相减，得到图像L0，也即，L0＝I0-G’(up_sample(I0))，以同样的方式，得到拉普拉斯金字塔第i层的图像Li＝Ii-G’(up_sample(Ii+1))，其中，i为大于等于0的整数。可以理解，拉普拉斯金字塔中每一层图像为残差图像，是待处理图像在不同尺度上的高频信号，且拉普拉斯金字塔的层数比对应的高斯金字塔的层数少一层，且层级相同的拉普拉斯图像与高斯图像的尺寸相同。
此外，上述构建拉普拉斯金字塔的过程所涉及的上采样处理方式具体可以为：对高斯金字塔中的图像Ii增加新的像素点，将像素点行数扩大为原来的两倍，将像素点列数也扩大为原来的两倍，并将新增的各行像素点间隔地插入图像Ii的各行像素点之间，并将新增的各列像素点间隔地插入图像Ii的各列像素点之间，接着，对新增的像素点进行通道值的填充，例如可以全部填充为白色所对应的通道值。示例性地，参见图10，图10是本申请实施例提供的上采样处理过程的一个可选的示意图，服务器在图像Ii的每行像素点的下侧新增一行像素点，以及每列像素点右侧新增一列像素点，这里以通道值为0为示例进行新增像素点的填充，得到的上采样图像up_sample(Ii)如图10所示，它的尺寸扩大为了图像Ii的四倍。在一些实施例中，服务器还可以在图像Ii的每行像素点的下侧新增一行像素点以及每列像素点左侧新增一列像素点，或者在图像Ii的每行像素点的上侧新增一行像素点以及每列像素点左侧新增一列像素点，或者在图像Ii的每行像素点的上侧新增一行像素点以及每列像素点右侧新增一列像素点等方式进行上采样处理，或者以间隔多行或多列的形式新增像素点，本申请实施例不对上采样的方式作具体限定。
步骤303，分别将高斯金字塔中各层的图像与拉普拉斯金字塔中相应层级的图像进行组合，得到至少两个图像组合。
步骤304，将至少两个图像组合作为目标图像。
参见图11，图11是本申请实施例提供的图像组合金字塔的一个可选的示意图，这里，图像组合可以用集合表示，示例性地，服务器将高斯金字塔中的第i层图像Ii与拉普拉斯金字塔中的第i层图像Li进行组合，得到图像组合Bi＝{Ii,Li}。在实际实施时，服务器在进行图像处理时，将图像组合Bi组成图像块的形式进行处理。其中，图像块为将两张以上的图像叠加得到，图像块的尺寸则包括三个维度，分别为宽度、高度以及图像数量，本申请实施例中，将图像数量用a×b的形式表示，其中，a为构成图像块的图像的数量，b为单独一张图像中像素点的通道数。这里，若图像为RGB(Red，Green，Blue，红色绿色蓝色)图像，则图像中像素点的通道数则为3，分别为红色、绿色和蓝色等三个通道，若图像为RGGB(Red，Green，Green，Blue，红色绿色绿色蓝色)图像，则图像中像素点的通道数则为4，分别为红色、绿色、绿色和蓝色等四个通道，等等。本申请实施例中，以通道数为3进行说明，例如图11示出的图像组合中，图像组合Bi的尺寸特征则为(W/2i,H/2i,2×3)。
服务器将高斯金字塔中各层的图像与拉普拉斯金字塔中相应层级的图像进行组合之后，得到的每一个图像组合的尺寸也互不相同，它可以构成一个图像金字塔，例如图11示出的图像组合金字塔。由于拉普拉斯金字塔的层数比高斯金字塔的层数少一层，因而，服务器在进行图像组合时，将高斯金字塔的最后一层图像，也即最顶层的图像Ii+1单独作为成一个图像组合。可以理解，本申请实施例中，服务器将包含0至i+1层共i+2层高斯金字塔与其对应的拉普拉斯金字塔进行图像组合之后，得到一个包含0至i+1层共i+2层的图像组合金字塔，其中，第i层图像组合Bi＝{Ii,Li}，第i+1层图像组合Bi+1＝{Ii+1}。
在实际实施时，服务器将每一个图像组合作为目标图像，以将目标图像输入至图像去干扰模型中对待处理图像进行去干扰处理，通过这种方式将待处理图像分解为包含多个尺度图像的高斯金字塔以及包含多个尺度图像的拉普拉斯金字塔，然后将高斯金字塔和拉普拉斯金字塔进行组合，将组合后的图像组合作为目标图像，使得基于目标图像进行图像处理时能够同时考虑到待处理图像中的低频信号以及高频信号，将低频信号以及高频信号中的干扰信息同时进行去除，从而能够得到图像质量更高的去干扰图像。
在一些实施例中，参见图12，图12是本申请实施例提供的图像去干扰方法的一个可选的流程示意图，基于图3，步骤101还可以通过如下方式实现：
步骤401，服务器对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应待处理图像的高斯金字塔。
步骤402，基于对应待处理图像的高斯金字塔，构建对应待处理图像的拉普拉斯金字塔。
步骤403，分别对高斯金字塔中各层的图像进行下采样处理，得到相应的下采样图像。
参照图13，图13是本申请实施例提供的下采样图像金字塔的一个可选的示意图。这里，服务器直接对高斯金字塔中各层的图像进行下采样处理，得到与各层图像对应的下采样图像。在实际实施时，服务器分别对高斯金字塔中除顶层以外的各层的图像进行下采样处理，得到相应的下采样图像。示例性地，服务器对具有i+2层图像的高斯金字塔中的第0层至第i层共计i+1层图像I0至Ii进行下采样处理，得到相应的下采样图像分别为ds(I0)、ds(I1)、…、ds(Ii)。应当理解的是，下采样图像ds(I0)的尺寸相较于下采样之前的图像I0更小，具体地，下采样图像ds(I0)的尺寸为I0的1/4。
步骤404，分别将高斯金字塔中各层的图像、拉普拉斯金字塔中相应层级的图像、以及与拉普拉斯金字塔中相应层级的图像的尺寸相同的下采样图像进行组合，得到至少两个图像组合。
步骤405，将至少两个图像组合作为目标图像。
参见图14，图14是本申请实施例提供的图像组合金字塔的一个可选的示意图，在实际实施时，服务器将高斯金字塔中的第i层图像Ii与拉普拉斯金字塔中的第i层图像Li、以及与图像Ii的尺寸相同的下采样图像进行组合，这里，与图像Ii的尺寸相同的下采样图像为图像Ii在高斯金字塔中的下一层图像所对应的下采样图像，也即第i-1层图像Ii-1对应的下采样图像ds(Ii-1)，也即是说，服务器将图像Ii、图像Li以及下采样图像ds(Ii-1)进行组合，得到对应的图像组合Bi＝{Ii,Li,ds(Ii-1)}。
本申请实施例中，在高斯金字塔和拉普拉斯金字塔的基础上，还对高斯金字塔进行下采样处理，以对高斯金字塔进行进一步的图像分解，得到下采样图像金字塔，这样，组合三者得到的图像组合金字塔则具备更多维度的图像信息，使得基于此进行模型训练得到的去干扰模型的模型效果更好，从而能够得到质量更高的去干扰图像。
在一些实施例中，基于图12，步骤403还可以通过如下方式实现：
服务器分别针对高斯金字塔的各层高斯图像，执行以下处理：确定高斯图像中像素点的行编码和列编码；从构成高斯图形的多个像素点中，选取行编码和列编码均为奇数的多个第一像素点，并基于多个第一像素点构建对应的第一下采样图像；从构成高斯图形的多个像素点中，选取行编码为奇数且列编码为偶数的多个第二像素点，并基于多个第二像素点构建对应的第二下采样图像；从构成高斯图形的多个像素点中，选取行编码为偶数且列编码为奇数的多个第三像素点，并基于多个第三像素点构建对应的第三下采样图像；从构成高斯图形的多个像素点中，选取行编码和列编码均为偶数的多个第四像素点，并基于多个第四像素点构建对应的第四下采样图像；将第一下采样图像、第二下采样图像、第三下采样图像及第四下采样图像，作为所述下采样图像。
示例性地，参照图15和图16，图15是本申请实施例提供的下采样处理过程的一个可选的示意图，图16是本申请实施例提供的下采样图像金字塔的一个可选的示意图。本申请实施例中，分别将第一像素点记为0，将第二像素点记为1，将第三像素点记为2，将第四像素点记为3，则高斯金字塔的第i层图像Ii的像素点可以表示为图15示出的形式，服务器通过上述的四种下采样方式，得到的第一下采样图像至第四下采样图像ds0(Ii)、ds1(Ii)、ds2(Ii)及ds3(Ii)中的像素点则分别为0、1、2及3，且四种下采样图像的尺寸均为图像Ii的1/4。
在实际实施时，服务器分别对高斯金字塔中除顶层之外的图像进行上述的四种方式的下采样处理之后，得到对应的四种下采样图像金字塔，分别为第一下采样图像金字塔、第二下采样图像金字塔、第三下采样图像金字塔以及第四下采样图像金字塔。参见图17，图17是本申请实施例提供的图像组合金字塔的一个可选的示意图，该图像组合金字塔包括高斯金字塔、拉普拉斯金字塔以及四种下采样图像金字塔中的图像。
本申请实施例中，通过对高斯金字塔进行上述的四种下采样处理，将高斯金字塔中的一层图像分解为四种下采样图像，且这四种下采样图像的像素点共同构成高斯金字塔中对应图像的像素点，使得高斯金字塔中的所有像素点信息均被保留在四个下采样图像中，从而使得基于高斯金字塔、拉普拉斯金字塔以及四种下采样图像金字塔所构成的图像组合金字塔具备更多且更完善地原始的待处理图像的图像信息。
步骤102，通过图像去干扰模型的第一特征提取层，对待处理图像进行特征提取，得到待处理图像的图像特征。
参见图18，图18为本申请实施例提供的图像去干扰模型的一个可选的结构示意图。这里，图像去干扰模型为残差网络模型，其中，第一特征提取层和第二特征提取层均由一系列的卷积层构成，各卷积层可以采用残差网络(resnet，Residual Network)、稠密连接网络(densenet，Densely Connected Networks)、SEResnet网络或者inception网络的卷积结构。本申请实施例中，第一特征提取层所进行的卷积操作为长期卷积操作(LTCP，longterm convolutional process)，第二特征提取层所进行的卷积操作为短期卷积操作(STCP，short term convolutional process)。特征融合层也由一系列卷积层构成，通过卷积操作将两个以上的特征进行融合。
在实际实施时，服务器在对待处理图像进行图像分解得到至少两张目标图像后，将待处理图像和至少两张目标图像分别输入至图像去干扰模型中。具体地，服务器将待处理图像输入至图像去干扰模型的第一特征提取层，将目标图像输入至图像去干扰模型的第二特征提取层。接着，通过图像去干扰模型的第一特征提取层对待处理图像进行特征提取，得到待处理图像的图像特征。这里，图像特征包括待处理图像的图像信息以及干扰信息。
步骤103，通过图像去干扰模型的第二特征提取层，分别对各目标图像进行干扰特征提取，得到相应的干扰特征。
在实际实施时，服务器分别将每一张目标图像输入至图像去干扰模型，以使图像去干扰模型提取目标图像的干扰特征。这里，干扰特征为目标图像中存在的干扰信息的编码表示。本申请实施例中，图像去干扰模型通过学习目标图像的残差，来提取到目标图像中的干扰信息，得到对应的干扰特征。
在一些实施例中，第二特征提取层包括N个子特征提取层，目标图像的数量为N，所述N为不小于2的正整数。基于图3，步骤103还可以通过如下方式实现：服务器将每个目标图像输入一个子特征提取层，通过子特征提取层对目标图像进行干扰特征提取，得到相应的干扰特征。
参见图19，图19为本申请实施例提供的图像去干扰模型的一个可选的结构示意图。需要说明的是，各子特征提取层的结构可以不完全一致，而对于结构一致的两个子特征提取层，其参数也可以不同。在实际实施时，服务器将每一张目标图像分别输入一个子特征提取层，分别通过不同的子特征提取层来提取不同的目标图像。由于本申请实施例通过对待处理图像进行图像分解得到的每一张目标图像都具备不同的尺度信息，因而，通过结构或者参数不同的子特征提取层来分别提取不同尺度的目标图像，能够针对性地提取出不同尺度的干扰特征，从而提高特征提取的准确性。
步骤104，通过图像去干扰模型的特征融合层，对各目标图像的干扰特征进行融合处理，得到融合干扰特征。
在实际实施时，服务器将所有目标图像的干扰特征进行特征融合处理，将每一张目标图像对应的干扰特征融合为一个融合干扰特征。可以理解，融合干扰特征包括所有目标图像的干扰信息。具体地，服务器通过图像去干扰模型的特征融合层对各干扰特征进行卷积操作，通过卷积操作将所有干扰特征融合为融合干扰特征。
在一些实施例中，干扰特征包括尺寸特征和通道特征。参见图20，图20是本申请实施例提供的图像去干扰方法的一个可选的流程示意图，基于图3，步骤104还可以通过如下方式实现：
步骤501，服务器通过图像去干扰模型的特征融合层，分别对各目标图像的干扰特征进行尺寸变换，得到对应各干扰特征的目标干扰特征；其中，各目标干扰特征的尺寸特征相同。
需要说明的是，本申请实施例中，图像包括尺寸和通道等两个维度的信息，也即，图像的图像特征包括尺寸特征和通道特征，这里的尺寸特征包括宽度特征和高度特征，例如，图11示出的图像组合Bi的尺寸特征则为(W/2i,H/2i)，W/2i为宽度特征，H/2i为高度特征。图像的通道特征包括图像各像素点对应的子通道特征，其中的子通道特征包括像素点在色彩模式下的每个单色通道的通道值，这里的色彩模式可以是RGB(Red，Green，Blue，红色绿色蓝色)色彩模式，那么像素点的子通道特征则包括红色绿色蓝色等三个通道的通道值。示例性地，参照图21，图21是本申请实施例提供的图像特征的一个可选的示意图，图21示出的图像的宽度特征为W，高度特征为H，第一行第一列的像素点的子通道特征为(0,0,0)，第一行第二列的像素点的子通道特征为(56,56,56)，第二行第一列的像素点的子通道特征为(56,56,56)，第二行第一列的像素点的子通道特征为(255,255,255)，等等。
本申请实施例中，干扰特征的图像特征的特征维度与对应的目标图像一致，也具备尺寸特征和通道特征，且干扰特征的尺寸特征与对应的目标图像的尺寸特征一致。例如，若目标图像的尺寸特征为(W/2i,H/2i,2×3)，那么对该目标图像进行干扰特征提取之后得到的干扰特征的尺寸特征也为(W/2i,H/2i,2×3)。而干扰特征的通道特征则对应为目标图像中的干扰信息所对应的通道特征。
在实际实施时，各目标图像的尺度不同，各目标图像的尺寸特征也不同，在进行特征融合时，服务器首先通过图像去干扰模型的特征融合层，对各目标图像的干扰特征进行尺寸变换，使各目标图像对应的干扰特征的尺寸特征达到一致。本实施例中，通过上采样的方式实现尺寸变换。
步骤502，对各目标干扰特征的通道特征进行融合处理，得到融合通道特征。
在实际实施时，服务器可以将所有目标干扰特征的通道特征进行特征拼接，得到多维的拼接通道特征，然后将拼接通道特征通过卷积操作融合为一个维度的融合通道特征。服务器还可以直接对所有目标干扰特征进行卷积操作，以直接融合为一个维度的融合通道特征。
步骤503，将目标干扰特征的尺寸特征与融合通道特征进行特征拼接，得到融合干扰特征。
这里，通过将尺寸特征与融合通道特征进行特征拼接，得到的融合干扰特征则具备有尺寸维度与通道维度的特征，从而完成对所有目标干扰特征的特征融合，得到的融合干扰特征则具备有各尺度的目标图像中的干扰信息。
在一些实施例中，当目标图像的数量为m时，相应的，干扰特征的数量为m。参见图22，图22是本申请实施例提供的图像去干扰方法的一个可选的流程示意图，基于图3，步骤104还可以通过如下方式实现：
步骤601，服务器通过图像去干扰模型的特征融合层，将m个干扰特征中第j个干扰特征与第j+1个干扰特征进行融合，得到第j融合干扰特征；其中，m为不小于3的正整数，j为正整数，且j∈[1，m-1]。
步骤602，将第j融合干扰特征与第j+2个干扰特征进行融合，得到第j+1融合干扰特征。
步骤603，对j取值为1开始，对j进行遍历，并当j+2的值与m的值相同时，将第j+1融合干扰特征作为所述融合干扰特征。
本申请实施例中，服务器将干扰特征按照尺寸从小到大进行排序，可以理解，第j个干扰特征的尺寸比第j+1个干扰特征的尺寸更小。在实际实施时，服务器通过图像去干扰模型的特征融合层，从尺寸最小的干扰特征开始逐步对各干扰特征进行特征融合。在实际实施时，服务器通过图像去干扰模型的特征融合层，从j取值为1开始对j进行遍历，将遍历到的第j个干扰特征与第j+1个干扰特征进行特征融合，得到第j融合干扰特征，然后继续遍历得到第j+2个干扰特征，将第j融合干扰特征与第j+2个干扰特征特征融合，得到第j+1融合干扰特征，然后继续遍历j以执行上述的步骤，直至遍历完成，得到最终的融合干扰特征。这里，对第j个干扰特征与第j+1个干扰特征的融合过程可以参见图19所示的本申请实施例，在此不再赘述。
示例性地，参照图23，图23是本申请实施例提供的图像去干扰过程的一个可选的示意图。在实际实施时，图像去干扰模型的特征融合层，从尺寸最小的目标图像对应的干扰特征开始对干扰特征进行特征融合。这里目标图像B0、B1、……、Bi、Bi+1参见图17示出的图像组合金字塔，目标图像的尺寸随层级递增而依次减小。在实际实施时，图像去干扰模型的特征融合层从目标图像Bi+1对应的干扰特征P(Bi+1)开始，逐层对各干扰特征进行特征融合。具体地，图像去干扰模型的特征融合层对干扰特征P(Bi+1)进行上采样，得到对应的上采样特征up(P(Bi+1))，这里的上采样操作为对干扰特征进行反卷积，以更好地预测尺度更大的特征，上采样特征up(P(Bi+1))的尺寸特征则与目标图像Bi对应的干扰特征P(Bi)的尺寸特征一致，然后将尺寸特征一致的上采样特征up(P(Bi+1))与干扰特征P(Bi)在通道维度进行通道特征的特征拼接，得到特征拼接后的拼接干扰特征M(up(P(Bi+1)))，接着，将拼接干扰特征M(up(P(Bi+1)))进行上采样，使得它的尺寸特征与目标图像Bi-1对应的干扰特征P(Bi-1)一致，然后将二者进行特征拼接，直至将所有目标图像处理完成，得到最终的目标拼接干扰特征，接着，将目标拼接干扰特征通过一个卷积操作，使多维度的通道特征卷积为一个维度的通道特征，得到一个尺寸为(W,H,3)的融合干扰特征P(I0)。
步骤105，通过图像去干扰模型的输出层，基于融合干扰特征及图像特征，对待处理图像进行去干扰处理，得到相应的去干扰图像。
在一些实施例中，基于图3，步骤105还可以通过如下方式实现：服务器通过图像去干扰模型的输出层，确定图像特征与融合干扰特征之间的差值特征；通过图像去干扰模型的输出层，对差值特征进行解码，得到去干扰图像。
在实际实施时，服务器通过图像去干扰模型的输出层将待处理图像I0的图像特征F(I0)与融合干扰特征P(I0)相减，得到二者的差值特征pred(I0)，该差值特征即为去除了待处理图像中的干扰信息的去干扰图像所对应的图像特征，接着，通过图像去干扰模型的输出层对差值特征进行解码，将编码类型的差值特征转换成图像，该图像则为待处理图像所对应的去干扰图像。至此，完成对待处理图像的去干扰处理。
本申请实施例中，服务器通过将待处理图像分解为多张目标图像，每一张目标图像中均含有待处理图像的图像信息，随着待处理图像的分解，待处理图像的图像信息也被分解为多种表示，由此，能够通过多张目标图像更加清晰全面地表示待处理图像的图像信息，然后利用图像去干扰模型提取每一张目标图像的干扰特征，并将各干扰特征进行融合，得到的融合干扰特征则对应涵盖有待处理图像中更多且更准确的干扰信息，从而使得能够基于该融合干扰特征准确去除待处理图像中的干扰信息。
在一些实施例中，基于图3，在步骤102之前，还对图像去干扰模型进行训练。这里，对图像去干扰模型的训练过程具体参见图24，图24是本申请实施例提供的图像去干扰模型的训练方法的一个可选的流程示意图，本申请实施例提供一种图像去干扰模型的训练方法，包括：
步骤701，服务器对携带干扰信息的样本干扰图像进行图像分解，得到至少两张样本目标图像；其中，所述样本干扰图像为对样本原始图像添加干扰信息得到。
在实际实施时，服务器获取图像质量高的样本原始图像，对样本原始图像添加干扰信息，得到对应的样本干扰图像。在一些实施例中，干扰信息包括图像锯齿和图像噪声中的至少一种，基于图24，在步骤701之前，还可以执行：服务器对样本原始图像添加图像锯齿，得到携带图像锯齿的样本锯齿图像，将样本锯齿图像作为样本干扰图像；或者对样本原始图像添加图像噪声，得到携带图像噪声的样本噪声图像，将样本噪声图像作为样本干扰图像；或者对样本原始图像添加图像锯齿，得到携带图像锯齿的样本锯齿图像，并对样本锯齿图像添加图像噪声，得到同时携带图像锯齿和图像噪声的样本锯齿噪声图像，将样本锯齿噪声图像作为样本干扰图像。
在实际实施时，服务器可以通过对样本原始图像添加噪声，得到携带图像噪声的样本噪声图像，还可以通过对样本原始图像添加锯齿，得到携带图像锯齿的样本噪声图像，还可以对样本原始图像同时添加噪声和锯齿，得到携带图像同时携带图像噪声和图像锯齿的样本锯齿噪声图像，服务器还可以对样本原始图像添加其他干扰信息，例如添加遮挡块，得到携带其他干扰信息的其他样本干扰图像。每一张样本原始图像可以分别对应一张或多张样本干扰图像。
示例性地，参见图25，图25是本申请实施例提供的样本集的一个可选的示意图。这里，样本集包括样本原始图像集合与样本干扰图像集合。其中，每一张样本原始图像分别对应一个由多张具备不同干扰信息的样本干扰图像所构成的样本干扰图像集合。样本干扰图像集合包括样本噪声图像集合、样本锯齿图像集合、样本锯齿噪声图像集合以及其他样本干扰图像集合中的至少之一。在实际实施时，服务器在确定样本原始图像后，从该样本原始图像对应的样本干扰图像集合中随机地选取一张样本干扰图像，以与所述样本原始图像构成图像对输入至本申请实施例的图像去干扰模型中以对图像去干扰模型进行训练。
在实际实施时，服务器可以对样本原始图像进行图像存储格式的转换，得到携带图像锯齿的样本锯齿图像，例如将便携式网络图像格式(png，Portable NetworkGraphics)的图像转换成联合图像专家小组(JPEG，Joint Photographic Experts Group)标准格式的图像，从而在图像存储格式的转换过程中对样本原始图像添加图像锯齿。服务器还可以对样本原始图像进行通道维度的格式转换，得到携带图像锯齿的样本锯齿图像，例如将RGB图像转换成RGGB图像，以在图像转换过程中对样本原始图像添加图像锯齿。在一些实施例中，还可以通过其他方式对样本原始图像添加图像锯齿，本申请不作限定。在实际实施时，服务器可以通过对样本原始图像添加一个均值为0，方差为theta的高斯白噪声，以对样本原始图像添加图像噪声，得到对应的样本噪声图像，在一些实施例中，服务器还可以通过图像格式或者缩放图像大小的方式等对样本原始图像添加图像噪声。在实际实施时，服务器可以在对样本原始图像添加图像锯齿后对样本锯齿图像添加图像噪声，得到样本锯齿噪声图像，或者在对样本原始图像添加图像噪声后对样本噪声图像添加图像锯齿，得到样本锯齿噪声图像，等等。服务器在分别对多张样本原始图像添加干扰信息后，构建由多张样本原始图像和对应的样本干扰图像所构成的样本集。
在实际实施时，服务器可以从样本集中选择一张或多张样本原始图像，并基于样本原始图像，从与样本原始图像对应的样本干扰图像集合中选择一张对应的样本干扰图像，并对样本干扰图像进行图像分解，得到至少两个样本目标图像。
步骤702，通过图像去干扰模型的第一特征提取层，对所述样本干扰图像进行特征提取，得到所述样本干扰图像的样本图像特征。
步骤703，通过所述图像去干扰模型的第二特征提取层，分别对各所述样本目标图像进行干扰特征提取，得到相应的样本干扰特征。
步骤704，通过所述图像去干扰模型的特征融合层，对各所述样本目标图像对应的样本干扰特征进行融合处理，得到样本融合干扰特征。
步骤705，通过所述图像去干扰模型的输出层，基于所述样本融合干扰特征及所述样本图像特征，对所述样本干扰图像进行去干扰处理，得到相应的预测去干扰图像。
步骤706，基于所述预测去干扰图像与所述样本原始图像的差异，更新所述图像去干扰模型的模型参数。
在实际实施时，服务器将样本干扰图像和至少两个样本目标图像输入至图像去干扰模型中，得到样本干扰图像的样本图像特征以及至少两个样本目标图像对应的干扰特征，并将各干扰特征通过特征融合层进行融合，得到样本融合干扰特征，然后通过图像去干扰模型的输出层，计算样本图像特征与样本融合干扰特征的样本差值特征。服务器还将样本原始图像输入至图像去干扰模型中，通过图像去干扰模型的第一特征提取层，提取样本原始图像的样本原始图像特征，接着，服务器基于样本原始图像特征与样本差值特征的差异，更新图像去干扰模型的模型参数，具体地，服务器分别对第一特征提取层的参数、第二特征提取层的参数、特征融合层的参数以及输出层的参数进行更新。这里，样本原始图像特征与样本差值特征的差异为服务器通过计算图像去干扰模型对应的损失函数的值得到。服务器迭代上述训练过程，直至损失函数收敛，完成对图像去干扰模型的训练。这里，损失函数可以采用欧式距离公式，具体计算预测去干扰图像与样本原始图像的所有像素点对应的欧式距离之和，示例性地，损失函数可以表示如下：
Loss(I0,J0)＝(1/(2*W*H))*∑_{i\in pred(I0),j\in J0}||i-j||2；
其中，I0为样本干扰图像，J0为样本原始图像，pred(I0)为预测去干扰图像。
在一些实施例中，样本原始图像对应有至少两张样本干扰图像，各样本干扰图像均为对样本原始图像添加干扰信息得到，相应的，所述图像去干扰方法还包括：服务器分别针对各样本干扰图像，执行所述对携带干扰信息的样本干扰图像进行图像分解、至所述对所述样本干扰图像进行去干扰处理的操作，得到各样本干扰图像对应的预测去干扰图像。相应的，所述基于预测去干扰图像与样本原始图像的差异，更新图像去干扰模型的模型参数，包括：服务器基于各预测去干扰图像与样本原始图像的差异，更新图像去干扰模型的模型参数。
在实际实施时，各样本干扰图像所携带的干扰信息不同，例如可以是不同噪声强度的图像噪声，或者分别为不同类型的干扰信息，例如分别为图像噪声以及图像锯齿等。本申请实施例中，服务器可以对样本原始图像进行多种干扰信息的添加，得到对应的多张样本干扰图像。在一些实施例中，服务器还可以基于图23示出的样本集，获取样本原始图像以及与样本原始图像对应的样本干扰图像集合。接着，服务器针对各样本干扰图像执行上述的图像去干扰的过程，得到各样本干扰图像对应的样本差值特征，这里，样本差值特征所对应的图像即为预测去干扰图像。服务器还将样本原始图像输入至图像去干扰模型中进行特征提取，得到样本原始图像特征，接着，服务器基于各样本干扰图像对应的样本差值特征分别与样本原始图像特征的差异，更新图像去干扰模型的模型参数。在一些实施例中，服务器可以计算各样本差值特征的中心特征，基于该中心特征与样本原始图像特征的差异，更新图像去干扰模型的模型参数。这里，中心特征可以是各样本差值特征的均值。
上述实施例中，通过将样本原始图像对应的含有多种干扰信息的样本干扰图像共同输入至图像去干扰模型中进行训练，使得图像去干扰模型能够同时学习到更多强度或者类型的干扰信息，从而进一步提高了图像去干扰模型的去干扰准确性。
在一些实施例中，第二特征提取层包括N个子特征提取层，目标图像的数量为N，所述N为不小于2的正整数。所述对各样本目标图像进行干扰特征提取，得到相应的样本干扰特征，包括：将每个目标图像输入一个子特征提取层，通过子特征提取层对目标图像进行干扰特征提取，得到相应的样本干扰特征。相应的，基于图24，步骤706，包括：基于预测去干扰图像与样本原始图像的差异，分别对第一特征提取层的参数、各第二特征提取层的参数、特征融合层的参数及输出层的参数进行更新。
本申请实施例，服务器通过将样本干扰图像分解为多张样本目标图像，每一张样本目标图像中均含有样本干扰图像的图像信息，随着样本干扰图像的分解，样本干扰图像的图像信息也被分解为多种表示，由此，能够通过多张样本目标图像更加清晰全面地表示样本干扰图像的图像信息，然后利用图像去干扰模型提取每一张样本目标图像的干扰特征，并将各干扰特征进行融合，得到的融合干扰特征则对应涵盖有样本干扰图像中更多且更准确的干扰信息，从而使得能够基于该融合干扰特征准确去除样本干扰图像中的干扰信息，得到更高质量的预测干扰图像，然后基于预测干扰图像与样本原始图像的差异来对图像去干扰模型进行训练，使得训练得到的图像去干扰模型具有高准确性的去干扰效果。
接下来继续对本申请实施例提供的图像去干扰方法进行介绍，图26是本申请实施例提供的图像去干扰方法的一个可选的流程示意图，参见图26，本申请实施例提供的图像去干扰方法由客户端、服务器协同实施。
步骤801，客户端响应于针对样本原始图像的上传操作，获取样本原始图像。
这里，客户端可以是设置于终端的图像去干扰客户端，样本原始图像可以由用户基于该客户端的人机交互界面，触发人机交互界面中的上传功能项使客户端在人机交互界面呈现图像选择界面，用户则基于该图像选择界面，从终端本地上传样本原始图像，从而使得客户端获得上传的样本原始图像。
在一些实施例中，样本原始图像还可以是由与终端通信连接的摄像头拍摄得到，摄像头在拍摄得到样本原始图像后，将该样本原始图像传输给终端并由终端自动上传至客户端。
步骤802，客户端发送样本原始图像至服务器。
步骤803，服务器对样本原始图像添加干扰信息，得到携带干扰信息的样本干扰图像。
这里，服务器可以对样本原始图像添加图像噪声和图像锯齿中的至少一种，服务器还可以对样本原始图像添加其他干扰信息，例如对样本原始图像添加遮挡块等等。
步骤804，服务器对样本干扰图像进行图像分解，得到至少两张样本目标图像。
这里，服务器可以构建样本干扰图像对应的高斯金字塔、拉普拉斯金字塔以及与高斯金字塔对应的下采样图像金字塔，将高斯金字塔与拉普拉斯金字塔以及下采样图像金字塔中尺寸相同的图像进行组合，得到对应的图像组合金字塔，将图像组合金字塔中的每一层图像组合作为目标图像。
步骤805，服务器将样本干扰图像和至少两张样本目标图像输入至图像去干扰模型，以使图像去干扰模型对样本干扰图像进行图像去干扰处理，得到对应的预测去干扰图像。
这里，图像去干扰模型的第一特征提取层对样本干扰图像进行特征提取，得到样本图像特征，第二特征提取层对各目标图像进行干扰特征提取，得到与各目标图像对应的样本干扰特征，然后特征融合层将各样本干扰特征进行特征融合，得到样本融合干扰特征，然后基于样本图像特征与融合干扰特征，对样本干扰图像进行去干扰处理，得到预测干扰图像。
步骤806，服务器基于预测去干扰图像的各像素点与样本原始图像中对应的像素点的差异，更新图像去干扰模型的模型参数。
这里，服务器利用欧式距离损失函数计算预测去干扰图像的各像素点与样本原始图像中对应的像素点的像素点差异之和，得到欧式距离损失函数的值，并基于该值更新图像去干扰模型的模型参数。服务器通过迭代上述训练过程，直至欧式距离损失函数达到收敛，完成对图像去干扰模型的训练。
步骤807，服务器生成图像去干扰模型训练完成的提示消息。
步骤808，服务器发送提示消息至客户端。
步骤809，客户端响应于针对待处理图像的上传操作，获取待处理图像。
这里，待处理图像还可以由与终端通信连接的其他设备发送至客户端。
步骤810，客户端响应于针对待处理图像的去干扰指令，发送待处理图像至服务器。
这里，去干扰指令可以由客户端在接收到图像去干扰模型训练完成的消息后自动生成，还可以是由一定的触发条件由客户端自动生成，例如客户端获取到一张待处理图像后则自动生成针对该待处理图像的去干扰指令，还可以是由与终端通信连接的其他设备发送给客户端，还可以是由用户基于客户端的人机交互界面，触发相应的去干扰功能项后生成。
步骤811，服务器对待处理图像进行图像分解，得到至少两张目标图像。
步骤812，服务器将待处理图像和至少两张目标图像输入至图像去干扰模型，以使图像去干扰模型基于至少两张目标图像，对待处理图像进行去干扰处理，得到对应的去干扰图像。
步骤813，服务器发送去干扰图像至客户端。
步骤814，客户端输出去干扰图像。
这里，客户端可以在该客户端的人机交互界面中呈现去干扰图像，还可以将去干扰图像保存至终端本地，还可以将去干扰图像发送至与终端通信连接的其他设备等。
本申请实施例中，客户端通过将样本干扰图像发送至服务器，使服务器将样本干扰图像分解为多张样本目标图像，每一张样本目标图像中均含有样本干扰图像的图像信息，随着样本干扰图像的分解，样本干扰图像的图像信息也被分解为多种表示，由此，能够通过多张样本目标图像更加清晰全面地表示样本干扰图像的图像信息，然后利用图像去干扰模型提取每一张样本目标图像的干扰特征，并将各干扰特征进行融合，得到的融合干扰特征则对应涵盖有样本干扰图像中更多且更准确的干扰信息，从而使得能够基于该融合干扰特征准确去除样本干扰图像中的干扰信息，得到更高质量的预测干扰图像，然后基于预测干扰图像与样本原始图像的差异来对图像去干扰模型进行训练，使得训练得到的图像去干扰模型具有高准确性的去干扰效果。然后，基于该图像去干扰模型对待处理图像进行去干扰处理，能够得到高质量的去干扰图像。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。以实施例提供的图像去干扰方法由服务器实施进行说明。
服务器获取N张图像质量高的存储格式为png格式的RGB图像，也即样本原始图像，这里，将高质量的N张样本原始图像组成的集合记为I＝{i_1，i_2,…,i_N}，N为正整数。接着，服务器基于N张待处理图像，生成低质量的锯齿图像和噪声图像。服务器可以通过如下方式生成锯齿图像：服务器将i_v(v∈[1,N])转化为对应的RGGB图像i_v’，生成的RGGB图像组成集合I’＝{i_1’，i_2’,…,i_N’}；服务器还将i_v的存储格式由png格式转化为jpg格式，得到对应的jpg图像i_v”，生成的jpg图像组成集合I”＝{i_1”，i_2”,…,i_N”}。可以理解，生成的RGGB图像i_v’和jpg图像i_v”则携带有图像锯齿，为与样本原始图像i_v对应的样本锯齿图像。服务器可以通过如下方式生成噪声图像：服务器在图像i_v上，添加一个均值为0，方差为theta的高斯噪声，生成图像i_v*，生成的图像组成集合I*＝{i_1*，i_2*,…,i_N*}。这里，服务器可以设定theta＝0.25。可以理解，生成的图像i_v*则携带有图像噪声，为与样本原始图像i_v对应的样本噪声图像。
在实际实施时，服务器基于集合I、集合I’、集合I”和集合I*对图像去干扰模型进行训练。服务器可以从集合I’、集合I”和集合I*中随机选择一个集合作为样本干扰图像集，然后基于集合I与选择的样本干扰图像集对图像去干扰模型进行训练。服务器还将集合I、集合I’、集合I”和集合I*共同输入图像去干扰模型中以对图像去干扰模型进行训练。
在实际实施时，参见图17，服务器针对每一张样本干扰图像，均构建对应的如图17所示的高斯金字塔、拉普拉斯金字塔以及四种下采样图像金字塔。这里，构建高斯金字塔、拉普拉斯金字塔以及四种下采样图像金字塔的过程参见上述的本申请实施例，在此不再赘述。接着，服务器将高斯金字塔、拉普拉斯金字塔以及四种下采样图像金字塔中尺寸相同的图像进行图像组合，得到对应的图像组合金字塔。示例性地，以构建的高斯金字塔的层数为4层进行说明，本申请实施例中，对于一张样本干扰图像，服务器对其进行图像分解后得到四个尺寸不同的图像块，分别为B0＝{I0,L0}，B1＝{I1,L1,ds0(I0),ds1(I0),ds2(I0),ds3(I0)}，B2＝{I2,L2,ds0(I1),ds1(I1),ds2(I1),ds3(I1)}，B3＝{I3,ds0(I2),ds1(I2),ds2(I2),ds3(I2)}。每张图像的通道数为3，这里，四个图像块的的尺寸分别为(W，H，2x3)，(W/2，H/2，6x3)，(W/4，H/4，6x3)，(W，H，5x3)。
参见图19示出的图像去干扰模块的结构以及图23示出的图像去干扰的过程。这里，图像去干扰模型为残差网络模型，包括第一特征提取层、第二特征提取层、特征融合层以及输出层。其中，第二特征提取层包括与图像块的数量相同的多个子特征提取层。各子特征提取层的结构或参数不完全一致。这里，第一特征提取层和各子特征提取层均由多个卷积层构成，各卷积层可以采用resnet、densenet、SEResnet或者inception网络的卷积结构。接着，服务器将样本干扰图像和对应的四个图像块输入至图像去干扰模型，以使图像去干扰模型通过第一特征提取层提取待处理图像的图像特征F(I0)，这里，第一特征提取层采用长期卷积操作对待处理图像进行特征提取，得到包含待处理图像的图像信息和干扰信息的图像特征。然后通过图像去干扰模型的各子特征提取层分别对各图像块进行干扰特征的提取，这里，各子特征提取层采用短期卷积操作进行干扰特征提取。接着，通过图像去干扰模型的特征融合层，从图像块B3开始，逐步进行特征融合的操作，具体地，对图像块B3进行上采样，将图像块B3的尺寸变换为与图像块B2一致，然后将上采样后的图像块B3与图像块B2进行通道维度的特征拼接，拼接后的图像块的尺寸则为(W/2，H/2，11x3)，通过逐步地上述操作，得到对所有图像块进行特征拼接后的拼接干扰特征，其尺寸为(W/2，H/2，19x3)，接着，图像去干扰模型通过特征融合层中的一个卷积层，将尺寸为(W/2，H/2，19x3)的拼接干扰特征进行通道维度的特征融合，得到一个尺寸为(W/2，H/2，3)的融合干扰特征P(I0)，然后，输出层将待处理图像的图像特征F(I0)与融合干扰特征P(I0)相减，得到二者的样本差值特征pred(I0)。在实际实施时，服务器还将样本原始图像输入至图像去干扰模型中，通过图像去干扰模型第一特征提取层，对样本原始图像进行特征提取，得到样本原始图像的样本原始图像特征F(I)，服务器基于样本原始图像特征F(I)与样本差值特征pred(I0)确定图像去干扰模型对应的损失函数的值，基于损失函数的值更新图像去干扰模型的模型参数，迭代模型的训练直至损失函数收敛，完成对图像去干扰模型的训练。
训练完成图像去干扰模型之后，则可以利用该图像去干扰模型对任意的图像进行去干扰处理。在实际实施时，服务器将输入一张待处理的图像，首先计算它的高斯金字塔、拉普拉斯金字塔和对应的四种下采样图像ds0、ds1、ds2和ds3，之后构造成数据块B0，B1，B2，B3。然后将待处理图像与构造出的数据块B0，B1，B2，B3输入上述训练好的图像去干扰模型，图像去干扰模型输出的图像则为与之前输入的待处理图像的尺寸相同的高质量的去干扰图像。
下面继续说明本申请实施例提供的图像去干扰装置555的实施为软件模块的示例性结构，在一些实施例中，参见图27，图27是本申请实施例提供的图像去干扰装置的一个可选的示意图，存储在存储器550的图像去干扰装置555中的软件模块可以包括：
图像分解模块5551，用于对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像；
图像特征提取模块5552，用于通过图像去干扰模型的第一特征提取层，对所述待处理图像进行特征提取，得到所述待处理图像的图像特征；
干扰特征提取模块5553，用于通过所述图像去干扰模型的第二特征提取层，分别对各所述目标图像进行干扰特征提取，得到相应的干扰特征；
特征融合模块5554，用于通过所述图像去干扰模型的特征融合层，对各所述目标图像的干扰特征进行融合处理，得到融合干扰特征；
去干扰模块5555，用于通过所述图像去干扰模型的输出层，基于所述融合干扰特征及所述图像特征，对所述待处理图像进行去干扰处理，得到相应的去干扰图像。
在一些实施例中，所述图像分解模块5551，还用于对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；将所述高斯金字塔中每层的图像作为所述目标图像。
在一些实施例中，所述图像分解模块5551，还用于对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；基于所述对应所述待处理图像的高斯金字塔，构建对应所述待处理图像的拉普拉斯金字塔；分别将所述高斯金字塔中各层的图像与所述拉普拉斯金字塔中相应层级的图像进行组合，得到至少两个图像组合；将所述至少两个图像组合作为所述目标图像。
在一些实施例中，所述图像分解模块5551，还用于对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；基于所述对应所述待处理图像的高斯金字塔，构建对应所述待处理图像的拉普拉斯金字塔；分别对所述高斯金字塔中各层的图像进行下采样处理，得到相应的下采样图像；分别将所述高斯金字塔中各层的图像、所述拉普拉斯金字塔中相应层级的图像、以及与所述拉普拉斯金字塔中相应层级的图像的尺寸相同的下采样图像进行组合，得到至少两个图像组合；将所述至少两个图像组合作为所述目标图像。
在一些实施例中，所述第二特征提取层包括N个子特征提取层，所述目标图像的数量为N，所述N为不小于2的正整数；所述干扰特征提取模块5553，还用于将每个所述目标图像输入一个所述子特征提取层，通过所述子特征提取层对所述目标图像进行干扰特征提取，得到相应的干扰特征。
在一些实施例中，所述干扰特征包括尺寸特征和通道特征，所述特征融合模块5554，还用于分别对各所述目标图像的干扰特征进行尺寸变换，得到对应各所述干扰特征的目标干扰特征；其中，各所述目标干扰特征的尺寸特征相同；对各所述目标干扰特征的通道特征进行融合处理，得到融合通道特征；将所述目标干扰特征的尺寸特征与所述融合通道特征进行特征拼接，得到所述融合干扰特征。
在一些实施例中，当所述目标图像的数量为m时，相应的，所述干扰特征的数量为m，所述特征融合模块5554，还用于将m个所述干扰特征中第j个干扰特征与第j+1个干扰特征进行融合，得到第j融合干扰特征；其中，m为不小于3的正整数，j为正整数，且j∈[1，m-1]；将所述第j融合干扰特征与第j+2个干扰特征进行融合，得到第j+1融合干扰特征；对j取值为1开始，对j进行遍历，并当所述j+2的值与所述m的值相同时，将所述第j+1融合干扰特征作为所述融合干扰特征。
在一些实施例中，所述去干扰模块5555，还用于通过所述图像去干扰模型的输出层，确定所述图像特征与所述融合干扰特征之间的差值特征；通过所述图像去干扰模型的输出层，对所述差值特征进行解码，得到所述去干扰图像。
在一些实施例中，存储在存储器550的图像去干扰装置555中的软件模块可以包括：模型训练模块，用于对携带干扰信息的样本干扰图像进行图像分解，得到至少两张样本目标图像；其中，所述样本干扰图像为对样本原始图像添加干扰信息得到；通过所述图像去干扰模型的第一特征提取层，对所述样本干扰图像进行特征提取，得到所述样本干扰图像的样本图像特征；通过所述图像去干扰模型的第二特征提取层，分别对各所述样本目标图像进行干扰特征提取，得到相应的样本干扰特征；通过所述图像去干扰模型的特征融合层，对各所述样本目标图像对应的样本干扰特征进行融合处理，得到样本融合干扰特征；通过所述图像去干扰模型的输出层，基于所述样本融合干扰特征及所述样本图像特征，对所述样本干扰图像进行去干扰处理，得到相应的预测去干扰图像；基于所述预测去干扰图像与所述样本原始图像的差异，更新所述图像去干扰模型的模型参数。
在一些实施例中，所述样本原始图像对应有至少两张样本干扰图像，各所述样本干扰图像均为对所述样本原始图像添加干扰信息得到，相应的，所述图像分解模块5551，还用于分别针对各所述样本干扰图像，执行所述对携带干扰信息的样本干扰图像进行图像分解、至所述对所述样本干扰图像进行去干扰处理的操作，得到各所述样本干扰图像对应的预测去干扰图像；相应的，所述模型训练模块，还用于基于各所述预测去干扰图像与所述样本原始图像的差异，更新所述图像去干扰模型的模型参数。
在一些实施例中，所述干扰信息包括图像锯齿和图像噪声中的至少一种；相应的，存储在存储器550的图像去干扰装置555中的软件模块可以包括：干扰信息添加模块，用于对所述样本原始图像添加图像锯齿，得到携带图像锯齿的样本锯齿图像，将所述样本锯齿图像作为所述样本干扰图像；或者对所述样本原始图像添加图像噪声，得到携带图像噪声的样本噪声图像，将所述样本噪声图像作为所述样本干扰图像；或者对所述样本原始图像添加图像锯齿和图像噪声，得到同时携带图像锯齿和图像噪声的样本锯齿噪声图像，将所述样本锯齿噪声图像作为所述样本干扰图像。
需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。
本申请实施例提供一种电子设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像去干扰方法或者图像去干扰模型的训练方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现本申请实施例提供的图像去干扰方法或者图像去干扰模型的训练方法。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的图像去干扰方法或者图像去干扰模型的训练方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3示出的图像去干扰方法，或者如图24示出的图像去干扰模型的训练方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例能够准确去除图像中的干扰信息。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (15)

1.一种图像去干扰方法，其特征在于，所述方法包括：
对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像；
通过图像去干扰模型的第一特征提取层，对所述待处理图像进行特征提取，得到所述待处理图像的图像特征；
通过所述图像去干扰模型的第二特征提取层，分别对各所述目标图像进行干扰特征提取，得到相应的干扰特征；
通过所述图像去干扰模型的特征融合层，对各所述目标图像的干扰特征进行融合处理，得到融合干扰特征；
通过所述图像去干扰模型的输出层，基于所述融合干扰特征及所述图像特征，对所述待处理图像进行去干扰处理，得到相应的去干扰图像。
2.根据权利要求1所述的方法，其特征在于，所述对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像，包括：
对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；
将所述高斯金字塔中每层的图像作为所述目标图像。
3.根据权利要求1所述的方法，其特征在于，所述对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像，包括：
对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；
基于所述对应所述待处理图像的高斯金字塔，构建对应所述待处理图像的拉普拉斯金字塔；
分别将所述高斯金字塔中各层的图像与所述拉普拉斯金字塔中相应层级的图像进行组合，得到至少两个图像组合；
将所述至少两个图像组合作为所述目标图像。
4.根据权利要求1所述的方法，其特征在于，所述对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像，包括：
对携带干扰信息的待处理图像进行多尺度图像分解，以构建对应所述待处理图像的高斯金字塔；
基于所述对应所述待处理图像的高斯金字塔，构建对应所述待处理图像的拉普拉斯金字塔；
分别对所述高斯金字塔中各层的图像进行下采样处理，得到相应的下采样图像；
分别将所述高斯金字塔中各层的图像、所述拉普拉斯金字塔中相应层级的图像、以及与所述拉普拉斯金字塔中相应层级的图像的尺寸相同的下采样图像进行组合，得到至少两个图像组合；
将所述至少两个图像组合作为所述目标图像。
5.根据权利要求1所述的方法，其特征在于，所述第二特征提取层包括N个子特征提取层，所述目标图像的数量为N，所述N为不小于2的正整数；
所述通过所述图像去干扰模型的第二特征提取层，分别对各所述携带干扰信息的目标图像进行干扰特征提取，得到相应的干扰特征，包括：
将每个所述目标图像输入一个所述子特征提取层，通过所述子特征提取层对所述目标图像进行干扰特征提取，得到相应的干扰特征。
6.根据权利要求1所述的方法，其特征在于，所述干扰特征包括尺寸特征和通道特征，所述对各所述目标图像的干扰特征进行融合处理，得到融合干扰特征，包括：
分别对各所述目标图像的干扰特征进行尺寸变换，得到对应各所述干扰特征的目标干扰特征；其中，各所述目标干扰特征的尺寸特征相同；
对各所述目标干扰特征的通道特征进行融合处理，得到融合通道特征；
将所述目标干扰特征的尺寸特征与所述融合通道特征进行特征拼接，得到所述融合干扰特征。
7.根据权利要求1所述的方法，其特征在于，当所述目标图像的数量为m时，相应的，所述干扰特征的数量为m，所述对各所述目标图像的干扰特征进行融合处理，得到融合干扰特征，包括：
将m个所述干扰特征中第j个干扰特征与第j+1个干扰特征进行融合，得到第j融合干扰特征；其中，m为不小于3的正整数，j为正整数，且j∈[1，m-1]；
将所述第j融合干扰特征与第j+2个干扰特征进行融合，得到第j+1融合干扰特征；
对j取值为1开始，对j进行遍历，并当所述j+2的值与所述m的值相同时，将所述第j+1融合干扰特征作为所述融合干扰特征。
8.根据权利要求1所述的方法，其特征在于，所述通过所述图像去干扰模型的输出层，基于所述融合干扰特征及所述图像特征，对所述待处理图像进行去干扰处理，得到相应的去干扰图像，包括：
通过所述图像去干扰模型的输出层，确定所述图像特征与所述融合干扰特征之间的差值特征；
通过所述图像去干扰模型的输出层，对所述差值特征进行解码，得到所述去干扰图像。
9.根据权利要求1所述的方法，其特征在于，所述通过图像去干扰模型的第一特征提取层，对所述待处理图像进行特征提取之前，还包括：
对携带干扰信息的样本干扰图像进行图像分解，得到至少两张样本目标图像；
其中，所述样本干扰图像为对样本原始图像添加干扰信息得到；
通过所述图像去干扰模型的第一特征提取层，对所述样本干扰图像进行特征提取，得到所述样本干扰图像的样本图像特征；
通过所述图像去干扰模型的第二特征提取层，分别对各所述样本目标图像进行干扰特征提取，得到相应的样本干扰特征；
通过所述图像去干扰模型的特征融合层，对各所述样本目标图像对应的样本干扰特征进行融合处理，得到样本融合干扰特征；
通过所述图像去干扰模型的输出层，基于所述样本融合干扰特征及所述样本图像特征，对所述样本干扰图像进行去干扰处理，得到相应的预测去干扰图像；
基于所述预测去干扰图像与所述样本原始图像的差异，更新所述图像去干扰模型的模型参数。
10.根据权利要求9所述的方法，其特征在于，所述样本原始图像对应有至少两张样本干扰图像，各所述样本干扰图像均为对所述样本原始图像添加干扰信息得到，相应的，所述方法还包括：
分别针对各所述样本干扰图像，执行所述对携带干扰信息的样本干扰图像进行图像分解、至所述对所述样本干扰图像进行去干扰处理的操作，得到各所述样本干扰图像对应的预测去干扰图像；
相应的，所述基于所述预测去干扰图像与所述样本原始图像的差异，更新所述图像去干扰模型的模型参数，包括：
基于各所述预测去干扰图像与所述样本原始图像的差异，更新所述图像去干扰模型的模型参数。
11.根据权利要求9所述的方法，其特征在于，所述干扰信息包括图像锯齿和图像噪声中的至少一种；
所述对携带干扰信息的样本干扰图像进行图像分解之前，所述方法还包括：
对所述样本原始图像添加图像锯齿，得到携带图像锯齿的样本锯齿图像，将所述样本锯齿图像作为所述样本干扰图像；或者
对所述样本原始图像添加图像噪声，得到携带图像噪声的样本噪声图像，将所述样本噪声图像作为所述样本干扰图像；或者
对所述样本原始图像添加图像锯齿和图像噪声，得到同时携带图像锯齿和图像噪声的样本锯齿噪声图像，将所述样本锯齿噪声图像作为所述样本干扰图像。
12.一种图像去干扰模型的训练方法，其特征在于，所述方法包括：
对携带干扰信息的样本干扰图像进行图像分解，得到至少两张样本目标图像；其中，所述样本干扰图像为对样本原始图像添加干扰信息得到；
通过图像去干扰模型的第一特征提取层，对所述样本干扰图像进行特征提取，得到所述样本干扰图像的样本图像特征；
通过所述图像去干扰模型的第二特征提取层，分别对各所述样本目标图像进行干扰特征提取，得到相应的样本干扰特征；
通过所述图像去干扰模型的特征融合层，对各所述样本目标图像对应的样本干扰特征进行融合处理，得到样本融合干扰特征；
通过所述图像去干扰模型的输出层，基于所述样本融合干扰特征及所述样本图像特征，对所述样本干扰图像进行去干扰处理，得到相应的预测去干扰图像；
基于所述预测去干扰图像与所述样本原始图像的差异，分别对所述第一特征提取层的参数、所述第二特征提取层的参数、所述特征融合层的参数及所述输出层的参数进行更新。
13.一种图像去干扰装置，其特征在于，包括：
图像分解模块，用于对携带干扰信息的待处理图像进行图像分解，得到至少两张目标图像；
图像特征提取模块，用于通过图像去干扰模型的第一特征提取层，对所述待处理图像进行特征提取，得到所述待处理图像的图像特征；
干扰特征提取模块，用于通过所述图像去干扰模型的第二特征提取层，分别对各所述目标图像进行干扰特征提取，得到相应的干扰特征；
特征融合模块，用于通过所述图像去干扰模型的特征融合层，对各所述目标图像的干扰特征进行融合处理，得到融合干扰特征；
去干扰模块，用于通过所述图像去干扰模型的输出层，基于所述融合干扰特征及所述图像特征，对所述待处理图像进行去干扰处理，得到相应的去干扰图像。
14.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至12任一项所述的方法。
CN202011298217.7A 2020-11-18 2020-11-18 图像去干扰方法、装置、电子设备及计算机可读存储介质 Pending CN112419216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011298217.7A CN112419216A (zh) 2020-11-18 2020-11-18 图像去干扰方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011298217.7A CN112419216A (zh) 2020-11-18 2020-11-18 图像去干扰方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112419216A true CN112419216A (zh) 2021-02-26

Family

ID=74774068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011298217.7A Pending CN112419216A (zh) 2020-11-18 2020-11-18 图像去干扰方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112419216A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229767A (zh) * 2021-04-12 2021-08-10 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229767A (zh) * 2021-04-12 2021-08-10 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器
CN113229767B (zh) * 2021-04-12 2022-08-19 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器

Similar Documents

Publication Publication Date Title
CN108062754B (zh) 基于密集网络图像的分割、识别方法和装置
CN109844773B (zh) 使用卷积神经网络处理序列
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN112289342B (zh) 使用神经网络生成音频
CN108876792B (zh) 语义分割方法、装置和系统及存储介质
EP3526765B1 (en) Iterative multiscale image generation using neural networks
CN111104962A (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
CN114008663A (zh) 实时视频超分辨率
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN111832570A (zh) 一种图像语义分割模型训练方法及系统
US20210089845A1 (en) Teaching gan (generative adversarial networks) to generate per-pixel annotation
CN112771578B (zh) 使用细分缩放和深度上缩放的图像生成
AU2021354030B2 (en) Processing images using self-attention based neural networks
CN113793286B (zh) 一种基于多阶注意力神经网络的媒体图像水印移除方法
CN115294337B (zh) 训练语义分割模型的方法、图像语义分割方法及相关装置
CN117196960A (zh) 全尺度特征细化轻量级图像超分辨率方法及装置
CN112633260B (zh) 视频动作分类方法、装置、可读存储介质及设备
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN117934286A (zh) 一种轻量级图像超分辨率方法、装置及其电子设备
CN112419216A (zh) 图像去干扰方法、装置、电子设备及计算机可读存储介质
CN115082371B (zh) 图像融合方法、装置、移动终端设备及可读存储介质
CN109447900A (zh) 一种图像超分辨率重建方法及装置
CN112184592A (zh) 一种图像修复方法、装置、设备及计算机可读存储介质
CN116452600B (zh) 实例分割方法、系统、模型训练方法、介质及电子设备
CN113610704B (zh) 图像生成方法、装置、设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40038289

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination