CN116416140A - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN116416140A
CN116416140A CN202111628721.3A CN202111628721A CN116416140A CN 116416140 A CN116416140 A CN 116416140A CN 202111628721 A CN202111628721 A CN 202111628721A CN 116416140 A CN116416140 A CN 116416140A
Authority
CN
China
Prior art keywords
feature
fused
features
fusion
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111628721.3A
Other languages
English (en)
Inventor
董航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111628721.3A priority Critical patent/CN116416140A/zh
Priority to PCT/CN2022/142286 priority patent/WO2023125522A1/zh
Publication of CN116416140A publication Critical patent/CN116416140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像处理方法及装置，涉及图像处理技术领域。该方法包括：分别从多个不同的空间尺度对待处理图像进行特征提取，获取目标特征和至少一个待融合特征；对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；提取所述目标特征中的高频特征和低频特征；基于残差稠密块RDB对所述高频特征进行处理，获取第二特征；对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征；合并所述第一特征、所述第二特征和所述第三特征，获取融合特征；基于所述融合特征对所述待处理图像进行处理。本发明实施例用于提升图像处理的效果。

Description

一种图像处理方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。
背景技术
图像修复是指对受到损坏的图像进行修复重建或者去除图像中的多余物体。
传统图像处理方法包括：基于偏微分方程的图像处理方法、基于整体变分方的修复方法、基于纹理合成的修复方法等，然而这些图像处理方法效率普遍较低，且图像中的先验信息容易失效。为了解决传统图像处理方法中图像中的先验信息容易失效和运算效率较低的问题，基于深度学习的方法已经被广泛的应用于各种计算机视觉的任务中，这也包括图像修复问题。然而，由于图像中的高频信息未被有效利用，因此目前的基于深度学习的图像修复网络模型在细节生成方面的性能还有待提升。
发明内容
有鉴于此，本发明提供了一种图像处理方法及装置，用于提升基于图像处理的效果。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明的实施例提供了一种图像处理方法，包括：
分别从多个不同的空间尺度对待处理图像进行特征提取，获取目标特征和至少一个待融合特征；
对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；
提取所述目标特征中的高频特征和低频特征；
基于残差稠密块RDB对所述高频特征进行处理，获取第二特征；
对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征；
合并所述第一特征、所述第二特征和所述第三特征，获取融合特征；
基于所述融合特征对所述待处理图像进行处理。
作为本发明实施例一种可选的实施方式，所述提取所述目标特征中的高频特征和低频特征，包括：
对所述目标特征进行离散小波分解，获取第四特征；
将所述第四特征的前预设数量个通道的特征确定为所述低频特征，将所述第四特征中除所述低频特征以外的其它通道的特征确定所述高频特征。
作为本发明实施例一种可选的实施方式，在提取所述目标特征中的高频特征和低频特征之后，所述方法还包括：
分别通过卷积层对所述高频特征和所述低频特征进行处理，以将所述高频特征和所述低频特征的通道数减少为预设值。
作为本发明实施例一种可选的实施方式，所述对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征，包括：
按照所述至少一个待融合特征与所述低频特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第一排序结果；
融合第一待融合特征和所述低频特征，获取所述第一待融合特征对应的融合特征，所述第一待融合特征为所述第一排序结果中的第一个待融合特征；
逐一融合所述第一排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第一排序结果中的其它待融合特征对应的融合特征；
将所述第一排序结果中的最后一个待融合特征的对应的融合特征确定为所述第三特征。
作为本发明实施例一种可选的实施方式，所述融合第一待融合特征和所述低频特征，获取所述第一待融合特征对应的融合特征，包括：
将所述低频特征采样为第一采样特征；所述第一采样特征与所述第一待融合特征的空间尺度相同；
计算所述第一采样特征和所述第一待融合特征的差值，获取第一差值特征；
将所述第一差值特征采样为第二采样特征；所述第二采样特征与所述低频特征的空间尺度相同；
对所述低频特征和所述第二采样特征进行相加融合，生成所述第一待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述逐一融合所述第一排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第一排序结果中的其它待融合特征对应的融合特征，包括：
将所述第一排序结果中的第m-1个待融合特征对应的融合特征采样为第三采样特征；所述第三采样特征与所述第一排序结果中的第m个待融合特征的空间尺度相同，m为大于1的整数；
计算所述第m个待融合特征与所述第三采样特征的差值，获取第二差值特征；
将所述第二差值特征采样为第四采样特征；所述第四采样特征与所述第m-1个待融合特征对应的融合特征的空间尺度相同；
对所述第m-1个待融合特征对应的融合特征和所述第四采样特征进行相加融合，生成所述第m个待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征，包括：
将所述目标特征划分为第五特征和第六特征；
基于残差稠密块RDB对所述第五特征进行处理，获取第七特征；
对所述第六特征和所述至少一个待融合特征进行融合，获取第八特征；
合并所述第七特征和所述第八特征，生成所述第一特征。
作为本发明实施例一种可选的实施方式，所述对所述第六特征和所述至少一个待融合特征进行融合，获取第八特征，包括：
按照所述至少一个待融合特征与所述第六特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第二排序结果；
融合第二待融合特征和所述第六特征，获取所述第二待融合特征对应的融合特征，所述第二待融合特征为所述第二排序结果中的第一个待融合特征；
逐一融合所述第二排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第二排序结果中的其它待融合特征对应的融合特征；
将所述第二排序结果中的最后一个待融合特征对应的融合特征确定为所述第八特征。
作为本发明实施例一种可选的实施方式，所述融合第二待融合特征和所述第六特征，获取所述第二待融合特征对应的融合特征，包括：
将所述第六特征采样为第五采样特征，所述第五采样特征与所述第二待融合特征的空间尺度相同；
计算所述第五采样特征和所述第二排序结果中的第一个待融合特征的差值，获取所述第三差值特征；
将所述第三差值特征采样第六采样特征，所述第六采样特征与所述第六特征的空间尺度相同；
对所述第六特征和所述第六采样特征进行相加融合，生成所述第二待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述逐一融合所述第二排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第二排序结果中的其它待融合特征对应的融合特征，包括：
将所述第二排序结果中的第n-1个待融合特征对应的融合特征采样为第七采样特征；所述第七采样特征与所述第二排序结果中的第n个待融合特征的空间尺度相同，n为大于1的整数；
计算所述第n个待融合特征与所述第七采样特征的差值，获取第四差值特征；
将所述第四差值特征采样为第八采样特征，所述第八采样特征与所述第n-1个待融合特征对应的融合特征的空间尺度相同；
对所述第n-1个待融合特征对应的融合特征和所述第八采样特征进行相加融合，生成所述第n个待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述将所述目标特征划分为第五特征和第六特征，包括：
基于所述目标特征的特征通道将所述目标特征划分为第五特征和第六特征。
第二方面，本发明的实施例提供了一种图像处理方法，包括：
通过编码模块对待处理图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第i个编码器用于对所述待处理图像进行特征提取获取所述第i个编码器上的图像特征，以及获取所述第i个编码器之前的所有编码器输出的融合特征，并通过权利要求1-11任一项所述的图像处理方法获取所述第i个编码器的融合特征，以及将所述第i个编码器的融合特征输出至所述第i个编码器之后的所有编码器，L、i均为正整数，且i≤L；
通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第j个解码器用于融合所述编码模块在所述第j个编码器上的图像特征和所述第j个解码器之前的所有解码器输出的融合结果，生成所述第j个解码器的融合结果，并将所述第j个解码器的融合结果输出至所述第j个解码器之后的所有解码器。
作为本发明实施例一种可选的实施方式，所述通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像，包括：
将第j个解码器上的图像特征划分为第九特征和第十特征；
基于残差稠密块RDB对所述第九特征进行处理，获取第十一特征；
对所述第十特征和所述第j个解码器之前的所有解码器输出的融合结果进行融合，获取第十二特征；
合并所述第十一特征和所述第十二特征，生成所述第j个解码器的融合结果。
第三方面，本发明的实施例提供了一种图像处理装置，包括：
特征提取单元，用于分别从多个不同的空间尺度对待处理图像进行特征提取，获取目标特征和至少一个待融合特征；
第一处理单元，用于对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；
第二处理单元，用于提取所述目标特征中的高频特征和低频特征，基于残差稠密块RDB对所述高频特征进行处理，获取第二特征，以及对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征；
融合单元，用于合并所述第一特征、所述第二特征和所述第三特征，获取融合特征；
第三处理单元，基于所述融合特征对所述待处理图像进行处理。
作为本发明实施例一种可选的实施方式，所述第二处理单元，具体用于对所述目标特征进行离散小波分解，获取第四特征；
将所述第四特征的前预设数量个通道的特征确定为所述低频特征，将所述第四特征中除所述低频特征以外的其它通道的特征确定所述高频特征。
作为本发明实施例一种可选的实施方式，所述第二处理单元，还用于分别通过卷积层对所述高频特征和所述低频特征进行处理，以将所述高频特征和所述低频特征的通道数减少为预设值。
作为本发明实施例一种可选的实施方式，所述第二处理单元，具体用于按照所述至少一个待融合特征与所述低频特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第一排序结果；融合第一待融合特征和所述低频特征，获取所述第一待融合特征对应的融合特征，所述第一待融合特征为所述第一排序结果中的第一个待融合特征；逐一融合所述第一排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第一排序结果中的其它待融合特征对应的融合特征；将所述第一排序结果中的最后一个待融合特征的对应的融合特征确定为所述第三特征。
作为本发明实施例一种可选的实施方式，所述第二处理单元，具体用于将所述低频特征采样为第一采样特征；所述第一采样特征与所述第一待融合特征的空间尺度相同；计算所述第一采样特征和所述第一待融合特征的差值，获取第一差值特征；将所述第一差值特征采样为第二采样特征；所述第二采样特征与所述低频特征的空间尺度相同；对所述低频特征和所述第二采样特征进行相加融合，生成所述第一待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述第二处理单元，具体用于将所述第一排序结果中的第m-1个待融合特征对应的融合特征采样为第三采样特征；所述第三采样特征与所述第一排序结果中的第m个待融合特征的空间尺度相同，m为大于1的整数；计算所述第m个待融合特征与所述第三采样特征的差值，获取第二差值特征；将所述第二差值特征采样为第四采样特征；所述第四采样特征与所述第m-1个待融合特征对应的融合特征的空间尺度相同；对所述第m-1个待融合特征对应的融合特征和所述第四采样特征进行相加融合，生成所述第m个待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元，具体用于将所述目标特征划分为第五特征和第六特征；基于残差稠密块RDB对所述第五特征进行处理，获取第七特征；对所述第六特征和所述至少一个待融合特征进行融合，获取第八特征；合并所述第七特征和所述第八特征，生成所述第一特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元，具体用于按照所述至少一个待融合特征与所述第六特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第二排序结果；融合第二待融合特征和所述第六特征，获取所述第二待融合特征对应的融合特征，所述第二待融合特征为所述第二排序结果中的第一个待融合特征；逐一融合所述第二排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第二排序结果中的其它待融合特征对应的融合特征；将所述第二排序结果中的最后一个待融合特征对应的融合特征确定为所述第八特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元，具体用于将所述第六特征采样为第五采样特征，所述第五采样特征与所述第二待融合特征的空间尺度相同；计算所述第五采样特征和所述第二排序结果中的第一个待融合特征的差值，获取所述第三差值特征；将所述第三差值特征采样第六采样特征，所述第六采样特征与所述第六特征的空间尺度相同；对所述第六特征和所述第六采样特征进行相加融合，生成所述第二待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元，具体用于将所述第二排序结果中的第n-1个待融合特征对应的融合特征采样为第七采样特征；所述第七采样特征与所述第二排序结果中的第n个待融合特征的空间尺度相同，n为大于1的整数；计算所述第n个待融合特征与所述第七采样特征的差值，获取第四差值特征；将所述第四差值特征采样为第八采样特征，所述第八采样特征与所述第n-1个待融合特征对应的融合特征的空间尺度相同；对所述第n-1个待融合特征对应的融合特征和所述第八采样特征进行相加融合，生成所述第n个待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元，具体用于基于所述目标特征的特征通道将所述目标特征划分为第五特征和第六特征。
第四方面，本发明实施例提供了一种图像处理装置，包括：
特征提取单元，用于通过编码模块对待处理图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第i个编码器用于对所述待处理图像进行特征提取获取所述第i个编码器上的图像特征，以及获取所述第i个编码器之前的所有编码器输出的融合特征，并通过权利要求1-11任一项所述的图像处理方法获取所述第i个编码器的融合特征，以及将所述第i个编码器的融合特征输出至所述第i个编码器之后的所有编码器，L、i均为正整数，且i≤L；
特征处理单元，用于通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
图像生成单元，用于通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第j个解码器用于融合所述编码模块在所述第j个编码器上的图像特征和所述第j个解码器之前的所有解码器输出的融合结果，生成所述第j个解码器的融合结果，并将所述第j个解码器的融合结果输出至所述第j个解码器之后的所有解码器。
作为本发明实施例一种可选的实施方式，所述图像生成单元，具体用于将第j个解码器上的图像特征划分为第九特征和第十特征；基于残差稠密块RDB对所述第九特征进行处理，获取第十一特征；对所述第十特征和所述第j个解码器之前的所有解码器输出的融合结果进行融合，获取第十二特征；合并所述第十一特征和所述第十二特征，生成所述第j个解码器的融合结果。
第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现上述任一种图像处理方法。
第六方面，本发明实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述任一种图像处理方法。
第七方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述任一种图像处理方法。
本发明实施例提供的图像处理方法在分别从多个不同的空间尺度对待处理图像进行特征提取获取目标特征和至少一个待融合特征后，一方面，对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；另一方面提取所述目标特征中的高频特征和低频特征，并基于残差稠密块RDB对所述高频特征进行处理获取第二特征，对所述低频特征和所述至少一个待融合特征进行融合获取第三特征；最后合并所述第一特征、所述第二特征和所述第三特征获取融合特征，以及基于所述融合特征对所述待处理图像进行处理。由于基于RDB对特征进行处理可以进行特征更新和冗余特征的生成，融合低频特征和待融合特征可以实现将其它空间尺度的特征中的有效信息引入，实现多尺度特征融合，因此本发明实施例提供的图像处理方法可以在实现低频特征多尺度特征融合时，保证新的高频特征的生成，对所述目标特征和所述至少一个待融合特征进行融合可以进一步实现将其它空间尺度的特征中的有效信息引入，因此本发明实施例提供的图像处理方法可以提升图像处理的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法的步骤流程图之一；
图2为本发明实施例提供的特征融合网络的结构示意图之一；
图3为本发明实施例提供的图像处理方法的数据流示意图之一；
图4为本发明实施例提供的图像处理方法的数据流示意图之二；
图5为本发明实施例提供的图像处理方法的步骤流程图之二；
图6为本发明实施例提供的特征融合网络的结构示意图之二；
图7为本发明实施例提供的图像处理方法的步骤流程图；
图8为本发明实施例提供的图像处理网络的结构示意图；
图9为本发明实施例提供的图像处理装置的结构示意图；
图10为本发明实施例提供的图像处理装置的结构示意图；
图11为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
本发明实施例提供了一种图像处理方法，参照图1所示的图像处理方法的步骤流程图和图2所示的特征融合网络的结构图，该图像处理方法包括：
S11、分别从多个不同的空间尺度对待处理图像进行特征提取，获取目标特征和至少一个待融合特征。
具体的，本发明实施例中的目标特征是指需要进行融合增强的特征，待融合特征是指用于对目标特征进行融合增强的特征。具体的，可以基于不同空间尺度的特征提取函数或特征提取网络分别对待处理图像进行特征提取，以获取所述目标特征和所述至少一个待融合特征。
S12、对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征。
本发明实施例中不限定对所述目标特征和所述至少一个待融合特征进行融合的实现方式，可以通过任一种特征融合方式对所述目标特征和所述至少一个待融合特征进行融合。
S13、提取所述目标特征中的(High Freq)和低频特征(Low Freq)。
可选的，上步骤S13(提取所述目标特征中的高频特征和低频特征)的实现方式可以包括：
对所述目标特征进行离散小波分解，获取第四特征；
将所述第四特征的前预设数量个通道的特征确定为所述低频特征，将所述第四特征中除所述低频特征以外的其它通道的特征确定所述高频特征。
即，首先对目标特征(C*H*W)进行离散小波分解，从而将目标特征转换为低分辨特征(4C*1/2H*1/2W)，然后将第1至第K个通道的特征确定为所述低频特征，将第K+1至第4C个通道的特征确定为所述高频特征。
本发明实施例中特征的通道(channel)是指特征所包含的特征图(feature map)，特征的一个通道即为基于某一维度对特征进行特征提取所得到的特征图，因此特征的通道即为特定意义上的特征图。
例如：目标特征的尺寸为16*H*W，第四特征的尺寸为64*H/2*W/2，则可以将第1-16个通道的特征确定为所述低频特征，将第17-48个通道的特征确定为所述高频特征。
作为本发明实施例一种可选的实施方式，本发明实施例提供的图像处理方法还包括：
分别通过卷积层对所述高频特征和所述低频特征进行处理，以将所述高频特征和所述低频特征的通道数减少为预设值。
示例性的，预设值可以为8。即，通过两个卷积层分别将所述高频特征和所述低频特征的通道数压缩为8。
可选的，用于对所述高频特征和所述低频特征进行处理的卷积层的卷积核(kerne_size)为3*3、步长(stride)为2。
将所述高频特征和所述低频特征的通道数减少为预设值可以减少特征融合过程中的数据处理量，进而提高特征融合的效率。
S14、基于残差稠密块(ResidualDense Block，RDB)对所述高频特征进行处理，获取第二特征。
具体的，本发明实施例中的残差稠密块包括主要三部分，该三部分分别为：近邻记忆(Contiguous Memory，CM)、局部特征融合(Local Feature Fusion，LFF)以及局部残差学习(Local Residual Learning，LRL)。其中，CM主要用于将前一个RDB的输出发送到当前RDB的每一个卷积层；LFF主要用于将前一个RDB的输出与当前RDB的所有卷积层的输出融合在一起；LRL主要用于将前一个RDB的输出与当前RDB的LFF的输出相加融合，并将相加融合结果作为当前RDB的输出。
由于RDB可以进行特征更新和冗余特征的生成，因此基于残差稠密块对高频特征进行处理可以增加高频特征的多样性，进而使效果图像中的细节更加丰富。
S15、对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征。
作为本发明实施例一种可选的实施方式，上述步骤S15(对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征)包括如下步骤a至步骤d：
步骤a、按照所述至少一个待融合特征与所述低频特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第一排序结果。
其中，所述待融合特征与所述低频特征的空间尺度差是指所述待融合特征的空间尺度与所述低频特征的空间尺度的差值。
即，若所述至少一个待融合特征中某一待融合特征的空间尺度与所述低频特征的空间尺度相差越大，则该待融合特征在第一排序结果中的位置越靠前，而若某一待融合特征的空间尺度与所述低频特征的空间尺度相差越小，则该待融合特征在第一排序结果中的位置越靠后。
步骤b、融合第一待融合特征和所述低频特征，获取所述第一待融合特征对应的融合特征。
其中，所述第一待融合特征为所述第一排序结果中的第一个待融合特征。
参照图3所示，图3中以第一排序结果中的第一个待融合特征(第一待融合特征)为J0，低频特征为jn2对上述步骤b进行说明。上述步骤b的实现方式可以包括如下步骤1至步骤4：
步骤1、将所述低频特征jn2采样为第一采样特征
Figure BDA0003440576090000141
其中，所述第一采样特征
Figure BDA0003440576090000142
与所述第一待融合特征J0的空间尺度相同。
需要说明的是，上述步骤中的采样可以为上采样也可以为下采样，具体由第一排序结果中的第一个待融合J0的空间尺度与低频特征jn2的空间尺度决定。
步骤2、计算所述第一采样特征
Figure BDA0003440576090000143
和所述第一排序结果中的第一个待融合特征J0的差值，获取第一差值特征/>
Figure BDA0003440576090000144
上述步骤2的过程可以描述为：
Figure BDA0003440576090000145
步骤3、将所述第一差值特征
Figure BDA0003440576090000146
采样为第二采样特征/>
Figure BDA0003440576090000147
其中，所述第二采样特征
Figure BDA0003440576090000148
与所述低频特征jn2的空间尺度相同。
同样，上述步骤中的采样可以为上采样也可以为下采样，具体由第一差值特征
Figure BDA0003440576090000149
的空间尺度与低频特征jn2的空间尺度决定。
步骤4、对所述低频特征jn2和所述第二采样特征
Figure BDA0003440576090000151
进行相加融合，生成所述第一待融合特征J0对应的融合特征J0 n。
上述步骤4的过程可以描述为：
Figure BDA0003440576090000152
步骤c、逐一融合所述第一排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第一排序结果中的其它待融合特征对应的融合特征。
可选的，上述步骤c中对第一排序结果中的第m(大于1的正整数)个待融合特征和上一个待融合特征(第m-1个待融合特征)对应的融合特征进行融合的实现方式包括如下步骤Ⅰ至Ⅵ：
步骤Ⅰ、将所述第一排序结果中的第m-1个待融合特征对应的融合特征采样为第三采样特征。
其中，所述第三采样特征与所述第一排序结果中的第m个待融合特征的空间尺度相同。
步骤Ⅱ、计算所述第m个待融合特征与所述第三采样特征的差值，获取第二差值特征。
步骤Ⅲ、将所述第二差值特征采样为第四采样特征。
其中，所述第四采样特征与所述第m-1个待融合特征对应的融合特征的空间尺度相同。
步骤Ⅵ、对所述第m-1个待融合特征对应的融合特征和所述第四采样特征进行相加融合，生成所述第m个待融合特征对应的融合特征。
步骤Ⅰ至Ⅵ中获取第一排序结果中的第m个待融合特征的融合结果与步骤1至4中获取第一排序结果中的第1个待融合特征的融合结果的不同之处仅在在于：获取第一个待融合特征的融合结果时，输入为第三特征和第一个待融合特征，而获取第m个待融合特征的融合结果时，输入为第m-1个待融合特征对应的融合特征和第m个待融合特征，其余计算方式相同。
示例性的，参照图4所示，图4中以第一排序结果依次包括：待融合特征J0、待融合特征J1、待融合特征J2、……、待融合特征Jt为例对上述步骤c进行说明。在图3所示实施例的基础上，获取第一排序结果中的第一个待融合特征对应的融合特征J0 n后，获取所述第一排序结果中的其它待融合特征对应的融合特征的过程包括：
将第一排序结果中的第1个待融合特征J0的融合结果J0 n采样为与第2个待融合特征J1空间尺度相同的特征，生成第2个待融合特征对应的第一采样特征
Figure BDA0003440576090000161
计算第2个待融合特征J1与第2个待融合特征J1对应的第一采样特征
Figure BDA0003440576090000162
的差值，获取所述第2个待融合特征对应的差值特征/>
Figure BDA0003440576090000163
将第2个待融合特征J1对应的差值特征
Figure BDA0003440576090000164
采样为与第1个待融合特征J0的融合结果J0 n空间尺度相同的特征，获取第2个待融合特征J1对应的第二采样特征/>
Figure BDA0003440576090000165
对第1个待融合特征J0的融合结果J0 n和第2个待融合特征J1对应的第二采样特征
Figure BDA0003440576090000166
进行相加融合，生成第2个待融合特征J1的融合结果J1 n；
将第2个待融合特征J1的融合结果J1 n采样为与第3个待融合特征J2空间尺度相同的特征，生成第3个待融合特征对应的第一采样特征
Figure BDA0003440576090000167
计算第3个待融合特征J2与第3个待融合特征J2对应的第一采样特征
Figure BDA0003440576090000168
的差值，获取所述第3个待融合特征对应的差值特征/>
Figure BDA0003440576090000169
将第3个待融合特征J2对应的差值特征
Figure BDA00034405760900001610
采样为与第2个待融合特征J1的融合结果J1 n空间尺度相同的特征，获取第3个待融合特征J2对应的第二采样特征/>
Figure BDA00034405760900001611
对第2个待融合特征J1的融合结果J1 n和第3个待融合特征J2对应的第二采样特征
Figure BDA00034405760900001612
进行相加融合，生成第3个待融合特征J2的融合结果J2 n；
基于上述方式逐一获取第一排序结果中的第4个待融合特征J3、第5个待融合特征J4、……、第t个待融合特征Jt-1以及第t+1个待融合特征Jt的融合结果Jt n。
步骤d、将所述第一排序结果中的最后一个待融合特征对应的融合特征确定为所述第三特征。
承上图4所示实施例，第一排序结果依次包括：待融合特征J0、待融合特征J1、待融合特征J2、……、待融合特征Jt，因此将所述第一排序结果中的最后一个待融合特征Jt的融合结果Jt n确定为所述第三特征。
即，本发明实施例分两个特征处理支路进行特征处理，其中一个特征处理支路执行上述步骤S12的特征处理步骤，而另一个特征处理支路执行上述步骤S13至步骤S15的特征处理步骤。
需要说明的是，本发明实施例不限定执行两个特征处理支路所执行的特征处理步骤的先后顺序，可以先执行步骤S13至S15，再执行步骤S12，也可以先执行步骤S12，再执行步骤S13至S15，还可以同时执行。
S16、合并所述第二特征、所述第三特征和所述第一特征，获取融合特征。
具体的，合并所述第二特征、所述第三特征和所述第一特征可以包括：将所述第二特征、所述第三特征和所述第一特征在通道维度上串联。
S17、基于所述融合特征对所述待处理图像进行处理。
本发明实施例提供了一种图像处理方法可以用于任意图像处理场景中的图像处理方法。例如：本发明实施例提供的图像处理方法可以为图像去雾方法；再例如：本发明实施例提供的图像处理方法也可以为图像增强方法。再例如：本发明实施例提供的图像处理方法还可以为图像超分方法。
本发明实施例提供的图像处理方法在分别从多个不同的空间尺度对待处理图像进行特征提取获取目标特征和至少一个待融合特征后，一方面，对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；另一方面提取所述目标特征中的高频特征和低频特征，并基于残差稠密块RDB对所述高频特征进行处理获取第二特征，对所述低频特征和所述至少一个待融合特征进行融合获取第三特征；最后合并所述第一特征、所述第二特征和所述第三特征获取融合特征，以及基于所述融合特征对所述待处理图像进行处理。由于基于RDB对特征进行处理可以进行特征更新和冗余特征的生成，融合低频特征和待融合特征可以实现将其它空间尺度的特征中的有效信息引入，实现多尺度特征融合，因此本发明实施例提供的图像处理方法可以在实现低频特征多尺度特征融合时，保证新的高频特征的生成，对所述目标特征和所述至少一个待融合特征进行融合可以进一步实现将其它空间尺度的特征中的有效信息引入，因此本发明实施例提供的图像处理方法可以提升图像处理的效果。
作为对上述实施例的扩展和细化，本发明实施例提供了另一种图像处理方法，参照图5所示的图像处理方法的步骤流程图和图6所示的特征融合网络的结构图，该图像处理方法包括如下步骤：
S51、分别从多个不同的空间尺度对待处理图像进行特征提取，获取目标特征和至少一个待融合特征。
S52、将所述目标特征划分为第五特征和第六特征。
可选的，所述将所述目标特征划分为第五特征和第六特征，包括：
基于所述目标特征的特征通道将所述目标特征划分为第五特征和第六特征。
本发明实施例中不限定第五特征和第六特征的比例。第五特征的比例越高，则可以更多的生成新特征，第六特征的比例越高，则可以更多引入的其它空间尺度的特征的有效信息，因此实际应用中可以根据需要引入的其它空间尺度的特征的有效信息的量以及需要生成的新特征的量来确定第五特征和第六特征的比例。示例性的，第五特征和第六特征的比例可以1：1。
S53、基于残差稠密块对所述第五特征进行处理，获取第七特征。
S54、对所述第六特征和所述至少一个待融合特征进行融合，获取第八特征。
作为本发明实施例一种可选的实施方式，上述步骤S54(对所述第六特征和所述至少一个待融合特征进行融合，获取第八特征)包括：
按照所述至少一个待融合特征与所述第六特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第二排序结果；
融合第二待融合特征和所述第六特征，获取所述第二待融合特征对应的融合特征，所述第二待融合特征为所述第二排序结果中的第一个待融合特征；
逐一融合所述第二排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第二排序结果中的其它待融合特征对应的融合特征；
将所述第二排序结果中的最后一个待融合特征对应的融合特征确定为所述第八特征。
进一步的，所所述融合第二待融合特征和所述第六特征，获取所述第二待融合特征对应的融合特征，包括：
将所述第六特征采样为第五采样特征，所述第五采样特征与所述第二待融合特征的空间尺度相同；
计算所述第五采样特征和所述第二排序结果中的第一个待融合特征的差值，获取所述第三差值特征；
将所述第三差值特征采样第六采样特征，所述第六采样特征与所述第六特征的空间尺度相同；
对所述第六特征和所述第六采样特征进行相加融合，生成所述第二待融合特征对应的融合特征。
进一步的，所述逐一融合所述第二排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第二排序结果中的其它待融合特征对应的融合特征，包括：
将所述第二排序结果中的第n-1个待融合特征对应的融合特征采样为第七采样特征；所述第七采样特征与所述第二排序结果中的第n个待融合特征的空间尺度相同，n为大于1的整数；
计算所述第n个待融合特征与所述第七采样特征的差值，获取第四差值特征；
将所述第四差值特征采样为第八采样特征，所述第八采样特征与所述第n-1个待融合特征对应的融合特征的空间尺度相同；
对所述第n-1个待融合特征对应的融合特征和所述第八采样特征进行相加融合，生成所述第n个待融合特征对应的融合特征。
对第六特征和至少一个待融合特征进行融合获取第八特征的实现方式与图1所示实施例中对低频特征和至少一个待融合特征进行融合获取第三特征的实现方式类似，因此上述实施例中的步骤S54的实现方式可以参照上述步骤S14的实现方式，在此不再赘述。
S55、合并所述第七特征和所述第八特征，生成所述第一特征。
S56、提取所述目标特征中的高频特征和低频特征。
S57、基于残差稠密块对所述高频特征进行处理，获取第二特征。
S58、对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征。
S59、合并所述第一特征、所述第二特征和所述第三特征，获取融合特征。
需要说明的是，上述实施例中以先合并所述第七特征和所述第八特征生成所述第一特征，再合并所述第二特征、所述第三特征和所述第一特征，生成所述目标特征和所述融合特征为例示出，但实际执行过程中也可以通过同一步骤合成合并所述第二特征、所述第三特征、所述第七特征和所述第八特征，生成所述融合特征。
本发明实施例提供的图像处理方法在分别从多个不同的空间尺度对待处理图像进行特征提取获取目标特征和至少一个待融合特征后，一方面，对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；另一方面提取所述目标特征中的高频特征和低频特征，并基于残差稠密块RDB对所述高频特征进行处理获取第二特征，对所述低频特征和所述至少一个待融合特征进行融合获取第三特征；最后合并所述第一特征、所述第二特征和所述第三特征获取融合特征，以及基于所述融合特征对所述待处理图像进行处理。由于基于RDB对特征进行处理可以进行特征更新和冗余特征的生成，融合低频特征和待融合特征可以实现将其它空间尺度的特征中的有效信息引入，实现多尺度特征融合，因此本发明实施例提供的图像处理方法可以在实现低频特征多尺度特征融合时，保证新的高频特征的生成，对所述目标特征和所述至少一个待融合特征进行融合可以进一步实现将其它空间尺度的特征中的有效信息引入，因此本发明实施例提供的图像处理方法可以提升图像处理的效果。
还需要说明的是，多个空间尺度的特征进行融合时，一般需要进行上采样/下采样的卷积和反卷积，而上采样/下采样的卷积和反卷积需要大量的计算资源，因此性能开销比较大。上述实施例通过将目标特征划分为第五特征和第六特征，且仅会使第六特征参与多空间尺度特征融合，因此上述实施例还可以减少需要融合的特征的数量(第六特征的特征数少于目标特征的特征数)，进而减少特征融合的计算量，提升特征融合的效率。
在上述实施例的基础上，本发明实施例还提供了一种图像处理方法。参照图7所示，本发明实施例提供的图像处理方法包括如下步骤S71至S73：
S71、通过编码模块对待处理图像进行处理，获取编码特征。
其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第m个编码器用于对所述待处理图像进行特征提取获取所述第i个编码器上的图像特征，以及获取所述第i个编码器之前的所有编码器输出的融合特征，并通过权利要求1-11任一项所述的图像处理方法获取所述第i个编码器的融合特征，以及将所述第i个编码器的融合特征输出至所述第i个编码器之后的所有编码器，L、i均为正整数，且i≤L。
S72、通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征。
S73、通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像。
其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第j个解码器用于融合所述编码模块在所述第j个编码器上的图像特征和所述第j个解码器之前的所有解码器输出的融合结果，生成所述第j个解码器的融合结果，并将所述第j个解码器的融合结果输出至所述第j个解码器之后的所有解码器。
即，用于执行上述图7所示实施例的编码模块、特征复原模块以及解码模块形成U型网络(U-Net)。
具体的，U型网络(U-Net)一种特殊的卷积神经网络，U型网络神经网络主要包括：编码模块(又称为收缩路径)、特征复原模块以及解码模块(又称为扩展路径)。编码模块主要是用来捕捉原始图像中的上下文信息(context information)，而与之相对称的解码模块则是为了对原始图像中所需要分割出来的部分进行精准定位(localization)，进而生成处理后的图像。相比于全卷积神经网络(Fully Convolutional Neural，FCN)U型网络的改进之处在于，U-Net为了能精准的定位原始图像中需要分割出来的部分，编码模块上提取出来的特征会在升采样(upsampling)过程中与新的特征图(feature map)进行结合，以最大程度的保留特征中的重要信息，进而减少对训练样本数量和计算资源的需求。
作为本发明实施例一种可选的实施方式，所述通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像，包括：
将第j个解码器上的图像特征划分为第九特征和第十特征；
基于残差稠密块RDB对所述第九特征进行处理，获取第十一特征；
对所述第十特征和所述第j个解码器之前的所有解码器输出的融合结果进行融合，获取第十二特征；
合并所述第十一特征和所述第十二特征，生成所述第j个解码器的融合结果。
参照图8所示，用于执行上述图7所示实施例的网络模型包括：形成U型网络的编码模块81、特征复原模块82以及解码模块83。
所述编码模块81包括L个级联的且空间尺度均不相同的编码器，用于对待处理图像I进行处理，获取编码特征iL。其中，第j个解码器用于融合所述编码模块在所述第j个编码器上的图像特征和所述第j个解码器之前的所有解码器输出的融合结果，生成所述第j个解码器的融合结果，并将所述第j个解码器的融合结果输出至所述第j个解码器之后的所有解码器。
所述特征复原模块82包括至少一个RDB，用于接收所述编码模块81输出的编码特征iL，以及通过所述至少一个RDB对编码特征iL进行处理，获取复原特征jL。
所述解码模块83包括L个级联的且空间尺度均不相同的解码器，第j个解码器用于融合所述编码模块在所述第j个编码器上的图像特征和所述第j个解码器之前的所有解码器输出的融合结果，生成所述第j个解码器的融合结果，并将所述第j个解码器的融合结果输出至所述第j个解码器之后的所有解码器；以及根据最后一个解码器的输出的融合结果j1，获取所述待处理图像I处理结果图像J。
编码模块81中的第m个编码器通过上述实施例提供的图像处理方法融合所述编码模块在第m个编码器上的图像特征和所述第m个编码器之前的所有编码器(第1个编码器至第m-1个编码器)输出的融合结果的操作可以描述为：
im＝im1+im2
Figure BDA0003440576090000231
/>
Figure BDA0003440576090000232
im＝iGF+iLF
Figure BDA0003440576090000233
Figure BDA0003440576090000241
Figure BDA0003440576090000242
其中，im表示编码模块81在第m个编码器上的特征，iGF表示从im中提取的高频特征，f(…)表示基于RDB对特征进行处理的操作，
Figure BDA0003440576090000243
表示基于RDB对iGF进行处理得到的特征，iLF表示从im中提取的低频特征，/>
Figure BDA0003440576090000244
表示第1个编码器至第m-1个编码器输出的融合结果，/>
Figure BDA0003440576090000245
表示特征融合的操作，/>
Figure BDA0003440576090000246
表示对iLF和/>
Figure BDA0003440576090000247
进行融合得到的融合结果，im1表示对im进行划分得到的第五特征，/>
Figure BDA0003440576090000248
表示基于RDB对im1进行处理得到的第七特征，im2表示对im进行划分得到的第六特征，/>
Figure BDA0003440576090000249
表示对im2和
Figure BDA00034405760900002410
进行融合得到的融合结果，/>
Figure BDA00034405760900002411
编码模块81的第m个编码器输出的融合结果。
解码模块83中的第m个解码器通过上述实施例提供的图像处理方法融合所述解码模块在第m个解码器上的图像特征和所述第m个解码器之前的所有解码器(第L个解码器至第m+1个解码器)输出的融合结果的操作可以描述为：
jm＝jm1+jm2
Figure BDA00034405760900002412
Figure BDA00034405760900002413
Figure BDA00034405760900002414
其中，jm表示对解码模块83在第m个解码器中的特征，jm1表示对jm进行划分得到的第九特征，f(…)表示基于RDB对特征进行处理的操作，
Figure BDA00034405760900002415
表示基于RDB对jm1进行处理得到的十一特征，jm2表示对jm进行划分得到的第十特征，L为解码模块83中解码器的总数量，
Figure BDA00034405760900002416
表示第L个解码器至第m+1个解码器输出的融合结果，/>
Figure BDA00034405760900002417
表示对jm2和/>
Figure BDA00034405760900002418
进行融合的操作，/>
Figure BDA00034405760900002419
表示对jm2和
Figure BDA00034405760900002420
进行融合得到的融合结果，/>
Figure BDA00034405760900002421
表示解码模块83的第m个解码器输出的融合结果。
由于本发明实施例提供的图像处理方法可以通过上述实施例提供的图像处理方法进行特征融合，因此本发明实施例提供的图像处理方法可以在实现低频特征多尺度特征融合时，保证新的高频特征的生成，因此本发明实施例提供的图像处理方法可以提升图像处理的效果。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种图像处理装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的图像处理装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供了一种图像处理装置，图9为该图像处理装置的结构示意图，如图9所示，该图像处理装置900包括：
特征提取单元91，用于分别从多个不同的空间尺度对待处理图像进行特征提取，获取目标特征和至少一个待融合特征；
第一处理单元92，用于对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；
第二处理单元93，用于提取所述目标特征中的高频特征和低频特征，基于残差稠密块RDB对所述高频特征进行处理，获取第二特征，以及对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征；
融合单元94，用于合并所述第一特征、所述第二特征和所述第三特征，获取融合特征；
第三处理单元95，基于所述融合特征对所述待处理图像进行处理。
作为本发明实施例一种可选的实施方式，所述第二处理单元93，具体用于对所述目标特征进行离散小波分解，获取第四特征；
将所述第四特征的前预设数量个通道的特征确定为所述低频特征，将所述第四特征中除所述低频特征以外的其它通道的特征确定所述高频特征。
作为本发明实施例一种可选的实施方式，所述第二处理单元93，还用于分别通过卷积层对所述高频特征和所述低频特征进行处理，以将所述高频特征和所述低频特征的通道数减少为预设值。
作为本发明实施例一种可选的实施方式，所述第二处理单元93，具体用于按照所述至少一个待融合特征与所述低频特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第一排序结果；融合第一待融合特征和所述低频特征，获取所述第一待融合特征对应的融合特征，所述第一待融合特征为所述第一排序结果中的第一个待融合特征；逐一融合所述第一排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第一排序结果中的其它待融合特征对应的融合特征；将所述第一排序结果中的最后一个待融合特征的对应的融合特征确定为所述第三特征。
作为本发明实施例一种可选的实施方式，所述第二处理单元93，具体用于将所述低频特征采样为第一采样特征；所述第一采样特征与所述第一待融合特征的空间尺度相同；计算所述第一采样特征和所述第一待融合特征的差值，获取第一差值特征；将所述第一差值特征采样为第二采样特征；所述第二采样特征与所述低频特征的空间尺度相同；对所述低频特征和所述第二采样特征进行相加融合，生成所述第一待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述第二处理单元93，具体用于将所述第一排序结果中的第m-1个待融合特征对应的融合特征采样为第三采样特征；所述第三采样特征与所述第一排序结果中的第m个待融合特征的空间尺度相同，m为大于1的整数；计算所述第m个待融合特征与所述第三采样特征的差值，获取第二差值特征；将所述第二差值特征采样为第四采样特征；所述第四采样特征与所述第m-1个待融合特征对应的融合特征的空间尺度相同；对所述第m-1个待融合特征对应的融合特征和所述第四采样特征进行相加融合，生成所述第m个待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元92，具体用于将所述目标特征划分为第五特征和第六特征；基于残差稠密块RDB对所述第五特征进行处理，获取第七特征；对所述第六特征和所述至少一个待融合特征进行融合，获取第八特征；合并所述第七特征和所述第八特征，生成所述第一特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元92，具体用于按照所述至少一个待融合特征与所述第六特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第二排序结果；融合第二待融合特征和所述第六特征，获取所述第二待融合特征对应的融合特征，所述第二待融合特征为所述第二排序结果中的第一个待融合特征；逐一融合所述第二排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第二排序结果中的其它待融合特征对应的融合特征；将所述第二排序结果中的最后一个待融合特征对应的融合特征确定为所述第八特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元92，具体用于将所述第六特征采样为第五采样特征，所述第五采样特征与所述第二待融合特征的空间尺度相同；计算所述第五采样特征和所述第二排序结果中的第一个待融合特征的差值，获取所述第三差值特征；将所述第三差值特征采样第六采样特征，所述第六采样特征与所述第六特征的空间尺度相同；对所述第六特征和所述第六采样特征进行相加融合，生成所述第二待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元92，具体用于将所述第二排序结果中的第n-1个待融合特征对应的融合特征采样为第七采样特征；所述第七采样特征与所述第二排序结果中的第n个待融合特征的空间尺度相同，n为大于1的整数；计算所述第n个待融合特征与所述第七采样特征的差值，获取第四差值特征；将所述第四差值特征采样为第八采样特征，所述第八采样特征与所述第n-1个待融合特征对应的融合特征的空间尺度相同；对所述第n-1个待融合特征对应的融合特征和所述第八采样特征进行相加融合，生成所述第n个待融合特征对应的融合特征。
作为本发明实施例一种可选的实施方式，所述第一处理单元92，具体用于基于所述目标特征的特征通道将所述目标特征划分为第五特征和第六特征。
本实施例提供的图像处理装置可以执行上述方法实施例提供的图像处理方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种图像处理装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的图像处理装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供了一种图像处理装置，图10为该图像处理装置的结构示意图，如图10所示，该图像处理装置100包括：
特征提取单元101，用于通过编码模块对待处理图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第i个编码器用于对所述待处理图像进行特征提取获取所述第i个编码器上的图像特征，以及获取所述第i个编码器之前的所有编码器输出的融合特征，并通过权利要求1-11任一项所述的图像处理方法获取所述第i个编码器的融合特征，以及将所述第i个编码器的融合特征输出至所述第i个编码器之后的所有编码器，L、i均为正整数，且i≤L；
特征处理单元102，用于通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
图像生成单元103，用于通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第j个解码器用于融合所述编码模块在所述第j个编码器上的图像特征和所述第j个解码器之前的所有解码器输出的融合结果，生成所述第j个解码器的融合结果，并将所述第j个解码器的融合结果输出至所述第j个解码器之后的所有解码器。
作为本发明实施例一种可选的实施方式，所述图像生成单元103，具体用于将第j个解码器上的图像特征划分为第九特征和第十特征；基于残差稠密块RDB对所述第九特征进行处理，获取第十一特征；对所述第十特征和所述第j个解码器之前的所有解码器输出的融合结果进行融合，获取第十二特征；合并所述第十一特征和所述第十二特征，生成所述第j个解码器的融合结果。
本实施例提供的图像处理装置可以执行上述方法实施例提供的图像处理方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备。图11为本发明实施例提供的电子设备的结构示意图，如图11所示，本实施例提供的电子设备包括：存储器111和处理器112，所述存储器111用于存储计算机程序；所述处理器112用于在调用计算机程序时执行上述实施例提供的图像处理方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的图像处理方法。
基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的图像处理方法。
本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种图像处理方法，其特征在于，包括：
分别从多个不同的空间尺度对待处理图像进行特征提取，获取目标特征和至少一个待融合特征；
对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；
提取所述目标特征中的高频特征和低频特征；
基于残差稠密块RDB对所述高频特征进行处理，获取第二特征；
对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征；
合并所述第一特征、所述第二特征和所述第三特征，获取融合特征；
基于所述融合特征对所述待处理图像进行处理。
2.根据权利要求1所述的方法，其特征在于，所述提取所述目标特征中的高频特征和低频特征，包括：
对所述目标特征进行离散小波分解，获取第四特征；
将所述第四特征的前预设数量个通道的特征确定为所述低频特征，将所述第四特征中除所述低频特征以外的其它通道的特征确定所述高频特征。
3.根据权利要求2所述的方法，其特征在于，在提取所述目标特征中的高频特征和低频特征之后，所述方法还包括：
分别通过卷积层对所述高频特征和所述低频特征进行处理，以将所述高频特征和所述低频特征的通道数减少为预设值。
4.根据权利要求1所述的方法，其特征在于，所述对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征，包括：
按照所述至少一个待融合特征与所述低频特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第一排序结果；
融合第一待融合特征和所述低频特征，获取所述第一待融合特征对应的融合特征，所述第一待融合特征为所述第一排序结果中的第一个待融合特征；
逐一融合所述第一排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第一排序结果中的其它待融合特征对应的融合特征；
将所述第一排序结果中的最后一个待融合特征的对应的融合特征确定为所述第三特征。
5.根据权利要求4所述的方法，其特征在于，所述融合第一待融合特征和所述低频特征，获取所述第一待融合特征对应的融合特征，包括：
将所述低频特征采样为第一采样特征；所述第一采样特征与所述第一待融合特征的空间尺度相同；
计算所述第一采样特征和所述第一待融合特征的差值，获取第一差值特征；
将所述第一差值特征采样为第二采样特征；所述第二采样特征与所述低频特征的空间尺度相同；
对所述低频特征和所述第二采样特征进行相加融合，生成所述第一待融合特征对应的融合特征。
6.根据权利要求4所述的方法，其特征在于，所述逐一融合所述第一排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第一排序结果中的其它待融合特征对应的融合特征，包括：
将所述第一排序结果中的第m-1个待融合特征对应的融合特征采样为第三采样特征；所述第三采样特征与所述第一排序结果中的第m个待融合特征的空间尺度相同，m为大于1的整数；
计算所述第m个待融合特征与所述第三采样特征的差值，获取第二差值特征；
将所述第二差值特征采样为第四采样特征；所述第四采样特征与所述第m-1个待融合特征对应的融合特征的空间尺度相同；
对所述第m-1个待融合特征对应的融合特征和所述第四采样特征进行相加融合，生成所述第m个待融合特征对应的融合特征。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征，包括：
将所述目标特征划分为第五特征和第六特征；
基于残差稠密块RDB对所述第五特征进行处理，获取第七特征；
对所述第六特征和所述至少一个待融合特征进行融合，获取第八特征；
合并所述第七特征和所述第八特征，生成所述第一特征。
8.根据权利要求7所述的方法，其特征在于，所述对所述第六特征和所述至少一个待融合特征进行融合，获取第八特征，包括：
按照所述至少一个待融合特征与所述第六特征的空间尺度差对所述至少一个待融合特征进行降序排序，获取第二排序结果；
融合第二待融合特征和所述第六特征，获取所述第二待融合特征对应的融合特征，所述第二待融合特征为所述第二排序结果中的第一个待融合特征；
逐一融合所述第二排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第二排序结果中的其它待融合特征对应的融合特征；
将所述第二排序结果中的最后一个待融合特征对应的融合特征确定为所述第八特征。
9.根据权利要求8所述的方法，其特征在于，所述融合第二待融合特征和所述第六特征，获取所述第二待融合特征对应的融合特征，包括：
将所述第六特征采样为第五采样特征，所述第五采样特征与所述第二待融合特征的空间尺度相同；
计算所述第五采样特征和所述第二排序结果中的第一个待融合特征的差值，获取第三差值特征；
将所述第三差值特征采样第六采样特征，所述第六采样特征与所述第六特征的空间尺度相同；
对所述第六特征和所述第六采样特征进行相加融合，生成所述第二待融合特征对应的融合特征。
10.根据权利要求8所述的方法，其特征在于，所述逐一融合所述第二排序结果中的其它待融合特征和上一个待融合特征对应的融合特征，获取所述第二排序结果中的其它待融合特征对应的融合特征，包括：
将所述第二排序结果中的第n-1个待融合特征对应的融合特征采样为第七采样特征；所述第七采样特征与所述第二排序结果中的第n个待融合特征的空间尺度相同，n为大于1的整数；
计算所述第n个待融合特征与所述第七采样特征的差值，获取第四差值特征；
将所述第四差值特征采样为第八采样特征，所述第八采样特征与所述第n-1个待融合特征对应的融合特征的空间尺度相同；
对所述第n-1个待融合特征对应的融合特征和所述第八采样特征进行相加融合，生成所述第n个待融合特征对应的融合特征。
11.根据权利要求7所述的方法，其特征在于，所述将所述目标特征划分为第五特征和第六特征，包括：
基于所述目标特征的特征通道将所述目标特征划分为第五特征和第六特征。
12.一种图像处理方法，其特征在于，包括：
通过编码模块对待处理图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第i个编码器用于对所述待处理图像进行特征提取获取所述第i个编码器上的图像特征，以及获取所述第i个编码器之前的所有编码器输出的融合特征，并通过权利要求1-11任一项所述的图像处理方法获取所述第i个编码器的融合特征，以及将所述第i个编码器的融合特征输出至所述第i个编码器之后的所有编码器，L、i均为正整数，且i≤L；
通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第j个解码器用于融合所述编码模块在所述第j个编码器上的图像特征和所述第j个解码器之前的所有解码器输出的融合结果，生成所述第j个解码器的融合结果，并将所述第j个解码器的融合结果输出至所述第j个解码器之后的所有解码器。
13.根据权利要求12所述的方法，其特征在于，所述通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像，包括：
将第j个解码器上的图像特征划分为第九特征和第十特征；
基于残差稠密块RDB对所述第九特征进行处理，获取第十一特征；
对所述第十特征和所述第j个解码器之前的所有解码器输出的融合结果进行融合，获取第十二特征；
合并所述第十一特征和所述第十二特征，生成所述第j个解码器的融合结果。
14.一种图像处理装置，其特征在于，包括：
特征提取单元，用于分别从多个不同的空间尺度对待处理图像进行特征提取，获取目标特征和至少一个待融合特征；
第一处理单元，用于对所述目标特征和所述至少一个待融合特征进行融合，获取第一特征；
第二处理单元，用于提取所述目标特征中的高频特征和低频特征，基于残差稠密块RDB对所述高频特征进行处理，获取第二特征，以及对所述低频特征和所述至少一个待融合特征进行融合，获取第三特征；
融合单元，用于合并所述第一特征、所述第二特征和所述第三特征，获取融合特征；
第三处理单元，基于所述融合特征对所述待处理图像进行处理。
15.一种图像处理装置，其特征在于，包括：
特征提取单元，用于通过编码模块对待处理图像进行处理，获取编码特征；其中，所述编码模块包括L个级联的且空间尺度均不相同的编码器，第i个编码器用于对所述待处理图像进行特征提取获取所述第i个编码器上的图像特征，以及获取所述第i个编码器之前的所有编码器输出的融合特征，并通过权利要求1-11任一项所述的图像处理方法获取所述第i个编码器的融合特征，以及将所述第i个编码器的融合特征输出至所述第i个编码器之后的所有编码器，L、i均为正整数，且i≤L；
特征处理单元，用于通过由至少一个残差块RDB构成的特征复原模块对所述编码特征进行处理，获取复原特征；
图像生成单元，用于通过解码模块对所述复原特征进行处理，获取所述待处理图像的处理结果图像；其中，所述解码模块包括L个级联的且空间尺度均不相同的解码器，第j个解码器用于融合所述编码模块在所述第j个编码器上的图像特征和所述第j个解码器之前的所有解码器输出的融合结果，生成所述第j个解码器的融合结果，并将所述第j个解码器的融合结果输出至所述第j个解码器之后的所有解码器。
16.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现权利要求1-13任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-13任一项所述的方法。
18.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如权利要求1-13任一项所述的方法。
CN202111628721.3A 2021-12-28 2021-12-28 一种图像处理方法及装置 Pending CN116416140A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111628721.3A CN116416140A (zh) 2021-12-28 2021-12-28 一种图像处理方法及装置
PCT/CN2022/142286 WO2023125522A1 (zh) 2021-12-28 2022-12-27 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111628721.3A CN116416140A (zh) 2021-12-28 2021-12-28 一种图像处理方法及装置

Publications (1)

Publication Number Publication Date
CN116416140A true CN116416140A (zh) 2023-07-11

Family

ID=86997940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111628721.3A Pending CN116416140A (zh) 2021-12-28 2021-12-28 一种图像处理方法及装置

Country Status (2)

Country Link
CN (1) CN116416140A (zh)
WO (1) WO2023125522A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304220B2 (en) * 2016-08-31 2019-05-28 International Business Machines Corporation Anatomy segmentation through low-resolution multi-atlas label fusion and corrective learning
CN110263732B (zh) * 2019-06-24 2022-01-21 京东方科技集团股份有限公司 多尺度目标检测方法及装置
CN112507997B (zh) * 2021-02-08 2021-05-11 之江实验室 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统

Also Published As

Publication number Publication date
WO2023125522A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN110782462B (zh) 一种基于双流特征融合的语义分割方法
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112396645B (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
JP7491041B2 (ja) 画像コーディング装置、確率モデル生成装置及び画像デコーディング装置
CN111860138B (zh) 基于全融合网络的三维点云语义分割方法及系统
CN109766918B (zh) 基于多层次上下文信息融合的显著性物体检测方法
CN111627038B (zh) 一种背景去除方法、装置、设备及可读存储介质
CN116090517A (zh) 模型训练方法、目标检测方法、装置以及可读存储介质
CN112767247A (zh) 图像超分辨率重建方法、模型蒸馏方法、装置及存储介质
CN113705575B (zh) 一种图像分割方法、装置、设备及存储介质
CN113962861A (zh) 图像重建方法、装置、电子设备和计算机可读介质
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN113362239A (zh) 一种基于特征交互的深度学习图像修复方法
CN116416140A (zh) 一种图像处理方法及装置
CN113706572B (zh) 一种基于查询向量的端到端的全景图像分割方法
CN112529064B (zh) 一种高效的实时语义分割方法
CN112580772B (zh) 卷积神经网络的压缩方法及装置
WO2023046136A1 (zh) 一种特征融合方法、图像去雾方法及装置
CN118279144A (zh) 一种图像超分方法及装置
CN118071602B (zh) 基于多尺度网络的遥感图像超分辨重建方法、系统及介质
CN114630125B (zh) 基于人工智能与大数据的车辆图像压缩方法与系统
WO2023165290A1 (zh) 数据处理方法及装置、电子设备和存储介质
CN112102193B (zh) 图像增强网络的训练方法、图像处理方法及相关设备
WO2024140109A1 (zh) 一种图像超分方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination