CN114862682A - 图像处理方法、装置、电子设备和存储介质 - Google Patents

图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114862682A
CN114862682A CN202210616955.4A CN202210616955A CN114862682A CN 114862682 A CN114862682 A CN 114862682A CN 202210616955 A CN202210616955 A CN 202210616955A CN 114862682 A CN114862682 A CN 114862682A
Authority
CN
China
Prior art keywords
image
resolution
features
feature
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210616955.4A
Other languages
English (en)
Inventor
王凯
孙其功
马堃
杨慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Shangtang Intelligent Technology Co ltd
Original Assignee
Xi'an Shangtang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Shangtang Intelligent Technology Co ltd filed Critical Xi'an Shangtang Intelligent Technology Co ltd
Priority to CN202210616955.4A priority Critical patent/CN114862682A/zh
Publication of CN114862682A publication Critical patent/CN114862682A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置、电子设备和存储介质，所述方法包括：获取待处理图像；提取待处理图像的相机内参特征，相机内参特征用于表征采集待处理图像的成像设备的分辨率性能；提取待处理图像的图像特征，将待处理图像的相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像，其中，待处理图像对应的超分辨率图像的分辨率高于待处理图像的分辨率。采用本申请实施例，可以提高图像的超分辨率效果。

Description

图像处理方法、装置、电子设备和存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
随着成像技术的不断发展，成像技术在工业、农业、医疗等领域有着重要的应用。通过成像设备采集的图像的质量，会受到成像设备的分辨率影响，而成像设备的制作材料一般比较昂贵，制作工艺也比较复杂，如果想要提高成像设备的分辨率，从硬件层面改进的成本比较高。
图像超分辨率技术是一种可以将低分辨率图像转换为高分辨率图像，从而提高原有图像质量的技术。然而，目前的图像超分辨率技术中存在域间漂移问题，影响图像的超分辨率效果。
发明内容
本申请提供一种图像处理方法、装置、电子设备和存储介质，可以提高图像的超分辨率效果。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：
获取待处理图像；
提取所述待处理图像的相机内参特征，所述相机内参特征用于表征采集所述待处理图像的成像设备的分辨率性能；
提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，其中，所述待处理图像对应的超分辨率图像的分辨率高于所述待处理图像的分辨率。
上述实施例中，引入了相机内参特征辅助进行图像超分辨率，在对待处理图像进行超分辨率的过程中，通过融合待处理图像的相机内参特征与图像特征，不仅考虑了待处理图像的自身特征，还考虑了采集该待处理图像的成像设备的内参特征，据此有利于减小获得的超分辨率图像与原待处理图像所在的空间域差异，从而有利于解决域间漂移问题，提高图像的超分辨率效果。
在一些可能的实施方式中，所述提取所述待处理图像的相机内参特征，包括：
利用相机内参表示网络提取所述待处理图像的相机内参特征；
其中，所述相机内参表示网络是基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的。
上述实施方式中，基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的相机内参表示网络，能够很好地区分不同分辨率的图像，有利于快速并准确地提取图像中用于表征成像设备的分辨率性能的相机内参特征。
在一些可能的实施方式中，所述相机内参表示网络的训练方法包括：
获取第一样本图像及其真实分辨率类别，所述第一样本图像包括由两种不同分辨率的成像设备采集的图像；
通过所述相机内参表示网络提取所述第一样本图像的相机内参特征，通过分类网络基于所述第一样本图像的相机内参特征进行分类识别，获得所述第一样本图像的分辨率类别识别结果；
基于所述第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异，调整所述相机内参表示网络和所述分类网络的参数，直至达到第一训练结束条件。
上述实施方式中，通过训练得到的相机内参表示网络，可以从来自不同分辨率成像设备的图像中提取有区别的相机内参特征，利用该相机内参表示网络提取的相机内参特征辅助进行图像超分辨率，有利于提高图像的超分辨率效果。
在一些可能的实施方式中，所述提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，包括：
利用第一感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；
其中，所述第一感知网络是基于第一超分辨率图像与第二样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高第三样本图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。
上述实施方式中，基于通过提高第三样本图像的分辨率得到的第一超分辨率图像与第二样本图像之间的差异训练得到的第一感知网络，可用来对图像进行超分辨率以获得相应的超分辨率图像，有利于快速地实现图像分辨率的提高。
在一些可能的实施方式中，所述第一感知网络的训练方法包括：
获取第二样本图像、第三样本图像以及所述第三样本图像的相机内参特征；
通过所述第一感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；
基于所述第一超分辨率图像与所述第二样本图像之间的差异，调整所述第一感知网络的参数，直至达到第二训练结束条件。
上述实施方式中，通过训练得到的第一感知网络，能够感知低分辨率图像的相机内参特征，并将相机内参特征融入到图像特征中，生成对应的超分辨率图像，有利于实现超分辨率图像到原低分辨率图像的空间域转移，从而有利于解决域间漂移问题，提高图像的超分辨率效果。
在一些可能的实施方式中，所述提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，包括：
利用第二感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；
其中，所述第二感知网络是基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高所述第三样本图像的分辨率得到的，所述退化分辨率图像是通过降低所述第一超分辨率图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。
上述实施方式中，基于通过提高第三样本图像的分辨率得到的第一超分辨率图像与第二样本图像之间的差异、以及通过降低第一超分辨率图像的分辨率得到的退化分辨率图像与第三样本图像之间的差异训练得到的第二感知网络，可用来对图像进行超分辨率以获得相应的超分辨率图像，有利于快速地实现图像分辨率的提高。此外由于第二感知网络的训练过程中考虑了退化分辨率图像与第三样本图像之间的差异，这有利于限制训练过程中网络参数的搜索空间，优化网络模型训练效果。
在一些可能的实施方式中，所述第二感知网络的训练方法包括：
获取第二样本图像、第三样本图像、所述第二样本图像的相机内参特征以及所述第三样本图像的相机内参特征；
通过所述第二感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；
通过循环感知网络，提取所述第一超分辨率图像的图像特征，将所述第二样本图像的相机内参特征与所述第一超分辨率图像的图像特征进行融合，获得退化分辨率图像；
基于所述第一超分辨率图像与所述第二样本图像之间的差异、以及所述退化分辨率图像与所述第三样本图像之间的差异，调整所述第二感知网络和所述循环感知网络的参数，直至达到第三训练结束条件。
上述实施方式中，通过训练得到的第二感知网络，能够感知低分辨率图像的相机内参特征，并将低分辨率图像的相机内参特征融入到其图像特征中，生成对应的超分辨率图像，有利于实现超分辨率图像到原低分辨率图像的空间域转移，从而有利于解决域间漂移问题，提高图像的超分辨率效果。此外，在第二感知网络的训练中加入了循环感知网络，通过循环感知网络感知高分辨率图像的相机内参特征，并将高分辨率图像的相机内参特征融入到超分辨率图像的图像特征中，生成退化后的低分辨率图像以辅助训练，这有利于限制训练过程中网络参数的搜索空间，解决不适定问题，优化网络模型训练效果。
在一些可能的实施方式中，所述提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像，包括：
对所述第三样本图像进行卷积和下采样获得第一特征，对所述第一特征进行下采样得到第二特征，对所述第二特征进行下采样得到第三特征；
对所述第三样本图像的相机内参特征进行全连接和重构获得第一卷积核，利用所述第一卷积核对所述第三特征进行卷积得到第四特征，将所述第四特征与所述第三特征进行叠加得到第五特征；
对所述第五特征进行上采样得到第六特征，将所述第六特征与所述第二特征融合后进行上采样得到第七特征，将所述第七特征与所述第一特征融合后进行上采样和卷积得到第八特征；
将所述第八特征与所述第三样本图像进行叠加，获得第一超分辨率图像。
上述实施方式中，通过对低分辨率图像的相机内参特征与低分辨率图像的图像特征进行充分融合，使得融合后的特征能够包含更为丰富的信息，有利于更好地提高低分辨率图像的分辨率，获得相应的超分辨率图像。
在一些可能的实施方式中，所述提取所述第一超分辨率图像的图像特征，将所述第二样本图像的相机内参特征与所述第一超分辨率图像的图像特征进行融合，获得退化分辨率图像，包括：
对所述第一超分辨率图像进行卷积和下采样获得第九特征；
对所述第二样本图像的相机内参特征进行全连接和重构获得第二卷积核，利用所述第二卷积核对所述第九特征进行卷积得到第十特征，将所述第十特征与所述第九特征进行叠加得到第十一特征；
对所述第十一特征进行上采样和卷积得到第十二特征；
将所述第十二特征与所述第一超分辨率图像进行叠加，获得退化分辨率图像。
上述实施方式中，通过对高分辨率图像的相机内参特征与超分辨率图像的图像特征进行充分融合，使得融合后的特征能够包含更为丰富的信息，有利于更好地降低超分辨率图像的分辨率，获得相应的退化分辨率图像。
第二方面，本申请实施例提供了一种图像处理装置，所述装置包括：
获取单元，用于获取待处理图像；
第一处理单元，用于提取所述待处理图像的相机内参特征，所述相机内参特征用于表征采集所述待处理图像的成像设备的分辨率性能；
第二处理单元，用于提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，其中，所述超分辨率图像的分辨率高于所述待处理图像的分辨率。
在一些可能的实施方式中，所述第一处理单元具体用于：利用相机内参表示网络提取所述待处理图像的相机内参特征；其中，所述相机内参表示网络是基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的。
在一些可能的实施方式中，所述装置还包括第一训练单元，用于训练得到相机内参表示网络；所述第一训练单元具体用于：
获取第一样本图像及其真实分辨率类别，所述第一样本图像包括由两种不同分辨率的成像设备采集的图像；
通过所述相机内参表示网络提取所述第一样本图像的相机内参特征，通过分类网络基于所述第一样本图像的相机内参特征进行分类识别，获得所述第一样本图像的分辨率类别识别结果；
基于所述第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异，调整所述相机内参表示网络和所述分类网络的参数，直至达到第一训练结束条件。
在一些可能的实施方式中，所述第二处理单元具体用于：利用第一感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；
其中，所述第一感知网络是基于第一超分辨率图像与第二样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高第三样本图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。
在一些可能的实施方式中，所述装置还包括第二训练单元，用于训练得到第一感知网络；所述第二训练单元具体用于：
获取第二样本图像、第三样本图像以及所述第三样本图像的相机内参特征；
通过所述第一感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；
基于所述第一超分辨率图像与所述第二样本图像之间的差异，调整所述第一感知网络的参数，直至达到第二训练结束条件。
在一些可能的实施方式中，所述第二处理单元具体用于：利用第二感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；
其中，所述第二感知网络是基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高所述第三样本图像的分辨率得到的，所述退化分辨率图像是通过降低所述第一超分辨率图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。
在一些可能的实施方式中，所述装置还包括第三训练单元，用于训练得到第二感知网络；所述第三训练单元具体用于：
获取第二样本图像、第三样本图像、所述第二样本图像的相机内参特征以及所述第三样本图像的相机内参特征；
通过所述第二感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；
通过循环感知网络，提取所述第一超分辨率图像的图像特征，将所述第二样本图像的相机内参特征与所述第一超分辨率图像的图像特征进行融合，获得退化分辨率图像；
基于所述第一超分辨率图像与所述第二样本图像之间的差异、以及所述退化分辨率图像与所述第三样本图像之间的差异，调整所述第二感知网络和所述循环感知网络的参数，直至达到第三训练结束条件。
在一些可能的实施方式中，所述第二训练单元或所述第三训练单元在提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像时，具体用于：
对所述第三样本图像进行卷积和下采样获得第一特征，对所述第一特征进行下采样得到第二特征，对所述第二特征进行下采样得到第三特征；
对所述第三样本图像的相机内参特征进行全连接和重构获得第一卷积核，利用所述第一卷积核对所述第三特征进行卷积得到第四特征，将所述第四特征与所述第三特征进行叠加得到第五特征；
对所述第五特征进行上采样得到第六特征，将所述第六特征与所述第二特征融合后进行上采样得到第七特征，将所述第七特征与所述第一特征融合后进行上采样和卷积得到第八特征；
将所述第八特征与所述第三样本图像进行叠加，获得第一超分辨率图像。
在一些可能的实施方式中，所述第三训练单元在提取所述第一超分辨率图像的图像特征，将所述第二样本图像的相机内参特征与所述第一超分辨率图像的图像特征进行融合，获得退化分辨率图像时，具体用于：
对所述第一超分辨率图像进行卷积和下采样获得第九特征；
对所述第二样本图像的相机内参特征进行全连接和重构获得第二卷积核，利用所述第二卷积核对所述第九特征进行卷积得到第十特征，将所述第十特征与所述第九特征进行叠加得到第十一特征；
对所述第十一特征进行上采样和卷积得到第十二特征；
将所述第十二特征与所述第一超分辨率图像进行叠加，获得退化分辨率图像。
第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能的实现方式的方法。
第四方面，本申请实施例提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能的实现方式的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能的实现方式的方法。
第六方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行如上述第一方面及其任意一种可能的实现方式的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请实施例提供的一种图像处理方法的流程示意图；
图2是本申请实施例提供的一种相机内参表示网络的训练方法的流程示意图；
图3是本申请实施例提供的一种图像分辨率识别网络的训练示意图；
图4是本申请实施例提供的一种第一感知网络的训练方法的流程示意图；
图5是本申请实施例提供的一种第一感知网络的训练示意图；
图6是本申请实施例提供的一种下采样模块、感知模块和上采样模块的结构示意图；
图7是本申请实施例提供的一种第二感知网络的训练方法的流程示意图；
图8是本申请实施例提供的一种第二感知网络的训练示意图；
图9是本申请实施例提供的一种图像处理装置的结构示意图；
图10是本申请实施例提供的另一种图像处理装置的结构示意图；
图11是本申请实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
随着成像技术的不断发展，成像技术在工业、农业、医疗等领域有着重要的应用。例如，热成像技术被广泛应用于无接触式人体体温测量，面向民用方面的应用也越来越多。然而热成像相机的制作材料十分昂贵、制作工艺十分复杂，如果想要提高热成像相机的分辨率，从硬件层面进行改进的成本非常高。因此，热成像超分辨率技术是降低获得高质量热成像的成本、让高质量热成像能够广泛面向民用的一种重要手段。
热成像超分辨率技术中利用超分辨率网络对输入的低分辨率图像进行超分，输出相应的超分辨率图像。然而，目前超分辨率网络的输入图像和输出图像不在同一个空间域中，存在域间漂移问题，从而导致超分辨率性能下降，影响超分辨率效果。
基于此，本申请实施例提供了一种图像处理方法，以解决图像超分辨率中的域间漂移问题，提高图像的超分辨率效果。
图像处理方法的执行主体可以是图像处理装置，例如，图像处理方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal DigitalAssistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图1，图1是本申请实施例提供的一种图像处理方法的流程示意图，该图像处理方法包括以下步骤S101至步骤S103。
S101，获取待处理图像。
待处理图像是指需要提高分辨率的图像。待处理图像可以是由分辨率较低的成像设备采集的图像，示例性地，采集待处理图像的成像设备为热成像传感器。
S102，提取待处理图像的相机内参特征，相机内参特征用于表征采集待处理图像的成像设备的分辨率性能。
成像设备的分辨率性能由成像设备的内部参数决定，图像的分辨率与采集该图像的成像设备的分辨率性能有关。示例性的，成像设备的分辨率越高，该成像设备采集的图像的分辨率也越高；成像设备的分辨率越低，该成像设备采集的图像的分辨率也越低。
待处理图像的相机内参特征，可以理解为待处理图像中蕴含的与采集该待处理图像的成像设备的分辨率性能相关的信息，其反映的是采集该待处理图像的成像设备的内参特征。
S103，提取待处理图像的图像特征，将待处理图像的相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像，其中，待处理图像对应的超分辨率图像的分辨率高于待处理图像的分辨率。
待处理图像的图像特征，可以理解为与待处理图像的图像内容相关的特征，其反映的是待处理图像的自身特征。将待处理图像的相机内参特征与图像特征进行融合，即在图像特征中融入相机内参特征来辅助进行图像超分辨率，获得待处理图像对应的超分辨率图像。其中，图像超分辨率是指提高图像的分辨率，待处理图像对应的超分辨率图像是指待处理图像的分辨率提高之后的图像。
上述实施例中，引入了相机内参特征辅助进行图像超分辨率，在对待处理图像进行超分辨率的过程中，通过融合待处理图像的相机内参特征与图像特征，不仅考虑了待处理图像的自身特征，还考虑了采集该待处理图像的成像设备的内参特征，据此有利于减小获得的超分辨率图像与原待处理图像所在的空间域差异，从而有利于解决域间漂移问题，提高图像的超分辨率效果。
在一种可能的实施方式中，提取待处理图像的相机内参特征，具体可以是：利用相机内参表示网络提取待处理图像的相机内参特征；其中，相机内参表示网络是基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的。
相机内参表示网络是指用于提取图像的相机内参特征的网络，将待处理图像输入到相机内参表示网络中，相机内参表示网络输出该待处理图像的相机内参特征。
可选地，相机内参表示网络为图像分辨率识别网络中用于提取特征的子网络，这里的图像分辨率识别网络是指用于识别图像分辨率类别的网络。具体地，图像分辨率识别网络包括以下两个子网络：相机内参表示网络和分类网络。图像分辨率识别网络的处理过程包括：利用相机内参表示网络提取图像的相机内参特征，利用分类网络基于图像的相机内参特征进行分类识别，获得图像的分辨率类别识别结果。
图像分辨率识别网络可以通过有监督学习训练得到，具体可以基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到，训练目标是使得分辨率类别识别结果更接近于对应的真实分辨率类别。可以理解，对图像分辨率识别网络的训练包括对相机内参表示网络和分类网络的参数进行训练，图像分辨率识别网络训练好后，意味着相机内参表示网络和分类网络都已经训练好，利用训练好的相机内参表示网络来提取待处理图像的相机内参特征。
上述实施方式中，基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的相机内参表示网络，能够很好地区分不同分辨率的图像，有利于快速并准确地提取图像中用于表征成像设备的分辨率性能的相机内参特征。
请参阅图2，图2是本申请实施例提供的一种相机内参表示网络的训练方法的流程示意图，该训练方法包括以下步骤S201至步骤S203。
S201，获取第一样本图像及其真实分辨率类别，第一样本图像包括由两种不同分辨率的成像设备采集的图像。
第一样本图像可以从第一样本图像库中选取，第一样本图像库中包括由两种不同分辨率性能的成像设备采集的图像。第一样本图像的真实分辨率类别包括低分辨率和高分辨率两种类别，其中，由分辨率相对较低的成像设备(简称低分辨率成像设备)采集的图像的真实分辨率类别为低分辨率，由分辨率相对较高的成像设备(简称高分辨率成像设备)采集的图像的真实分辨率类别为高分辨率。
S202，通过相机内参表示网络提取第一样本图像的相机内参特征，通过分类网络基于第一样本图像的相机内参特征进行分类识别，获得第一样本图像的分辨率类别识别结果。
请参阅图3，图3是本申请实施例提供的一种图像分辨率识别网络的训练示意图。其中，C1表示相机内参表示网络；C2表示分类网络；A1表示低分辨率成像设备采集的第一样本图像(简称低分辨率样本图像)，其真实分辨率类别为低分辨率；A2表示高分辨率成像设备采集的第一样本图像(简称高分辨率样本图像)，其真实分辨率类别为高分辨率；B1和B2分别表示低分辨率样本图像和高分辨率样本图像的相机内参特征；T1和T2分别表示低分辨率样本图像和高分辨率样本图像的分辨率类别识别结果；Loss表示交叉熵损失。
可选地，相机内参表示网络C1采用ResNet18网络的卷积层结构，分类网络C2采用全连接层，分辨率类别识别结果采用二分类独热(one-hot)编码结果。
具体地，将低分辨率样本图像A1输入到相机内参表示网络C1，相机内参表示网络C1输出低分辨率样本图像A1的相机内参特征B1，将低分辨率样本图像A1的相机内参特征B1输入到分类网络C2，分类网络C2输出低分辨率样本图像A1的分辨率类别识别结果T1；将高分辨率样本图像A2输入到相机内参表示网络C1，相机内参表示网络C1输出高分辨率样本图像A2的相机内参特征B2，将高分辨率样本图像A2的相机内参特征B2输入到分类网络C2，分类网络C2输出高分辨率样本图像A2的分辨率类别识别结果T2。
S203，基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异，调整相机内参表示网络和分类网络的参数，直至达到第一训练结束条件。
基于低分辨率样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异、以及高分辨率样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异，构建第一损失函数，将第一损失函数的值反向传播，以调整分类网络和相机内参表示网络的参数。
在一示例中，第一训练结束条件为第一损失函数的值小于或等于第一阈值。在第一损失函数的值大于第一阈值的情况下，根据第一损失函数的值调整分类网络和相机内参表示网络的参数，参数调整之后继续进行迭代训练，直至第一损失函数的值小于或等于第一阈值，结束训练。
在另一示例中，第一训练结束条件为迭代训练次数达到第一预设次数。在迭代训练次数未达到第一预设次数的情况下，根据第一损失函数的值调整分类网络和相机内参表示网络的参数，参数调整之后继续进行迭代训练，直至迭代训练次数达到第一预设次数，结束训练。
上述实施方式中，通过训练得到的相机内参表示网络，可以从来自不同分辨率成像设备的图像中提取有区别的相机内参特征，利用该相机内参表示网络提取的相机内参特征辅助进行图像超分辨率，有利于提高图像的超分辨率效果。
在一种可能的实施方式中，提取待处理图像的图像特征，将待处理图像的相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像，具体可以是：利用第一感知网络，提取待处理图像的图像特征，将相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像；其中，第一感知网络是基于第一超分辨率图像与第二样本图像之间的差异训练得到的，第一超分辨率图像是通过提高第三样本图像的分辨率得到的，第二样本图像与第三样本图像的内容相同，第二样本图像的分辨率高于第三样本图像的分辨率。
第一感知网络是指用于进行图像超分辨率的网络，将待处理图像以及该待处理图像的相机内参特征输入到第一感知网络中，第一感知网络输出该待处理图像对应的超分辨率图像。
一个第二样本图像和一个第三样本图像组成一组样本图像，在每一组样本图像中，第二样本图像与第三样本图像的内容相同，第二样本图像的分辨率高于第三样本图像的分辨率。可选地，第二样本图像和第三样本图像分别为高分辨率成像设备和低分辨率成像设备针对同一目标采集的图像，使得第二样本图像和第三样本图像的区别仅在于因成像设备不同而造成的分辨率区别。
第一感知网络可以通过有监督学习训练得到，具体可以基于第一超分辨率图像与第二样本图像之间的差异训练得到，其中，第一分辨率图像可以理解为网路训练中生成的高分辨率图像，第二样本图像可以理解为原高分辨率图像，训练目标是使得生成的高分辨率图像更接近于原高分辨率图像。第一感知网络训练好后，利用训练好的第一感知网络来提高待处理图像的分辨率，获得待处理图像对应的超分辨率图像。
上述实施方式中，基于通过提高第三样本图像的分辨率得到的第一超分辨率图像与第二样本图像之间的差异训练得到的第一感知网络，可用来对图像进行超分辨率以获得相应的超分辨率图像，有利于快速地实现图像分辨率的提高。
请参阅图4，图4是本申请实施例提供的一种第一感知网络的训练方法的流程示意图，该训练方法包括以下步骤S401至步骤S403。
S401，获取第二样本图像、第三样本图像以及第三样本图像的相机内参特征。
第三样本图像的相机内参特征可以通过前文实施例中的相机内参表示网络提取。将第三样本图像输入到相机内参表示网络中，相机内参表示网络输出第三样本图像的相机内参特征。
S402，通过第一感知网络，提取第三样本图像的图像特征，将第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像。
在一种可能的实施方式中，提取第三样本图像的图像特征，将第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像，具体可以包括：对第三样本图像进行卷积和下采样获得第一特征，对第一特征进行下采样得到第二特征，对第二特征进行下采样得到第三特征；对第三样本图像的相机内参特征进行全连接和重构获得第一卷积核，利用第一卷积核对第三特征进行卷积得到第四特征，将第四特征与第三特征进行叠加得到第五特征；对第五特征进行上采样得到第六特征，将第六特征与第二特征融合后进行上采样得到第七特征，将第七特征与第一特征融合后进行上采样和卷积得到第八特征；将第八特征与第三样本图像进行叠加，获得第一超分辨率图像。
其中，第一特征、第二特征和第三特征可以理解为从第三样本图像中提取的不同尺度的图像特征，第四特征和第五特征可以理解为将第三样本图像的相机内参特征融入到第三样本图像的图像特征中所得到的初步融合特征，第六特征、第七特征和第八特征可以理解为将该初步融合特征与第三样本图像的图像特征进行多尺度融合所得到的进一步融合特征。
上述实施方式中，通过对低分辨率图像的相机内参特征与低分辨率图像的图像特征进行充分融合，使得融合后的特征能够包含更为丰富的信息，有利于更好地提高低分辨率图像的分辨率，获得相应的超分辨率图像。
请参阅图5，图5是本申请实施例提供的一种第一感知网络的训练示意图。其中，Y1表示第二样本图像；Y2表示第三样本图像；C1表示相机内参表示网络；R2表示第三样本图像Y2的相机内参特征；Z1表示第一超分辨率图像；D1表示第一感知网络；1表示3×3卷积层；2表示5×5卷积层；3表示下采样模块；4表示感知模块；5表示上采样模块；6表示特征相加层。第一感知网络D1为U型网络，包括以下结构：3×3卷积层1、5×5卷积层2、下采样模块3、感知模块4、上采样模块5和特征相加层6，其中，3×3卷积层1、下采样模块3和上采样模块均为三个。
请参阅图6，图6是本申请实施例提供的一种下采样模块、感知模块和上采样模块的结构示意图。其中，Fin表示输入到下采样模块3的特征；R表示相机内参特征；Fout表示上采样模块5输出的特征；7表示残差模块；8表示最大池化层；9表示全连接层；10表示重构层；a表示卷积核；11表示深度卷积层；12表示亚像素卷积层。下采样模块3中包括残差模块7和最大池化层8；感知模块4中包括全连接层9、重构层10、深度卷积层11、特征相加层6和3×3卷积层1；上采样模块5中包括残差模块7和亚像素卷积层12。
具体地，将第三样本图像Y2输入到第一感知网络D1，依次经过第一个3×3卷积层1、5×5卷积层2和第一个下采样模块3处理，得到第一特征；利用第二个下采样模块3对第一特征进行下采样，得到第二特征；利用第三个下采样模块3对第二特征进行下采样，得到第三特征。
将第三特征和第三样本图像Y2的相机内参特征R2输入到感知模块4，利用感知模块4将相机内参特征R2融入到第三特征中，具体包括以下处理：利用全连接层9和重构层10将第三样本图像Y2的相机内参特征R2转化为一个卷积核；利用该卷积核和深度卷积层11对第三特征进行卷积得到第四特征；利用特征相加层6将第四特征与第三特征进行叠加得到第五特征。
利用第一个上采样模块5对第五特征进行上采样，得到第六特征；利用第二个上采样模块5对第六特征与第二特征融合后的特征进行上采样，得到第七特征；第七特征与第一特征融合后的特征依次经过第三个上采样模块5、第二个第一个3×3卷积层1和第三个3×3卷积层1进行处理，得到第八特征。利用特征相加层6将第八特征与第三样本图像Y2进行叠加，获得第一超分辨率图像Z1。
需要说明的是，第一感知网络的结构并不局限于图5所示结构，例如卷积层的数量和尺寸、下采样模块和上采样模块的数量，可以根据实际需求进行设置。其中，下采样模块、感知模块和上采样模块的结构也不局限于图6所示结构，例如残差模块、最大池化层、深度卷积层、亚像素卷积层，可以替换成其它具有相同或者相似功能的结构。
S403，基于第一超分辨率图像与第二样本图像之间的差异，调整第一感知网络的参数，直至达到第二训练结束条件。
基于第一超分辨率图像Z1与第二样本图像Y1之间的差异，构建第二损失函数，将第二损失函数的值反向传播，以调整第一感知网络D1的参数。可选地，第二损失函数根据第一超分辨率图像Z1与第二样本图像Y1之间的最小绝对值偏差(1范数损失)和结构相似性(structural similarity index，SSIM)确定。
在一示例中，第二训练结束条件为第二损失函数的值小于或等于第二阈值。在第二损失函数的值大于第二阈值的情况下，根据第二损失函数的值调整第一感知网络的参数，参数调整之后继续进行迭代训练，直至第二损失函数的值小于或等于第二阈值，结束训练。
在另一示例中，第二训练结束条件为迭代训练次数达到第二预设次数。在迭代训练次数未达到第二预设次数的情况下，根据第二损失函数的值调整第一感知网络的参数，参数调整之后继续进行迭代训练，直至迭代训练次数达到第二预设次数，结束训练。
上述实施方式中，通过训练得到的第一感知网络，能够感知低分辨率图像的相机内参特征，并将相机内参特征融入到图像特征中，生成对应的超分辨率图像，有利于实现超分辨率图像到原低分辨率图像的空间域转移，从而有利于解决域间漂移问题，提高图像的超分辨率效果。
在一种可能的实施方式中，提取待处理图像的图像特征，将待处理图像的相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像的步骤，具体可以是：利用第二感知网络，提取待处理图像的图像特征，将相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像；其中，第二感知网络是基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异训练得到的，第一超分辨率图像是通过提高第三样本图像的分辨率得到的，退化分辨率图像是通过降低第一超分辨率图像的分辨率得到的，第二样本图像与第三样本图像的内容相同，第二样本图像的分辨率高于第三样本图像的分辨率。
第二感知网络是指用于进行图像超分辨率的网络，将待处理图像以及该待处理图像的相机内参特征输入到第二感知网络中，第二感知网络输出该待处理图像对应的超分辨率图像。
第二感知网络可以通过有监督学习训练得到，具体可以基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异训练得到。其中，第一分辨率图像可以理解为网络训练中生成的高分辨率图像，第二样本图像可以理解为原高分辨率图像，退化分辨率图像可以理解为网络训练中生成的低分辨率图像，第三样本图像可以理解为原低分辨率图像，训练目标是使得生成的高分辨率图像接近于原高分辨率图像、并且使得生成的低分辨率图像接近于原低分辨率图像。第二感知网络训练好后，利用训练好的第二感知网络来提高待处理图像的分辨率，获得待处理图像对应的超分辨率图像。
上述实施方式中，基于通过提高第三样本图像的分辨率得到的第一超分辨率图像与第二样本图像之间的差异、以及通过降低第一超分辨率图像的分辨率得到的退化分辨率图像与第三样本图像之间的差异训练得到的第二感知网络，可用来对图像进行超分辨率以获得相应的超分辨率图像，有利于快速地实现图像分辨率的提高。此外由于第二感知网络的训练过程中考虑了退化分辨率图像与第三样本图像之间的差异，这有利于限制训练过程中网络参数的搜索空间，优化网络模型训练效果。
请参阅图7，图7是本申请实施例提供的一种第二感知网络的训练方法的流程示意图，该训练方法包括以下步骤S701至步骤S704。
S701，获取第二样本图像、第三样本图像、第二样本图像的相机内参特征以及第三样本图像的相机内参特征。
第二样本图像和第三样本图像的相机内参特征可以通过前文实施例中的相机内参表示网络提取。将第二样本图像输入到相机内参表示网络中，相机内参表示网络输出第二样本图像的相机内参特征。将第三样本图像输入到相机内参表示网络中，相机内参表示网络输出第三样本图像的相机内参特征。
S702，通过第二感知网络，提取第三样本图像的图像特征，将第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像。
示例性地，第二感知网络的具体处理过程可参考前文实施例中对于第一感知网络的描述，此处不再赘述，第二感知网络与第一感知网络的区别在于：第二感知网络的训练中加入了循环感知网络。
一个高分辨率图像可能由不同的退化方式得到不同的低分辨率图像，造成多对一的不适定问题，在网络模型训练中，不适定问题的存在会让模型在一个很大的搜索空间中搜索符合训练目标的从低分辨率到高分辨率的映射，导致网络模型训练困难。基于此，在第二感知网络的训练中加入循环感知网络，这有利于限制训练过程中网络参数的搜索空间，解决不适定问题，优化网络模型训练效果。
S703，通过循环感知网络，提取第一超分辨率图像的图像特征，将第二样本图像的相机内参特征与第一超分辨率图像的图像特征进行融合，获得退化分辨率图像。
在一种可能的实施方式中，提取第一超分辨率图像的图像特征，将第二样本图像的相机内参特征与第一超分辨率图像的图像特征进行融合，获得退化分辨率图像，具体可以包括：对第一超分辨率图像进行卷积和下采样获得第九特征；对第二样本图像的相机内参特征进行全连接和重构获得第二卷积核，利用第二卷积核对第九特征进行卷积得到第十特征，将第十特征与第九特征进行叠加得到第十一特征；对第十一特征进行上采样和卷积得到第十二特征；将第十二特征与第一超分辨率图像进行叠加，获得退化分辨率图像。
其中，第九特征可以理解为从第一超分辨率图像中提取的图像特征，第十特征可以理解为将第二样本图像的相机内参特征融入到第一超分辨率图像的图像特征中所得到的初步融合特征，第十一特征和第十二特征可以理解为将该初步融合特征与第一超分辨率图像的图像特征进行融合所得到的进一步融合特征。
上述实施方式中，通过对高分辨率图像的相机内参特征与超分辨率图像的图像特征进行充分融合，使得融合后的特征能够包含更为丰富的信息，有利于更好地降低超分辨率图像的分辨率，获得相应的退化分辨率图像。
请参阅图8，图8是本申请实施例提供的一种第二感知网络的训练示意图。其中，R1表示第二样本图像Y1的相机内参特征；Z2表示退化分辨率图像；D2表示第二感知网络；D3表示循环感知网络。第二感知网络D2的结构与第一感知网络D1的结构相同，此处不再赘述。循环感知网络D3包括以下结构：3×3卷积层1、5×5卷积层2、下采样模块3、感知模块4、上采样模块5和特征相加层6，其中，3×3卷积层1为三个，下采样模块3和上采样模块5均为两个。
具体地，将第一超分辨率图像Z1输入到循环感知网络D3，依次经过第一个3×3卷积层1、5×5卷积层2和两个下采样模块3处理，得到第九特征。将第九特征和第二样本图像Y1的相机内参特征R1输入到感知模块4，利用感知模块4将相机内参特征R1融入到第九特征中，具体包括以下处理：利用全连接层9和重构层10将第二样本图像Y1的相机内参特征R1转化为一个卷积核；利用该卷积核和深度卷积层11对第九特征进行卷积得到第十特征；利用特征相加层6将第十特征与第九特征进行叠加得到第十一特征。第十一特征依次经过两个上采样模块5、第二个第一个3×3卷积层1和第三个3×3卷积层1进行处理，得到第十二特征。利用特征相加层6将第十二特征与第一超分辨率图像Z1进行叠加，获得退化分辨率图像Z2。
需要说明的是，循环感知网络的结构并不局限于图8所示结构，例如卷积层的数量和尺寸、下采样模块和上采样模块的数量，可以根据实际需求进行设置。其中，下采样模块、感知模块和上采样模块的结构也不局限于图6所示结构，例如残差模块、最大池化层、深度卷积层、亚像素卷积层，可以替换成其它具有相同或者相似功能的结构。
S704，基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异，调整第二感知网络和循环感知网络的参数，直至达到第三训练结束条件。
基于第一超分辨率图像Z1与第二样本图像Y1之间的差异、以及退化分辨率图像Z2与第三样本图像Y2之间的差异，构建第三损失函数，将第三损失函数的值反向传播，以调整循环感知网络D3和第二感知网络D2的参数。可选地，第三损失函数根据第一超分辨率图像Z1与第二样本图像Y1之间的最小绝对值偏差(1范数损失)和结构相似性(structuralsimilarity index，SSIM)、以及退化分辨率图像Z2与第三样本图像Y2之间的最小绝对值偏差(1范数损失)确定。
在一示例中，第三训练结束条件为第三损失函数的值小于或等于第三阈值。在第三损失函数的值大于第三阈值的情况下，根据第三损失函数的值调整循环感知网络和第二感知网络的参数，参数调整之后继续进行迭代训练，直至第三损失函数的值小于或等于第三阈值，结束训练。
在另一示例中，第三训练结束条件为迭代训练次数达到第三预设次数。在迭代训练次数未达到第三预设次数的情况下，根据第三损失函数的值调整循环感知网络和第二感知网络的参数，参数调整之后继续进行迭代训练，直至迭代训练次数达到第三预设次数，结束训练。
上述实施方式中，通过训练得到的第二感知网络，能够感知低分辨率图像的相机内参特征，并将低分辨率图像的相机内参特征融入到图像特征中，生成对应的超分辨率图像，有利于实现超分辨率图像到原低分辨率图像的空间域转移，从而有利于解决域间漂移问题，提高图像的超分辨率效果。此外，在第二感知网络的训练中加入了循环感知网络，通过循环感知网络感知高分辨率图像的相机内参特征，并将高分辨率图像的相机内参特征融入到超分辨率图像的图像特征中，生成退化后的低分辨率图像以辅助训练，这有利于限制训练过程中网络参数的搜索空间，解决不适定问题，优化网络模型训练效果。
需要说明的是，循环感知网络仅在第二感知网络的训练阶段使用，在第二感知网络的推理阶段不需要使用。示例性地，在第二感知网络的推理阶段，将低分辨率成像设备采集的低分辨率图像以及该低分辨率图像的相机内参特征输入到第二感知网络中，第二感知网络输出该低分辨率图像对应的超分辨率图像。
在一示例性的应用场景下，上述图像处理方法用于对低分辨率热成像传感器采集的热图像的质量进行优化，通过对低分辨率热图像进行超分辨率以提高热图像质量，从而使得热成像人脸识别、目标检测等下游任务性能更好，同时降低高质量热图像的获取成本。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
请参见图9，图9为本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置900包括：获取单元901、第一处理单元902和第二处理单元903，其中：
获取单元901，用于获取待处理图像；
第一处理单元902，用于提取待处理图像的相机内参特征，相机内参特征用于表征采集待处理图像的成像设备的分辨率性能；
第二处理单元903，用于提取待处理图像的图像特征，将待处理图像的相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像，其中，超分辨率图像的分辨率高于待处理图像的分辨率。
在一些可能的实施方式中，第一处理单元902具体用于：利用相机内参表示网络提取待处理图像的相机内参特征；其中，相机内参表示网络是基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的。
在一些可能的实施方式中，请参见图10，该装置900还包括第一训练单元904，用于训练得到相机内参表示网络；第一训练单元904具体用于：获取第一样本图像及其真实分辨率类别，第一样本图像包括由两种不同分辨率的成像设备采集的图像；通过相机内参表示网络提取第一样本图像的相机内参特征，通过分类网络基于第一样本图像的相机内参特征进行分类识别，获得第一样本图像的分辨率类别识别结果；基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异，调整相机内参表示网络和分类网络的参数，直至达到第一训练结束条件。
在一些可能的实施方式中，第二处理单元903具体用于：利用第一感知网络，提取待处理图像的图像特征，将相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像；其中，第一感知网络是基于第一超分辨率图像与第二样本图像之间的差异训练得到的，第一超分辨率图像是通过提高第三样本图像的分辨率得到的，第二样本图像与第三样本图像的内容相同，第二样本图像的分辨率高于第三样本图像的分辨率。
在一些可能的实施方式中，请参见图10，该装置900还包括第二训练单元905，用于训练得到第一感知网络；第二训练单元905具体用于：获取第二样本图像、第三样本图像以及第三样本图像的相机内参特征；通过第一感知网络，提取第三样本图像的图像特征，将第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；基于第一超分辨率图像与第二样本图像之间的差异，调整第一感知网络的参数，直至达到第二训练结束条件。
在一些可能的实施方式中，第二处理单元903具体用于：利用第二感知网络，提取待处理图像的图像特征，将相机内参特征与图像特征进行融合，获得待处理图像对应的超分辨率图像；其中，第二感知网络是基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异训练得到的，第一超分辨率图像是通过提高第三样本图像的分辨率得到的，退化分辨率图像是通过降低第一超分辨率图像的分辨率得到的，第二样本图像与第三样本图像的内容相同，第二样本图像的分辨率高于第三样本图像的分辨率。
在一些可能的实施方式中，请参见图10，该装置900还包括第三训练单元906，用于训练得到第二感知网络；第三训练单元906具体用于：获取第二样本图像、第三样本图像、第二样本图像的相机内参特征以及第三样本图像的相机内参特征；通过第二感知网络，提取第三样本图像的图像特征，将第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；通过循环感知网络，提取第一超分辨率图像的图像特征，将第二样本图像的相机内参特征与第一超分辨率图像的图像特征进行融合，获得退化分辨率图像；基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异，调整第二感知网络和循环感知网络的参数，直至达到第三训练结束条件。
在一些可能的实施方式中，第二训练单元905或第三训练单元906在提取第三样本图像的图像特征，将第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像时，具体用于：对第三样本图像进行卷积和下采样获得第一特征，对第一特征进行下采样得到第二特征，对第二特征进行下采样得到第三特征；对第三样本图像的相机内参特征进行全连接和重构获得第一卷积核，利用第一卷积核对第三特征进行卷积得到第四特征，将第四特征与第三特征进行叠加得到第五特征；对第五特征进行上采样得到第六特征，将第六特征与第二特征融合后进行上采样得到第七特征，将第七特征与第一特征融合后进行上采样和卷积得到第八特征；将第八特征与第三样本图像进行叠加，获得第一超分辨率图像。
在一些可能的实施方式中，第三训练单元906在提取第一超分辨率图像的图像特征，将第二样本图像的相机内参特征与第一超分辨率图像的图像特征进行融合，获得退化分辨率图像时，具体用于：对第一超分辨率图像进行卷积和下采样获得第九特征；对第二样本图像的相机内参特征进行全连接和重构获得第二卷积核，利用第二卷积核对第九特征进行卷积得到第十特征，将第十特征与第九特征进行叠加得到第十一特征；对第十一特征进行上采样和卷积得到第十二特征；将第十二特征与第一超分辨率图像进行叠加，获得退化分辨率图像。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
请参见图11，图11为本申请实施例提供的一种图像处理装置的硬件结构示意图，可包括：
处理器1101、存储器1102和收发器1103。处理器1101、存储器1102和收发器1103通过总线1104连接，该存储器1102用于存储指令，该处理器1101用于执行该存储器1102存储的指令，以实现上述方法中的步骤。
处理器1101用于执行该存储器1102存储的指令，以控制收发器1103接收和发送信号，完成上述方法中的步骤。存储器1102可以集成在处理器1101中，也可以与处理器1101分开设置。
作为一种实现方式，收发器1103的功能可以考虑通过收发电路或者收发的专用芯片实现。处理器1101可以考虑通过专用处理芯片、处理电路、处理器或者通用芯片实现。
作为另一种实现方式，可以考虑使用通用计算机的方式来实现本申请实施例提供的图像处理装置。即将实现处理器1101、收发器1103功能的程序代码存储在存储器1102中，通用处理器通过执行存储器1102中的代码来实现处理器1101、收发器1103的功能。
该装置所涉及的与本申请实施例提供的技术方案相关的概念、解释和详细说明及其他步骤请参见前述方法或其他实施例中关于该装置执行的方法步骤的内容的描述，此处不做赘述。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，在处理器执行计算机指令的情况下，电子设备执行如上述方法实施例中的方法。
本申请实施例还提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，在处理器执行计算机指令的情况下，电子设备执行如上述方法实施例中的方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序包括程序指令，在程序指令被处理器执行的情况下，使处理器执行如上述方法实施例中的方法。
本申请实施例还提供了一种计算机程序产品，计算机程序产品包括计算机程序或指令，在计算机程序或指令在计算机上运行的情况下，使得计算机执行如上述方法实施例中的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
提取所述待处理图像的相机内参特征，所述相机内参特征用于表征采集所述待处理图像的成像设备的分辨率性能；
提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，其中，所述待处理图像对应的超分辨率图像的分辨率高于所述待处理图像的分辨率。
2.根据权利要求1所述的方法，其特征在于，所述提取所述待处理图像的相机内参特征，包括：
利用相机内参表示网络提取所述待处理图像的相机内参特征；
其中，所述相机内参表示网络是基于第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异训练得到的。
3.根据权利要求2所述的方法，其特征在于，所述相机内参表示网络的训练方法包括：
获取第一样本图像及其真实分辨率类别，所述第一样本图像包括由两种不同分辨率的成像设备采集的图像；
通过所述相机内参表示网络提取所述第一样本图像的相机内参特征，通过分类网络基于所述第一样本图像的相机内参特征进行分类识别，获得所述第一样本图像的分辨率类别识别结果；
基于所述第一样本图像的分辨率类别识别结果与对应的真实分辨率类别之间的差异，调整所述相机内参表示网络和所述分类网络的参数，直至达到第一训练结束条件。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，包括：
利用第一感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；
其中，所述第一感知网络是基于第一超分辨率图像与第二样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高第三样本图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。
5.根据权利要求4所述的方法，其特征在于，所述第一感知网络的训练方法包括：
获取第二样本图像、第三样本图像以及所述第三样本图像的相机内参特征；
通过所述第一感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；
基于所述第一超分辨率图像与所述第二样本图像之间的差异，调整所述第一感知网络的参数，直至达到第二训练结束条件。
6.根据权利要求1至3中任意一项所述的方法，其特征在于，所述提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，包括：
利用第二感知网络，提取所述待处理图像的图像特征，将所述相机内参特征与所述图像特征进行融合，获得所述待处理图像对应的超分辨率图像；
其中，所述第二感知网络是基于第一超分辨率图像与第二样本图像之间的差异、以及退化分辨率图像与第三样本图像之间的差异训练得到的，所述第一超分辨率图像是通过提高所述第三样本图像的分辨率得到的，所述退化分辨率图像是通过降低所述第一超分辨率图像的分辨率得到的，所述第二样本图像与所述第三样本图像的内容相同，所述第二样本图像的分辨率高于所述第三样本图像的分辨率。
7.根据权利要求6所述的方法，其特征在于，所述第二感知网络的训练方法包括：
获取第二样本图像、第三样本图像、所述第二样本图像的相机内参特征以及所述第三样本图像的相机内参特征；
通过所述第二感知网络，提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像；
通过循环感知网络，提取所述第一超分辨率图像的图像特征，将所述第二样本图像的相机内参特征与所述第一超分辨率图像的图像特征进行融合，获得退化分辨率图像；
基于所述第一超分辨率图像与所述第二样本图像之间的差异、以及所述退化分辨率图像与所述第三样本图像之间的差异，调整所述第二感知网络和所述循环感知网络的参数，直至达到第三训练结束条件。
8.根据权利要求5或7所述的方法，其特征在于，所述提取所述第三样本图像的图像特征，将所述第三样本图像的相机内参特征与图像特征进行融合，获得第一超分辨率图像，包括：
对所述第三样本图像进行卷积和下采样获得第一特征，对所述第一特征进行下采样得到第二特征，对所述第二特征进行下采样得到第三特征；
对所述第三样本图像的相机内参特征进行全连接和重构获得第一卷积核，利用所述第一卷积核对所述第三特征进行卷积得到第四特征，将所述第四特征与所述第三特征进行叠加得到第五特征；
对所述第五特征进行上采样得到第六特征，将所述第六特征与所述第二特征融合后进行上采样得到第七特征，将所述第七特征与所述第一特征融合后进行上采样和卷积得到第八特征；
将所述第八特征与所述第三样本图像进行叠加，获得第一超分辨率图像。
9.根据权利要求7或8所述的方法，其特征在于，所述提取所述第一超分辨率图像的图像特征，将所述第二样本图像的相机内参特征与所述第一超分辨率图像的图像特征进行融合，获得退化分辨率图像，包括：
对所述第一超分辨率图像进行卷积和下采样获得第九特征；
对所述第二样本图像的相机内参特征进行全连接和重构获得第二卷积核，利用所述第二卷积核对所述第九特征进行卷积得到第十特征，将所述第十特征与所述第九特征进行叠加得到第十一特征；
对所述第十一特征进行上采样和卷积得到第十二特征；
将所述第十二特征与所述第一超分辨率图像进行叠加，获得退化分辨率图像。
10.一种图像处理装置，其特征在于，所述装置包括：
获取单元，用于获取待处理图像；
第一处理单元，用于提取所述待处理图像的相机内参特征，所述相机内参特征用于表征采集所述待处理图像的成像设备的分辨率性能；
第二处理单元，用于提取所述待处理图像的图像特征，将所述待处理图像的相机内参特征与图像特征进行融合，获得所述待处理图像对应的超分辨率图像，其中，所述超分辨率图像的分辨率高于所述待处理图像的分辨率。
11.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1至9中任意一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至9中任意一项所述的方法。
CN202210616955.4A 2022-06-01 2022-06-01 图像处理方法、装置、电子设备和存储介质 Pending CN114862682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210616955.4A CN114862682A (zh) 2022-06-01 2022-06-01 图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210616955.4A CN114862682A (zh) 2022-06-01 2022-06-01 图像处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114862682A true CN114862682A (zh) 2022-08-05

Family

ID=82641734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210616955.4A Pending CN114862682A (zh) 2022-06-01 2022-06-01 图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114862682A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188276A (zh) * 2023-05-04 2023-05-30 深圳赛陆医疗科技有限公司 用于基因样本的图像处理方法、图像处理装置和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188276A (zh) * 2023-05-04 2023-05-30 深圳赛陆医疗科技有限公司 用于基因样本的图像处理方法、图像处理装置和存储介质

Similar Documents

Publication Publication Date Title
CN108229497B (zh) 图像处理方法、装置、存储介质、计算机程序和电子设备
CN109977956B (zh) 一种图像处理方法、装置、电子设备以及存储介质
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN108229531B (zh) 对象特征提取方法、装置、存储介质和电子设备
US10540589B2 (en) Image quality assessment using similar scenes as reference
CN111480169B (zh) 用于模式识别的方法、系统和装置
US20190156144A1 (en) Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN113128494A (zh) 识别图像中文本的方法、装置和系统
CN112396115A (zh) 基于注意力机制的目标检测方法、装置及计算机设备
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN111524063A (zh) 一种遥感图像融合方法及装置
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114862682A (zh) 图像处理方法、装置、电子设备和存储介质
CN112597918A (zh) 文本检测方法及装置、电子设备、存储介质
CN113781164B (zh) 虚拟试衣模型训练方法、虚拟试衣方法和相关装置
CN111738270A (zh) 模型生成方法、装置、设备和可读存储介质
CN111881943A (zh) 图像分类的方法、装置、设备和计算机可读介质
CN113592709B (zh) 图像超分处理方法、装置、设备及存储介质
CN111353514A (zh) 模型训练方法、图像识别方法、装置及终端设备
CN116091844A (zh) 一种基于边缘计算的图像数据处理方法及系统
CN115761339A (zh) 图像处理方法、装置、设备、介质及程序产品
CN114359633A (zh) 高光谱图像聚类方法、装置、电子设备及存储介质
CN111724309B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN116778534B (zh) 图像处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination