CN117291855A - 高分辨率图像融合方法 - Google Patents

高分辨率图像融合方法 Download PDF

Info

Publication number
CN117291855A
CN117291855A CN202311201995.3A CN202311201995A CN117291855A CN 117291855 A CN117291855 A CN 117291855A CN 202311201995 A CN202311201995 A CN 202311201995A CN 117291855 A CN117291855 A CN 117291855A
Authority
CN
China
Prior art keywords
low
image
resolution image
resolution
image feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311201995.3A
Other languages
English (en)
Other versions
CN117291855B (zh
Inventor
秦睿子
魏娉婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yiyuqianxiang Technology Co ltd
Original Assignee
Hangzhou Yiyuqianxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yiyuqianxiang Technology Co ltd filed Critical Hangzhou Yiyuqianxiang Technology Co ltd
Priority to CN202311201995.3A priority Critical patent/CN117291855B/zh
Publication of CN117291855A publication Critical patent/CN117291855A/zh
Application granted granted Critical
Publication of CN117291855B publication Critical patent/CN117291855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/54Extraction of image or video features relating to texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种高分辨率图像融合方法,其获取用户输入的低分辨率图像;对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像;对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列;以及,基于所述上下文低分辨率图像特征向量的序列,得到生成高分辨率图像。这样,可以生成更高质量的高分辨率图像。

Description

高分辨率图像融合方法
技术领域
本发明涉及智能化图像处理技术领域,尤其涉及一种高分辨率图像融合方法。
背景技术
高分辨率图像融合用于将低分辨率图像转换为质量更高、细节更丰富的高分辨率图像,以便于人类或机器对图像进行分析和理解。高分辨率图像融合的应用领域包括遥感、医学影像、视频监控、数字取证等。
然而,传统的方法往往会引入模糊、失真等问题,因此,期待一种优化的方案。
发明内容
本发明实施例提供一种高分辨率图像融合方法,其获取用户输入的低分辨率图像;对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像;对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列;以及,基于所述上下文低分辨率图像特征向量的序列,得到生成高分辨率图像。这样,可以生成更高质量的高分辨率图像。
本发明实施例还提供了一种高分辨率图像融合方法,其包括:
获取用户输入的低分辨率图像;
对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像;
对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列;以及
基于所述上下文低分辨率图像特征向量的序列,得到生成高分辨率图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中提供的一种高分辨率图像融合方法的流程图。
图2为本发明实施例中提供的一种高分辨率图像融合方法的系统架构的示意图。
图3为本发明实施例中提供的一种高分辨率图像融合系统的框图。
图4为本发明实施例中提供的一种高分辨率图像融合方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
如本发明和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
低分辨率图像是指具有较低像素数量或像素密度的图像。在低分辨率图像中,每个像素表示的信息相对较少,图像细节和清晰度较低,这可能是由于图像采集设备的限制、图像传输过程中的压缩或图像处理过程中的降采样等原因导致的。
低分辨率图像通常具有以下特点:
模糊和不清晰:由于像素数量较少,低分辨率图像通常显示出模糊和不清晰的特征。细节和边缘可能不够清晰,导致图像缺乏细节信息。
信息丢失:低分辨率图像中可能存在信息的丢失或损失。由于像素数量较少,某些细节可能无法被正确捕捉或表示,导致图像中的重要信息丢失。
噪点和失真:低分辨率图像可能受到噪点和失真的影响。由于信息量较少,图像中的细微变化可能会被噪点掩盖或引入失真,使图像质量下降。
低分辨率图像的处理和提升是计算机视觉和图像处理领域的重要任务。通过高分辨率图像融合等技术,可以将低分辨率图像转换为质量更高、细节更丰富的高分辨率图像,以提供更好的视觉效果和图像分析能力。
高分辨率图像是指具有较高像素数量或像素密度的图像。在高分辨率图像中,每个像素可以表示更多的细节和信息,图像更加清晰和精细,高分辨率图像可以通过高分辨率的图像采集设备、无损图像压缩或图像处理算法等方式得到。
高分辨率图像通常具有以下特点:
清晰和细节丰富:由于像素数量较多,高分辨率图像能够更准确地表示细节和边缘。图像中的细节更加清晰可见,使观察者能够获得更丰富的信息。
高保真度:高分辨率图像可以更准确地还原原始场景或对象的外观和特征。颜色、纹理和形状等细节可以以更高的保真度呈现,使图像更真实、更逼真。
更大的显示能力:高分辨率图像可以在大尺寸显示设备上展示更多的细节和内容。在大屏幕、高像素密度的显示器上观看高分辨率图像时,可以获得更好的视觉体验。
高分辨率图像融合是一种图像处理技术,旨在将多个低分辨率图像融合成一个高分辨率图像。这项技术可以通过结合多个低分辨率图像中的信息来提高图像的细节和清晰度,从而获得更高质量的图像。
首先,需要将多个低分辨率图像进行准确的对齐,以确保它们在像素级别上对应相同的位置,这可以通过使用图像配准技术来实现,例如特征匹配或相位相关方法。接下来,从每个低分辨率图像中提取特征。这些特征可以是图像的边缘、纹理、颜色等,特征提取的目的是捕捉每个图像中的有用信息,以便后续的融合过程中使用。在融合过程中,选择合适的策略来将低分辨率图像中的信息融合到高分辨率图像中,常用的融合策略包括加权平均、插值、多尺度融合等。这些策略可以根据具体应用场景和需求进行选择。最后,使用融合策略将低分辨率图像的信息合成到一个高分辨率图像中,这可以通过插值、超分辨率重建等方法来实现,重建后的高分辨率图像具有更高的细节和清晰度。
高分辨率图像融合技术在许多领域中都有广泛的应用。在医学影像领域,高分辨率图像融合可以用于将多个低分辨率的医学影像(如CT扫描、MRI等)融合成一个高分辨率图像,以提高医生对疾病的诊断和分析能力。在遥感领域,高分辨率图像融合可以将多个低分辨率的遥感图像(如卫星图像、航空图像等)融合成一个高分辨率图像,以获得更详细的地表信息,支持土地利用、环境监测等应用。高分辨率图像融合可以用于视频增强,将多个低分辨率的视频帧融合成一个高分辨率的视频帧,提高视频的清晰度和细节还原,改善视频观看体验。在数字摄影领域,高分辨率图像融合可以用于将多个低分辨率的照片融合成一张高分辨率的照片,以获得更高质量的图像,适用于印刷、展示等高要求的场景。高分辨率图像融合可以用于安防监控系统中,将多个低分辨率的监控图像融合成一个高分辨率的图像,提高监控画面的清晰度和细节还原,有助于准确识别和分析监控场景中的目标。
高分辨率图像融合技术在需要提高图像质量、增强细节和清晰度的应用场景中具有重要的作用,可以提供更准确的信息和更好的视觉效果。
在本发明中,提供了一种高分辨率图像融合方法的技术方案,该方案利用了多尺度变换和稀疏表示的优势,能够有效地提高图像融合的质量和效率。具体地,该方案包括以下步骤:
1.将输入的低分辨率图像进行多尺度变换,得到不同层次的子带图像;
2.对每个子带图像进行稀疏编码,得到相应的稀疏系数矩阵;
3.对每个稀疏系数矩阵进行融合规则的选择和应用,得到融合后的稀疏系数矩阵;
4.对每个融合后的稀疏系数矩阵进行稀疏解码,得到相应的子带图像;
5.将融合后的子带图像进行多尺度逆变换,得到高分辨率的图像融合结果。
该方案能够保留输入图像的细节信息,同时消除噪声和伪影,提高图像融合的视觉效果和客观评价指标。
具体地,在本发明的一个实施例中,图1为本发明实施例中提供的一种高分辨率图像融合方法的流程图。图2为本发明实施例中提供的一种高分辨率图像融合方法的系统架构的示意图。如图1和图2所示,根据本发明实施例的高分辨率图像融合方法,包括:110,获取用户输入的低分辨率图像;120,对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像;130,对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列;以及,140,基于所述上下文低分辨率图像特征向量的序列,得到生成高分辨率图像。
在所述步骤110中,确保获取到用户输入的低分辨率图像,并进行后续处理。通过用户输入的低分辨率图像,为后续的图像处理和融合提供原始数据。
在所述步骤120中,进行图像预处理步骤,如去噪、增强等,以准备低分辨率图像进行后续处理。通过预处理,可以去除图像中的噪声、增强图像的对比度和细节,为后续的特征提取和图像融合提供更好的输入。
在所述步骤130中,利用图像特征提取算法,从低分辨率多通道聚合图像中提取上下文特征向量的序列。通过图像特征提取,可以捕捉低分辨率图像中的细节、纹理和结构等重要特征,为后续的高分辨率图像生成提供更丰富的特征表示。
在所述步骤140中,利用基于深度学习的方法,根据上下文低分辨率图像特征向量的序列生成高分辨率图像。通过深度学习模型,利用上下文特征向量的序列,可以学习低分辨率图像与高分辨率图像之间的映射关系,从而生成更高质量、更细节丰富的高分辨率图像。
本发明实施例的高分辨率图像融合方法通过图像预处理、特征提取和深度学习生成高分辨率图像,从而提高了低分辨率图像的质量和细节还原能力,这种方法可以应用于各种领域,如医学影像、遥感图像、数字摄影等,具有广泛的应用前景。
针对上述技术问题,本发明的技术构思为结合小波变换和基于深度学习的人工智能技术来实现对低分辨率图像的多尺度分析和特征提取,从而生成更高质量的高分辨率图像。小波变换是一种多尺度分析的方法,可以将图像分解成不同尺度的频域子带,通过应用小波变换,可以在不同尺度上对低分辨率图像进行分析,捕捉图像中的细节和纹理信息。深度学习技术在图像处理中具有出色的特征提取能力,通过使用深度学习模型,可以从低分辨率图像中提取丰富的特征表示,包括边缘、纹理、颜色等,这些特征可以用于后续的高分辨率图像重建过程。结合小波变换和深度学习,可以利用低分辨率图像中的多尺度特征信息来生成更高质量的高分辨率图像,深度学习模型可以学习低分辨率图像与高分辨率图像之间的映射关系,从而实现更准确的图像重建。通过多尺度分析和特征提取,高分辨率图像融合可以增强低分辨率图像中的细节信息。生成的高分辨率图像可以更清晰、更丰富地呈现图像中的细微变化和细节纹理,提供更好的视觉体验。结合小波变换和基于深度学习的人工智能技术的高分辨率图像融合方法在医学影像、遥感图像、数字摄影等领域具有广泛的应用,可以改善图像的质量和细节还原能力,提高图像分析和识别的准确性,为各种应用提供更好的图像基础。
结合小波变换和基于深度学习的人工智能技术的高分辨率图像融合方法可以有效地提高低分辨率图像的质量和细节还原能力,为各个领域的图像处理任务提供更好的解决方案。
基于此,在本发明的技术方案中,首先,获取用户输入的低分辨率图像。然后,对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像。
在本发明的一个具体示例中,对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像的编码过程,包括:先对所述低分辨率图像进行基于小波变换的多尺度分析以得到小波变换图像;再将所述低分辨率图像和所述小波变换图像沿通道维度聚合为低分辨率多通道聚合图像。也就是,首先利用小波变换对低分辨率图像进行多尺度分析,提取出图像的频域信息;然后将低分辨率图像和小波变换图像沿通道维度聚合为多通道聚合图像,增加了图像的信息量。
其中,利用小波变换对低分辨率图像进行多尺度分析,将图像分解成不同尺度的频域子带。小波变换能够提取图像的频域信息,通过多尺度分析可以捕捉不同尺度上的细节和纹理信息,为后续的图像融合提供更丰富的特征。
将低分辨率图像和小波变换图像进行通道维度上的聚合,形成多通道聚合图像。通过将低分辨率图像和小波变换图像聚合,可以增加图像的信息量和多样性。低分辨率图像包含了图像的空域信息,而小波变换图像包含了图像的频域信息,通过聚合这两部分信息,提供更全面的图像特征,为后续的特征提取和图像融合提供更好的输入。
首先利用小波变换对低分辨率图像进行多尺度分析,提取图像的频域信息;然后将低分辨率图像和小波变换图像沿通道维度聚合为多通道聚合图像,增加了图像的信息量。这些步骤的注意点和有益效果有助于提高低分辨率图像的特征表示能力,并为后续的高分辨率图像生成提供更好的基础。
在本发明中,小波变换是一种数学变换方法,用于将信号或图像分解为不同尺度和频率的子组分。与傅里叶变换相比,小波变换具有更好的时频局部化特性,可以更好地捕捉信号或图像的瞬时特征。
小波变换使用一组称为小波函数的基函数进行信号或图像的分解,这些小波函数是基于母小波函数进行平移和缩放得到的。通过对信号或图像进行多次平移和缩放,可以得到不同尺度和频率的小波系数。
小波变换的过程可以分为两个步骤:分解和重构。分解将信号或图像分解为不同尺度和频率的小波系数,这一步骤类似于将信号或图像通过一系列滤波器进行频带分解,得到近似系数和细节系数。重构根据分解得到的小波系数,通过反向变换重构出原始信号或图像,这一步骤类似于将分解得到的近似系数和细节系数通过一系列滤波器进行合成,得到原始信号或图像的近似重建。
小波变换在图像处理领域中广泛应用,特别是在图像压缩、去噪、边缘检测和图像融合等方面。通过小波变换,可以提取图像的不同尺度和频率的特征,捕捉图像的细节和纹理信息,从而实现对图像的分析和处理。在高分辨率图像融合方法中,基于小波变换的多尺度分析可以提取低分辨率图像的频域信息,为后续的图像融合和特征提取提供更丰富的输入。
进一步地,沿通道维度聚合是一种将多个图像或特征图在通道维度上进行合并的操作。在高分辨率图像融合中,将低分辨率图像和小波变换图像沿通道维度聚合可以生成低分辨率多通道聚合图像。
通道维度是指图像或特征图中表示不同特征或信息的维度,对于彩色图像,通道维度通常表示红、绿、蓝三个色彩通道。对于深度学习中的特征图,通道维度表示不同的特征通道。沿通道维度聚合的过程可以通过简单的通道连接或者更复杂的操作来实现。
在低分辨率图像和小波变换图像的沿通道维度聚合中,可以将它们的通道逐一连接,形成一个多通道的聚合图像。例如,如果低分辨率图像是单通道的灰度图像,而小波变换图像是三通道的RGB图像,那么聚合后的图像将具有四个通道,其中一个通道来自低分辨率图像,另外三个通道来自小波变换图像的RGB通道。
通过沿通道维度聚合,可以增加图像的信息量和多样性。低分辨率图像和小波变换图像分别提供了不同的信息,通过聚合这些信息,可以获得更全面和丰富的图像特征。这对于后续的特征提取和图像融合步骤非常有益,可以提高生成高分辨率图像的质量和细节丰富度。沿通道维度聚合是将低分辨率图像和小波变换图像在通道维度上合并的操作,通过这种聚合,可以增加图像的信息量和多样性,为后续的图像处理步骤提供更好的输入。
在本发明的一个实施例中,对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列,包括:提取所述低分辨率多通道聚合图像的局部邻域特征以得到低分辨率图像特征向量的序列;以及,提取所述低分辨率图像特征向量的序列之间的关联特征以得到所述上下文低分辨率图像特征向量的序列。
通过对低分辨率多通道聚合图像进行局部邻域特征提取,可以捕捉图像中不同区域的局部细节和纹理信息。这些局部邻域特征可以通过滑动窗口或卷积操作来提取,通过在不同位置提取局部邻域特征,并将它们组合成特征向量的序列,可以保留图像的局部结构和细节,为后续的图像处理步骤提供更丰富的输入。
除了局部邻域特征,低分辨率图像中的像素之间还存在一定的关联性。通过提取低分辨率图像特征向量序列之间的关联特征,可以捕捉到图像中的全局上下文信息,这些关联特征可以通过建立像素之间的空间关系、使用图像分割或边缘检测算法等方法来获取。通过提取关联特征,可以更好地理解图像中不同区域之间的相互作用和依赖关系,从而提高生成高分辨率图像的能力。
局部邻域特征和关联特征的提取可以结合使用,相互补充,提供更全面的图像信息。局部邻域特征捕捉图像的局部细节,而关联特征提供图像的全局上下文信息。这样的特征组合可以更好地反映图像的结构和内容,为后续的图像融合和特征提取步骤提供更准确的输入,从而提高生成高分辨率图像的质量和细节丰富度。
接着,对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列。也就是,捕捉所述低分辨率多通道聚合图像中高维隐含图像特征分布与图像上下文依赖信息。
在本发明的一个具体示例中,对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列的编码过程,包括:先对所述低分辨率多通道聚合图像进行图像块切分以得到多个低分辨率多通道聚合子图像块;随后,将所述多个低分辨率多通道聚合子图像块通过基于卷积神经网络模型的图像特征提取器以得到低分辨率图像特征向量的序列;再将所述低分辨率图像特征向量的序列通过基于Bi-LSTM的序列关联编码器以得到上下文低分辨率图像特征向量的序列。
将低分辨率多通道聚合图像进行图像块切分可以将图像分割成多个小块,每个小块包含了局部的图像信息,这有益于提取局部邻域特征,因为每个小块可以被视为一个局部邻域。通过对每个小块进行独立的特征提取和处理,可以更好地捕捉图像中的局部细节和纹理信息。
其中,图像块切分是将一张图像分割成多个小块的过程。对于低分辨率多通道聚合图像,图像块切分可以将整个图像划分为多个子图像块,每个子图像块包含了图像的局部信息。
具体地,首先确定每个子图像块的大小。通常,块的大小是一个正方形或矩形区域,可以根据具体需求进行选择。常见的块大小为16x16像素或32x32像素。然后,将整个低分辨率多通道聚合图像按照块的大小进行划分。可以通过滑动窗口的方式,从图像的左上角开始依次滑动并划分子图像块,每次滑动的步长通常是块大小的一半,以确保子图像块之间有重叠区域。最后,在每个滑动窗口位置,提取对应的子图像块,子图像块可以是原始图像的局部副本,保留了原始图像中对应位置的像素值和通道信息。
通过图像块切分,低分辨率多通道聚合图像被分割成多个子图像块,每个子图像块都包含了局部的图像信息。这有助于后续的特征提取和处理步骤,可以更好地捕捉图像的局部细节和纹理信息。同时,子图像块之间的重叠区域可以提供上下文信息,使得后续处理步骤能够更好地理解图像的连续性和一致性。
需要注意的是,图像块切分的具体实现方式可以根据具体的应用和需求进行调整和优化。例如,可以根据图像内容的特点进行自适应的块大小选择,或者使用更复杂的图像分割算法来划分子图像块。
通过基于卷积神经网络模型的图像特征提取器,可以从每个低分辨率多通道聚合子图像块中提取高级语义特征。卷积神经网络在图像处理中具有强大的特征提取能力,可以学习到图像的抽象表示。提取的低分辨率图像特征向量序列可以捕捉到图像的全局和局部特征,为后续的处理步骤提供更丰富的信息。
基于卷积神经网络(Convolutional Neural Network,CNN)模型的图像特征提取器是一种用于从图像中提取高级语义特征的深度学习模型。CNN在计算机视觉领域取得了显著的成功,能够有效地学习到图像的抽象表示。
CNN的基本组成部分包括卷积层、激活函数、池化层和全连接层。卷积层是CNN的核心组件,通过应用一系列可学习的滤波器(也称为卷积核)对输入图像进行卷积操作。每个滤波器在输入图像上滑动,计算出对应位置的卷积结果,生成一张特征图,特征图捕捉了图像的局部特征,例如边缘、纹理等。在卷积层之后,通常会应用激活函数,如ReLU(RectifiedLinear Unit),来引入非线性变换,激活函数的作用是增加网络的表达能力,使其能够学习更复杂的特征。池化层用于降低特征图的空间维度,减少参数数量,并提取出主要的特征,池化操作包括最大池化和平均池化,它们分别选取池化窗口中的最大值或平均值作为输出。在经过多个卷积层和池化层之后,可以将特征图展平为一个向量,并通过全连接层进行分类或回归等任务,全连接层将特征向量与权重相乘,并通过激活函数处理,生成最终的输出。
基于卷积神经网络模型的图像特征提取器被用于从多个低分辨率多通道聚合子图像块中提取特征,这些特征向量序列包含了子图像块的高级语义信息,可以用于后续的处理步骤,如序列关联编码器,以进一步提高生成高分辨率图像的效果。
利用基于Bi-LSTM的序列关联编码器,可以对低分辨率图像特征向量的序列进行建模,捕捉到它们之间的时序关系和上下文信息。Bi-LSTM模型具有记忆能力和上下文感知能力,能够有效地编码序列数据。通过对低分辨率图像特征向量序列进行序列关联编码,可以获取到上下文低分辨率图像特征向量的序列,其中每个特征向量都包含了与前后特征向量的关联信息。这有益于更好地理解图像中不同区域之间的相互作用和依赖关系。
基于双向长短时记忆网络(Bidirectional Long Short-Term Memory,Bi-LSTM)的序列关联编码器是一种用于处理序列数据的深度学习模型,能够捕捉序列数据中的上下文信息,并学习序列中的长期依赖关系。
Bi-LSTM是LSTM(长短时记忆网络)的一种扩展形式,在时间维度上同时考虑了正向和反向的信息流。首先,正向LSTM按照时间顺序处理输入序列,从序列的起始位置到结束位置。在每个时间步,接收当前时间步的输入特征向量和前一个时间步的隐藏状态,并计算当前时间步的隐藏状态和输出。然后,反向LSTM按照时间的逆序处理输入序列,从序列的结束位置到起始位置。在每个时间步,接收当前时间步的输入特征向量和后一个时间步的隐藏状态,并计算当前时间步的隐藏状态和输出。Bi-LSTM通过正向和反向LSTM的计算,分别得到正向和反向的隐藏状态序列。这两个隐藏状态序列可以按照时间步进行连接,形成一个新的序列,即上下文特征向量的序列,这个序列包含了每个时间步的正向和反向上下文信息。
通过Bi-LSTM的序列关联编码器,可以将低分辨率图像特征向量的序列转换为包含上下文信息的特征向量序列,有助于更好地捕捉图像特征之间的关联和上下文信息,进一步提高生成高分辨率图像的效果。
图像块切分、图像特征提取器和序列关联编码器的每个步骤都有助于提取和编码低分辨率图像的特征,从而提高生成高分辨率图像的能力。图像块切分可以提供局部邻域信息,图像特征提取器可以提取高级语义特征,而序列关联编码器可以建模上下文关系,使得生成的高分辨率图像更加准确和真实。
在本发明的一个实施例中,基于所述上下文低分辨率图像特征向量的序列,得到生成高分辨率图像,包括:将所述上下文低分辨率图像特征向量的序列排列为全局低分辨率图像特征矩阵;对所述全局低分辨率图像特征矩阵进行特征分布优化以得到优化全局低分辨率图像特征矩阵;以及,将所述全局低分辨率图像特征矩阵通过基于AIGC的高分辨率图像生成器以得到所述生成高分辨率图像。
在本发明的技术方案中,将所述多个低分辨率多通道聚合子图像块通过基于卷积神经网络模型的图像特征提取器后,得到的所述低分辨率图像特征向量的序列可以表达相应的低分辨率多通道聚合子图像块的图像语义特征,从而在通过基于Bi-LSTM的序列关联编码器后,进一步提取图像分块语义特征的近程-远程双向上下文关联特征,由此,如果将每个低分辨率图像特征向量的图像语义特征表示作为前景对象特征表示,则在进行近程-远程双向图像语义特征上下文关联的同时,也会引入背景分布噪声,并且,在将所述上下文低分辨率图像特征向量的序列排列为全局低分辨率图像特征矩阵时,由于所述全局低分辨率图像特征矩阵通过进行向量-矩阵间高秩分布表示,也会引入各个上下文低分辨率图像特征向量的高维特征的图像语义空间异质分布,从而引起所述全局低分辨率图像特征矩阵相对于各个上下文低分辨率图像特征向量的图像语义特征的图像语义空间概率密度映射误差,影响了所述全局低分辨率图像特征矩阵通过基于AIGC的高分辨率图像生成器得到的生成高分辨率图像的图像质量。
基于此,本发明的申请人对所述全局低分辨率图像特征矩阵,例如记为M进行特征尺度作为模仿掩码的秩排列分布软匹配,具体表示为:
mi,j'=exp(SS2+MF2×mi,j)+α×M2
mi,j是所述全局低分辨率图像特征矩阵M的第(i,j)位置的特征值,S是所述全局低分辨率图像特征矩阵M的尺度,即宽度乘以高度,MF2表示所述全局低分辨率图像特征矩阵M的Frobenius范数的平方,M2表示所述全局低分辨率图像特征矩阵M的二范数,即谱范数λmax,λmax是MTM的最大本征值,且α是加权超参数。
这里,所述特征尺度作为模仿掩码的秩排列分布软匹配可以将高维特征映射到概率密度空间内时,将特征尺度作为用于映射的模仿掩码来聚焦于前景对象特征而忽略背景分布噪声,并通过所述全局低分辨率图像特征矩阵M的不同范数进行的金字塔式秩排列分布的分布软匹配,来有效捕捉概率密度分布的中心区域和尾部区域之间的相关性,避免了由于所述全局低分辨率图像特征矩阵M的高维特征的图像语义空间异质分布导致的概率密度映射偏差,从而提升所述全局低分辨率图像特征矩阵通过基于AIGC的高分辨率图像生成器得到的生成高分辨率图像的图像质量。
继而,将所述上下文低分辨率图像特征向量的序列排列为全局低分辨率图像特征矩阵通过基于AIGC的高分辨率图像生成器以得到生成高分辨率图像。AIGC(AttentionInference and Generation Consistency,注意力推理和生成一致性)是一种基于注意力机制的方法,用于高分辨率图像生成。在AIGC中,全局低分辨率图像特征矩阵作为输入,通过引入注意力机制来推理和生成高分辨率图像。
首先,AIGC利用全局低分辨率图像特征矩阵作为输入,通过注意力机制推理出每个位置的注意力权重,这些权重表示了每个位置在生成高分辨率图像中的重要性。利用注意力权重,AIGC将全局低分辨率图像特征矩阵重建为一个更高分辨率的特征矩阵,这种特征重建过程可以通过插值方法或卷积操作实现。在特征重建的基础上,AIGC通过进一步的处理,如卷积和上采样操作,将重建的特征矩阵转换为生成的高分辨率图像。这些操作有助于恢复图像的细节和清晰度。
通过AIGC的高分辨率图像生成器,可以利用全局低分辨率图像特征矩阵和注意力机制来生成更高质量的高分辨率图像,注意力推理可以帮助模型在生成过程中更加关注重要的特征,提高图像的细节和真实感。因此,将上下文低分辨率图像特征向量的序列排列为全局低分辨率图像特征矩阵,并结合AIGC的高分辨率图像生成器,可以获得更好的生成效果。
综上,基于本发明实施例的高分辨率图像融合方法被阐明,其结合小波变换和基于深度学习的人工智能技术来实现对低分辨率图像的多尺度分析和特征提取,从而生成更高质量的高分辨率图像。
在本发明的一个实施例中,图3为本发明实施例中提供的一种高分辨率图像融合系统的框图。如图3所示,根据本发明实施例的高分辨率图像融合系统200,包括:图像获取模块210,用于获取用户输入的低分辨率图像;图像预处理模块220,用于对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像;图像特征提取模块230,用于对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列;以及,高分辨率图像生成模块240,用于基于所述上下文低分辨率图像特征向量的序列,得到生成高分辨率图像。
这里,本领域技术人员可以理解,上述高分辨率图像融合系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图2的高分辨率图像融合方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本发明实施例的高分辨率图像融合系统200可以实现在各种终端设备中,例如用于高分辨率图像融合的服务器等。在一个示例中,根据本发明实施例的高分辨率图像融合系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该高分辨率图像融合系统200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该高分辨率图像融合系统200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该高分辨率图像融合系统200与该终端设备也可以是分立的设备,并且高分辨率图像融合系统200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图4为本发明实施例中提供的一种高分辨率图像融合方法的应用场景图。如图4所示,在该应用场景中,首先,获取用户输入的低分辨率图像(例如,如图4中所示意的C);然后,将获取的低分辨率图像输入至部署有高分辨率图像融合算法的服务器(例如,如图4中所示意的S)中,其中所述服务器能够基于高分辨率图像融合算法对所述低分辨率图像进行处理,以得到生成高分辨率图像。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种高分辨率图像融合方法,其特征在于,包括:
获取用户输入的低分辨率图像;
对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像;
对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列;以及
基于所述上下文低分辨率图像特征向量的序列,得到生成高分辨率图像。
2.根据权利要求1所述的高分辨率图像融合方法,其特征在于,对所述低分辨率图像进行图像预处理以得到低分辨率多通道聚合图像,包括:
对所述低分辨率图像进行基于小波变换的多尺度分析以得到小波变换图像;以及
将所述低分辨率图像和所述小波变换图像沿通道维度聚合为所述低分辨率多通道聚合图像。
3.根据权利要求2所述的高分辨率图像融合方法,其特征在于,对所述低分辨率多通道聚合图像进行图像特征提取以得到上下文低分辨率图像特征向量的序列,包括:
提取所述低分辨率多通道聚合图像的局部邻域特征以得到低分辨率图像特征向量的序列;以及
提取所述低分辨率图像特征向量的序列之间的关联特征以得到所述上下文低分辨率图像特征向量的序列。
4.根据权利要求3所述的高分辨率图像融合方法,其特征在于,提取所述低分辨率多通道聚合图像的局部邻域特征以得到低分辨率图像特征向量的序列,包括:
对所述低分辨率多通道聚合图像进行图像块切分以得到多个低分辨率多通道聚合子图像块;以及
将所述多个低分辨率多通道聚合子图像块通过基于卷积神经网络模型的图像特征提取器以得到所述低分辨率图像特征向量的序列。
5.根据权利要求4所述的高分辨率图像融合方法,其特征在于,提取所述低分辨率图像特征向量的序列之间的关联特征以得到所述上下文低分辨率图像特征向量的序列,包括:
将所述低分辨率图像特征向量的序列通过基于Bi-LSTM的序列关联编码器以得到所述上下文低分辨率图像特征向量的序列。
6.根据权利要求5所述的高分辨率图像融合方法,其特征在于,基于所述上下文低分辨率图像特征向量的序列,得到生成高分辨率图像,包括:
将所述上下文低分辨率图像特征向量的序列排列为全局低分辨率图像特征矩阵;
对所述全局低分辨率图像特征矩阵进行特征分布优化以得到优化全局低分辨率图像特征矩阵;以及
将所述全局低分辨率图像特征矩阵通过基于AIGC的高分辨率图像生成器以得到所述生成高分辨率图像。
7.根据权利要求6所述的高分辨率图像融合方法,其特征在于,对所述全局低分辨率图像特征矩阵进行特征分布优化以得到优化全局低分辨率图像特征矩阵,包括:以如下优化公式对所述全局低分辨率图像特征矩阵进行特征分布优化以得到优化全局低分辨率图像特征矩阵;
其中,所述优化公式为:
mi,j'=exp(SS2+MF2×mi,j)+α×M2
其中,mi,j是所述全局低分辨率图像特征矩阵M的第(i,j)位置的特征值,S是所述全局低分辨率图像特征矩阵M的尺度,即宽度乘以高度,MF2表示所述全局低分辨率图像特征矩阵M的Frobenius范数的平方,M2表示所述全局低分辨率图像特征矩阵M的二范数,且α是加权超参数,mi,j'是所述优化全局低分辨率图像特征矩阵的第(i,j)位置的特征值,exp(·)表示计算以数值为幂的自然指数函数值。
CN202311201995.3A 2023-09-15 2023-09-15 高分辨率图像融合方法 Active CN117291855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311201995.3A CN117291855B (zh) 2023-09-15 2023-09-15 高分辨率图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311201995.3A CN117291855B (zh) 2023-09-15 2023-09-15 高分辨率图像融合方法

Publications (2)

Publication Number Publication Date
CN117291855A true CN117291855A (zh) 2023-12-26
CN117291855B CN117291855B (zh) 2024-05-31

Family

ID=89256515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311201995.3A Active CN117291855B (zh) 2023-09-15 2023-09-15 高分辨率图像融合方法

Country Status (1)

Country Link
CN (1) CN117291855B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881873A (zh) * 2018-07-31 2018-11-23 杭州隅千象科技有限公司 高分辨率图像融合的方法、装置和系统
CN112200725A (zh) * 2020-10-26 2021-01-08 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN113538241A (zh) * 2021-07-19 2021-10-22 宜宾电子科技大学研究院 面向场景文本识别的超分辨率图像生成方法
CN113658047A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种结晶图像超分辨率重建方法
CN114022356A (zh) * 2021-10-29 2022-02-08 长视科技股份有限公司 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN114757832A (zh) * 2022-06-14 2022-07-15 之江实验室 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
CN114898110A (zh) * 2022-04-25 2022-08-12 四川大学 一种基于全分辨率表示网络的医学图像分割方法
US20230133218A1 (en) * 2022-02-28 2023-05-04 Beijing Baidu Netcom Science Technology Co., Ltd. Image segmentation method, device and medium
CN116524195A (zh) * 2023-06-20 2023-08-01 中国科学院深圳先进技术研究院 语义分割方法、装置、电子设备及存储介质
CN116683092A (zh) * 2023-07-28 2023-09-01 赣州吉锐新能源科技股份有限公司 新能源汽车电池的拆解系统及其方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881873A (zh) * 2018-07-31 2018-11-23 杭州隅千象科技有限公司 高分辨率图像融合的方法、装置和系统
CN112200725A (zh) * 2020-10-26 2021-01-08 深圳大学 一种超分辨率重建方法、装置、存储介质及电子设备
CN113538241A (zh) * 2021-07-19 2021-10-22 宜宾电子科技大学研究院 面向场景文本识别的超分辨率图像生成方法
CN113658047A (zh) * 2021-08-18 2021-11-16 北京石油化工学院 一种结晶图像超分辨率重建方法
CN114022356A (zh) * 2021-10-29 2022-02-08 长视科技股份有限公司 基于小波域的河道流量水位遥感图像超分辨率方法与系统
US20230133218A1 (en) * 2022-02-28 2023-05-04 Beijing Baidu Netcom Science Technology Co., Ltd. Image segmentation method, device and medium
CN114898110A (zh) * 2022-04-25 2022-08-12 四川大学 一种基于全分辨率表示网络的医学图像分割方法
CN114757832A (zh) * 2022-06-14 2022-07-15 之江实验室 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
CN116524195A (zh) * 2023-06-20 2023-08-01 中国科学院深圳先进技术研究院 语义分割方法、装置、电子设备及存储介质
CN116683092A (zh) * 2023-07-28 2023-09-01 赣州吉锐新能源科技股份有限公司 新能源汽车电池的拆解系统及其方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUAIBO HUANG ET AL.: "Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 25 December 2017 (2017-12-25), pages 1689 - 1697 *
YING LIU ETAL.: "A Densely Connected Face Super-Resolution Network Based on Attention Mechanism", 2020 15TH IEEE CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS (ICIEA), 9 November 2020 (2020-11-09), pages 148 - 152, XP033854851, DOI: 10.1109/ICIEA48937.2020.9248111 *
于明聪: "基于小波域的图像超分辨率重建算法研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 08, 15 August 2021 (2021-08-15), pages 138 - 256 *

Also Published As

Publication number Publication date
CN117291855B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
Guo et al. Deep wavelet prediction for image super-resolution
Liu et al. Robust single image super-resolution via deep networks with sparse prior
Zhang et al. Image super-resolution based on structure-modulated sparse representation
CN112767251B (zh) 基于多尺度细节特征融合神经网络的图像超分辨率方法
Zhu et al. Fast single image super-resolution via self-example learning and sparse representation
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN111598778B (zh) 一种绝缘子图像超分辨率重建方法
CN102243711A (zh) 一种基于邻域嵌套的图像超分辨率重建方法
CN106920214A (zh) 空间目标图像超分辨率重建方法
CN112001843A (zh) 一种基于深度学习的红外图像超分辨率重建方法
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
Mishra et al. Self-FuseNet: data free unsupervised remote sensing image super-resolution
CN112529776A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
Luvizon et al. Adaptive multiplane image generation from a single internet picture
Wang et al. Coarse-to-fine disentangling demoiréing framework for recaptured screen images
Zheng et al. Double-branch dehazing network based on self-calibrated attentional convolution
CN110415169A (zh) 一种深度图超分辨率重建方法、系统及电子设备
Hui et al. Multi-channel adaptive partitioning network for block-based image compressive sensing
Wang et al. Medical image super-resolution analysis with sparse representation
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Xu et al. Deep parametric 3d filters for joint video denoising and illumination enhancement in video super resolution
CN117291855B (zh) 高分辨率图像融合方法
CN108492264B (zh) 一种基于sigmoid变换的单帧图像快速超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant