CN117274059A - 基于图像编码-解码的低分辨率图像重构方法及其系统 - Google Patents

基于图像编码-解码的低分辨率图像重构方法及其系统 Download PDF

Info

Publication number
CN117274059A
CN117274059A CN202311317324.3A CN202311317324A CN117274059A CN 117274059 A CN117274059 A CN 117274059A CN 202311317324 A CN202311317324 A CN 202311317324A CN 117274059 A CN117274059 A CN 117274059A
Authority
CN
China
Prior art keywords
image
feature map
shallow
training
image feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311317324.3A
Other languages
English (en)
Inventor
夏敏鸿
魏娉婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yiyuqianxiang Technology Co ltd
Original Assignee
Hangzhou Yiyuqianxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yiyuqianxiang Technology Co ltd filed Critical Hangzhou Yiyuqianxiang Technology Co ltd
Priority to CN202311317324.3A priority Critical patent/CN117274059A/zh
Publication of CN117274059A publication Critical patent/CN117274059A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于图像编码‑解码的低分辨率图像重构方法及其系统，其获取用户输入的低分辨率图像；对所述低分辨率图像进行图像预处理以得到增强低分辨率图像；对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图；以及，基于所述语义融合浅层图像特征图，生成高分辨率图像。这样，能够有效地提高图像的分辨率，还能够保持图像的细节和纹理信息，避免出现模糊和失真的现象。

Description

基于图像编码-解码的低分辨率图像重构方法及其系统
技术领域
本发明涉及智能化图像重构技术领域，尤其涉及一种基于图像编码-解码的低分辨率图像重构方法及其系统。
背景技术
低分辨率图像重构是计算机视觉领域中的一个重要问题，它指的是将低分辨率的图像转换为高分辨率的图像。传统的插值方法在重构过程中容易引入模糊和失真，因此，期待一种优化的低分辨率图像重构方案。
发明内容
本发明实施例提供一种基于图像编码-解码的低分辨率图像重构方法及其系统，其获取用户输入的低分辨率图像；对所述低分辨率图像进行图像预处理以得到增强低分辨率图像；对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图；以及，基于所述语义融合浅层图像特征图，生成高分辨率图像。这样，能够有效地提高图像的分辨率，还能够保持图像的细节和纹理信息，避免出现模糊和失真的现象。
本发明实施例还提供了一种基于图像编码-解码的低分辨率图像重构方法，其包括：
获取用户输入的低分辨率图像；
对所述低分辨率图像进行图像预处理以得到增强低分辨率图像；
对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图；以及
基于所述语义融合浅层图像特征图，生成高分辨率图像。
本发明实施例还提供了一种基于图像编码-解码的低分辨率图像重构系统，其包括：
图像获取模块，用于获取用户输入的低分辨率图像；
图像预处理模块，用于对所述低分辨率图像进行图像预处理以得到增强低分辨率图像；
图像特征提取模块，用于对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图；以及
高分辨率图像生成模块，用于基于所述语义融合浅层图像特征图，生成高分辨率图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种基于图像编码-解码的低分辨率图像重构方法的流程图。
图2为本发明实施例中提供的一种基于图像编码-解码的低分辨率图像重构方法的系统架构的示意图。
图3为本发明实施例中提供的一种基于图像编码-解码的低分辨率图像重构系统的框图。
图4为本发明实施例中提供的一种基于图像编码-解码的低分辨率图像重构方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
低分辨率图像是指像素数量相对较少、图像细节较少的图像，它们通常由于图像采集设备的限制、图像压缩或图像传输过程中的损失等原因而产生。
低分辨率图像具有以下特点：
较少的像素：低分辨率图像的像素数量相对较少，因此图像的细节和清晰度较低，相同物体或场景在低分辨率图像中可能会显示为模糊或不清晰。
信息丢失：在将高分辨率图像转换为低分辨率图像的过程中，通常会丢失一些图像信息，这些丢失的信息可能包括细节、纹理、边缘等。
模糊和失真：由于像素数量较少和信息丢失，低分辨率图像可能会出现模糊和失真，图像中的细节可能会变得模糊不清，边缘可能会变得不清晰，导致图像质量下降。
低分辨率图像重构的目标是通过使用图像处理和计算机视觉技术，将低分辨率图像转换为高分辨率图像，以恢复丢失的细节和提高图像的清晰度。这对于许多应用领域，如医学影像、监控系统、远程sensing等都具有重要意义。
低分辨率图像重构是指将低分辨率的图像转换为高分辨率的图像的过程，是计算机视觉领域中一个重要的问题，因为高分辨率图像通常包含更多的细节和更好的视觉质量。传统的插值方法在低分辨率图像重构中被广泛使用，它们基于像素之间的插值来增加图像的分辨率。然而，这些方法往往会引入模糊和失真，因为它们无法准确地恢复丢失的图像细节。
为了解决这个问题，研究人员提出了各种优化的低分辨率图像重构方案。其中，基于深度学习的方法取得了显著的进展。这些方法利用深度神经网络来学习从低分辨率图像到高分辨率图像的映射关系，以实现更准确的重构结果。
基于深度学习的低分辨率图像重构方法通常包括以下步骤：首先，收集一组高分辨率图像及其对应的低分辨率版本作为训练数据，这些图像可以通过降采样或其他图像处理技术生成。然后，设计一个深度神经网络模型，通常是卷积神经网络(CNN)或生成对抗网络(GAN)，该网络模型包括一个编码器(Encoder)和一个解码器(Decoder)，用于学习低分辨率图像到高分辨率图像的映射。接着，使用准备好的训练数据对网络进行训练，通过最小化重构图像与真实高分辨率图像之间的差异，调整网络参数以提高重构质量。最后，使用训练好的网络模型对新的低分辨率图像进行重构，将低分辨率图像输入编码器，经过解码器生成高分辨率图像。
通过深度学习的方法，低分辨率图像重构可以更准确地恢复图像的细节和清晰度，提供更好的视觉体验和图像分析能力，这对于图像增强、图像恢复、医学影像分析等领域具有重要的应用价值。
本申请提出了一种基于图像编码-解码的低分辨率图像重构方法的技术方案。该方案利用了深度卷积神经网络(DCNN)的强大特征提取能力，将低分辨率图像编码为高维特征向量，然后通过一个上采样层和一个解码层，将特征向量还原为高分辨率图像。该方案不仅能够有效地提高图像的分辨率，还能够保持图像的细节和纹理信息，避免出现模糊和失真的现象。该方案在多个公开数据集上进行了实验，与其他常见的图像重构方法相比，显示出了更好的性能和效果。
在本发明的一个实施例中，图1为本发明实施例中提供的一种基于图像编码-解码的低分辨率图像重构方法的流程图。图2为本发明实施例中提供的一种基于图像编码-解码的低分辨率图像重构方法的系统架构的示意图。如图1和图2所示，根据本发明实施例的基于图像编码-解码的低分辨率图像重构方法，包括：110，获取用户输入的低分辨率图像；120，对所述低分辨率图像进行图像预处理以得到增强低分辨率图像；130，对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图；以及，140，基于所述语义融合浅层图像特征图，生成高分辨率图像。
在所述步骤110中，确保获取到的低分辨率图像是用户想要进行重构的图像，可以通过文件上传、图像URL输入或其他适当的方式获取图像。在所述步骤120中，在进行图像预处理之前，可能需要对低分辨率图像进行一些预处理操作，如图像尺寸调整、去噪、亮度/对比度调整等，这些操作有助于提高后续步骤的效果。通过预处理操作，可以改善低分辨率图像的质量，减少噪点和失真，为后续步骤提供更好的输入。在所述步骤130中，使用适当的图像特征提取方法，如卷积神经网络(CNN)，提取低分辨率图像的语义信息，这些特征应该能够捕捉到图像的重要特征，如边缘、纹理、形状等。语义融合浅层图像特征图可以提供更具语义信息的表征，有助于后续步骤更准确地重建高分辨率图像，通过特征提取，可以捕捉到图像的重要细节和结构。在所述步骤140中，使用适当的图像重建方法，如解码器或生成对抗网络(GAN)，将语义融合浅层图像特征图转换为高分辨率图像，这些方法应该能够恢复图像的细节和清晰度。通过基于语义融合浅层图像特征图的重建，可以生成高质量的高分辨率图像，这些图像将具有更多的细节和更好的视觉质量，提供更好的视觉体验和图像分析能力。
通过逐步执行图像获取、预处理、特征提取和图像重建等步骤，可以实现从低分辨率图像到高分辨率图像的重构，这种方法可以改善图像质量、恢复细节，并提供更好的图像视觉效果和分析能力。
针对上述技术问题，本申请的技术构思是基于图像编码器+图像解码器的图像重构思想，对低分辨率图像进行图像特征提取，并通过解码器来实现对低分辨率图像的图像重构。具体地，首先，通过图像编码器将低分辨率图像输入神经网络，编码器的目标是学习将输入图像转换为低维特征表示，这些特征表示通常捕捉图像的重要信息。在编码器中，通过多层卷积神经网络(CNN)或其他特征提取方法，从低分辨率图像中提取有意义的特征，特征可以包括边缘、纹理、颜色等。接下来，将提取的特征输入到图像解码器中，解码器的任务是将低维特征重新映射回高分辨率图像空间，解码器通常使用反卷积层或上采样技术来还原图像的细节和清晰度。通过解码器生成的高分辨率图像即为对低分辨率图像的重构结果，这些重构图像通常比原始低分辨率图像具有更高的清晰度和细节。
基于图像编码器和图像解码器的图像重构方法具有以下益处：通过编码器，该方法能够从低分辨率图像中提取有意义的特征，这些特征可以用于后续的分析、识别或其他图像处理任务。解码器能够将低维特征重新映射回高分辨率图像空间，从而重构图像的细节和清晰度，有助于提高图像的视觉质量和可识别性。基于深度学习的方法具有很强的学习能力，可以通过大规模数据集进行训练，从而提高图像重构的准确性和效果。
基于图像编码器和图像解码器的图像重构思想是一种强大的方法，可以从低分辨率图像中提取特征并实现高质量的图像重构，在图像增强、超分辨率重建等领域具有广泛的应用前景。
基于此，在本申请的技术方案中，首先，获取用户输入的低分辨率图像。低分辨率图像包含了用户想要重构的图像的内容，这些信息可以帮助确定生成高分辨率图像时应该还原的对象、场景或物体。低分辨率图像中的边缘、纹理和形状等结构信息可以提供有关图像的整体结构和布局的线索，这些信息可以指导生成高分辨率图像时的细节恢复和形状重建。虽然低分辨率图像的颜色可能受到限制，但仍然提供了关于图像的颜色分布和整体色调的信息，这些信息可以用于在生成高分辨率图像时更准确地还原颜色。低分辨率图像中的噪声和失真可能会影响图像的视觉质量，通过分析和处理这些噪声和失真，可以改善生成高分辨率图像的结果。
在生成高分辨率图像的过程中，通过利用用户输入的低分辨率图像中的这些有用信息，可以帮助模型更好地还原图像的细节、结构和颜色，从而产生更高质量的高分辨率图像，这些信息可以作为指导和约束，提高生成过程的准确性和效果。
在本申请的一个实施例中，对所述低分辨率图像进行图像预处理以得到增强低分辨率图像，包括：对所述低分辨率图像进行基于双边滤波的图像增强以得到所述增强低分辨率图像。
对所述低分辨率图像进行基于双边滤波的图像增强以得到增强低分辨率图像。这里，双边滤波是一种常用的图像滤波方法，它在平滑图像的同时保留了边缘信息。与传统的线性滤波方法(如均值滤波和高斯滤波)相比，双边滤波考虑了像素之间的空间距离和灰度差异，以实现更准确的平滑效果。
其中，基于双边滤波的图像增强是一种图像处理技术，用于提高图像的质量和视觉效果，结合了空间域和灰度域的信息，能够在去除噪声的同时保留图像的细节。
传统的均值滤波或高斯滤波在去除噪声的同时也平滑了图像的细节，导致图像变得模糊。而双边滤波通过考虑像素之间的空间距离和像素之间的灰度差异，能够更好地保留图像的边缘和细节。
双边滤波的核心思想是使用一个加权平均来计算每个像素的新值，其中权重由两个因素决定：空间距离权重，像素之间的空间距离越近，权重越大，这意味着离当前像素更近的像素对其影响更大，从而保留了图像的空间结构。灰度差异权重，像素之间的灰度差异越小，权重越大，这意味着与当前像素灰度相似的像素对其影响更大，从而保留了图像的细节。
通过调整空间距离权重和灰度差异权重的参数，可以控制滤波的程度。较大的权重参数将产生更强的平滑效果，而较小的权重参数将更好地保留细节。基于双边滤波的图像增强可以应用于低分辨率图像，通过去除噪声和保留细节，提高图像的清晰度和质量，这种方法在图像复原、图像增强、图像去噪等领域具有广泛的应用。
双边滤波可以有效地抑制图像中的噪声，包括高频噪声和低频噪声，通过去除噪声，可以提高图像的清晰度和细节恢复效果。双边滤波在滤波过程中考虑了像素之间的空间距离和像素之间的灰度差异，这种方法可以保留图像中的细节信息，避免过度平滑导致的细节丢失。双边滤波对边缘区域进行保护，确保边缘的清晰度和准确性，有助于提高图像的轮廓和形状恢复效果。双边滤波可以保持图像的色彩信息，避免颜色的偏移或失真，对于生成高分辨率图像时的准确色彩还原至关重要。
通过基于双边滤波的图像增强，可以改善低分辨率图像的质量，减少噪声和失真，并保留图像的细节、边缘和色彩。这些有益效果将为后续步骤提供更好的输入，有助于生成更高质量的增强低分辨率图像。
在本申请的一个实施例中，对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图，包括：提取所述增强低分辨率图像的图像浅层特征、图像中层特征和图像深层特征以得到浅层图像特征图、中层图像特征图和深层图像特征图；以及，融合所述浅层图像特征图、所述中层图像特征图和所述深层图像特征图以得到所述语义融合浅层图像特征图。
然后，提取所述增强低分辨率图像的图像浅层特征、图像中层特征和图像深层特征以得到浅层图像特征图、中层图像特征图和深层图像特征图。
应可以理解，图像浅层特征对于图像的细节信息非常敏感，能够提供图像的纹理和边缘细节；图像中层特征介于浅层特征和深层特征之间的特征表示，相较于图像浅层特征而言，这些特征更加抽象，能够捕捉到图像的语义信息和结构，在低分辨率图像增强中，提取图像中层特征有助于恢复图像的整体结构和语义内容；层特征是通过深度卷积神经网络提取的高级别特征表示。这些特征具有更高层次的语义信息，能够捕捉到图像的抽象概念和高级语义内容。
在本申请的一个具体示例中，提取所述增强低分辨率图像的图像浅层特征、图像中层特征和图像深层特征以得到浅层图像特征图、中层图像特征图和深层图像特征图的实现方式为：将所述增强低分辨率图像通过基于金字塔网络的图像特征提取器以得到浅层图像特征图、中层图像特征图和深层图像特征图。
应可以理解，金字塔网络是一种多尺度图像处理技术，用于在不同尺度上提取图像的特征，模拟了金字塔的结构，将输入图像通过多个层次的滤波和下采样操作，得到不同尺度的图像特征。金字塔网络通常由多个分辨率层次组成，每个层次都对输入图像进行滤波和下采样操作，在每个层次中，图像的分辨率会减小，但特征的感受野也会增大，这样，可以捕捉不同尺度上的图像细节和结构信息。
在金字塔网络中，浅层图像特征图对应于较高分辨率的图像层次，而深层图像特征图对应于较低分辨率的图像层次，浅层特征图通常包含更多的细节和纹理信息，而深层特征图则包含更高级的语义信息。金字塔网络的主要优点是能够在不同尺度上捕捉图像的多层次特征，并且可以提供丰富的上下文信息，这使得金字塔网络在许多计算机视觉任务中非常有用，如目标检测、图像分割、图像增强等。
通过基于金字塔网络的图像特征提取器对低分辨率图像进行处理，可以得到浅层图像特征图、中层图像特征图和深层图像特征图，从而提供丰富的特征表示和多尺度的信息，为图像增强和其他图像处理任务提供更好的性能和效果。金字塔网络能够在不同的尺度上提取图像特征，通过使用多个尺度的滤波器和池化操作，可以捕捉到图像的不同层次的细节和结构信息，浅层特征图通常包含更多的边缘和纹理信息，而深层特征图则包含更高级的语义信息。金字塔网络可以利用不同尺度的感受野来捕捉图像的上下文信息，较大的感受野可以捕捉到更广阔的上下文，有助于理解图像中的全局结构和语义关系，有助于提高图像的语义理解和特征表达能力。通过在金字塔网络中的不同层次上提取特征，可以将这些特征用于图像的重建和增强，浅层特征图可以用于恢复图像的细节和纹理，中层特征图可以用于增强图像的轮廓和形状，而深层特征图可以用于提高图像的语义理解和内容表达。金字塔网络具有多层次的结构，能够从不同的层次提取特征，因此对于图像中的变化和噪声具有一定的鲁棒性和稳定性，有助于提高图像处理的效果，并减少由于噪声和变化引起的不良影响。
通过基于金字塔网络的图像特征提取器，可以从不同层次上获取丰富的图像特征，进而用于图像的重建、增强和其他进一步的处理任务，有助于提高图像的质量、清晰度和语义理解能力。
接着，融合所述浅层图像特征图、所述中层图像特征图和所述深层图像特征图以得到所述语义融合浅层图像特征图。也就是，综合利用浅层特征、中层特征和深层特征，可以充分利用不同层次的特征信息，从而实现对图像的全面增强。更具体地来说，浅层特征提供细节，中层特征提供语义，深层特征提供高级语义，它们相互补充，共同促进了低分辨率图像的质量提升。
在本申请的一个具体示例中，融合所述浅层图像特征图、所述中层图像特征图和所述深层图像特征图以得到所述语义融合浅层图像特征图的编码过程，包括：先融合所述中层图像特征图和所述深层图像特征图以得到多尺度语义图像特征图；再使用联合语义传播模块来融合所述多尺度语义图像特征图和所述浅层图像特征图以得到语义融合浅层图像特征图。
中层特征图和深层特征图通常具有不同的空间分辨率，在融合之前，需要确保它们具有相同的尺寸，可以使用插值或卷积操作来调整特征图的尺寸，使其匹配。融合方法包括逐元素相加、逐元素相乘、拼接等，选择适当的融合方法取决于具体任务和特征的性质。
多尺度语义图像特征图通常具有较低的空间分辨率和更高级的语义信息，而浅层特征图具有更高的空间分辨率和更多的细节信息，在融合之前，需要确保它们具有相同的尺寸，并且考虑到它们的语义差异。联合语义传播模块可以用来融合多尺度语义图像特征图和浅层特征图，可以通过注意力机制、卷积操作或其他方法，将语义信息从多尺度特征图传播到浅层特征图中，从而实现语义融合。
更具体地，在本申请的实施例中，使用联合语义传播模块来融合所述多尺度语义图像特征图和所述浅层图像特征图以得到语义融合浅层图像特征图的编码过程，包括：先将所述多尺度语义图像特征图进行上采样以得到分辨率重构特征图；随后，对由所述分辨率重构特征图进行全局均值池化后得到的全局均值特征向量进行点卷积、批量归一化操作和基于ReLU的非激活函数操作以得到全局语义向量；再对所述分辨率重构特征图进行点卷积、批量归一化操作和基于ReLU的非激活函数操作以得到局部语义向量；接着，将所述全局语义向量和所述局部语义向量进行点加以得到语义权重向量；进一步地，以所述语义权重向量为权重向量，对所述浅层图像特征图进行加权处理以得到语义联合特征图；最后，融合所述浅层图像特征图与所述语义联合特征图以得到所述语义融合浅层图像特征图。
在本申请的一个实施例中，基于所述语义融合浅层图像特征图，生成高分辨率图像，包括：将所述语义融合浅层图像特征图通过基于解码器的图像重构模型以生成高分辨率图像。
将所述语义融合浅层图像特征图通过基于解码器的图像重构模型以生成高分辨率图像。语义融合浅层图像特征图包含了多尺度的语义信息和细节信息，通过解码器模型，可以将这些特征图转换为高分辨率的图像，从而提高图像的细节和清晰度，生成的高分辨率图像能够恢复更多的细节，使图像更加真实和逼真。
低分辨率图像在损失压缩和降采样过程中可能丢失了一些细节和信息，通过基于解码器的图像重构模型，可以尝试恢复这些丢失的信息，解码器模型利用语义融合浅层图像特征图中的语义信息和其他上下文信息，进行重建和补偿，从而提高生成图像的质量和完整性。
生成的高分辨率图像可以提供更好的视觉感知和图像分析能力。在许多计算机视觉任务中，如目标检测、图像分割、图像识别等，高分辨率图像通常能够提供更准确和可靠的结果，通过基于解码器的图像重构模型生成高分辨率图像，可以改善这些任务的性能和效果。
使用基于解码器的图像重构模型对语义融合浅层图像特征图进行处理，可以提高图像的细节和清晰度，恢复丢失的信息，并提升视觉感知和图像分析能力，有助于改善图像的质量、提供更好的视觉体验，并在各种计算机视觉任务中取得更好的结果。
在本申请的一个实施例中，所述基于图像编码-解码的低分辨率图像重构方法还包括训练步骤：用于对所述基于金字塔网络的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像重构模型进行训练；其中，所述训练步骤，包括：获取训练数据，所述训练数据包括训练低分辨率图像，以及，真实的生成高分辨率图像；对所述训练低分辨率图像进行基于双边滤波的图像增强以得到训练增强低分辨率图像；将所述训练增强低分辨率图像通过基于金字塔网络的图像特征提取器以得到训练浅层图像特征图、训练中层图像特征图和训练深层图像特征图；融合所述训练中层图像特征图和所述训练深层图像特征图以得到训练多尺度语义图像特征图；使用联合语义传播模块来融合所述训练多尺度语义图像特征图和所述训练浅层图像特征图以得到训练语义融合浅层图像特征图；对于所述训练语义融合浅层图像特征图的各个特征矩阵进行特征尺度约束的概率密度收敛优化以得到优化后训练语义融合浅层图像特征图；将所述优化后训练语义融合浅层图像特征图通过所述基于解码器的图像重构模型进行解码回归以得到解码损失函数值；基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像重构模型进行训练。
在本申请的技术方案中，将所述训练增强低分辨率图像通过基于金字塔网络的图像特征提取器时，所述训练浅层图像特征图、所述训练中层图像特征图和所述训练深层图像特征图可以表达基于所述金字塔网络的不同尺度的不同深度下的图像语义特征，由此，在使用联合语义传播模块来融合所述训练多尺度语义图像特征图和所述训练浅层图像特征图得到所述语义融合浅层图像特征图时，通过以所述训练多尺度语义图像特征图的全局语义特征向量来对所述训练浅层图像特征图的各个特征矩阵进行加权，来获得所述训练语义融合浅层图像特征图的各个特征矩阵，因此，在将训练语义融合浅层图像特征图的每个特征矩阵的浅层图像语义特征表示作为前景对象特征表示的情况下，在进行不同深度和不同尺度的图像语义特征融合表示的同时，也会引入所述训练语义融合浅层图像特征图的各个特征矩阵的高维特征的基于不同特征尺度和特征深度的图像语义空间异质分布，从而引起所述训练语义融合浅层图像特征图的各个特征矩阵的图像语义特征的图像语义空间概率密度映射误差，影响了所述训练语义融合浅层图像特征图通过基于解码器的图像重构模型得到的生成高分辨率图像的图像质量。
这里，本申请的申请人进一步发现，这种不均衡在很大程度上与特征表达尺度相关，即特征矩阵的源图像域的图像语义特征表达尺度，和各个特征矩阵间的多维度通道关联分布尺度，例如，可以理解为相对于进行多维度通道关联分布的尺度，源图像域的图像语义特征分布越不均衡，则所述训练语义融合浅层图像特征图的整体表达也越不均衡。因此，优选地，对于所述训练语义融合浅层图像特征图的各个特征矩阵，例如记为Mk进行特征尺度约束的概率密度收敛优化。
在本发明的一个实施例中，对于所述训练语义融合浅层图像特征图的各个特征矩阵进行特征尺度约束的概率密度收敛优化以得到优化后训练语义融合浅层图像特征图，包括：分别计算所述训练语义融合浅层图像特征图的各个特征矩阵的全局特征均值组成的特征向量的第一概率密度收敛权重，以及，所述训练语义融合浅层图像特征图的各个特征矩阵的第二概率密度收敛权重的序列；以所述第一概率密度收敛权重对所述训练语义融合浅层图像特征图沿通道进行加权以得到加权后训练语义融合浅层图像特征图；以所述第二概率密度收敛权重的序列对所述加权后训练语义融合浅层图像特征图的各个特征矩阵进行加权以得到所述优化后训练语义融合浅层图像特征图。；
在本发明的一个具体的实施例中，分别计算所述训练语义融合浅层图像特征图的各个特征矩阵的全局特征均值组成的特征向量的第一概率密度收敛权重，以及，所述训练语义融合浅层图像特征图的各个特征矩阵的第二概率密度收敛权重的序列，包括：以如下公式分别计算所述训练语义融合浅层图像特征图的各个特征矩阵的全局特征均值组成的特征向量的第一概率密度收敛权重，以及，所述训练语义融合浅层图像特征图的各个特征矩阵的第二概率密度收敛权重的序列；
其中，所述公式为：
其中，Mk是所述训练语义融合浅层图像特征图的第k个特征矩阵，L是所述训练语义融合浅层图像特征图的通道数，vk是特征矩阵Mk的全局特征均值，V是vk组成的特征向量，表示特征向量V的二范数的平方，S是特征矩阵Mk的尺度，即宽度乘以高度，且/>表示特征矩阵Mk的Frobenius范数的平方，mi,j是特征矩阵Mk中第(i,j)位置的特征值，w1是所述第一概率密度收敛权重，w2k是第二概率密度收敛权重的序列的第k个概率密度收敛权重。
这里，所述特征尺度约束的概率密度收敛优化可以通过类标准柯西分布式的尾部分布加强机制，来基于特征尺度对高维特征空间内的特征概率密度分布进行多层次分布结构的相关性约束，以使得具有不同尺度的高维特征的概率密度分布在整体概率密度空间内进行均匀性展开，从而弥补特征尺度偏差导致的概率密度收敛异质性。这样，在训练过程中，以上述权重w1对所述训练语义融合浅层图像特征图沿通道进行加权，并以上述权重w2k对所述训练语义融合浅层图像特征图的每个特征矩阵Mk进行加权，就可以提升优化后的训练语义融合浅层图像特征图在预定概率密度分布域的收敛性，从而提升其通过基于解码器的图像重构模型得到的生成高分辨率图像的图像质量。
综上，基于本发明实施例的基于图像编码-解码的低分辨率图像重构方法被阐明，其基于图像编码器+图像解码器的图像重构思想，对低分辨率图像进行图像特征提取，并通过解码器来实现对低分辨率图像的图像重构。
在本发明的一个实施例中，图3为本发明实施例中提供的一种基于图像编码-解码的低分辨率图像重构系统的框图。如图3所示，根据本发明实施例的基于图像编码-解码的低分辨率图像重构系统200，包括：图像获取模块210，用于获取用户输入的低分辨率图像；图像预处理模块220，用于对所述低分辨率图像进行图像预处理以得到增强低分辨率图像；图像特征提取模块230，用于对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图；以及，高分辨率图像生成模块240，用于基于所述语义融合浅层图像特征图，生成高分辨率图像。
在所述基于图像编码-解码的低分辨率图像重构系统中，所述图像预处理模块，用于：对所述低分辨率图像进行基于双边滤波的图像增强以得到所述增强低分辨率图像。
在所述基于图像编码-解码的低分辨率图像重构系统中，所述图像特征提取模块，包括：特征图提取单元，用于提取所述增强低分辨率图像的图像浅层特征、图像中层特征和图像深层特征以得到浅层图像特征图、中层图像特征图和深层图像特征图；以及，融合单元，用于融合所述浅层图像特征图、所述中层图像特征图和所述深层图像特征图以得到所述语义融合浅层图像特征图。
这里，本领域技术人员可以理解，上述基于图像编码-解码的低分辨率图像重构系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图2的基于图像编码-解码的低分辨率图像重构方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本发明实施例的基于图像编码-解码的低分辨率图像重构系统200可以实现在各种终端设备中，例如用于基于图像编码-解码的低分辨率图像重构的服务器等。在一个示例中，根据本发明实施例的基于图像编码-解码的低分辨率图像重构系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于图像编码-解码的低分辨率图像重构系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于图像编码-解码的低分辨率图像重构系统200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于图像编码-解码的低分辨率图像重构系统200与该终端设备也可以是分立的设备，并且基于图像编码-解码的低分辨率图像重构系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图4为本发明实施例中提供的一种基于图像编码-解码的低分辨率图像重构方法的应用场景图。如图4所示，在该应用场景中，首先，获取用户输入的低分辨率图像(例如，如图4中所示意的C)；然后，将获取的低分辨率图像输入至部署有基于图像编码-解码的低分辨率图像重构收算法的服务器(例如，如图4中所示意的S)中，其中所述服务器能够基于图像编码-解码的低分辨率图像重构算法对所述低分辨率图像进行处理，以生成高分辨率图像。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像编码-解码的低分辨率图像重构方法，其特征在于，包括：
获取用户输入的低分辨率图像；
对所述低分辨率图像进行图像预处理以得到增强低分辨率图像；
对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图；以及
基于所述语义融合浅层图像特征图，生成高分辨率图像。
2.根据权利要求1所述的基于图像编码-解码的低分辨率图像重构方法，其特征在于，对所述低分辨率图像进行图像预处理以得到增强低分辨率图像，包括：
对所述低分辨率图像进行基于双边滤波的图像增强以得到所述增强低分辨率图像。
3.根据权利要求2所述的基于图像编码-解码的低分辨率图像重构方法，其特征在于，对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图，包括：
提取所述增强低分辨率图像的图像浅层特征、图像中层特征和图像深层特征以得到浅层图像特征图、中层图像特征图和深层图像特征图；以及
融合所述浅层图像特征图、所述中层图像特征图和所述深层图像特征图以得到所述语义融合浅层图像特征图。
4.根据权利要求3所述的基于图像编码-解码的低分辨率图像重构方法，其特征在于，提取所述增强低分辨率图像的图像浅层特征、图像中层特征和图像深层特征以得到浅层图像特征图、中层图像特征图和深层图像特征图，包括：
将所述增强低分辨率图像通过基于金字塔网络的图像特征提取器以得到所述浅层图像特征图、所述中层图像特征图和所述深层图像特征图。
5.根据权利要求4所述的基于图像编码-解码的低分辨率图像重构方法，其特征在于，融合所述浅层图像特征图、所述中层图像特征图和所述深层图像特征图以得到所述语义融合浅层图像特征图，包括：
融合所述中层图像特征图和所述深层图像特征图以得到多尺度语义图像特征图；以及
使用联合语义传播模块来融合所述多尺度语义图像特征图和所述浅层图像特征图以得到所述语义融合浅层图像特征图。
6.根据权利要求5所述的基于图像编码-解码的低分辨率图像重构方法，其特征在于，基于所述语义融合浅层图像特征图，生成高分辨率图像，包括：
将所述语义融合浅层图像特征图通过基于解码器的图像重构模型以生成高分辨率图像。
7.根据权利要求6所述的基于图像编码-解码的低分辨率图像重构方法，其特征在于，还包括训练步骤：用于对所述基于金字塔网络的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像重构模型进行训练；
其中，所述训练步骤，包括：
获取训练数据，所述训练数据包括训练低分辨率图像，以及，真实的生成高分辨率图像；
对所述训练低分辨率图像进行基于双边滤波的图像增强以得到训练增强低分辨率图像；
将所述训练增强低分辨率图像通过基于金字塔网络的图像特征提取器以得到训练浅层图像特征图、训练中层图像特征图和训练深层图像特征图；
融合所述训练中层图像特征图和所述训练深层图像特征图以得到训练多尺度语义图像特征图；
使用联合语义传播模块来融合所述训练多尺度语义图像特征图和所述训练浅层图像特征图以得到训练语义融合浅层图像特征图；
对于所述训练语义融合浅层图像特征图的各个特征矩阵进行特征尺度约束的概率密度收敛优化以得到优化后训练语义融合浅层图像特征图；
将所述优化后训练语义融合浅层图像特征图通过所述基于解码器的图像重构模型进行解码回归以得到解码损失函数值；
基于所述解码损失函数值并通过梯度下降的方向传播来对所述基于金字塔网络的图像特征提取器、所述联合语义传播模块和所述基于解码器的图像重构模型进行训练。
8.根据权利要求7所述的基于图像编码-解码的低分辨率图像重构方法，其特征在于，对于所述训练语义融合浅层图像特征图的各个特征矩阵进行特征尺度约束的概率密度收敛优化以得到优化后训练语义融合浅层图像特征图，包括：
分别计算所述训练语义融合浅层图像特征图的各个特征矩阵的全局特征均值组成的特征向量的第一概率密度收敛权重，以及，所述训练语义融合浅层图像特征图的各个特征矩阵的第二概率密度收敛权重的序列；
以所述第一概率密度收敛权重对所述训练语义融合浅层图像特征图沿通道进行加权以得到加权后训练语义融合浅层图像特征图；
以所述第二概率密度收敛权重的序列对所述加权后训练语义融合浅层图像特征图的各个特征矩阵进行加权以得到所述优化后训练语义融合浅层图像特征图。
9.根据权利要求8所述的基于图像编码-解码的低分辨率图像重构方法，其特征在于，分别计算所述训练语义融合浅层图像特征图的各个特征矩阵的全局特征均值组成的特征向量的第一概率密度收敛权重，以及，所述训练语义融合浅层图像特征图的各个特征矩阵的第二概率密度收敛权重的序列，包括：以如下公式分别计算所述训练语义融合浅层图像特征图的各个特征矩阵的全局特征均值组成的特征向量的第一概率密度收敛权重，以及，所述训练语义融合浅层图像特征图的各个特征矩阵的第二概率密度收敛权重的序列；
其中，所述公式为：
其中，Mk是所述训练语义融合浅层图像特征图的第k个特征矩阵，L是所述训练语义融合浅层图像特征图的通道数，vk是特征矩阵Mk的全局特征均值，V是vk组成的特征向量，表示特征向量V的二范数的平方，S是特征矩阵Mk的尺度，且/>表示特征矩阵Mk的Frobenius范数的平方，mi,j是特征矩阵Mk中第(i,j)位置的特征值，w1是所述第一概率密度收敛权重，w2k是第二概率密度收敛权重的序列的第k个概率密度收敛权重。
10.一种基于图像编码-解码的低分辨率图像重构系统，其特征在于，包括：
图像获取模块，用于获取用户输入的低分辨率图像；
图像预处理模块，用于对所述低分辨率图像进行图像预处理以得到增强低分辨率图像；
图像特征提取模块，用于对所述增强低分辨率图像进行图像特征提取以得到语义融合浅层图像特征图；以及
高分辨率图像生成模块，用于基于所述语义融合浅层图像特征图，生成高分辨率图像。
CN202311317324.3A 2023-10-11 2023-10-11 基于图像编码-解码的低分辨率图像重构方法及其系统 Pending CN117274059A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311317324.3A CN117274059A (zh) 2023-10-11 2023-10-11 基于图像编码-解码的低分辨率图像重构方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311317324.3A CN117274059A (zh) 2023-10-11 2023-10-11 基于图像编码-解码的低分辨率图像重构方法及其系统

Publications (1)

Publication Number Publication Date
CN117274059A true CN117274059A (zh) 2023-12-22

Family

ID=89212206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311317324.3A Pending CN117274059A (zh) 2023-10-11 2023-10-11 基于图像编码-解码的低分辨率图像重构方法及其系统

Country Status (1)

Country Link
CN (1) CN117274059A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789153A (zh) * 2024-02-26 2024-03-29 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789153A (zh) * 2024-02-26 2024-03-29 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法
CN117789153B (zh) * 2024-02-26 2024-05-03 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法

Similar Documents

Publication Publication Date Title
CN110119780B (zh) 基于生成对抗网络的高光谱图像超分辨重建方法
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN109035146B (zh) 一种基于深度学习的低质量图像超分方法
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
Shen et al. Convolutional neural pyramid for image processing
CN113808032A (zh) 多阶段渐进式的图像去噪算法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN113658040A (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN110599402A (zh) 一种基于多特征稀疏表示的图像超分辨率重建方法
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN113066025A (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
Chen et al. Attention-based Broad Self-guided Network for Low-light Image Enhancement
CN116703719A (zh) 一种基于人脸3d先验信息的人脸超分辨率重建装置及方法
CN116229083A (zh) 一种基于轻量u型结构网络的图像去噪方法
CN112381725B (zh) 基于深度卷积对抗生成网络的图像修复方法及装置
CN113129237B (zh) 基于多尺度融合编码网络的深度图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination