CN114549300A - 图像字典的生成方法、图像重建方法及相关装置 - Google Patents

图像字典的生成方法、图像重建方法及相关装置 Download PDF

Info

Publication number
CN114549300A
CN114549300A CN202111633924.1A CN202111633924A CN114549300A CN 114549300 A CN114549300 A CN 114549300A CN 202111633924 A CN202111633924 A CN 202111633924A CN 114549300 A CN114549300 A CN 114549300A
Authority
CN
China
Prior art keywords
image
dictionary
sub
reconstructed
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111633924.1A
Other languages
English (en)
Inventor
余彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111633924.1A priority Critical patent/CN114549300A/zh
Publication of CN114549300A publication Critical patent/CN114549300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

本申请公开了一种图像字典的生成方法、图像重建方法及相关装置，包括：获得多个初始图像组；其中，每个初始图像组包括分辨率超过分辨率阈值的第一图像，以及基于第一图像生成的低于分辨率阈值的第二图像；对各个初始图像组中的第一图像和第二图像分别按不同变换参数进行非下采样轮廓波变换，获得第一图像对应的多个第一子图像和第二图像对应的多个第二子图像；基于多个第一子图像和多个第二子图像构建多个训练图像组；其中，同一训练图像组中包括同一初始图像组中变换参数相同的第一子图像和第二子图像；基于各个训练图像组，生成与各个变换参数分别对应的第一字典和第二字典。上述方案，能够提高基于第一字典和第二字典进行图像重建的重建效果。

Description

图像字典的生成方法、图像重建方法及相关装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像字典的生成方法、图像重建方法及相关装置。
背景技术
随着图像处理领域的不断发展，对于低分辨率图像的重建成为了重要的研究方向，其中，基于学习的方法得到了广泛重视，现有的基于学习的重建图像的方法主要基于字典来进行图像的重建，但是在获取字典的阶段，由于对于图像信息的分解不够充分会导致字典中元素过多，最终图像重建的计算复杂度高，且细节重建效果较差。有鉴于此，如何提高基于第一字典和第二字典进行图像重建的重建效果成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种图像字典的生成方法、图像重建方法及相关装置，能够提高基于第一字典和第二字典进行图像重建的重建效果。
为解决上述技术问题，本申请第一方面提供一种图像字典的生成方法，该方法包括：获得多个初始图像组；其中，每个所述初始图像组包括分辨率超过分辨率阈值的第一图像，以及基于所述第一图像生成的分辨率低于所述分辨率阈值的第二图像；对各个所述初始图像组中的所述第一图像和所述第二图像分别按不同变换参数进行非下采样轮廓波变换，获得所述第一图像对应的多个第一子图像和所述第二图像对应的多个第二子图像；基于多个所述第一子图像和多个所述第二子图像构建多个训练图像组；其中，同一所述训练图像组中包括同一所述初始图像组中变换参数相同的所述第一子图像和所述第二子图像；基于各个所述训练图像组，生成与各个所述变换参数分别对应的第一字典和第二字典；其中，所述第一字典对应分辨率高于分辨率阈值的图像，所述第二字典对应分辨率低于分辨率阈值的图像。
为解决上述技术问题，本申请第二方面提供一种图像重建方法，该方法包括：获得分辨率低于分辨率阈值的待重建图像；对所述待重建图像按不同变换参数进行非下采样轮廓波变换，获得所述待重建图像对应的多个待重建子图像；将各个变换参数对应的所述待重建子图像分割成多个待重建图像块；将所述待重建图像块转换成一维向量，基于正交匹配追踪算法在各个所述一维向量对应的第二字典中，确定各个所述一维向量对应的稀疏系数；基于各个所述一维向量对应的第一字典以及各个所述一维向量对应的稀疏系数，生成各个所述待重建图像块对应的重建后图像块，将各个所述重建后图像块按分割顺序拼接，生成所述待重建图像对应的重建后图像；其中，所述一维向量对应的所述第一字典和所述第二字典，与所述一维向量对应的待重建子图像对应的变换参数相匹配，且各个所述变换参数分别对应的第一字典和第二字典基于上述第一方面所述的方法获得。
为解决上述技术问题，本申请第三方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面或第二方面所述的方法。
为解决上述技术问题，本申请第四方面提供一种计算机存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面或第二方面所述的方法。
上述方案，初始图像组中包括分辨率超过分辨率阈值的第一图像，以及基于第一图像生成的分辨率低于分辨率阈值的第二图像，对应的第一图像和第二图像组成一个初始图像组，对初始图像组中的第一图像和第二图像分别按不同的变换参数进行非下采样轮廓波变换，获得多个第一子图像和第二子图像，其中，非下采样轮廓波变换具有平移不变性、多分辨率和多方向性的特征，能够对图像进行更充分的分解，基于多个第一子图像和多个第二子图像构建多个训练图像组，其中，同一训练图像组中包括同一初始图像组中变换参数相同的第一子图像和第二子图像，因此，同一训练图像组中包括高分辨率的第一图像变换后的第一子图像和低分辨率的第二图像变换后的第二子图像，基于各个训练图像组，生成与各个变换参数分别对应的第一字典和第二字典，以使第一字典和第二字典能够更加稀疏，且同一变换参数对应的第一字典和第二字典分别对应高分辨率图像和低分辨率图像，进而基于第一字典和第二字典能够对低分辨率图像进行重建，提高基于第一字典和第二字典进行图像重建的重建效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请图像字典的生成方法一实施方式的流程示意图；
图2是本申请图像字典的生成方法另一实施方式的流程示意图；
图3是本申请图像重建方法一实施方式的流程示意图；
图4是本申请电子设备一实施方式的结构示意图；
图5是本申请计算机存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像字典的生成方法一实施方式的流程示意图，该方法包括：
S101：获得多个初始图像组。
具体地，每个初始图像组包括分辨率超过分辨率阈值的第一图像，以及基于第一图像生成的分辨率低于分辨率阈值的第二图像。
在一应用方式中，获得多个分辨率超过分辨率阈值的第一图像，将第一图像进行下采样处理，从而按设置的分辨率下降至对应的预设比例，将第一图像转换为分辨率低于分辨率阈值的第二图像，且初始的第一图像保留，对应的第一图像和第二图像组成一个初始图像组，从而基于多个第一图像可以获得多个初始图像组。
在一应用场景中，分辨率阈值设置为180像素每英寸(Pixels Per Inch，PPI)，获得分辨率超过分辨率阈值的第一图像后，将第二图像的分辨率降至第一图像的N分之一，以使第二图像的分辨率低于分类阈值，将第一图像与对应的第二图像作为一个初始图像组。
S102：对各个初始图像组中的第一图像和第二图像分别按不同变换参数进行非下采样轮廓波变换，获得第一图像对应的多个第一子图像和第二图像对应的多个第二子图像。
具体地，分别对各个初始图像组中的第一图像和第二图像进行非下采样轮廓波变换(NonsubsampledContourlet，NSCT)，且进行NSCT变换时对同一初始图像组中的第一图像和第二图像采用不同的变换参数，其他初始图像组沿用变换参数，对初始图像组内的第一图像和第二图像进行NSCT变换，获得第一图像对应的多个第一子图像和第二图像对应的多个第二子图像。其中，非下采样轮廓波变换具有平移不变性、多分辨率和多方向性的特征，能够对图像进行更充分的分解。
在一应用方式中，对各个初始图像组中的第一图像和第二图像进行一层四方向的NSCT变换，获得第一图像对应的至少一个高频图像和至少一个低频图像，以及第二图像对应的至少一个高频图像和至少一个低频图像，其中，低频图像基于低通子带获得，高频图像基于带通子带获得，从而将第一图像转换为多个第一子图像，将第二图像转换为多个第二子图像，获得频域上不同特征的子图像，从而提取出更加细化的特征。
S103：基于多个第一子图像和多个第二子图像构建多个训练图像组；其中，同一训练图像组中包括同一初始图像组中变换参数相同的第一子图像和第二子图像。
具体地，将同一初始图像组中变换参数相同的第一子图像和第二子图像组成同一训练图像组，从而构建多个训练图像组。
在一应用场景中，将各个初始图像组中变换参数相同的第一子图像和第二子图像匹配，从而获得各个训练图像组。
S104：基于各个训练图像组，生成与各个变换参数分别对应的第一字典和第二字典。
具体地，将训练图像组中的第一子图像分成多个图像块，将第二子图像分成多个图像块，且第一子图像对应的图像块的数量与第二子图像对应的图像块的数量相同，获得由一个分辨率高于分辨率阈值的图像块和一个分辨率低于分辨率阈值的图像块组成的图像块对，其中，每个图像块对所对应的变换参数相同。
进一步地，基于压缩感知理论将图像块对中的高分辨率图像块和低分辨率图像块转换成一维向量，并按顺序拼接成初始向量，并增加初始向量的维度，在增加的维度中以零值填充，获得联合字典以使联合字典中的原子更加稀疏，对联合字典进行修正，更新联合字典对应的稀疏系数和联合字典中的原子，从而获得优化后的联合字典，将联合字典按拼接顺序分成第一字典和第二字典，其中，第一字典对应分辨率高于分辨率阈值的图像，第二字典对应分辨率低于分辨率阈值的图像。
在一应用场景中，同一变换参数对应的第一字典和第二字典分别对应高分辨率图像和低分辨率图像，且第一字典和第二字典在生成阶段时对应有相同的稀疏系数，在利用第一字典和第二字典对低分辨率图像进行重建时，分辨率低于分辨率阈值的图像从第二字典中确定稀疏系数后，则基于从第二字典中确定的稀疏系数和同一变换参数对应的第一字典，即可将低分辨率图像转换为分辨率高于分辨率阈值的图像，从而基于NSCT变换进行逆变换，将低分辨率图像重建为高分辨率图像。
上述方案，初始图像组中包括分辨率超过分辨率阈值的第一图像，以及基于第一图像生成的分辨率低于分辨率阈值的第二图像，对应的第一图像和第二图像组成一个初始图像组，对初始图像组中的第一图像和第二图像分别按不同的变换参数进行非下采样轮廓波变换，获得多个第一子图像和第二子图像，其中，非下采样轮廓波变换具有平移不变性、多分辨率和多方向性的特征，能够对图像进行更充分的分解，基于多个第一子图像和多个第二子图像构建多个训练图像组，其中，同一训练图像组中包括同一初始图像组中变换参数相同的第一子图像和第二子图像，因此，同一训练图像组中包括高分辨率的第一图像变换后的第一子图像和低分辨率的第二图像变换后的第二子图像，基于各个训练图像组，生成与各个变换参数分别对应的第一字典和第二字典，以使第一字典和第二字典能够更加稀疏，且同一变换参数对应的第一字典和第二字典分别对应高分辨率图像和低分辨率图像，进而基于第一字典和第二字典能够对低分辨率图像进行重建，提高基于第一字典和第二字典进行图像重建的重建效果。
请参阅图2，图2是本申请图像字典的生成方法另一实施方式的流程示意图，该方法包括：
S201：获得多个分辨率超过分辨率阈值的第一图像，对各个第一图像进行加噪处理。
具体地，获得多个分辨率超过分辨率阈值的第一图像，对各个第一图像添加高斯噪声和脉冲噪声，以使第一图像获得更多干扰数据。
S202：对加噪处理后的各个第一图像进行下采样，获得各个第一图像分别对应的分辨率低于分辨率阈值的第二图像，以生成多个初始图像组，且第一图像和第二图像的像素尺寸之间的比值为预设比例。
具体地，对加噪处理后的各个第一图像进行下采样处理，从而降低第一图像的分辨率，得到各个第一图像分别对应的分辨率低于分辨率阈值的第二图像，将对应的第一图像和第二图像组成初始图像组，得到多个初始图像组，初始图像组中第一图像和第二图像之间的像素尺寸的比值为预设比例。
在一应用场景中，对加噪处理后的第一图像按预设比例进行下采样，以生成第一图像对应的第二图像，将第一图像与对应的第二图像组成一个初始图像组，以使每个初始图像组中的第一图像和第二图像源于同一图像，且第一图像和第二图像之间的像素尺寸对应为预设比例。
S203：对各个初始图像组中的第一图像和第二图像分别按不同变换参数进行非下采样轮廓波变换，获得第一图像对应的多个第一子图像和第二图像对应的多个第二子图像。
具体地，在各个初始图像组中对第一图像和第二图像分别按照不同变换参数进行NSCT变换，得到第一图像对应的多个第一子图像，第二图像对应的多个第二子图像，其中，变换参数包括变换层数和变换方向。
在一应用方式中，对各个初始图像组中的第一图像按不同的变换层数和变换方向进行非下采样轮廓波变换，获得第一图像对应的至少一个第一低频子图像和至少一个第一高频子图像，作为多个第一子图像；以及，对各个初始图像组中的第二图像按不同的变换层数和变换方向进行非下采样轮廓波变换，获得第二图像对应的至少一个第二低频子图像和至少一个第二高频子图像，作为多个第二子图像。
具体地，对第一图像和第二图像分别按不同的变换层数和变换方向进行非下采样轮廓波变换，对图像中的横纵以及对角线方向进行频域纹理分解，从而得到第一图像对应的至少一个第一低频子图像和至少一个第一高频子图像，第二图像对应的至少一个第二低频子图像和至少一个第二高频子图像，其中，非下采样轮廓波变换具有平移不变性，即使第一图像上经过加噪处理仍能提取出第一图像对应的低频和高频的特征，并且，非下采样轮廓波变换具有多分辨率和多方向性，对于不同分辨率的第一图像和第二图像仍能基于不同的方向提取多个方向的特征，用于构建字典。
在一应用场景中，对每个初始图像组中的第一图像和第二图像进行一层四方向的NSCT变换，得到第一图像对应的五个子图像和第二图像对应的五个子图像，其中，第一图像和第二图像对应的五个子图像分别包括一个低频子图像和四个高频子图像。
S204：将各个训练图像组中的第一子图像和第二子图像分割成相同数量的图像块，获得各个训练图像组分别对应的训练图像块集合。
具体地，基于各个训练图像组中的第一子图像和第二子图像对应的像素尺寸之间的预设比例，将第一子图像和第二子图像分割成数量相同的图像块。也就是说，当第一子图像的像素尺寸为第二子图像的N倍时，第一子图像对应的图像块的像素尺寸就是第二子图像对应的图像块的像素尺寸的N倍，从而确保第一子图像和第二子图像分割成相同数量的图像块。
进一步地，将变换参数相同的第一子图像对应的一个图像块和第二子图像对应的一个图像块组成图像块集合，以使图像块集合中得到更为细致的特征，并且同一训练图像块集合中包括高分辨率图像对应的图像块和低分辨率图像对应的图像块，以使高分辨率图像和低分辨率图像产生关联。
在一应用方式中，基于预设比例对各个训练图像组中的第一子图像和第二子图像进行分割，获得数量相同的第一子图像对应的图像块和第二子图像对应的图像块；将各个训练图像组中的第一子图像对应的图像块和第二子图像对应的图像块组成训练图像块集合。
具体地，基于第一图像下采样时的预设比例，对各个训练图像组中的第一子图像和第二子图像进行分割，以使第一子图像对应的图像块的像素尺寸与第二子图像对应的图像块的像素尺寸之间为预设比例，从而确定数量相同的第一子图像对应的图像块和第二子图像对应的图像块，以使第一子图像对应的图像块和第二子图像对应的图像块之间能够一一匹配，从而组成训练图像块集合。因此，训练图像块集合中对应有高分辨率图像对应的图像块和低分辨率图像对应的图像块，且两者之间数量相同，当两者匹配对应时，能够将高分辨率图像块和低分辨率图像块产生关联，从而便于后续确定高分辨率图像对应的第一字典和低分辨率图像对应的第二字典。
S205：在同一变换参数对应的训练图像块集合中，将第一子图像对应的图像块和第二子图像对应的图像块，按像素尺寸转换成一维向量并拼接，得到初始向量。
具体地，基于第一子图像对应的像素尺寸和第二子图像对应的像素尺寸，将同一变换参数对应的训练图像块集合中，将图像块转换成一维向量并按顺序拼接，得到初始向量。
在一应用场景中，第一子图像对应的像素尺寸和第二子图像对应的像素尺寸之间的预设比例为2，第一子图像对应的图像块按18x18分成多个图像块，第二子图像对应的图像块按9x9分成多个图像块，将第一子图像对应的图像块转换成一维向量，将第二子图像对应的图像块转换为一维向量，并将两个一维向量按顺序拼接，获得405x1的初始向量，其中，初始向量中图像块的拼接顺序可定义选择。
S206：将初始向量转换成多维向量，得到训练图像块集合对应的联合字典。
具体地，将初始向量转换成多维向量，以使初始向量更加稀疏，从而得到训练图像块集合对应的联合字典。
在一应用场景中，获得405x1的初始向量，将初始向量转换成405x1024维度的向量，从而得到联合字典，以使联合字典中的原子更加稀疏。在其他应用场景中，联合字典的维度也可以进行自定义设置，本申请对此不做具体限制。
S207：基于正交匹配追踪算法在联合字典中确定稀疏系数。
具体地，基于正交匹配算法(Orthogonal Matching Pursuit，OMP)确定联合字典对应的稀疏系数，其中，稀疏系数为一个矩阵，稀疏系数与联合字典相乘后用于反馈初始向量对应的特征，且稀疏系数的元素中非零值较少。其中，联合字典是对于庞大数据集的一种降维表示，联合字典中包括图像对应的较优特征，通过匹配到的稀疏系数，能够用尽可能少的资源表示尽可能多的特征，从而在进行超分辨率重建时的效率也较高。
S208：基于初始向量、联合字典和稀疏系数，确定联合字典对应的重建损失。
具体地，将联合字典与稀疏系数相乘得到第一乘积，基于初始向量与第一乘积的差异以及稀疏系数，确定联合字典对应的重建损失。上述过程利用公式表示如下：
Figure BDA0003441862770000101
其中，Y为初始向量，D为联合字典，X为稀疏系数。
S209：基于奇异值分解算法在联合字典中更新联合字典中的原子，并更新稀疏系数。
具体地，先固定稀疏系数，基于奇异值分解算法对联合字典中的原子进行逐列更新，并在更新联合字典时对稀疏系数进行更新，以在更新过程中降低重建损失。
在一应用场景中，从联合字典中提取出重建列，并从稀疏系数中提取出与重建列的列数相匹配的第一元素；其中，重建列从联合字典中的第一列依次提取；基于初始向量、保留列和与保留列的列数相匹配的第二元素，确定待分解矩阵；其中，保留列为联合字典中除重建列之外的其他列，第二元素为稀疏系数中除第一元素之外的其他元素；基于奇异值分解算法对待分解矩阵进行分解，得到左奇异值矩阵和右奇异值矩阵，利用左奇异值矩阵的第一列向量更新重建列，利用右奇异值矩阵的第一个行向量与第一个奇异值的乘积更新第一元素。上述过程利用公式表示如下：
Figure BDA0003441862770000102
其中，Y为初始向量，D为联合字典，X为稀疏系数，Ek为待分解矩阵，dk为重建列，dj为保留列，xk为第一元素，xj为第二元素。
具体地，从联合字典的第一列开始提取各列中的元素，将提取出的的列作为重建列以及未提取出的列作为保留列，先固定稀疏系数X，进而逐列更新字典，当更新第k列时，记dk为字典D的第k列且dk为重建列，从稀疏系数中提取与重建列相匹配的元素，记xk为稀疏系数X的第k个元素，即为第一元素，其中，Ek基于初始向量和保留列以及保留列的列数相匹配的第二元素，将保留列与保留列对应的第二元素相乘后得到第二乘积，利用初始向量减去第二乘积，从而确定待分解矩阵，基于奇异值分解算法对待分解矩阵进行分解，得到Ek＝U∑VT，取左奇异值矩阵U的第一个列向量作为dk更新联合字典的重建列，取右奇异值矩阵VT的第一个行向量与第一个奇异值的乘积作为xk，更新稀疏系数。
进一步地，获取新的重建损失，联合字典中的原子以及稀疏系数中的元素得到更新，当重建损失减小时，稀疏系数中非零值进一步地减少，从而提高图像的稀疏表示程度，提高基于第一字典和第二字典进行图像重建的效率以及重建效果。
S210：响应于重建损失低于预设阈值，结束联合字典和稀疏系数的迭代更新，将联合字典分解为第一字典和第二字典。
具体地，当重建损失低于预设阈值时，终止对联合字典和稀疏系数的迭代更新，将联合字典按一维向量拼接时的顺序进行拆分，获得高分辨率图像对应的第一字典和低分辨率图像对应的第二字典。
在一应用方式中，将联合字典分解为第一字典和第二字典的步骤，包括：基于第一子图像对应的图像块和第二子图像对应的图像块各自对应的一维向量的维度和拼接顺序，对联合字典进行分解，获得第一字典和第二字典。
具体地，确定第一子图像对应的图像块转换成的一维向量的第一维度，以及第二子图像对应的图像块转换成的一维向量的第二维度，当第一子图像对应的图像块转换成的一维向量在前时，将联合字典中前第一维度的元素作为第一字典，将联合字典中后第二维度的元素作为第二字典，当第一子图像对应的图像块转换成的一维向量在后时，将联合字典中前第二维度的元素作为第二字典，将联合字典中后第一维度的元素作为第一字典，以使第一字典对应高分辨率图像第二字典对应低分辨率图像，且第一字典和第二字典对应有相同的稀疏系数，从而低分辨率图像能够通过求解稀疏系数后，基于第一字典和第二字典进行超分辨率重建，提高低分辨率图像的质量。
在本实施例中，对高于分辨率阈值的第一图像和低于分辨率阈值的第二图像进行不同变换参数的NSCT变换，并最终转换成高分辨率图像对应的图像块和低分辨率图像对应的图像块，获得训练图像块集合，将高分辨率图像对应的图像块和低分辨率图像对应的图像块转换成一维向量并拼接，得到初始向量，将初始向量稀疏化得到联合字典，基于正交匹配追踪算法确定联合字典对应的稀疏系数，并利用奇异值分解算法对联合字典和稀疏系数进行更新优化，以使基于初始向量、联合字典和稀疏系数确定的重建损失收敛，使得稀疏系数中非零值减少，从而提高图像的稀疏表示程度，提高基于第一字典和第二字典进行图像重建的效率以及重建效果。
请参阅图3，图3是本申请图像重建方法一实施方式的流程示意图，该方法包括：
S301：获得分辨率低于分辨率阈值的待重建图像。
具体地，获取分辨率低于分辨率阈值的图像作为待重建图像。
在一应用场景中，获取由遥感摄像装置拍摄的遥感图像，将遥感图像中分辨率低于分辨率阈值的图像作为待重建图像。
S302：对待重建图像按不同变换参数进行非下采样轮廓波变换，获得待重建图像对应的多个待重建子图像。
具体地，对待重建图像按不同变换参数进行NSCT变换，得到待重建图像对应的多个待重建子图像，其中，变换参数包括变换层数和变换方向。
在一应用方式中，按上述实施例中生成第一字典和第二字典时对应的变换参数对待重建图像进行NSCT变换，对待重建图像按不同的变换层数和变换方向进行非下采样轮廓波变换，获得待重建图像对应的至少一个待重建低频子图像和至少一个待重建高频子图像，作为多个待重建子图像。
S303：将各个变换参数对应的待重建子图像分割成多个待重建图像块。
具体地，基于待重建子图像对应的像素尺寸，将各个变换参数对应的待重建子图像分割成多个图像块。
在一应用方式中，基于各个变换参数对应的待重建子图像的像素尺寸，将待重建子图像分成多个待重建图像块，且每两个相邻的待重建图像块之间至少部分重合。
具体地，根据待重建子图像对应的像素尺寸对待重建子图像进行适应性分割，且在分割时保证待重建图像对应的待重建图像块中，每两个相邻的待重建图像块包括至少部分重合区域，以避免待重建图像块之间不连续，进而在重建图像时使各图像块之间拼接后，重建后的图像更加自然效果更高。其中，待重建图像上边缘位置处的图像块对应的重叠位置动态调节，待重建图像上非边缘位置处的图像块对应的重叠区域的像素尺寸相同。
在一应用场景中，将待重建图像块按像素尺寸进行9×9分块，每个待重建图像块与相邻待重建图像块有3×3的重叠，对于非整数倍的图像块，动态调节最边缘位置处的待重建图像块的重叠大小。
S304：将待重建图像块转换成一维向量，基于正交匹配追踪算法在各个一维向量对应的第二字典中，确定各个一维向量对应的稀疏系数。
具体地，按待重建图像块的像素尺寸将待重建图像块转换成一维向量，基于正交匹配追踪算法在一维向量对应的第二字典中计算一维向量对应的稀疏系数。
在一应用场景中，将第k个待重建图像块标记为
Figure BDA0003441862770000131
待重建图像块在第二字典中的稀疏系数标记为
Figure BDA0003441862770000132
初始阶段记残差r0为
Figure BDA0003441862770000133
索引集A为空，找出残差rk与第二字典中各原子内积最大的脚标，记为
Figure BDA0003441862770000134
di为第二字典中的原子，N为第二字典维度，将找到的最相关的原子索引加入索引集，即Ak+1＝Ak∪{λk+1}，从而更新残差，得到
Figure BDA0003441862770000135
当残差小于阈值后结束迭代，稀疏系数为
Figure BDA0003441862770000141
其中，同一变换参数对应的第一字典和第二字典对应的稀疏系数相同，且稀疏系数中非零值较少，以使稀疏系数满足一定稀疏性，以便求解低维到高维变换的病态问题，并且，当稀疏系数内非零值较少时进行图像重建的效率也更高，重建效果更佳。
S305：基于各个一维向量对应的第一字典以及各个一维向量对应的稀疏系数，生成各个待重建图像块对应的重建后图像块，将各个重建后图像块按分割顺序拼接，生成待重建图像对应的重建后图像。
具体地，一维向量对应的第一字典和第二字典与一维向量对应的待重建子图像对应的变换参数相匹配，且各个变换参数分别对应的第一字典和第二字典基于上述任一实施例中所述的方法获得。
在一应用方式中，将各个一维向量对应的稀疏系数与各个一维向量对应的第一字典相乘，获得各个待重建图像块对应的重建向量；将各个待重建图像块对应的重建向量转换为重建后图像块；将各个待重建子图像对应的所有重建后图像块按分割顺序拼接，得到各个待重建子图像分别对应的重建子图像；其中，重建子图像中每两个相邻的重建后图像块之间的重叠部分在拼接时取平均值；基于各个重建子图像生成待重建图像对应的重建后图像。
具体地，将各个一维向量对应的稀疏系数与各个一维向量对应的第一字典相乘，从而确定待重建图像块对应的重建向量，重建向量对应高分辨率图像块的维度，将各个待重建图像块对应的重建向量转换为重建后图像块，获得高分辨率的图像块，将重建后图像块按分割时的顺序进行拼接，得到各个待重建子图像分别对应的重建子图像，在对重建后图像块进行拼接时，重建后图像块对应的待重建图像块之间的重叠部分，在重建后图像块上也包括重叠部分，且重叠部分按预设比例放大，将重建后图像块之间的重叠部分取均值，从而去除重叠部分的网格效应，提高重建子图像的连续性，基于NSCT变换时生成的多个待重建子图像对应的各个重建子图像，将各个重建子图像融合后获得待重建图像对应的重建后图像，从而完成低分辨率图像基于第一字典和第二字典的超分辨率重建。
上述方案，对待重建图像进行非下采样轮廓波变换，从而获得多个待重建子图像，将待重建子图像分割成多个待重建图像块，将待重建图像块转换成一维向量，在一维向量对应的第二字典中求解稀疏系数，且确保稀疏系数具有稀疏性，基于同一变换参数对应的第一字典和第二字典共享相同的稀疏系数，基于待重建图像块对应的稀疏系数和第一字典，将待重建图像块转换成高分辨率的重建后图像块，将重建后图像块拼接后得到重建子图像，基于各个变换参数对应的重建子图像，生成分辨率超过分辨率阈值的重建后图像，提高低分辨率图像进行重建的效率和重建效果。
请参阅图4，图4是本申请电子设备一实施方式的结构示意图，该电子设备40包括相互耦接的存储器401和处理器402，其中，存储器401存储有程序数据(图未示)，处理器402调用程序数据以实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
请参阅图5，图5是本申请计算机存储介质一实施方式的结构示意图，该计算机存储介质50存储有程序数据500，该程序数据500被处理器执行时实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种图像字典的生成方法，其特征在于，所述方法包括：
获得多个初始图像组；其中，每个所述初始图像组包括分辨率超过分辨率阈值的第一图像，以及基于所述第一图像生成的分辨率低于所述分辨率阈值的第二图像；
对各个所述初始图像组中的所述第一图像和所述第二图像分别按不同变换参数进行非下采样轮廓波变换，获得所述第一图像对应的多个第一子图像和所述第二图像对应的多个第二子图像；
基于多个所述第一子图像和多个所述第二子图像构建多个训练图像组；其中，同一所述训练图像组中包括同一所述初始图像组中变换参数相同的所述第一子图像和所述第二子图像；
基于各个所述训练图像组，生成与各个所述变换参数分别对应的第一字典和第二字典；其中，所述第一字典对应分辨率高于分辨率阈值的图像，所述第二字典对应分辨率低于分辨率阈值的图像。
2.根据权利要求1所述的图像字典的生成方法，其特征在于，所述对各个所述初始图像组中的所述第一图像和所述第二图像分别按不同变换参数进行非下采样轮廓波变换，获得所述第一图像对应的多个第一子图像和所述第二图像对应的多个第二子图像的步骤，包括：
对各个所述初始图像组中的所述第一图像按不同的变换层数和变换方向进行非下采样轮廓波变换，获得所述第一图像对应的至少一个第一低频子图像和至少一个第一高频子图像，作为所述多个第一子图像；以及，
对各个所述初始图像组中的所述第二图像按不同的变换层数和变换方向进行非下采样轮廓波变换，获得所述第二图像对应的至少一个第二低频子图像和至少一个第二高频子图像，作为所述多个第二子图像；
其中，所述变换参数包括变换层数和变换方向。
3.根据权利要求1所述的图像字典的生成方法，其特征在于，所述基于各个所述训练图像块集合，生成与各个所述变换参数分别对应的第一字典和第二字典的步骤之前，还包括：
将各个所述训练图像组中的所述第一子图像和所述第二子图像分割成相同数量的图像块，获得各个所述训练图像组分别对应的训练图像块集合。
4.根据权利要求3所述的图像字典的生成方法，其特征在于，所述基于各个所述训练图像块集合，生成与各个所述变换参数分别对应的第一字典和第二字典的步骤，包括：
在同一变换参数对应的所述训练图像块集合中，将所述第一子图像对应的图像块和所述第二子图像对应的图像块按像素尺寸转换成一维向量并拼接，得到初始向量；
将所述初始向量转换成多维向量，得到所述训练图像块集合对应的联合字典；
基于正交匹配追踪算法在所述联合字典中确定稀疏系数；
基于所述初始向量、所述联合字典和所述稀疏系数，确定联合字典对应的重建损失；
基于奇异值分解算法在所述联合字典中更新所述联合字典中的原子，并更新所述稀疏系数；
响应于所述重建损失低于预设阈值，结束所述联合字典和所述稀疏系数的迭代更新，将所述联合字典分解为所述第一字典和所述第二字典。
5.根据权利要求4所述的图像字典的生成方法，其特征在于，所述基于奇异值分解算法在所述联合字典中更新所述联合字典中的原子，并更新所述稀疏系数的步骤，包括：
从所述联合字典中提取出重建列，并从所述稀疏系数中提取出与所述重建列的列数相匹配的第一元素；其中，所述重建列从所述联合字典中的第一列依次提取；
基于所述初始向量、保留列和与所述保留列的列数相匹配的第二元素，确定待分解矩阵；其中，所述保留列为所述联合字典中除所述重建列之外的其他列，所述第二元素为所述稀疏系数中除所述第一元素之外的其他元素；
基于奇异值分解算法对所述待分解矩阵进行分解，得到左奇异值矩阵和右奇异值矩阵，利用所述左奇异值矩阵的第一列向量更新所述重建列，利用所述右奇异值矩阵的第一个行向量与第一个奇异值的乘积更新所述第一元素。
6.根据权利要求4所述的图像字典的生成方法，其特征在于，所述将所述联合字典分解为所述第一字典和所述第二字典的步骤，包括：
基于所述第一子图像对应的图像块和所述第二子图像对应的图像块各自对应的所述一维向量的维度和拼接顺序，对所述联合字典进行分解，获得所述第一字典和所述第二字典。
7.根据权利要求3所述的图像字典的生成方法，其特征在于，所述获得多个初始图像组的步骤，包括：
获得多个分辨率超过所述分辨率阈值的第一图像，对各个所述第一图像进行加噪处理；
对加噪处理后的各个所述第一图像进行下采样，获得各个所述第一图像分别对应的分辨率低于所述分辨率阈值的所述第二图像，以生成多个所述初始图像组，且所述第一图像和所述第二图像的像素尺寸之间的比值为预设比例。
8.根据权利要求7所述的图像字典的生成方法，其特征在于，所述将各个所述训练图像组中的所述第一子图像和所述第二子图像分割成相同数量的图像块，获得各个所述训练图像组分别对应的训练图像块集合的步骤，包括：
基于所述预设比例对各个所述训练图像组中的所述第一子图像和所述第二子图像进行分割，获得数量相同的所述第一子图像对应的图像块和所述第二子图像对应的图像块；
将各个所述训练图像组中的所述第一子图像对应的图像块和所述第二子图像对应的图像块组成所述训练图像块集合。
9.一种图像重建方法，其特征在于，所述方法包括：
获得分辨率低于分辨率阈值的待重建图像；
对所述待重建图像按不同变换参数进行非下采样轮廓波变换，获得所述待重建图像对应的多个待重建子图像；
将各个变换参数对应的所述待重建子图像分割成多个待重建图像块；
将所述待重建图像块转换成一维向量，基于正交匹配追踪算法在各个所述一维向量对应的第二字典中，确定各个所述一维向量对应的稀疏系数；
基于各个所述一维向量对应的第一字典以及各个所述一维向量对应的稀疏系数，生成各个所述待重建图像块对应的重建后图像块，将各个所述重建后图像块按分割顺序拼接，生成所述待重建图像对应的重建后图像；
其中，所述一维向量对应的所述第一字典和所述第二字典，与所述一维向量对应的待重建子图像对应的变换参数相匹配，且各个所述变换参数分别对应的第一字典和第二字典基于权利要求1-8任一项所述的方法获得。
10.根据权利要求9所述的图像重建方法，其特征在于，所述将各个变换参数对应的所述待重建子图像分成多个待重建图像块的步骤，包括：
基于各个所述变换参数对应的所述待重建子图像的像素尺寸，将所述待重建子图像分成多个待重建图像块，且每两个相邻的所述待重建图像块之间至少部分重合。
11.根据权利要求10所述的图像重建方法，其特征在于，所述基于各个所述一维向量对应的第一字典以及各个所述一维向量对应的稀疏系数，生成各个所述待重建图像块对应的重建后图像块，将各个所述重建后图像块按分割顺序拼接，生成所述待重建图像对应的重建后图像的步骤，包括：
将各个所述一维向量对应的稀疏系数与各个所述一维向量对应的第一字典相乘，获得各个所述待重建图像块对应的重建向量；
将各个所述待重建图像块对应的重建向量转换为所述重建后图像块；
将各个所述待重建子图像对应的所有所述重建后图像块按分割顺序拼接，得到各个所述待重建子图像分别对应的重建子图像；其中，重建子图像中每两个相邻的重建后图像块之间的重叠部分在拼接时取平均值；
基于各个所述重建子图像生成所述待重建图像对应的重建后图像。
12.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-8或9-11中任一项所述的方法。
13.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-8或9-11中任一项所述的方法。
CN202111633924.1A 2021-12-29 2021-12-29 图像字典的生成方法、图像重建方法及相关装置 Pending CN114549300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111633924.1A CN114549300A (zh) 2021-12-29 2021-12-29 图像字典的生成方法、图像重建方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111633924.1A CN114549300A (zh) 2021-12-29 2021-12-29 图像字典的生成方法、图像重建方法及相关装置

Publications (1)

Publication Number Publication Date
CN114549300A true CN114549300A (zh) 2022-05-27

Family

ID=81669587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111633924.1A Pending CN114549300A (zh) 2021-12-29 2021-12-29 图像字典的生成方法、图像重建方法及相关装置

Country Status (1)

Country Link
CN (1) CN114549300A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972128A (zh) * 2022-08-01 2022-08-30 中国科学院空天信息创新研究院 光学遥感图像全色锐化方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972128A (zh) * 2022-08-01 2022-08-30 中国科学院空天信息创新研究院 光学遥感图像全色锐化方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及系统
Kappeler et al. Video super-resolution with convolutional neural networks
US9652830B2 (en) Method and apparatus for performing hierarchical super-resolution of an input image
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
Huang et al. Two-step approach for the restoration of images corrupted by multiplicative noise
Liu et al. Multi-filters guided low-rank tensor coding for image inpainting
CN116757930A (zh) 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质
Barzigar et al. A video super-resolution framework using SCoBeP
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN114549300A (zh) 图像字典的生成方法、图像重建方法及相关装置
Wen et al. The power of complementary regularizers: Image recovery via transform learning and low-rank modeling
Goto et al. Learning-based super-resolution image reconstruction on multi-core processor
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN116797456A (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN116563167A (zh) 基于自适应纹理和频域感知的人脸图像重建方法、系统、装置及介质
CN113077403B (zh) 基于局部数据块的张量增强技术的彩色图像重建方法
Li et al. A Decoupled method for image inpainting with patch-based low rank regulariztion
Haris et al. An efficient super resolution based on image dimensionality reduction using accumulative intensity gradient
Averbuch et al. Cross-boosting of WNNM image denoising method by directional wavelet packets
Ahmed et al. Digital image inpainting techniques for cultural heritage preservation and restoration
CN109345453B (zh) 利用标准化组稀疏规则化的图像超分辨率重构系统及方法
Yang et al. Hyperspectral Image Denoising with Collaborative Total Variation and Low Rank Regularization
CN115830172B (zh) 迭代细化压缩感知欠采样磁共振图像重构方法、重构系统
Saito et al. Color shrinkage for color-image sparse coding and its applications
Barzigar et al. A robust super resolution method for video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination