CN116091322B - 超分辨率图像重建方法和计算机设备 - Google Patents

超分辨率图像重建方法和计算机设备 Download PDF

Info

Publication number
CN116091322B
CN116091322B CN202310381963.XA CN202310381963A CN116091322B CN 116091322 B CN116091322 B CN 116091322B CN 202310381963 A CN202310381963 A CN 202310381963A CN 116091322 B CN116091322 B CN 116091322B
Authority
CN
China
Prior art keywords
image
images
super
reconstruction
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310381963.XA
Other languages
English (en)
Other versions
CN116091322A (zh
Inventor
王晓敏
王闯
孙振东
陈辉
郑舟
孔旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310381963.XA priority Critical patent/CN116091322B/zh
Publication of CN116091322A publication Critical patent/CN116091322A/zh
Application granted granted Critical
Publication of CN116091322B publication Critical patent/CN116091322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，特别是涉及超分辨率图像重建方法和计算机设备，其中，该方法包括：图像分割步骤，获取多帧待处理图像并对其进行配准后分割出目标图像块；显著图获取步骤，将目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化目标图像块，得到多张显著图；图像插值重建步骤，基于显著图对目标图像块进行插值重建；图像融合步骤，获取插值重建后多张目标图像块，采用小波变换对图像进行分解及融合并通过预设的低频融合规则、高频融合规则优化图像，得到融合后的超分辨率图像。通过本发明解决了在夜晚条件下红外相机分辨率低、识别精确不高的问题，实现兼顾运行速度与重建精度的超分辨率图像重建。

Description

超分辨率图像重建方法和计算机设备
技术领域
本发明涉及图像处理技术领域，特别是涉及超分辨率图像重建方法和计算机设备。
背景技术
智能车牌识别系统，是智能交通系统的重要组成部分，在车辆管理、道路监控、卡口应用中发挥着重要的作用。其中，车牌识别技术要求能够将运动中的汽车牌照从复杂背景中提取并识别出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识别车辆牌号、颜色等信息。红外相机因其可将光污染降低到最大限度，人眼对红外光的刺激感几乎为零的优势，在智能交通系统中应用广泛。但由于红外相机自身硬件及所应用场景的原因，拍摄图像的分辨率、对比度严重不足，车牌中字体不能被准确提取，导致车牌识别率偏低的现象。
为了提高图像质量，现有方法中，通过对单张或多张图像进行线性或非线性插值算法完成超分辨率重建，其中单张图像提供的信息较为有限，导致重建出的图像准确性不高；也有基于多图像的线性插值方案，但重建得到的图像在数字边缘处出现模糊与伪影现象无法被准确识别。因此，基于多图像的非线性插值方法，对图像整体效果较好，但是边缘轮廓等细节信息丢失严重。另外，也有使用基于深度学习的超分辨率重建方法对图像进行处理得方案，可以获得更高质量图像，但是计算复杂、耗费时间长不适用于实时处理，因此，应用到智能交通系统成本较高。
发明内容
本发明实施例提供了一种超分辨率图像重建方法和计算机设备，兼顾运行速度与重建精度，同时利用多帧图像信息融合消除因运动模糊、遮挡带来的信息缺失，来实现图像的超分辨率重建。
第一方面，本发明实施例提供了一种超分辨率图像重建方法，包括：
图像分割步骤，获取多帧待处理图像，对多帧待处理图像进行配准后分割出所述待处理图像中的目标图像块；
显著图获取步骤，将所述目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化所述目标图像块，得到多张显著图；
图像插值重建步骤，将所述显著图作为引导图，基于所述显著图的引导信息对所述目标图像块进行插值重建，所述目标图像块的平坦区域采用双线性插值法进行插值重建，边缘区域采用改进NEDI算法进行插值重建，其中，所述改进NEDI算法的权重系数为通过迭代优化求取得到；该过程可以表示为：
Figure SMS_1
；
其中，BI为双线性插值，inf-NEDI为改进后的NEDI，
Figure SMS_2
是显著图中/>
Figure SMS_3
坐标上的灰度值，/>
Figure SMS_4
为梯度变化阈值。其中，双线性插值算法是通过插值像素周边四个像素加权求得，NEDI算法的基本原理是先计算低分辨率图像各像素的局部协方差系数，之后利用低分辨率图像与高分辨率图像的协方差对偶性来计算得到高分辨率图像要插值的点。
图像融合步骤，获取插值重建后多张所述目标图像块，采用小波变换对图像进行分解及融合，并通过预设的低频融合规则、高频融合规则优化图像的平坦区域、边缘区域，得到融合后的超分辨率图像。
在其中一些实施例中，考虑到在摄像机成像系统中，由于存在镜头畸变，获得的图像坐标存在一定的误差，所述图像分割步骤中，包括获取多张待处理图像后，根据畸变补偿公式进行纠正，畸变补偿公式表示为如下公式：
Figure SMS_5
；
其中，
Figure SMS_6
是图像的实际坐标，u为补偿之后的坐标，/>
Figure SMS_7
、/>
Figure SMS_8
分别是图像的一阶、二阶径向畸变补偿系数，q为像素点/>
Figure SMS_9
与像面主点之间的距离，以减少畸变对图像配准的影响。
在其中一些实施例中，所述图像分割步骤进一步包括：
目标区域获取步骤，在所述多帧待处理图像中确定基准图像及多张待配准图像，分割提取所述基准图像中目标区域ROI（Region Of Interesting），也即基准图像中目标物体所在的区域；
候选匹配特征点集获取步骤，利用SIFT匹配算法（Scale-Invariant FeatureTransform）从不同尺度对目标区域ROI进行特征点初匹配，得到
Figure SMS_10
个候选匹配特征点以构成候选匹配特征点集/>
Figure SMS_11
，用于表示图像i与图像j之间的候选匹配特征点集；其中，
Figure SMS_12
。
目标图像块分割步骤，基于候选匹配特征点集
Figure SMS_13
构建特征点筛选器，将多个所述待配准图像的特征点坐标值利用图像转换模型计算得到多个单应性矩阵H，从而基于所述特征点筛选器和所述单应性矩阵H在所述待处理图像中分割出目标图像块。
基于如上步骤，通过SIFT匹配算法及单应性矩阵对图像进行有效配准，以建立基准图像与待配准图像之间的映射关系，可保证多帧图像的空间一致性。
在其中一些实施例中，所述目标图像块分割步骤中，所述特征点筛选器通过如下计算模型计算得到：
Figure SMS_14
；
其中，L为待处理图像分割的子区域数量，k为迭代次数，
Figure SMS_17
为计算第k次迭代循环第m个子区域中特征点的数量，/>
Figure SMS_21
为第k次迭代中/>
Figure SMS_26
最大的子特征区域，/>
Figure SMS_18
为对/>
Figure SMS_20
进行重新SIFT特征点匹配，/>
Figure SMS_23
用于表示对/>
Figure SMS_27
的特征点按精度进行排序并选择/>
Figure SMS_16
个特征点的过程，/>
Figure SMS_19
为向下取整，/>
Figure SMS_24
为除/>
Figure SMS_28
中匹配的特征点/>
Figure SMS_15
之外的特征点，
Figure SMS_22
为设定的特征点数量阈值，/>
Figure SMS_25
。
基于如上表达的特征点筛选器可以确保各图像对应特征点均匀分布，同时减少特征点聚集，提高图像转换的精度。
在其中一些实施例中，所述图像转换模型表示为如下计算模型：
Figure SMS_29
其中，
Figure SMS_30
Figure SMS_31
、/>
Figure SMS_32
Figure SMS_33
为特征点坐标值，单应性矩阵H表示为：
Figure SMS_34
其中，
Figure SMS_36
、/>
Figure SMS_40
、/>
Figure SMS_42
、/>
Figure SMS_37
、/>
Figure SMS_39
、/>
Figure SMS_41
、/>
Figure SMS_43
、/>
Figure SMS_35
、/>
Figure SMS_38
为单应性矩阵的矩阵参数。
基于上述步骤，本发明实施例针对红外成像质量问题，基于多图像边缘对比度引导进行超分辨率重建，通过将多张图像配准融合以补全模糊区域，并获得精度较高的边缘信息。
在其中一些实施例中，所述显著图获取步骤中，所述显著图
Figure SMS_44
基于如下各向异性扩散计算模型计算得到：
Figure SMS_45
；
其中，
Figure SMS_46
用于表示各向异性扩散滤波函数，/>
Figure SMS_47
为输入计算模型的图像块，
Figure SMS_48
为各向异性的程度，当/>
Figure SMS_49
时为各项同性，随着/>
Figure SMS_50
增大，各项异性程度增强，r为滤波半径，C为各方向上的扩散矩阵，/>
Figure SMS_51
为滤波系数。
基于如上计算模型，利用各向异性扩散在特征细节丰富区域减速扩散，在细节较少区域加速扩散，以保证在沿着边缘方向扩散的多，跨边缘扩散的少。
在其中一些实施例中，所述改进NEDI算法中，对每一个像素点(2i+1,2j+1)通过最陡梯度法迭代获得最优的插值系数
Figure SMS_52
。
在其中一些实施例中，所述图像融合步骤中利用Mallat快速算法对图像进行分解融合，Mallat快速算法的分解算法通过如下计算模型执行：
Figure SMS_53
；
其中，
Figure SMS_55
为图像低频信息，/>
Figure SMS_57
为图像高频垂直方向的信息，/>
Figure SMS_59
为图像高频水平方向的信息，/>
Figure SMS_56
为图像高频对角方向的信息，/>
Figure SMS_58
、/>
Figure SMS_60
分别为镜像共轭滤波器H和G作用在图像的列上，/>
Figure SMS_61
、/>
Figure SMS_54
分别为镜像共轭滤波器H和G作用在图像的列上；
Mallat快速算法的重构算法通过如下计算模型执行：
Figure SMS_62
。
在其中一些实施例中，所述低频融合规则中，融合的图像低频信息
Figure SMS_63
表示为：
Figure SMS_64
；
其中，C n为不同图像的低频分量，PLS n为归一化权重参数，n为图像序号，PLS n是基于相位一致性PC(x,y)、局部对比度SLCM(x,y)、局部拉普拉斯能量SML(x,y)计算得到的。
在其中一些实施例中，所述高频融合规则中，融合的图像高频信息通过如下计算模型计算筛选得到：
Figure SMS_65
；
其中，D n为选取的不同图像，δ包含HL、LH、HH三个高频分量，也就是说，
Figure SMS_66
中包括
Figure SMS_67
、/>
Figure SMS_68
及/>
Figure SMS_69
，sobel n(x,y)表示对第n张图像提取边缘特征值后像素点(x,y)处的值，sobel n+1(x,y)表示对第n+1张图像提取边缘特征值后像素点(x,y)处的值。
第二方面，本发明实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的超分辨率图像重建方法。
相比于相关技术，本发明实施例提供的超分辨率图像重建方法和计算机设备，采用多帧图像作为待处理对象，弥补了单张图像信息不足的情况，使用各向异性扩散处理图像获得扩散滤波优化的显著图，基于显著图进行区域划分，将图像分为平坦区域和边缘区域；在平坦区域直接使用双线性插值算法减少运算复杂度，在边缘区域，通过改进的NEDI算法进行非线性插值重建，优化NEDI算法的权重因子，使重建后的图像边缘清晰且耗费时间少，提高方法的运行速度；最后，基于Haar小波算法的多帧图像加权优化方法，对重建后的多帧图像进行有效融合，即保留了单张图像的信息，同时选取每张图像噪声少的区域进行组合，得到高质量清晰的重建后的图像。
本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的超分辨率图像重建方法的流程图；
图2是根据本发明实施例的超分辨率图像重建方法的分步骤流程图；
图3是根据本发明实施例的超分辨率图像重建方法的原理图；
图4是根据本发明实施例的步骤S1获取的目标图像块示意图；
图5是根据本发明实施例的步骤S2获取的显著图示意图；
图6是根据本发明实施例的双线性插值法的原理图；
图7是根据本发明实施例的改进NEDI算法的第一步插值原理图；
图8是根据本发明实施例的改进NEDI算法的第二步插值原理图；
图9是根据本发明实施例的超分辨率图像重建方法输出结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着对图像质量要求的提高，超分辨率技术越来越广泛应用于智能交通监测领域。由于复杂场景、运动模糊等影响使得车牌的识别效果不好，准确率不高。在对图像进行插值重建时通常分为线性插值和非线性插值，其中线行插值方法代表为最近邻插值算法、双线性插值算法，插值像素通过与原位置附近像素的线性关系加权确定，具有算法简单，运算速度快等优点。非线性插值算法多为边缘保护插值，如CGI（Contrast-Guided ImageInterpolation）算法、NEDI（New Edge-Directed Interpolation）算法，通过使用非线性加权达成对图像边缘保护，重建得到的图像更为清晰。
本实施例提供了一种超分辨率图像重建方法。图1-图3是根据本发明实施例的超分辨率图像重建方法的流程图及原理图，如图1-图3所示，该流程包括如下步骤：
图像分割步骤S1，获取多帧待处理图像，对多帧待处理图像进行配准后分割出待处理图像中的目标图像块；考虑到在摄像机成像系统中，由于存在镜头畸变，获得的图像坐标存在一定的误差，图像分割步骤S1中，包括获取多张待处理图像后，根据畸变补偿公式进行纠正，畸变补偿公式表示为如下公式（1）：
Figure SMS_70
（1）
其中，
Figure SMS_71
是图像的实际坐标，u为补偿之后的坐标，/>
Figure SMS_72
、/>
Figure SMS_73
分别是图像的一阶、二阶径向畸变补偿系数，q为像素点/>
Figure SMS_74
与像面主点之间的距离，以减少畸变对图像配准的影响。
其中，图像分割步骤S1进一步包括：
目标区域获取步骤S101，在多帧待处理图像中确定基准图像及多张待配准图像，分割提取基准图像中目标区域ROI（即基准图像中目标物体所在的区域）；举例而非限制，本发明实施例中的目标物体具体为待处理图像中的车牌部分。需要说明的是，为模拟夜间拍摄形式汽车的环境，在本发明实施例中使用Kinect v2相机和三轴滑台，将Kinect v2搭载到三轴滑台上以带动Kinect v2移动，从而模拟红外摄像机采集到的汽车在运动情况下的图像，作为本发明的待处理的目标样本。
候选匹配特征点集获取步骤S102，利用SIFT匹配算法从不同尺度对目标区域ROI进行特征点初匹配，得到
Figure SMS_75
个候选匹配特征点以构成候选匹配特征点集/>
Figure SMS_76
，用于表示图像i与图像j之间的候选匹配特征点集；其中，/>
Figure SMS_77
，/>
Figure SMS_78
为第1个候选匹配特征点至第/>
Figure SMS_79
个候选匹配特征点。
目标图像块分割步骤S103，基于候选匹配特征点集
Figure SMS_80
构建基于特征均匀分布约束的特征点筛选器，将多个待配准图像的特征点坐标值利用图像转换模型计算得到多个单应性矩阵H，从而基于特征点筛选器和单应性矩阵H在待处理图像中分割出目标图像块，如图4所示。特征点筛选器通过如下计算模型计算得到：
Figure SMS_81
（2）
其中，L为待处理图像分割的子区域数量，k为迭代次数，
Figure SMS_85
为计算第k次迭代循环第m个子区域中特征点的数量，/>
Figure SMS_88
为第k次迭代中/>
Figure SMS_93
最大的子特征区域，/>
Figure SMS_84
为对/>
Figure SMS_87
进行重新SIFT特征点匹配，/>
Figure SMS_90
用于表示对/>
Figure SMS_95
的特征点按精度进行排序并选择/>
Figure SMS_82
个特征点的过程，/>
Figure SMS_86
为向下取整，/>
Figure SMS_91
为除/>
Figure SMS_94
中匹配的特征点/>
Figure SMS_83
之外的特征点，
Figure SMS_89
为设定的特征点数量阈值，/>
Figure SMS_92
。基于该如上表达的特征点筛选器可以确保各图像对应特征点均匀分布，同时减少特征点聚集，提高图像转换的精度。
其中，图像转换模型表示为如下计算模型：
Figure SMS_96
（3）
其中，
Figure SMS_97
Figure SMS_98
、/>
Figure SMS_99
Figure SMS_100
为特征点坐标值，单应性矩阵H表示为：
Figure SMS_101
（4）
其中，
Figure SMS_103
、/>
Figure SMS_106
、/>
Figure SMS_108
、/>
Figure SMS_104
、/>
Figure SMS_105
、/>
Figure SMS_109
、/>
Figure SMS_110
、/>
Figure SMS_102
、/>
Figure SMS_107
为单应性矩阵的矩阵参数。
基于如上图像分割步骤，通过SIFT匹配算法及单应性矩阵对图像进行有效配准，以建立基准图像与待配准图像之间的映射关系，可保证多帧图像的空间一致性。
接下来执行显著图获取步骤S2，为了提高算法运行效率，将目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化目标图像块，得到多张显著图，如图5所示，保持图像细节特征的同时减少噪声；具体的，显著图获取步骤S2中，显著图
Figure SMS_111
基于如下各向异性扩散计算模型计算得到：
Figure SMS_112
（5）
其中，
Figure SMS_113
用于表示各向异性扩散滤波函数，/>
Figure SMS_114
为输入计算模型的图像块，
Figure SMS_115
为各向异性的程度，当/>
Figure SMS_116
时为各项同性，随着/>
Figure SMS_117
增大，各项异性程度增强，r为滤波半径，C为各方向上的扩散矩阵，/>
Figure SMS_118
为滤波系数。
基于如上计算模型，利用各向异性扩散在特征细节丰富区域减速扩散，在细节较少区域加速扩散，以保证在沿着边缘方向扩散的多，跨边缘扩散的少。
然后，执行图像插值重建步骤S3，将显著图作为引导图，每一目标块均其对应的显著图进行插值重建以得到多张插值重建后的目标图像块，具体的，基于显著图的引导信息对目标图像块进行插值重建，目标图像块的平坦区域采用双线性插值法进行插值重建，边缘区域采用改进NEDI算法进行插值重建，其中，改进NEDI算法的权重系数为通过迭代优化求取得到，从而针对红外成像质量问题，基于多图像边缘对比度引导进行超分辨率重建，通过将多张图像配准融合以补全模糊区域，并获得精度较高的边缘信息。该过程可以表示为：
Figure SMS_119
（6）
其中，BI为双线性插值，inf-NEDI为改进后的NEDI，
Figure SMS_124
是显著图中/>
Figure SMS_121
坐标上的灰度值，/>
Figure SMS_137
为梯度变化阈值。其中，双线性插值算法是通过插值像素周边四个像素加权求得，如图6所示，图中/>
Figure SMS_125
点的像素值由Q11、Q12、Q21、Q22四个像素通过如下公式（7）计算得到，函数/>
Figure SMS_129
在Q11/>
Figure SMS_135
、Q12/>
Figure SMS_138
、Q21/>
Figure SMS_122
、Q22/>
Figure SMS_132
四个像素点的值记为/>
Figure SMS_120
、
Figure SMS_128
、/>
Figure SMS_123
、/>
Figure SMS_133
，首先在x方向进行线性插值，得到/>
Figure SMS_131
和/>
Figure SMS_136
，其值记为
Figure SMS_126
、/>
Figure SMS_134
，然后在y方向进行线性插值，得到/>
Figure SMS_127
，其值记为/>
Figure SMS_130
。
Figure SMS_139
（7）
其中，NEDI算法的基本原理是先计算低分辨率图像各像素的局部协方差系数，之后利用低分辨率图像与高分辨率图像的协方差对偶性来计算得到高分辨率图像要插值的点。具体的，由低分辨率图像Xi,j的矩阵大小为H×W，相应的高分辨率图像Yi,j矩阵大小为2H×2W，即像素
Figure SMS_140
。插值只在四个方向上进行，即为高分辨率栅格对角线中的四个点，高分辨率像素/>
Figure SMS_141
表示为：
Figure SMS_142
（8）
其中，
Figure SMS_143
为插值系数，该插值系数可通过如下计算模型计算得到：
Figure SMS_144
（9）
其中，
Figure SMS_145
，用于表示包含M×M个点像素的数值向量，M×M个点像素包含在一个局部窗中，C为4×M2的数值矩阵，矩阵中第k列向量为/>
Figure SMS_146
对角线方向的最近邻4点像素值，/>
Figure SMS_147
表示C的转置。
改进NEDI算法中，对每一个像素点(2i+1,2j+1)通过最陡梯度法迭代获得最优的插值系数
Figure SMS_148
。最陡梯度法迭代通过如下计算模型进行迭代：
Figure SMS_149
（10）
Figure SMS_150
（11）
Figure SMS_151
（12）
其中，
Figure SMS_152
为迭代过程中得到的新像素点，/>
Figure SMS_153
为相同位置像素的误差值，μ为误差因子规范权重系数，式（12）中/>
Figure SMS_154
为目标像素周边最近邻的四个像素点，/>
Figure SMS_155
为优化前的差值系数，/>
Figure SMS_156
为优化后的差值系数。基于如上计算模型，通过计算插值后的图像像素对其权重系数进行迭代更新，再利用更新后的权重系数对插值像素进行优化，得到更加清晰的边缘。参考图7-图8所示：
当i+j为偶数时，像素
Figure SMS_157
，从而进行NEDI算法的第一步插值；
当i+j为奇数时，像素
Figure SMS_158
，从而进行NEDI算法的第二步插值。
最后，执行图像融合步骤S4，获取插值重建后多张目标图像块，采用小波变换对图像进行分解及融合，并通过预设的低频融合规则、高频融合规则优化图像的平坦区域、边缘区域，得到融合后的超分辨率图像，如图9所示。本实施例中，图像融合步骤S4中利用Mallat快速算法对图像
Figure SMS_159
进行分解融合，Mallat快速算法的分解算法通过如下计算模型执行：
Figure SMS_160
（13）
其中，
Figure SMS_163
为图像低频信息，/>
Figure SMS_165
为图像高频垂直方向的信息，/>
Figure SMS_167
为图像高频水平方向的信息，/>
Figure SMS_162
为图像高频对角方向的信息，/>
Figure SMS_164
、/>
Figure SMS_166
分别为镜像共轭滤波器H和G作用在图像的列上，/>
Figure SMS_168
、/>
Figure SMS_161
分别为镜像共轭滤波器H和G作用在图像的列上；
Mallat快速算法的重构算法通过如下计算模型执行：
Figure SMS_169
。（14）
其中，
Figure SMS_171
、/>
Figure SMS_174
、/>
Figure SMS_176
、/>
Figure SMS_172
分别为/>
Figure SMS_173
、/>
Figure SMS_175
、/>
Figure SMS_177
、/>
Figure SMS_170
的伴随矩阵。
考虑到图像低频信息（也即图像中的平坦区域）的融合效果才可保证图像的整体效果，而现有的方法中通常使用加权平均方法，无法有效保留图像的丰富信息，因此，本发明实施例从相位一致性PC(x,y)、局部对比度SLCM(x,y)、局部拉普拉斯能量SML(x,y)三个方面获取边缘、对比度、亮度三个显著特征进行特征互补，以优化图像的平坦区域，具体的，基于如下计算模型计算得到：
Figure SMS_178
（15）
其中，PLS（x,y）为权重参数，PC(x,y)为相位一致性，SLCM(x,y)为局部对比度、SML(x,y)为局部拉普拉斯能量，a、b、c为权重因子，可对其进行迭代优化以求取最佳权重，提高纹理丰富区域超分辨率重建的精度，提高重建后图像的质量，
Figure SMS_179
为局部相位，/>
Figure SMS_180
为相位的加权平均值，/>
Figure SMS_181
为局部幅值（也即第n个余弦分量的幅度值），(x,y)为像素坐标位置，局部对比度SLCM(x,y)中：
Figure SMS_182
上式中，
Figure SMS_183
为在像素(x,y)周围3×3的邻域，(x 0 ,y 0)为邻域内的像素点，领域大小为/>
Figure SMS_184
，/>
Figure SMS_185
、/>
Figure SMS_186
可以根据所需领域大小灵活配置；
局部拉普拉斯能量SML(x,y)中，
Figure SMS_187
为对图像求取二阶导数：
Figure SMS_188
；
其中，I(x,y)为图像像素坐标，基于上式可知，局部拉普拉斯能量的窗口大小为
Figure SMS_189
。
在其中一些实施例中，低频融合规则中，式（13）中融合的图像低频信息
Figure SMS_190
表示为如下表达式（16）：
Figure SMS_191
（16）
其中，C n为不同图像的低频分量，PLS n为归一化权重参数，n为图像序号，PLS n是基于相位一致性PC(x,y)、局部对比度SLCM(x,y)、局部拉普拉斯能量SML(x,y)计算得到的。式（16）用于表示图像的低频分量与其相应图像的归一化权重PLS n相乘后加和得到最后融合的图像的低频信息
Figure SMS_192
。
另外，图像高频信息（也即图像中的边缘区域）的融合效果才可保证图像的细节呈现至关重要，而现有的方法中通常使用绝对值取大的方法，没有考虑对像素与像素之间的信息，容易造成细节信息的丢失，因此，本发明实施例利用Sobel梯度算子在不同特征方向上对每一张不同方向的高频细节部分提取细节图像的梯度特征，并将特征点的梯度值作为阈值条件，对要融合的其中两种图像的像素点处的Sobel梯度进行比较，Sobel梯度越大图像越清晰，细节特征越好，具体通过如下Sobel梯度计算模型进行比较：
Figure SMS_193
（17）
其中，D n为选取的不同图像，δ包含HL、LH、HH三个高频分量，也就是说，
Figure SMS_194
中包括
Figure SMS_195
、/>
Figure SMS_196
及/>
Figure SMS_197
，sobel n(x,y)表示对第n张图像提取边缘特征值后像素点(x,y)处的值，sobel n+1(x,y)表示对第n+1张图像提取边缘特征值后像素点(x,y)处的值。
基于如上步骤，本发明实施例超分辨率图像重建方法，解决了在夜晚条件下红外相机分辨率低、识别精确不高的问题，采用多帧图像作为待处理对象，弥补了单张图像信息不足的情况，使用各向异性扩散处理图像获得扩散滤波优化的显著图，基于显著图进行区域划分，将图像分为平坦区域和边缘区域；在平坦区域直接使用双线性插值算法减少运算复杂度，在边缘区域，通过改进的NEDI算法进行非线性插值重建，优化NEDI算法的权重因子，使重建后的图像边缘清晰且耗费时间少，提高方法的运行速度；最后，基于Haar小波算法的多帧图像加权优化方法，对重建后的多帧图像进行有效融合，即保留了单张图像的信息，同时选取每张图像噪声少的区域进行组合，得到高质量清晰的重建后的图像。
为验证本实施例的超分辨率图像重建方法，本发明实施例对重建得到的超分辨率图像进行了质量评价，使用使用客观评价标准通过峰值信噪比PSNR、结构自相似SSIM方法和熵函数进行评判。PSNR方法以（dB）作为单位图像在30dB以上就是较为相似。SSIM方法通过对图像亮度、对比度、结构进行比较，将比较结果规范到（0 - 1）之间，结果越接近1说明图像越相似。基于统计特征的熵函数是衡量图像信息丰富程度的一个重要指标，图像中的信息越多熵越大。经评价实验，本发明实施例的方法的峰值信噪比PSNR为41.2758、结构自相似SSIM为0.97009，熵为3.60372；作为对比实验，而现有采用双线性插值算法及NEDI插值算法进行重建的结果分别为：(a)双线性插值算法：峰值信噪比PSNR为36.5190、结构自相似SSIM为0.89203，熵为3.23353；(b)NEDI插值算法：峰值信噪比PSNR为39.24、结构自相似SSIM为0.95904，熵为3.48683，本发明实施例的超分辨率图像重建方法明显优于采用双线性插值算法或NEDI插值算法进行重建。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
另外，结合上述的本发明实施例超分辨率图像重建方法可以由计算机设备来实现。计算机设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecific Integrated Circuit，简称为ASIC），或者可以被配置成实施本发明实施例的一个或多个集成电路。
其中，存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性（Non-Volatile）存储器。在特定实施例中，存储器包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（Random AccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种超分辨率图像重建方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种超分辨率图像重建方法，其特征在于，包括：
图像分割步骤，获取多帧待处理图像，对多帧待处理图像进行配准后分割出所述待处理图像中的目标图像块；
显著图获取步骤，将所述目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化所述目标图像块，得到多张显著图；
图像插值重建步骤，基于所述显著图对所述目标图像块进行插值重建，所述目标图像块的平坦区域采用双线性插值法进行插值重建，边缘区域采用改进NEDI算法进行插值重建，其中，所述改进NEDI算法的权重系数为通过迭代优化求取得到；
图像融合步骤，获取插值重建后多张所述目标图像块，采用小波变换对图像进行分解及融合，并通过预设的低频融合规则优化图像的平坦区域、通过预设的高频融合规则优化图像的边缘区域，得到融合后的超分辨率图像，所述低频融合规则中，融合的图像低频信息
Figure QLYQS_1
表示为：
Figure QLYQS_2
；
其中，C n为不同图像的低频分量，PLS n为归一化权重参数，n为图像序号，PLS n是基于相位一致性PC(x,y)、局部对比度SLCM(x,y)、局部拉普拉斯能量SML(x,y)计算得到的；
所述高频融合规则中，融合的图像高频信息通过如下计算模型计算筛选得到：
Figure QLYQS_3
；
其中，D n为选取的不同图像，δ包含HL、LH、HH三个高频分量，
Figure QLYQS_4
中包括/>
Figure QLYQS_5
、/>
Figure QLYQS_6
及
Figure QLYQS_7
，sobel n(x,y)表示对第n张图像提取边缘特征值后像素点(x,y)处的值，sobel n+1(x,y)表示对第n+1张图像提取边缘特征值后像素点(x,y)处的值。
2.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述图像分割步骤进一步包括：
目标区域获取步骤，在所述多帧待处理图像中确定基准图像及多张待配准图像，分割提取所述基准图像中目标区域ROI；
候选匹配特征点集获取步骤，利用SIFT匹配算法对目标区域ROI进行特征点初匹配，得到
Figure QLYQS_8
个候选匹配特征点以构成候选匹配特征点集/>
Figure QLYQS_9
；
目标图像块分割步骤，基于候选匹配特征点集
Figure QLYQS_10
构建特征点筛选器，将多个所述待配准图像的特征点坐标值利用图像转换模型计算得到多个单应性矩阵H，从而基于所述特征点筛选器和所述单应性矩阵H在所述待处理图像中分割出目标图像块。
3.根据权利要求2所述的超分辨率图像重建方法，其特征在于，所述目标图像块分割步骤中，所述特征点筛选器通过如下计算模型计算得到：
Figure QLYQS_11
其中，L为待处理图像分割的子区域数量，k为迭代次数，
Figure QLYQS_14
为计算第k次迭代循环第m个子区域中特征点的数量，/>
Figure QLYQS_18
为第k次迭代中/>
Figure QLYQS_21
最大的子特征区域，/>
Figure QLYQS_15
为对/>
Figure QLYQS_19
进行重新SIFT特征点匹配，/>
Figure QLYQS_23
用于表示对/>
Figure QLYQS_25
的特征点按精度进行排序并选择/>
Figure QLYQS_12
个特征点的过程，/>
Figure QLYQS_16
为向下取整，/>
Figure QLYQS_20
为除/>
Figure QLYQS_24
中匹配的特征点/>
Figure QLYQS_13
之外的特征点，/>
Figure QLYQS_17
为设定的特征点数量阈值，/>
Figure QLYQS_22
。
4.根据权利要求3所述的超分辨率图像重建方法，其特征在于，所述图像转换模型表示为如下计算模型：
Figure QLYQS_26
；
其中，
Figure QLYQS_27
Figure QLYQS_28
、/>
Figure QLYQS_29
Figure QLYQS_30
为特征点坐标值，单应性矩阵H表示为：
Figure QLYQS_31
，
其中，
Figure QLYQS_33
、/>
Figure QLYQS_36
、/>
Figure QLYQS_38
、/>
Figure QLYQS_34
、/>
Figure QLYQS_37
、/>
Figure QLYQS_39
、/>
Figure QLYQS_40
、/>
Figure QLYQS_32
、/>
Figure QLYQS_35
为单应性矩阵的矩阵参数。
5.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述显著图获取步骤中，所述显著图
Figure QLYQS_41
基于如下各向异性扩散计算模型计算得到：
Figure QLYQS_42
；
其中，
Figure QLYQS_43
用于表示各向异性扩散滤波函数，/>
Figure QLYQS_44
为输入计算模型的图像块，
Figure QLYQS_45
为各向异性的程度，当/>
Figure QLYQS_46
时为各项同性，随着/>
Figure QLYQS_47
增大，各项异性程度增强，r为滤波半径，C为各方向上的扩散矩阵，/>
Figure QLYQS_48
为滤波系数。
6.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述改进NEDI算法中，对每一个像素点(2i+1,2j+1)通过最陡梯度法迭代获得最优的插值系数
Figure QLYQS_49
。
7.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述图像融合步骤中利用Mallat快速算法对图像进行分解融合。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的超分辨率图像重建方法。
CN202310381963.XA 2023-04-12 2023-04-12 超分辨率图像重建方法和计算机设备 Active CN116091322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310381963.XA CN116091322B (zh) 2023-04-12 2023-04-12 超分辨率图像重建方法和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310381963.XA CN116091322B (zh) 2023-04-12 2023-04-12 超分辨率图像重建方法和计算机设备

Publications (2)

Publication Number Publication Date
CN116091322A CN116091322A (zh) 2023-05-09
CN116091322B true CN116091322B (zh) 2023-06-16

Family

ID=86208702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310381963.XA Active CN116091322B (zh) 2023-04-12 2023-04-12 超分辨率图像重建方法和计算机设备

Country Status (1)

Country Link
CN (1) CN116091322B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386023B (zh) * 2023-05-29 2023-08-25 松立控股集团股份有限公司 基于时空扩散的高位相机车牌识别方法、系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527039A (zh) * 2008-03-06 2009-09-09 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法
CN101609549A (zh) * 2009-07-24 2009-12-23 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
EP2823461A1 (en) * 2012-03-05 2015-01-14 Thomson Licensing Method and apparatus for performing super-resolution
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180053A1 (zh) * 2014-05-28 2015-12-03 北京大学深圳研究生院 一种快速超分辨率图像重建方法和装置
CN104867116A (zh) * 2015-04-21 2015-08-26 重庆大学 一种基于mca和字典学习的车牌超分辨率重构方法
CN106780342A (zh) * 2016-12-28 2017-05-31 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN107993194B (zh) * 2017-11-30 2021-01-01 天津大学 一种基于平稳小波变换的超分辨率重建方法
CN108765343B (zh) * 2018-05-29 2021-07-20 Oppo（重庆）智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN109584210B (zh) * 2018-10-30 2022-08-16 南京理工大学 多光谱三维静脉显像系统
CN110211084B (zh) * 2019-06-14 2022-10-04 大连海事大学 一种基于权重小波变换的图像多分辨率重建方法
CN110599402A (zh) * 2019-08-30 2019-12-20 西安理工大学 一种基于多特征稀疏表示的图像超分辨率重建方法
CN111652800B (zh) * 2020-04-30 2023-04-18 清华大学深圳国际研究生院 一种单张图像超分辨的方法及计算机可读存储介质
CN113436077A (zh) * 2021-07-28 2021-09-24 山东大学 边缘保持的高光谱图像超分辨率重建方法及系统
CN115546136A (zh) * 2022-09-29 2022-12-30 青岛海信医疗设备股份有限公司 一种医学图像的图像处理方法、设备及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527039A (zh) * 2008-03-06 2009-09-09 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法
CN101609549A (zh) * 2009-07-24 2009-12-23 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
EP2823461A1 (en) * 2012-03-05 2015-01-14 Thomson Licensing Method and apparatus for performing super-resolution
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小波和插值结合应用于超声图像的超分辨率算法;戴光智;陈铁群;邱栋美;;无损检测(第04期);全文 *

Also Published As

Publication number Publication date
CN116091322A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Liu et al. Wavelet-based dual-branch network for image demoiréing
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
US9779491B2 (en) Algorithm and device for image processing
Hacohen et al. Deblurring by example using dense correspondence
US8867858B2 (en) Method and system for generating an output image of increased pixel resolution from an input image
Kato et al. Multi-frame image super resolution based on sparse coding
Liu et al. Satellite video super-resolution based on adaptively spatiotemporal neighbors and nonlocal similarity regularization
EP3105736A1 (en) Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
CN109064402B (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN116091322B (zh) 超分辨率图像重建方法和计算机设备
CN111652800B (zh) 一种单张图像超分辨的方法及计算机可读存储介质
Pandey et al. Classification of priors and regularization techniques appurtenant to single image super-resolution
CN106157240B (zh) 基于字典学习的遥感图像超分辨率方法
US20150324953A1 (en) Method and apparatus for performing single-image super-resolution
Wang et al. Multi-scale fast fourier transform based attention network for remote-sensing image super-resolution
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
Chen et al. Face super resolution based on parent patch prior for VLQ scenarios
Jia et al. Super-resolution with deep adaptive image resampling
Wang et al. Reconstruction of sub‐mm 3D pavement images using recursive generative adversarial network for faster texture measurement
Xie et al. Bidirectionally aligned sparse representation for single image super-resolution
Yang et al. Hierarchical joint bilateral filtering for depth post-processing
Deka et al. Sparse representation based super-resolution of mri images with non-local total variation regularization
Liang et al. Video super-resolution reconstruction based on correlation learning and spatio-temporal nonlocal similarity
Toan Super-Resolution Method for Reconstructing Street Images from Surveillance System based on Real-ESRGAN
Liang et al. Learning‐Based Video Superresolution Reconstruction Using Spatiotemporal Nonlocal Similarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant