CN116091322A - 超分辨率图像重建方法和计算机设备 - Google Patents

超分辨率图像重建方法和计算机设备 Download PDF

Info

Publication number
CN116091322A
CN116091322A CN202310381963.XA CN202310381963A CN116091322A CN 116091322 A CN116091322 A CN 116091322A CN 202310381963 A CN202310381963 A CN 202310381963A CN 116091322 A CN116091322 A CN 116091322A
Authority
CN
China
Prior art keywords
image
images
super
reconstruction
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310381963.XA
Other languages
English (en)
Other versions
CN116091322B (zh
Inventor
王晓敏
王闯
孙振东
陈辉
郑舟
孔旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310381963.XA priority Critical patent/CN116091322B/zh
Publication of CN116091322A publication Critical patent/CN116091322A/zh
Application granted granted Critical
Publication of CN116091322B publication Critical patent/CN116091322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，特别是涉及超分辨率图像重建方法和计算机设备，其中，该方法包括：图像分割步骤，获取多帧待处理图像并对其进行配准后分割出目标图像块；显著图获取步骤，将目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化目标图像块，得到多张显著图；图像插值重建步骤，基于显著图对目标图像块进行插值重建；图像融合步骤，获取插值重建后多张目标图像块，采用小波变换对图像进行分解及融合并通过预设的低频融合规则、高频融合规则优化图像，得到融合后的超分辨率图像。通过本发明解决了在夜晚条件下红外相机分辨率低、识别精确不高的问题，实现兼顾运行速度与重建精度的超分辨率图像重建。

Description

超分辨率图像重建方法和计算机设备
技术领域
本发明涉及图像处理技术领域，特别是涉及超分辨率图像重建方法和计算机设备。
背景技术
智能车牌识别系统，是智能交通系统的重要组成部分，在车辆管理、道路监控、卡口应用中发挥着重要的作用。其中，车牌识别技术要求能够将运动中的汽车牌照从复杂背景中提取并识别出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识别车辆牌号、颜色等信息。红外相机因其可将光污染降低到最大限度，人眼对红外光的刺激感几乎为零的优势，在智能交通系统中应用广泛。但由于红外相机自身硬件及所应用场景的原因，拍摄图像的分辨率、对比度严重不足，车牌中字体不能被准确提取，导致车牌识别率偏低的现象。
为了提高图像质量，现有方法中，通过对单张或多张图像进行线性或非线性插值算法完成超分辨率重建，其中单张图像提供的信息较为有限，导致重建出的图像准确性不高；也有基于多图像的线性插值方案，但重建得到的图像在数字边缘处出现模糊与伪影现象无法被准确识别。因此，基于多图像的非线性插值方法，对图像整体效果较好，但是边缘轮廓等细节信息丢失严重。另外，也有使用基于深度学习的超分辨率重建方法对图像进行处理得方案，可以获得更高质量图像，但是计算复杂、耗费时间长不适用于实时处理，因此，应用到智能交通系统成本较高。
发明内容
本发明实施例提供了一种超分辨率图像重建方法和计算机设备，兼顾运行速度与重建精度，同时利用多帧图像信息融合消除因运动模糊、遮挡带来的信息缺失，来实现图像的超分辨率重建。
第一方面，本发明实施例提供了一种超分辨率图像重建方法，包括：
图像分割步骤，获取多帧待处理图像，对多帧待处理图像进行配准后分割出所述待处理图像中的目标图像块；
显著图获取步骤，将所述目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化所述目标图像块，得到多张显著图；
图像插值重建步骤，将所述显著图作为引导图，基于所述显著图的引导信息对所述目标图像块进行插值重建，所述目标图像块的平坦区域采用双线性插值法进行插值重建，边缘区域采用改进NEDI算法进行插值重建，其中，所述改进NEDI算法的权重系数为通过迭代优化求取得到；该过程可以表示为：
；
其中，BI为双线性插值，inf-NEDI为改进后的NEDI，是显著图中坐标上的灰度值，为梯度变化阈值。其中，双线性插值算法是通过插值像素周边四个像素加权求得，NEDI算法的基本原理是先计算低分辨率图像各像素的局部协方差系数，之后利用低分辨率图像与高分辨率图像的协方差对偶性来计算得到高分辨率图像要插值的点。
图像融合步骤，获取插值重建后多张所述目标图像块，采用小波变换对图像进行分解及融合，并通过预设的低频融合规则、高频融合规则优化图像的平坦区域、边缘区域，得到融合后的超分辨率图像。
在其中一些实施例中，考虑到在摄像机成像系统中，由于存在镜头畸变，获得的图像坐标存在一定的误差，所述图像分割步骤中，包括获取多张待处理图像后，根据畸变补偿公式进行纠正，畸变补偿公式表示为如下公式：
；
其中，是图像的实际坐标， u为补偿之后的坐标，、分别是图像的一阶、二阶径向畸变补偿系数， q为像素点与像面主点之间的距离，以减少畸变对图像配准的影响。
在其中一些实施例中，所述图像分割步骤进一步包括：
目标区域获取步骤，在所述多帧待处理图像中确定基准图像及多张待配准图像，分割提取所述基准图像中目标区域ROI（Region Of Interesting），也即基准图像中目标物体所在的区域；
候选匹配特征点集获取步骤，利用SIFT匹配算法（Scale-Invariant FeatureTransform）从不同尺度对目标区域ROI进行特征点初匹配，得到个候选匹配特征点以构成候选匹配特征点集，用于表示图像 i与图像 j之间的候选匹配特征点集；其中，。
目标图像块分割步骤，基于候选匹配特征点集构建特征点筛选器，将多个所述待配准图像的特征点坐标值利用图像转换模型计算得到多个单应性矩阵H，从而基于所述特征点筛选器和所述单应性矩阵H在所述待处理图像中分割出目标图像块。
基于如上步骤，通过SIFT匹配算法及单应性矩阵对图像进行有效配准，以建立基准图像与待配准图像之间的映射关系，可保证多帧图像的空间一致性。
在其中一些实施例中，所述目标图像块分割步骤中，所述特征点筛选器通过如下计算模型计算得到：
；
其中， L为待处理图像分割的子区域数量， k为迭代次数，为计算第 k次迭代循环第 m个子区域中特征点的数量，为第 k次迭代中最大的子特征区域，为对进行重新SIFT特征点匹配，用于表示对的特征点按精度进行排序并选择个特征点的过程，为向下取整，为除中匹配的特征点之外的特征点，为设定的特征点数量阈值，。
基于如上表达的特征点筛选器可以确保各图像对应特征点均匀分布，同时减少特征点聚集，提高图像转换的精度。
在其中一些实施例中，所述图像转换模型表示为如下计算模型：
其中， 、 为特征点坐标值，单应性矩阵H表示为：
其中，、、、、、、、、为单应性矩阵的矩阵参数。
基于上述步骤，本发明实施例针对红外成像质量问题，基于多图像边缘对比度引导进行超分辨率重建，通过将多张图像配准融合以补全模糊区域，并获得精度较高的边缘信息。
在其中一些实施例中，所述显著图获取步骤中，所述显著图基于如下各向异性扩散计算模型计算得到：
；
其中，用于表示各向异性扩散滤波函数，为输入计算模型的图像块，为各向异性的程度，当时为各项同性，随着增大，各项异性程度增强， r为滤波半径，C为各方向上的扩散矩阵，为滤波系数。
基于如上计算模型，利用各向异性扩散在特征细节丰富区域减速扩散，在细节较少区域加速扩散，以保证在沿着边缘方向扩散的多，跨边缘扩散的少。
在其中一些实施例中，所述改进NEDI算法中，对每一个像素点(2 i+1,2 j+1)通过最陡梯度法迭代获得最优的插值系数。
在其中一些实施例中，所述图像融合步骤中利用Mallat快速算法对图像进行分解融合，Mallat快速算法的分解算法通过如下计算模型执行：
；
其中，为图像低频信息，为图像高频垂直方向的信息，为图像高频水平方向的信息，为图像高频对角方向的信息，、分别为镜像共轭滤波器 H和 G作用在图像的列上，、分别为镜像共轭滤波器 H和 G作用在图像的列上；
Mallat快速算法的重构算法通过如下计算模型执行：
。
在其中一些实施例中，所述低频融合规则中，融合的图像低频信息表示为：
；
其中， C n为不同图像的低频分量， PLS n为归一化权重参数， n为图像序号， PLS n是基于相位一致性 PC( x,y)、局部对比度 SLCM( x,y)、局部拉普拉斯能量 SML( x,y)计算得到的。
在其中一些实施例中，所述高频融合规则中，融合的图像高频信息通过如下计算模型计算筛选得到：
；
其中， D n为选取的不同图像， δ包含HL、LH、HH三个高频分量，也就是说，中包括、及， sobel n( x,y)表示对第 n张图像提取边缘特征值后像素点( x,y)处的值， sobel n+1( x,y)表示对第 n+1张图像提取边缘特征值后像素点( x,y)处的值。
第二方面，本发明实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的超分辨率图像重建方法。
相比于相关技术，本发明实施例提供的超分辨率图像重建方法和计算机设备，采用多帧图像作为待处理对象，弥补了单张图像信息不足的情况，使用各向异性扩散处理图像获得扩散滤波优化的显著图，基于显著图进行区域划分，将图像分为平坦区域和边缘区域；在平坦区域直接使用双线性插值算法减少运算复杂度，在边缘区域，通过改进的NEDI算法进行非线性插值重建，优化NEDI算法的权重因子，使重建后的图像边缘清晰且耗费时间少，提高方法的运行速度；最后，基于Haar小波算法的多帧图像加权优化方法，对重建后的多帧图像进行有效融合，即保留了单张图像的信息，同时选取每张图像噪声少的区域进行组合，得到高质量清晰的重建后的图像。
本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的超分辨率图像重建方法的流程图；
图2是根据本发明实施例的超分辨率图像重建方法的分步骤流程图；
图3是根据本发明实施例的超分辨率图像重建方法的原理图；
图4是根据本发明实施例的步骤S1获取的目标图像块示意图；
图5是根据本发明实施例的步骤S2获取的显著图示意图；
图6是根据本发明实施例的双线性插值法的原理图；
图7是根据本发明实施例的改进NEDI算法的第一步插值原理图；
图8是根据本发明实施例的改进NEDI算法的第二步插值原理图；
图9是根据本发明实施例的超分辨率图像重建方法输出结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着对图像质量要求的提高，超分辨率技术越来越广泛应用于智能交通监测领域。由于复杂场景、运动模糊等影响使得车牌的识别效果不好，准确率不高。在对图像进行插值重建时通常分为线性插值和非线性插值，其中线行插值方法代表为最近邻插值算法、双线性插值算法，插值像素通过与原位置附近像素的线性关系加权确定，具有算法简单，运算速度快等优点。非线性插值算法多为边缘保护插值，如CGI（Contrast-Guided ImageInterpolation）算法、NEDI（New Edge-Directed Interpolation）算法，通过使用非线性加权达成对图像边缘保护，重建得到的图像更为清晰。
本实施例提供了一种超分辨率图像重建方法。图1-图3是根据本发明实施例的超分辨率图像重建方法的流程图及原理图，如图1-图3所示，该流程包括如下步骤：
图像分割步骤S1，获取多帧待处理图像，对多帧待处理图像进行配准后分割出待处理图像中的目标图像块；考虑到在摄像机成像系统中，由于存在镜头畸变，获得的图像坐标存在一定的误差，图像分割步骤S1中，包括获取多张待处理图像后，根据畸变补偿公式进行纠正，畸变补偿公式表示为如下公式（1）：
（1）
其中，是图像的实际坐标， u为补偿之后的坐标，、分别是图像的一阶、二阶径向畸变补偿系数， q为像素点与像面主点之间的距离，以减少畸变对图像配准的影响。
其中，图像分割步骤S1进一步包括：
目标区域获取步骤S101，在多帧待处理图像中确定基准图像及多张待配准图像，分割提取基准图像中目标区域ROI（即基准图像中目标物体所在的区域）；举例而非限制，本发明实施例中的目标物体具体为待处理图像中的车牌部分。需要说明的是，为模拟夜间拍摄形式汽车的环境，在本发明实施例中使用Kinect v2相机和三轴滑台，将Kinect v2搭载到三轴滑台上以带动Kinect v2移动，从而模拟红外摄像机采集到的汽车在运动情况下的图像，作为本发明的待处理的目标样本。
候选匹配特征点集获取步骤S102，利用SIFT匹配算法从不同尺度对目标区域ROI进行特征点初匹配，得到个候选匹配特征点以构成候选匹配特征点集，用于表示图像 i与图像 j之间的候选匹配特征点集；其中，，为第1个候选匹配特征点至第个候选匹配特征点。
目标图像块分割步骤S103，基于候选匹配特征点集构建基于特征均匀分布约束的特征点筛选器，将多个待配准图像的特征点坐标值利用图像转换模型计算得到多个单应性矩阵H，从而基于特征点筛选器和单应性矩阵H在待处理图像中分割出目标图像块，如图4所示。特征点筛选器通过如下计算模型计算得到：
（2）
其中， L为待处理图像分割的子区域数量， k为迭代次数，为计算第 k次迭代循环第 m个子区域中特征点的数量，为第 k次迭代中最大的子特征区域，为对进行重新SIFT特征点匹配，用于表示对的特征点按精度进行排序并选择个特征点的过程，为向下取整，为除中匹配的特征点之外的特征点，为设定的特征点数量阈值，。基于该如上表达的特征点筛选器可以确保各图像对应特征点均匀分布，同时减少特征点聚集，提高图像转换的精度。
其中，图像转换模型表示为如下计算模型：
（3）
其中， 、 为特征点坐标值，单应性矩阵H表示为：
（4）
其中，、、、、、、、、为单应性矩阵的矩阵参数。
基于如上图像分割步骤，通过SIFT匹配算法及单应性矩阵对图像进行有效配准，以建立基准图像与待配准图像之间的映射关系，可保证多帧图像的空间一致性。
接下来执行显著图获取步骤S2，为了提高算法运行效率，将目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化目标图像块，得到多张显著图，如图5所示，保持图像细节特征的同时减少噪声；具体的，显著图获取步骤S2中，显著图基于如下各向异性扩散计算模型计算得到：
（5）
其中，用于表示各向异性扩散滤波函数，为输入计算模型的图像块，为各向异性的程度，当时为各项同性，随着增大，各项异性程度增强， r为滤波半径，C为各方向上的扩散矩阵，为滤波系数。
基于如上计算模型，利用各向异性扩散在特征细节丰富区域减速扩散，在细节较少区域加速扩散，以保证在沿着边缘方向扩散的多，跨边缘扩散的少。
然后，执行图像插值重建步骤S3，将显著图作为引导图，每一目标块均其对应的显著图进行插值重建以得到多张插值重建后的目标图像块，具体的，基于显著图的引导信息对目标图像块进行插值重建，目标图像块的平坦区域采用双线性插值法进行插值重建，边缘区域采用改进NEDI算法进行插值重建，其中，改进NEDI算法的权重系数为通过迭代优化求取得到，从而针对红外成像质量问题，基于多图像边缘对比度引导进行超分辨率重建，通过将多张图像配准融合以补全模糊区域，并获得精度较高的边缘信息。该过程可以表示为：
（6）
其中，BI为双线性插值，inf-NEDI为改进后的NEDI，是显著图中坐标上的灰度值，为梯度变化阈值。其中，双线性插值算法是通过插值像素周边四个像素加权求得，如图6所示，图中点的像素值由Q11、Q12、Q21、Q22四个像素通过如下公式（7）计算得到，函数在Q11 、Q12 、Q21 、Q22 四个像素点的值记为 、 、 、 ，首先在x方向进行线性插值，得到和，其值记为 、 ，然后在y方向进行线性插值，得到，其值记为。
（7）
其中，NEDI算法的基本原理是先计算低分辨率图像各像素的局部协方差系数，之后利用低分辨率图像与高分辨率图像的协方差对偶性来计算得到高分辨率图像要插值的点。具体的，由低分辨率图像Xi,j的矩阵大小为H×W，相应的高分辨率图像Yi,j矩阵大小为2H×2W，即像素。插值只在四个方向上进行，即为高分辨率栅格对角线中的四个点，高分辨率像素表示为：
（8）
其中，为插值系数，该插值系数可通过如下计算模型计算得到：
（9）
其中，，用于表示包含M×M个点像素的数值向量，M×M个点像素包含在一个局部窗中，C为4×M2的数值矩阵，矩阵中第 k列向量为对角线方向的最近邻4点像素值，表示C的转置。
改进NEDI算法中，对每一个像素点(2 i+1,2 j+1)通过最陡梯度法迭代获得最优的插值系数。最陡梯度法迭代通过如下计算模型进行迭代：
（10）
（11）
（12）
其中，为迭代过程中得到的新像素点，为相同位置像素的误差值， μ为误差因子规范权重系数，式（12）中为目标像素周边最近邻的四个像素点，为优化前的差值系数，为优化后的差值系数。基于如上计算模型，通过计算插值后的图像像素对其权重系数进行迭代更新，再利用更新后的权重系数对插值像素进行优化，得到更加清晰的边缘。参考图7-图8所示：
当 i+ j为偶数时，像素，从而进行NEDI算法的第一步插值；
当 i+ j为奇数时，像素，从而进行NEDI算法的第二步插值。
最后，执行图像融合步骤S4，获取插值重建后多张目标图像块，采用小波变换对图像进行分解及融合，并通过预设的低频融合规则、高频融合规则优化图像的平坦区域、边缘区域，得到融合后的超分辨率图像，如图9所示。本实施例中，图像融合步骤S4中利用Mallat快速算法对图像进行分解融合，Mallat快速算法的分解算法通过如下计算模型执行：
（13）
其中，为图像低频信息，为图像高频垂直方向的信息，为图像高频水平方向的信息，为图像高频对角方向的信息，、分别为镜像共轭滤波器 H和 G作用在图像的列上，、分别为镜像共轭滤波器 H和 G作用在图像的列上；
Mallat快速算法的重构算法通过如下计算模型执行：
。（14）
其中，、、、分别为、、、的伴随矩阵。
考虑到图像低频信息（也即图像中的平坦区域）的融合效果才可保证图像的整体效果，而现有的方法中通常使用加权平均方法，无法有效保留图像的丰富信息，因此，本发明实施例从相位一致性 PC( x,y)、局部对比度 SLCM( x,y)、局部拉普拉斯能量 SML( x,y)三个方面获取边缘、对比度、亮度三个显著特征进行特征互补，以优化图像的平坦区域，具体的，基于如下计算模型计算得到：
（15）
其中， PLS（ x,y）为权重参数， PC( x,y)为相位一致性， SLCM( x,y)为局部对比度、 SML( x,y)为局部拉普拉斯能量， a、 b、 c为权重因子，可对其进行迭代优化以求取最佳权重，提高纹理丰富区域超分辨率重建的精度，提高重建后图像的质量，为局部相位，为相位的加权平均值，为局部幅值（也即第 n个余弦分量的幅度值），( x,y)为像素坐标位置，局部对比度 SLCM( x,y)中：
上式中，为在像素( x,y)周围3×3的邻域，( x 0 ,y 0)为邻域内的像素点，领域大小为，、可以根据所需领域大小灵活配置；
局部拉普拉斯能量 SML( x,y)中，为对图像求取二阶导数：
；
其中，I( x,y)为图像像素坐标，基于上式可知，局部拉普拉斯能量的窗口大小为。
在其中一些实施例中，低频融合规则中，式（13）中融合的图像低频信息表示为如下表达式（16）：
（16）
其中， C n为不同图像的低频分量， PLS n为归一化权重参数， n为图像序号， PLS n是基于相位一致性 PC( x,y)、局部对比度 SLCM( x,y)、局部拉普拉斯能量 SML( x,y)计算得到的。式（16）用于表示图像的低频分量与其相应图像的归一化权重 PLS n相乘后加和得到最后融合的图像的低频信息。
另外，图像高频信息（也即图像中的边缘区域）的融合效果才可保证图像的细节呈现至关重要，而现有的方法中通常使用绝对值取大的方法，没有考虑对像素与像素之间的信息，容易造成细节信息的丢失，因此，本发明实施例利用Sobel梯度算子在不同特征方向上对每一张不同方向的高频细节部分提取细节图像的梯度特征，并将特征点的梯度值作为阈值条件，对要融合的其中两种图像的像素点处的Sobel梯度进行比较，Sobel梯度越大图像越清晰，细节特征越好，具体通过如下Sobel梯度计算模型进行比较：
（17）
其中， D n为选取的不同图像， δ包含HL、LH、HH三个高频分量，也就是说，中包括、及， sobel n( x,y)表示对第 n张图像提取边缘特征值后像素点( x,y)处的值， sobel n+1( x,y)表示对第 n+1张图像提取边缘特征值后像素点( x,y)处的值。
基于如上步骤，本发明实施例超分辨率图像重建方法，解决了在夜晚条件下红外相机分辨率低、识别精确不高的问题，采用多帧图像作为待处理对象，弥补了单张图像信息不足的情况，使用各向异性扩散处理图像获得扩散滤波优化的显著图，基于显著图进行区域划分，将图像分为平坦区域和边缘区域；在平坦区域直接使用双线性插值算法减少运算复杂度，在边缘区域，通过改进的NEDI算法进行非线性插值重建，优化NEDI算法的权重因子，使重建后的图像边缘清晰且耗费时间少，提高方法的运行速度；最后，基于Haar小波算法的多帧图像加权优化方法，对重建后的多帧图像进行有效融合，即保留了单张图像的信息，同时选取每张图像噪声少的区域进行组合，得到高质量清晰的重建后的图像。
为验证本实施例的超分辨率图像重建方法，本发明实施例对重建得到的超分辨率图像进行了质量评价，使用使用客观评价标准通过峰值信噪比PSNR、结构自相似SSIM方法和熵函数进行评判。PSNR方法以（dB）作为单位图像在30dB以上就是较为相似。SSIM方法通过对图像亮度、对比度、结构进行比较，将比较结果规范到（0 - 1）之间，结果越接近1说明图像越相似。基于统计特征的熵函数是衡量图像信息丰富程度的一个重要指标，图像中的信息越多熵越大。经评价实验，本发明实施例的方法的峰值信噪比PSNR为41.2758、结构自相似SSIM为0.97009，熵为3.60372；作为对比实验，而现有采用双线性插值算法及NEDI插值算法进行重建的结果分别为：( a)双线性插值算法：峰值信噪比PSNR为36.5190、结构自相似SSIM为0.89203，熵为3.23353；( b)NEDI插值算法：峰值信噪比PSNR为39.24、结构自相似SSIM为0.95904，熵为3.48683，本发明实施例的超分辨率图像重建方法明显优于采用双线性插值算法或NEDI插值算法进行重建。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
另外，结合上述的本发明实施例超分辨率图像重建方法可以由计算机设备来实现。计算机设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecific Integrated Circuit，简称为ASIC），或者可以被配置成实施本发明实施例的一个或多个集成电路。
其中，存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性（Non-Volatile）存储器。在特定实施例中，存储器包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（Random AccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种超分辨率图像重建方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种超分辨率图像重建方法，其特征在于，包括：
图像分割步骤，获取多帧待处理图像，对多帧待处理图像进行配准后分割出所述待处理图像中的目标图像块；
显著图获取步骤，将所述目标图像块分为平坦区域和边缘区域并经各向异性扩散处理优化所述目标图像块，得到多张显著图；
图像插值重建步骤，基于所述显著图对所述目标图像块进行插值重建，所述目标图像块的平坦区域采用双线性插值法进行插值重建，边缘区域采用改进NEDI算法进行插值重建，其中，所述改进NEDI算法的权重系数为通过迭代优化求取得到；
图像融合步骤，获取插值重建后多张所述目标图像块，采用小波变换对图像进行分解及融合，并通过预设的低频融合规则、高频融合规则优化图像的平坦区域、边缘区域，得到融合后的超分辨率图像。
2.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述图像分割步骤进一步包括：
目标区域获取步骤，在所述多帧待处理图像中确定基准图像及多张待配准图像，分割提取所述基准图像中目标区域ROI；
候选匹配特征点集获取步骤，利用SIFT匹配算法对目标区域ROI进行特征点初匹配，得到个候选匹配特征点以构成候选匹配特征点集；
目标图像块分割步骤，基于候选匹配特征点集构建特征点筛选器，将多个所述待配准图像的特征点坐标值利用图像转换模型计算得到多个单应性矩阵H，从而基于所述特征点筛选器和所述单应性矩阵H在所述待处理图像中分割出目标图像块。
3.根据权利要求2所述的超分辨率图像重建方法，其特征在于，所述目标图像块分割步骤中，所述特征点筛选器通过如下计算模型计算得到：
其中，L为待处理图像分割的子区域数量，k为迭代次数，为计算第k次迭代循环第m个子区域中特征点的数量，为第k次迭代中最大的子特征区域，为对进行重新SIFT特征点匹配，用于表示对的特征点按精度进行排序并选择个特征点的过程，为向下取整，为除中匹配的特征点之外的特征点，为设定的特征点数量阈值，。
4.根据权利要求3所述的超分辨率图像重建方法，其特征在于，所述图像转换模型表示为如下计算模型：
；
其中， 、 为特征点坐标值，单应性矩阵H表示为：
，
其中，、、、、、、、、为单应性矩阵的矩阵参数。
5.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述显著图获取步骤中，所述显著图基于如下各向异性扩散计算模型计算得到：
；
其中，用于表示各向异性扩散滤波函数，为输入计算模型的图像块，为各向异性的程度，当时为各项同性，随着增大，各项异性程度增强，r为滤波半径，C为各方向上的扩散矩阵，为滤波系数。
6.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述改进NEDI算法中，对每一个像素点(2i+1,2j+1)通过最陡梯度法迭代获得最优的插值系数。
7.根据权利要求1所述的超分辨率图像重建方法，其特征在于，所述图像融合步骤中利用Mallat快速算法对图像进行分解融合。
8.根据权利要求7所述的超分辨率图像重建方法，其特征在于，所述低频融合规则中，融合的图像低频信息表示为：
；
其中，C n为不同图像的低频分量，PLS n为归一化权重参数，n为图像序号，PLS n是基于相位一致性PC(x,y)、局部对比度SLCM(x,y)、局部拉普拉斯能量SML(x,y)计算得到的。
9.根据权利要求8所述的超分辨率图像重建方法，其特征在于，所述高频融合规则中，融合的图像高频信息通过如下计算模型计算筛选得到：
；
其中，D n为选取的不同图像，δ包含HL、LH、HH三个高频分量，中包括、及，sobel n(x,y)表示对第n张图像提取边缘特征值后像素点(x,y)处的值，sobel n+1(x,y)表示对第n+1张图像提取边缘特征值后像素点(x,y)处的值。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述的超分辨率图像重建方法。
CN202310381963.XA 2023-04-12 2023-04-12 超分辨率图像重建方法和计算机设备 Active CN116091322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310381963.XA CN116091322B (zh) 2023-04-12 2023-04-12 超分辨率图像重建方法和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310381963.XA CN116091322B (zh) 2023-04-12 2023-04-12 超分辨率图像重建方法和计算机设备

Publications (2)

Publication Number Publication Date
CN116091322A true CN116091322A (zh) 2023-05-09
CN116091322B CN116091322B (zh) 2023-06-16

Family

ID=86208702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310381963.XA Active CN116091322B (zh) 2023-04-12 2023-04-12 超分辨率图像重建方法和计算机设备

Country Status (1)

Country Link
CN (1) CN116091322B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386023A (zh) * 2023-05-29 2023-07-04 松立控股集团股份有限公司 基于时空扩散的高位相机车牌识别方法、系统及电子设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527039A (zh) * 2008-03-06 2009-09-09 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法
CN101609549A (zh) * 2009-07-24 2009-12-23 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
EP2823461A1 (en) * 2012-03-05 2015-01-14 Thomson Licensing Method and apparatus for performing super-resolution
CN104867116A (zh) * 2015-04-21 2015-08-26 重庆大学 一种基于mca和字典学习的车牌超分辨率重构方法
US20170193635A1 (en) * 2014-05-28 2017-07-06 Peking University Shenzhen Graduate School Method and apparatus for rapidly reconstructing super-resolution image
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法
CN107993194A (zh) * 2017-11-30 2018-05-04 天津大学 一种基于平稳小波变换的超分辨率重建方法
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN108765343A (zh) * 2018-05-29 2018-11-06 Oppo（重庆）智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN109584210A (zh) * 2018-10-30 2019-04-05 南京理工大学 多光谱三维静脉显像系统
CN110211084A (zh) * 2019-06-14 2019-09-06 大连海事大学 一种基于权重小波变换的图像多分辨率重建方法
CN110599402A (zh) * 2019-08-30 2019-12-20 西安理工大学 一种基于多特征稀疏表示的图像超分辨率重建方法
CN111652800A (zh) * 2020-04-30 2020-09-11 清华大学深圳国际研究生院 一种单张图像超分辨的方法及计算机可读存储介质
CN113436077A (zh) * 2021-07-28 2021-09-24 山东大学 边缘保持的高光谱图像超分辨率重建方法及系统
CN115546136A (zh) * 2022-09-29 2022-12-30 青岛海信医疗设备股份有限公司 一种医学图像的图像处理方法、设备及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527039A (zh) * 2008-03-06 2009-09-09 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法
CN101609549A (zh) * 2009-07-24 2009-12-23 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
EP2823461A1 (en) * 2012-03-05 2015-01-14 Thomson Licensing Method and apparatus for performing super-resolution
US20170193635A1 (en) * 2014-05-28 2017-07-06 Peking University Shenzhen Graduate School Method and apparatus for rapidly reconstructing super-resolution image
CN104867116A (zh) * 2015-04-21 2015-08-26 重庆大学 一种基于mca和字典学习的车牌超分辨率重构方法
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN107341765A (zh) * 2017-05-05 2017-11-10 西安邮电大学 一种基于卡通纹理分解的图像超分辨率重建方法
CN107993194A (zh) * 2017-11-30 2018-05-04 天津大学 一种基于平稳小波变换的超分辨率重建方法
CN108765343A (zh) * 2018-05-29 2018-11-06 Oppo（重庆）智能科技有限公司 图像处理的方法、装置、终端及计算机可读存储介质
CN109584210A (zh) * 2018-10-30 2019-04-05 南京理工大学 多光谱三维静脉显像系统
CN110211084A (zh) * 2019-06-14 2019-09-06 大连海事大学 一种基于权重小波变换的图像多分辨率重建方法
CN110599402A (zh) * 2019-08-30 2019-12-20 西安理工大学 一种基于多特征稀疏表示的图像超分辨率重建方法
CN111652800A (zh) * 2020-04-30 2020-09-11 清华大学深圳国际研究生院 一种单张图像超分辨的方法及计算机可读存储介质
CN113436077A (zh) * 2021-07-28 2021-09-24 山东大学 边缘保持的高光谱图像超分辨率重建方法及系统
CN115546136A (zh) * 2022-09-29 2022-12-30 青岛海信医疗设备股份有限公司 一种医学图像的图像处理方法、设备及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WENJING YU DEPARTMENT OF NETWORK TECHNOLOGY, SOUTH CHINA INSTITUTE OF SOFTWARE ENGINEERING, GUANGZHOU, CHINA ; MINGJUN ZHANG: "Super Resolution Reconstruction of Video Images Based on Improved Glowworm Swarm Optimization Algorithm", 《2018 IEEE 3RD INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》 *
戴光智;陈铁群;邱栋美;: "小波和插值结合应用于超声图像的超分辨率算法", 无损检测, no. 04 *
晋杰;董丽丽;丁雪;姜宇航;许文海;: "基于权重小波变换的图像多分辨率重建算法", 光电子・激光, no. 11 *
杨宇翔: "图像超分辨率重建算法研究", 《中国优秀硕士学位论文全文数据库》 *
陶志强;李海林;张红兵;: "基于新边缘指导插值的迭代反投影超分辨率重建算法", 计算机工程, no. 06 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116386023A (zh) * 2023-05-29 2023-07-04 松立控股集团股份有限公司 基于时空扩散的高位相机车牌识别方法、系统及电子设备
CN116386023B (zh) * 2023-05-29 2023-08-25 松立控股集团股份有限公司 基于时空扩散的高位相机车牌识别方法、系统及电子设备

Also Published As

Publication number Publication date
CN116091322B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
Liu et al. Wavelet-based dual-branch network for image demoiréing
Chang et al. Spatial-adaptive network for single image denoising
Magid et al. Dynamic high-pass filtering and multi-spectral attention for image super-resolution
US9692939B2 (en) Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence
US9779491B2 (en) Algorithm and device for image processing
Hacohen et al. Deblurring by example using dense correspondence
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
KR20130001213A (ko) 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템
Kato et al. Multi-frame image super resolution based on sparse coding
Liu et al. Satellite video super-resolution based on adaptively spatiotemporal neighbors and nonlocal similarity regularization
EP3105736A1 (en) Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
CN111402170A (zh) 图像增强方法、装置、终端及计算机可读存储介质
CN109064402B (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
Chen et al. A new process for the segmentation of high resolution remote sensing imagery
CN116091322B (zh) 超分辨率图像重建方法和计算机设备
CN111652800B (zh) 一种单张图像超分辨的方法及计算机可读存储介质
CN106157240B (zh) 基于字典学习的遥感图像超分辨率方法
Pandey et al. Classification of priors and regularization techniques appurtenant to single image super-resolution
US20150324953A1 (en) Method and apparatus for performing single-image super-resolution
Wang et al. Multi-scale fast Fourier transform based attention network for remote-sensing image super-resolution
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
Wang et al. Reconstruction of sub‐mm 3D pavement images using recursive generative adversarial network for faster texture measurement
Zhang et al. A new image filtering method: Nonlocal image guided averaging
Xie et al. Bidirectionally aligned sparse representation for single image super-resolution
Yang et al. Hierarchical joint bilateral filtering for depth post-processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant