CN112837220A - 一种提高红外图像分辨率的方法及其用途 - Google Patents
一种提高红外图像分辨率的方法及其用途 Download PDFInfo
- Publication number
- CN112837220A CN112837220A CN202110082821.4A CN202110082821A CN112837220A CN 112837220 A CN112837220 A CN 112837220A CN 202110082821 A CN202110082821 A CN 202110082821A CN 112837220 A CN112837220 A CN 112837220A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- matrix
- formula
- sparse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000015556 catabolic process Effects 0.000 claims abstract description 27
- 238000006731 degradation reaction Methods 0.000 claims abstract description 27
- 230000006835 compression Effects 0.000 claims abstract description 12
- 238000007906 compression Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 79
- 230000006870 function Effects 0.000 claims description 57
- 238000005457 optimization Methods 0.000 claims description 15
- 230000000903 blocking effect Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 abstract description 6
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000004745 nonwoven fabric Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明公开了一种提高红外图像分辨率的方法及其用途，属于红外图像分辨率提升技术领域。所述方法基于改进分块压缩感知理论的支持，包括以下步骤：a.建立原始压缩感知图像超分辨率基础模型；b.引入图像降质模型；c.建立改进压缩感知图像超分辨率模型；d.建立基于改进分块压缩感知理论的超分辨率图像重建目标函数；e.目标函数的优化，获取重建高分辨率图像信号。方法在检测电力设备故障中的应用。该方法能够在较短的时间内更加有效地恢复图像细节、加强红外图像边缘轮廓，便于图像分割。该用途具有便于故障区域定位和故障类型识别等特点。
Description
技术领域
本发明涉及红外图像分辨率提升技术领域。
背景技术
近年来，红外热成像技术因其具有便捷、非接触等优点在电网中得到普遍应用。通过对电力系统中各电力设备进行红外检测，获取电力设备表面温度的分布图后再结合一定的图像处理手段即可判断出该电力设备的运行状态。避免了工作人员与电力设备的直接接触，实现对设备的带电检测，能及时发现设备的潜在隐患；另外，还可以推动电力系统运行维护的数字化和智能化，通过计算机视觉技术实现故障的自动诊断，而非传统的人工诊断。然而由于大规模装设红外传感器的成本问题，只能采用低精度红外传感器对设备进行监测，因此需要对低精度红外传感器采集到的低分辨率图像进行超分辨率重建，得到的高分辨率图像能对后续图像分割、故障定位等技术的实施提供有利条件。
常用图像超分辨率方法可分为三类，即基于插值的方法、基于建模的方法和基于学习的方法。其中基于插值的方法中，最邻近法、双线性、和双三次等代表性的方法都是利用周边点的信息得到待估计点的值，这样简单的估计方式会导致图像出现模糊、锯齿、边缘不清晰和丢失细节等问题。基于建模方法中经典的迭代反向投影法难以引入先验知识，且结果不稳定。基于学习的方法需要大量的训练样本，前期模型训练需要大量高清图像以及高性能硬件设备支持，且重建得到的高分辨率图像可能出现假纹理，这一缺陷会对红外监测、诊断过程中进行的图像分割、目标识别及故障定位等操作产生极为不利的影响。
发明内容
本发明要解决的技术问题是提供一种提高红外图像分辨率的方法及其用途，该方法能够在对图像进行超分辨率的同时达到去模糊的效果，提高重建图像的质量；能够充分利用高分辨率图像的先验知识，同时反映图像在稀疏基和梯度域下的稀疏特性；能够在较短的时间内更加有效地恢复图像细节、加强红外图像边缘轮廓，便于图像分割。该用途具有便于故障区域定位和故障类型识别等特点。
为解决上述技术问题，本发明所采取的技术方案是：
一种提高红外图像分辨率的方法，所述方法基于改进分块压缩感知理论的支持，包括以下步骤：
a.建立原始压缩感知图像超分辨率基础模型，令二维图像信号为X，将其像素点自左至右，自上至下依次排列展开后化为一维高分辨率图像信号x∈Rn；增加稀疏变换矩阵Ψ对一维高分辨率图像信号x进行稀疏变换，则，
基于压缩感知理论，建立原始压缩感知图像超分辨率基础模型：
式中：
为稀疏信号；Φ为采样矩阵；y∈Rm为一维低分辨率图像信号，且n＞＞m；矩阵Ψ为下述中的任意一种：傅里叶基、余弦基、小波基、稀疏基，人工构造的过完备字典；
b.引入图像降质模型，根据图像降质原理引入图像降质模型：
式中：Y为低分辨率图像；X为高分辨率图像；h为模糊核；
为卷积运算；↓为下采样过程，多为三次插值下采样矩阵或点采样矩阵；η则为噪声；
c.建立改进压缩感知图像超分辨率模型，将图像降质原理引入原始压缩感知超分辨率模型后得到改进压缩感知超分辨率模型为：
式中：C为点采样矩阵；H为根据模糊核h构建的模糊矩阵；D为稀疏字典；
其中，稀疏字典D是采用K-SVD字典训练法生成的针对所采集对象的红外图像过完备字典；
模糊矩阵H的构建方式为：
通过生成循环Toeplitz矩阵的方式，将模糊核h与二维图像信号X间的卷积运算，转换为便于利用压缩感知理论计算的模糊矩阵H与一维高分辨率图像信号x间的矩阵乘法运算，即将
转换为Hx。转换过程为：
设退化图像
大小与X相同，均为M×N。模糊核h因其多为方阵且行列数为奇数，大小记为L×L，故设l＝(L-1)/2为模糊核半径；则有离散化的退化模型：
式中：首先对h(i,j)进行补零延拓为
将X(i,j)和h(i,j)进行周期延拓，令其成为周期为M和N的周期函数；
将矩阵G(i,j)和X(i,j)自左至右，自上至下依次排列展开后，以分别得到长度为MN的一维模糊的高分辨率图像信号g和一维高分辨率图像信号x；进一步将
的离散化退化模型转换为g＝Hx，进而可定义MN×MN大小的模糊矩阵H为：
式中:
上述转换方式中对X和h进行了延拓，在对X和h进行延拓前，首先要对X补零，X补零方式为：
式中：0≤i≤M+2l-1且0≤j≤N+2l-1，在完成对红外图像的超分辨率重建后，将图像补零位置重建像素点删除，即可得到重建图像；
离焦模糊的点扩散函数建模为二维高斯函数，模糊核选择为各向同性的高斯模糊核；核函数表达式为：
式中：0≤i,j≤L-1；
d.建立基于改进分块压缩感知理论的超分辨率图像重建目标函数，基于如式(3)所示的结合压缩感知理论与图像降质模型提出的高分辨率图像与低分辨率图像关系式，建立超分辨率图像重建模型并提出两步全变分稀疏迭代(Two-step Total VariationSparse Iteration,TwTVSI)优化求解算法；
基于图像降质原理的压缩感知超分辨率原始目标函数为：
采取分块压缩感知的方式，将图像划分为若干小图像块，对每一个小图像块分别进行超分辨率重建，图像分块方式为：
式中：Y为低分辨率图像，Yb(i,j)为低分辨率图像块，行方向上分为I块，列方向上分为J块，并记Xb(i,j)为Yb(i,j)对应位置的高分辨率图像块,Xb(i,j)大小为S×S；
在目标函数中引入TV正则项，对全图进行最小变分约束，从而达到消除重建图像块效应的目的，其中图像全变分计算方式为：
式中：X(i,j)表示图像矩阵X中第i行，第j列处所含数值内容；
对图像进行分块处理并引入TV正则项后得到目标函数：
式中：
是对Xb(i,j)展开为列向量后的稀疏表示；y(i,j)为对应矩阵Yb(i,j)按行展开的列向量；
在对式(11)的优化求解过程中，用稀疏系数矩阵
对图像矩阵X进行表示，表示方法为
改进后的目标函数表达式为：
式中：
为稀疏系数矩阵；函数Ar(z)表示将z中各列向量按顺序拼接成对应的图像；
e.目标函数的优化，获取重建高分辨率图像信号，利用拉格朗日乘数法将式(12)转化为式(13)所示的无约束优化问题：
式中:β(i,j)为拉格朗日乘数；
对于式(13)中的规划问题，采用TwTVSI优化求解算法，其迭代格式为：
式中：μ(K)为迭代步长；
式中：
和
分别为图像行列方向差分运算函数；
相邻图像块间的差分运算用一周期循环的稀疏字典矩阵表征，设矩阵θ是以S为周期的循环矩阵，即θ(m,n)＝θ(m+S,n)＝θ(m,n+S)，其矩阵结构为：
θ(m,n)为矩阵θ中第m行n列对应的数值k，Dθ(m,n)表示稀疏字典D的第k行对应的行向量，则每一高分辨率图像块Xb(i,j)由其对应稀疏系数表示为：
则
和
计算方式为：
式中
为取非算子，运算方式为
采用近端梯度法(Proximal Gradient Method,PG)进行求解，表达式为：
式中：函数Shrink()为软阈值收缩函数，
表示逐元素乘法，sign()为符号函数。其中
实质上起到步长因子的作用，其大小可通过回溯直线搜索法确定；
综上，两步全变分稀疏迭代优化算法TwTVSI按以下过程实现：
(1)初始化，令K＝1，
(2)进行第一步全变分约束迭代，由梯度下降法求
(3)进行第二步稀疏约束迭代，令
根据式(17)由近端梯度法求取
(4)若满足
小于误差约束ε或K大于最大迭代次数Kmax，迭代结束，输出
为重建高分辨率图像。否则K＝K+1，返回步骤(2)。
提高红外图像分辨率的方法在检测电力设备故障中的应用。
采用上述技术方案所产生的有益效果在于：
本发明基于分块压缩感知理论对低分辨率的电力设备红外图像进行超分辨率重建，将压缩感知理论与图像降质模型相结合；另外，采用改进的K-SVD法训练得到了红外图像专一字典，可对红外图像进行有效的稀疏表示。训练稀疏字典的硬件要求和所需训练图像数量都远远小于构建同构字典的超分辨率方法，并且在进行改进后降低了训练所需时间；最后本发明提出了TwTVSI算法，为消除图像分块重建出现的“块效应”，在稀疏系数最小化的目标函数中引入TV正则项保证图像梯度域的稀疏性，通过梯度下降法与近端梯度法交替迭代求解，得到重建高分辨率图像。
该方法能够在对图像进行超分辨率的同时达到去模糊的效果，提高重建图像的质量；能够充分利用高分辨率图像的先验知识，同时反映图像在稀疏基和梯度域下的稀疏特性；能够在较短的时间内更加有效地恢复图像细节、加强红外图像边缘轮廓，便于图像分割。该用途具有便于故障区域定位和故障类型识别等特点。
附图说明
图1是待处理的64×64低分辨率红外图像；
图2是通过本发明所提出的方法处理图1后所得到的高分辨率红外图像；
图3是通过同构字典法处理图1后所得到的高分辨率红外图像；
图4是通过迭代反向投影法处理图1后所得到的高分辨率红外图像；
图5是通过双三次插值法处理图1后所得到的高分辨率红外图像；
图6是待处理的64×64低分辨率红外图像；
图7是通过本发明所提出的方法处理图6后所得到的高分辨率红外图像；
图8是通过BCS-L1法处理图6后所得到的高分辨率红外图像；
图9是通过BCS-TV法处理图6后所得到的高分辨率红外图像。
具体实施方式
下面将结合附图和具体实施例对本发明进行进一步详细说明。
一种提高红外图像分辨率的方法，所述方法基于改进分块压缩感知理论的支持，包括以下步骤：
a.建立原始压缩感知图像超分辨率基础模型，令二维图像信号为X，将其像素点自左至右，自上至下依次排列展开后化为一维高分辨率图像信号x∈Rn；增加稀疏变换矩阵Ψ对一维高分辨率图像信号x进行稀疏变换，则，
基于压缩感知理论，建立原始压缩感知图像超分辨率基础模型：
式中：
为稀疏信号；Φ为采样矩阵；y∈Rm为一维低分辨率图像信号，且n＞＞m；矩阵Ψ为下述中的任意一种：傅里叶基、余弦基、小波基、稀疏基，人工构造的过完备字典；
b.引入图像降质模型，根据图像降质原理引入图像降质模型：
式中：Y为低分辨率图像；X为高分辨率图像；h为模糊核；
为卷积运算；↓为下采样过程，多为三次插值下采样矩阵或点采样矩阵；η则为噪声；
c.建立改进压缩感知图像超分辨率模型，将图像降质原理引入原始压缩感知超分辨率模型后得到改进压缩感知超分辨率模型为：
式中：C为点采样矩阵；H为根据模糊核h构建的模糊矩阵；D为稀疏字典；
其中，稀疏字典D是采用K-SVD字典训练法生成的针对所采集对象的红外图像过完备字典；
模糊矩阵H的构建方式为：
通过生成循环Toeplitz矩阵的方式，将模糊核h与二维图像信号X间的卷积运算，转换为便于利用压缩感知理论计算的模糊矩阵H与一维高分辨率图像信号x间的矩阵乘法运算，即将
转换为Hx。转换过程为：
设退化图像
大小与X相同，均为M×N。模糊核h因其多为方阵且行列数为奇数，大小记为L×L，故设l＝(L-1)/2为模糊核半径；则有离散化的退化模型：
式中：首先对h(i,j)进行补零延拓为
将X(i,j)和h(i,j)进行周期延拓，令其成为周期为M和N的周期函数；
将矩阵G(i,j)和X(i,j)自左至右，自上至下依次排列展开后，以分别得到长度为MN的一维模糊的高分辨率图像信号g和一维高分辨率图像信号x；进一步将
的离散化退化模型转换为g＝Hx，进而可定义MN×MN大小的模糊矩阵H为：
式中:
上述转换方式中对X和h进行了延拓，目的是为了以周期循环的方式补全边缘以外的像素点，但这种方式在对电力设备红外图像进行分块重建时，会对边缘像素点引入较大误差，因此在对X和h进行延拓前，首先要对X补零，X补零方式为：
式中：0≤i≤M+2l-1且0≤j≤N+2l-1，在完成对红外图像的超分辨率重建后，将图像补零位置重建像素点删除，即可得到重建图像；
由于“离焦”现象为导致红外图像模糊的常见原因，而离焦模糊的点扩散函数建模为二维高斯函数，因此本发明模糊核选择为各向同性的高斯模糊核；核函数表达式为：
式中：0≤i,j≤L-1；
d.建立基于改进分块压缩感知理论的超分辨率图像重建目标函数，基于如式(3)所示的结合压缩感知理论与图像降质模型提出的高分辨率图像与低分辨率图像关系式，建立超分辨率图像重建模型并提出两步全变分稀疏迭代(Two-step Total VariationSparse Iteration,TwTVSI)优化求解算法；
基于图像降质原理的压缩感知超分辨率原始目标函数为：
由于对图像整体进行压缩感知超分辨率重建占用存储空间过大，且计算复杂度极高，因此本发明采取分块压缩感知的方式，将图像划分为若干小图像块，对每一个小图像块分别进行超分辨率重建，图像分块方式为：
式中：Y为低分辨率图像，Yb(i,j)为低分辨率图像块，行方向上分为I块，列方向上分为J块，并记Xb(i,j)为Yb(i,j)对应位置的高分辨率图像块,Xb(i,j)大小为S×S；
由于分块压缩感知的重建方式会为超分辨率图像引入“块效应”，因此发明在目标函数中引入TV正则项，对全图进行最小变分约束，从而达到消除重建图像块效应的目的，其中图像全变分计算方式为：
式中：X(i,j)表示图像矩阵X中第i行，第j列处所含数值内容；
对图像进行分块处理并引入TV正则项后得到目标函数：
式中：
是对Xb(i,j)展开为列向量后的稀疏表示；y(i,j)为对应矩阵Yb(i,j)按行展开的列向量；
在对式(11)的优化求解过程中，在受||X||TV约束时,需对变量X进行更新，而在对
进行稀疏约束时，由于D是一个过完备字典，图像信号的维数远小于其由D表示的稀疏系数维数，故由X得到
是一个难解问题。因此为便于目标函数优化求解，本发明用稀疏系数矩阵
对图像矩阵X进行表示，表示方法为
改进后的目标函数表达式为：
式中：
为稀疏系数矩阵；函数Ar(z)表示将z中各列向量按顺序拼接成对应的图像；
e.目标函数的优化，获取重建高分辨率图像信号，利用拉格朗日乘数法将式(12)转化为式(13)所示的无约束优化问题：
式中:β(i,j)为拉格朗日乘数；
对于式(13)中的规划问题，采用TwTVSI优化求解算法，其迭代格式为：
式中：μ(K)为迭代步长；
式中：
和
分别为图像行列方向差分运算函数；
由于本发明采用的是分块压缩感知的超分辨率重构模型，在进行行列方向差分运算时，会涉及到相邻图像块间边缘元素的交叉运算。经推导得到，相邻图像块间的差分运算用一周期循环的稀疏字典矩阵表征，在保证准确率的前提下，大大加快了运算速度。
设矩阵θ是以S为周期的循环矩阵，即θ(m,n)＝θ(m+S,n)＝θ(m,n+S)，其矩阵结构为：
θ(m,n)为矩阵θ中第m行n列对应的数值k，Dθ(m,n)表示稀疏字典D的第k行对应的行向量，则每一高分辨率图像块Xb(i,j)由其对应稀疏系数表示为：
则
和
计算方式为：
式中
为取非算子，运算方式为
对于
而言，
为凸函数，但关于
不可微，而
为关于
可微的凸函数，故
不能用梯度下降法直接计算，因此采用近端梯度法(ProximalGradient Method,PG)进行求解，表达式为：
式中：函数Shrink()为软阈值收缩函数，
表示逐元素乘法，sign()为符号函数。其中
实质上起到步长因子的作用，其大小可通过回溯直线搜索法确定；
综上，两步全变分稀疏迭代优化算法TwTVSI按以下过程实现：
(1)初始化，令K＝1，
(2)进行第一步全变分约束迭代，由梯度下降法求
(3)进行第二步稀疏约束迭代，令
根据式(17)由近端梯度法求取
(4)若满足
小于误差约束ε或K大于最大迭代次数Kmax，迭代结束，输出
为重建高分辨率图像。否则K＝K+1，返回步骤(2)。
提高红外图像分辨率的方法在检测电力设备故障中的应用。
在通过本申请所提出的方法将低精度红外传感器所采集的电力设备红外图像提高分辨率之后，检测电力设备运行状态，及时发现设备故障隐患的技术方案从现有技术，在此不再赘述。
对比试验：
由图1～5一组图像对比可以看出，采用本发明所提出的方法处理图1后所得到的高分辨率红外图像，其重建图像的边缘质量相较其它三种方法都有着明显提升，除了细节信息更多以外，其边缘区域对比度更高，而这一特点可以为红外诊断中图像分割、故障区域定位和故障类型识别等技术的实施提供更为有利的图像条件。
除上述主观视觉评判结果外，为定量分析红外图像超分辨率重建效果，本发明采用平均梯度(Average Gradient,AG)和信息熵(Information Entropy,IE)两个指标对重建图像进行评价。其中平均梯度计算时采用的差分算子为Sobel算子。同时本文在进行超分辨率重建时，图像转化为YCbCr格式，仅针对对视觉质量影响较大的Y分量采用TwTVSI算法重建，Cb和Cr分量则采用三次插值方法重建，因此评价过程中也仅针对Y分量进行计算。
表1测试图像AG及IE指标大小
可见无论在主观视觉效果，还是客观评价指标上，本发明提出方法所重建得到图像相较其它方法所得图像均有一定优势。
图6～9一组图像给出了采用本发明所提出的方法与目标函数仅有稀疏约束的BCS-L1算法和目标函数仅有全变分约束的BCS-TV算法重建结果对比图。由本组图像可以看出当目标函数仅有稀疏约束时，重建高分辨率图像因分块压缩感知的原因，内部存在较为明显的“块效应”问题，即图像块间边界明显，不连续。而目标函数中仅有全变分约束时，重构图像虽不存在“块效应”，但由于BCS-TV算法仅对图像梯度域稀疏性加以约束，无法很好利用图像其它变化域稀疏性，导致其重建结果中有亮斑出现，且重建时间为1135.6211秒，而采用本发明所提出的方法重建只需14.8195秒，相对来说BCS-TV算法速度过慢。
本发明将压缩感知超分辨率模型与图像降质模型相结合，通过在模型中引入模糊矩阵，在对图像进行超分辨率重建的同时达成反卷积去模糊的目的；再采用改进的K-SVD字典训练法得到包含电力设备红外图像特征的稀疏基；最后为了提高重构图像的效果，针对分块压缩感知重建产生的“块效应”问题，引入全变分正则项保证图像梯度域的稀疏性，消除重建图像的边界噪声，并就目标函数的求解提出了两步全变分稀疏迭代(TwTVSI)算法，通过梯度下降法求解图像最小全变分，利用近端梯度法实现图像稀疏编码的l1范数最小化。
Claims (2)
1.一种提高红外图像分辨率的方法，其特征在于：所述方法基于改进分块压缩感知理论的支持，包括以下步骤：
a.建立原始压缩感知图像超分辨率基础模型，令二维图像信号为X，将其像素点自左至右，自上至下依次排列展开后化为一维高分辨率图像信号x∈Rn；增加稀疏变换矩阵Ψ对一维高分辨率图像信号x进行稀疏变换，则，
基于压缩感知理论，建立原始压缩感知图像超分辨率基础模型：
式中：
为稀疏信号；Φ为采样矩阵；y∈Rm为一维低分辨率图像信号，且n＞＞m；矩阵Ψ为下述中的任意一种：傅里叶基、余弦基、小波基、稀疏基，人工构造的过完备字典；
b.引入图像降质模型，根据图像降质原理引入图像降质模型：
式中：Y为低分辨率图像；X为高分辨率图像；h为模糊核；
为卷积运算；↓为下采样过程，多为三次插值下采样矩阵或点采样矩阵；η则为噪声；
c.建立改进压缩感知图像超分辨率模型，将图像降质原理引入原始压缩感知超分辨率模型后得到改进压缩感知超分辨率模型为：
式中：C为点采样矩阵；H为根据模糊核h构建的模糊矩阵；D为稀疏字典；
其中，稀疏字典D是采用K-SVD字典训练法生成的针对所采集对象的红外图像过完备字典；
模糊矩阵H的构建方式为：
通过生成循环Toeplitz矩阵的方式，将模糊核h与二维图像信号X间的卷积运算，转换为便于利用压缩感知理论计算的模糊矩阵H与一维高分辨率图像信号x间的矩阵乘法运算，即将
转换为Hx。转换过程为：
设退化图像
大小与X相同，均为M×N。模糊核h因其多为方阵且行列数为奇数，大小记为L×L，故设l＝(L-1)/2为模糊核半径；则有离散化的退化模型：
式中：首先对h(i,j)进行补零延拓为
将X(i,j)和h(i,j)进行周期延拓，令其成为周期为M和N的周期函数；
将矩阵G(i,j)和X(i,j)自左至右，自上至下依次排列展开后，以分别得到长度为MN的一维模糊的高分辨率图像信号g和一维高分辨率图像信号x；进一步将
的离散化退化模型转换为g＝Hx，进而可定义MN×MN大小的模糊矩阵H为：
式中:
上述转换方式中对X和h进行了延拓，在对X和h进行延拓前，首先要对X补零，X补零方式为：
式中：0≤i≤M+2l-1且0≤j≤N+2l-1，在完成对红外图像的超分辨率重建后，将图像补零位置重建像素点删除，即可得到重建图像；
离焦模糊的点扩散函数建模为二维高斯函数，模糊核选择为各向同性的高斯模糊核；核函数表达式为：
式中：0≤i,j≤L-1；
d.建立基于改进分块压缩感知理论的超分辨率图像重建目标函数，基于如式(3)所示的结合压缩感知理论与图像降质模型提出的高分辨率图像与低分辨率图像关系式，建立超分辨率图像重建模型并提出两步全变分稀疏迭代(Two-step Total Variation SparseIteration,TwTVSI)优化求解算法；
基于图像降质原理的压缩感知超分辨率原始目标函数为：
采取分块压缩感知的方式，将图像划分为若干小图像块，对每一个小图像块分别进行超分辨率重建，图像分块方式为：
式中：Y为低分辨率图像，Yb(i,j)为低分辨率图像块，行方向上分为I块，列方向上分为J块，并记Xb(i,j)为Yb(i,j)对应位置的高分辨率图像块,Xb(i,j)大小为S×S；
在目标函数中引入TV正则项，对全图进行最小变分约束，从而达到消除重建图像块效应的目的，其中图像全变分计算方式为：
式中：X(i,j)表示图像矩阵X中第i行，第j列处所含数值内容；
对图像进行分块处理并引入TV正则项后得到目标函数：
式中：
是对Xb(i,j)展开为列向量后的稀疏表示；y(i,j)为对应矩阵Yb(i,j)按行展开的列向量；
在对式(11)的优化求解过程中，用稀疏系数矩阵
对图像矩阵X进行表示，表示方法为
改进后的目标函数表达式为：
式中：
为稀疏系数矩阵；函数Ar(z)表示将z中各列向量按顺序拼接成对应的图像；
e.目标函数的优化，获取重建高分辨率图像信号，利用拉格朗日乘数法将式(12)转化为式(13)所示的无约束优化问题：
式中:β(i,j)为拉格朗日乘数；
对于式(13)中的规划问题，采用TwTVSI优化求解算法，其迭代格式为：
式中：μ(K)为迭代步长；
式中：
和
分别为图像行列方向差分运算函数；
相邻图像块间的差分运算用一周期循环的稀疏字典矩阵表征，设矩阵θ是以S为周期的循环矩阵，即θ(m,n)＝θ(m+S,n)＝θ(m,n+S)，其矩阵结构为：
θ(m,n)为矩阵θ中第m行n列对应的数值k，Dθ(m,n)表示稀疏字典D的第k行对应的行向量，则每一高分辨率图像块Xb(i,j)由其对应稀疏系数表示为：
则
和
计算方式为：
式中
为取非算子，运算方式为
采用近端梯度法(Proximal Gradient Method,PG)进行求解，表达式为：
式中：函数Shrink()为软阈值收缩函数，
表示逐元素乘法，sign()为符号函数。其中
实质上起到步长因子的作用，其大小可通过回溯直线搜索法确定；
综上，两步全变分稀疏迭代优化算法TwTVSI按以下过程实现：
(1)初始化，令K＝1，
(2)进行第一步全变分约束迭代，由梯度下降法求
(3)进行第二步稀疏约束迭代，令
根据式(17)由近端梯度法求取
(4)若满足
小于误差约束ε或K大于最大迭代次数Kmax，迭代结束，输出
为重建高分辨率图像。否则K＝K+1，返回步骤(2)。
2.利用权利要求1所述的方法在检测电力设备故障中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110082821.4A CN112837220B (zh) | 2021-01-21 | 2021-01-21 | 一种提高红外图像分辨率的方法及其用途 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110082821.4A CN112837220B (zh) | 2021-01-21 | 2021-01-21 | 一种提高红外图像分辨率的方法及其用途 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112837220A true CN112837220A (zh) | 2021-05-25 |
| CN112837220B CN112837220B (zh) | 2023-07-25 |
Family
ID=75929367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110082821.4A Active CN112837220B (zh) | 2021-01-21 | 2021-01-21 | 一种提高红外图像分辨率的方法及其用途 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112837220B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113689336A (zh) * | 2021-08-25 | 2021-11-23 | 华北电力大学（保定） | 一种电力设备红外图像非盲超分辨率方法 |
| CN113822822A (zh) * | 2021-08-09 | 2021-12-21 | 上海海洋大学 | 一种图像模糊矩阵结构的辨识方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104168429A (zh) * | 2014-08-19 | 2014-11-26 | 西安电子科技大学 | 一种多孔径分波段高分辨率成像装置及其成像方法 |
| CN104185026A (zh) * | 2014-09-05 | 2014-12-03 | 西安电子科技大学 | 随机投影域下相位编码的红外高分辨率成像方法及其装置 |
| CN104766273A (zh) * | 2015-04-20 | 2015-07-08 | 重庆大学 | 一种基于压缩感知理论的红外图像超分辨率重建方法 |
| CN106600657A (zh) * | 2016-12-16 | 2017-04-26 | 重庆邮电大学 | 基于自适应Contourlet变换的图像压缩方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN109785235A (zh) * | 2018-12-29 | 2019-05-21 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 基于压缩感知的红外行人图像超分辨率重建方法及系统 |
-
2021
- 2021-01-21 CN CN202110082821.4A patent/CN112837220B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104168429A (zh) * | 2014-08-19 | 2014-11-26 | 西安电子科技大学 | 一种多孔径分波段高分辨率成像装置及其成像方法 |
| CN104185026A (zh) * | 2014-09-05 | 2014-12-03 | 西安电子科技大学 | 随机投影域下相位编码的红外高分辨率成像方法及其装置 |
| CN104766273A (zh) * | 2015-04-20 | 2015-07-08 | 重庆大学 | 一种基于压缩感知理论的红外图像超分辨率重建方法 |
| CN106600657A (zh) * | 2016-12-16 | 2017-04-26 | 重庆邮电大学 | 基于自适应Contourlet变换的图像压缩方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN109785235A (zh) * | 2018-12-29 | 2019-05-21 | 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） | 基于压缩感知的红外行人图像超分辨率重建方法及系统 |
Non-Patent Citations (7)
| Title |
|---|
| XIUBAO SUI 等: "Infrared super-resolution imaging based on compressed sensing", pages 119 - 124 * |
| YAN WANG 等: "Research on Blind Super-Resolution Technology for Infrared Images of Power Equipment Based on Compressed Sensing Theory", pages 1 - 23 * |
| YAN WANG: "Compressed Sensing Super-Resolution Method for Improving the Accuracy of Infrared Diagnosis of Power Equipment", pages 1 - 19 * |
| 杨敏;李敏;易亚星;: "一种改进的稀疏表示红外图像超分辨率重建", no. 12, pages 5 - 8 * |
| 王钢;周若飞;邹?琨;: "基于压缩感知理论的图像优化技术", no. 01 * |
| 石红芹;余鹰;王艳;: "基于NSCT和压缩感知的数字图像水印算法", no. 11, pages 186 - 190 * |
| 赵洪山 等: "基于压缩感知的电力设备红外图像盲超分辨率方法", vol. 46, no. 3, pages 1177 - 1185 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822822A (zh) * | 2021-08-09 | 2021-12-21 | 上海海洋大学 | 一种图像模糊矩阵结构的辨识方法 |
| CN113822822B (zh) * | 2021-08-09 | 2023-09-22 | 上海海洋大学 | 一种图像模糊矩阵结构的辨识方法 |
| CN113689336A (zh) * | 2021-08-25 | 2021-11-23 | 华北电力大学（保定） | 一种电力设备红外图像非盲超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112837220B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN108898560B (zh) | 基于三维卷积神经网络的岩心ct图像超分辨率重建方法 | |
| CN107025632B (zh) | 一种图像超分辨率重建方法及系统 | |
| Gajjar et al. | New learning based super-resolution: use of DWT and IGMRF prior | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| CN102326379A (zh) | 从图像中去除模糊的方法以及在其上记录该方法的记录介质 | |
| CN106651772B (zh) | 一种卫星云图的超分辨率重建方法 | |
| CN112529776B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN106339996B (zh) | 一种基于超拉普拉斯先验的图像盲去模糊方法 | |
| CN112837220B (zh) | 一种提高红外图像分辨率的方法及其用途 | |
| Thapa et al. | A performance comparison among different super-resolution techniques | |
| CN115578255A (zh) | 一种基于帧间亚像素块匹配的超分辨率重建方法 | |
| Li et al. | A simple baseline for video restoration with grouped spatial-temporal shift | |
| CN114494015A (zh) | 基于盲超分辨率网络的图像重建方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| Suryanarayana et al. | Deep Learned Singular Residual Network for Super Resolution Reconstruction. | |
| Sun et al. | A rapid and accurate infrared image super-resolution method based on zoom mechanism | |
| CN116708807A (zh) | 监控视频的压缩重建方法、压缩重建装置 | |
| Amiri et al. | A fast video super resolution for facial image | |
| CN114170087A (zh) | 一种基于跨尺度低秩约束的图像盲超分辨率方法 | |
| Xie et al. | Bidirectionally aligned sparse representation for single image super-resolution | |
| CN113689336A (zh) | 一种电力设备红外图像非盲超分辨率方法 | |
| Qin et al. | Remote sensing image super-resolution using multi-scale convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |