CN108090870A - 一种基于结构转化自相似的红外图像超分辨率重建方法 - Google Patents
一种基于结构转化自相似的红外图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN108090870A CN108090870A CN201711322310.5A CN201711322310A CN108090870A CN 108090870 A CN108090870 A CN 108090870A CN 201711322310 A CN201711322310 A CN 201711322310A CN 108090870 A CN108090870 A CN 108090870A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msubsup
- mtd
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000013316 zoning Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000007704 transition Effects 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000205 computational method Methods 0.000 claims description 5
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 230000008054 signal transmission Effects 0.000 abstract description 3
- 230000010354 integration Effects 0.000 abstract 1
- 238000013461 design Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明揭示了一种基于结构转化自相似的红外图像超分辨率重建方法，包括计算外观特征代价函数分析图像块的结构信息、计算区域协方差代价函数分析图像区域结构信息、计算稠密残差代价函数减少重建过程的冗余量、计算尺度代价函数约束高分辨率图像的损失信息、及对外观特征、区域协方差、稠密残差、尺度估计进行整合约束。本发明能够保留较多的图像细节，减少图像信号传输过程中的损失量，减轻传输的负荷。该方法能够有效提高图像的分辨率，可以减少硬件算法的运算功耗，提高图像信号的资源利用率，有效改善图像的视觉质量。
Description
技术领域
本发明涉及一种基于结构转化自相似的红外图像超分辨率重建方法，属于的技术领域。
背景技术
红外图像超分辨率重建算法在红外图像场景理解分析中发挥重要作用，它也是机器视觉理解领域重要的一个分支。红外图像超分辨率重建算法旨在提高图像的分辨率，并且保留较多的图像细节信息。
文献一(J.Yang,J.Wright,T.Huang,Y.Ma.Image super-resolution as sparserepresentation of raw image patches[C],IEEE Computer Vision and PatternRecognition,2008:1-8)等人提出了一种基于稀疏编码的重建方法，该方法利用稀疏编码分析图像块结构信息，并模拟图像块之间的关系，从而获得较清晰的高分辨率图像，但难以有效提高红外图像的分辨率，出现马赛克现象。文献二(M.Aharon,M.Elad,A.Bruckstein.KSVD:An Algorithm for Designing Overcomplete Dictionaries forSparse Representation[J],IEEE Transactions on Signal Processing,2006:4311-4322)提出一种kSVD和正交匹配跟踪的方法，该方法利用正交匹配方法可以有效抑制噪声的干扰，并且能够保留较多的目标高频信息。虽然上述方法能够提高自然图像的分辨率，但在红外图像场景中表现不够理想，红外图像细节丢失较多，获得的红外图像质量较低。这主要是因为传统的图像超分辨率重建算法针对自然图像建模，很少有研究工作针对红外图像场景。
发明内容
本发明的目的是解决上述现有技术的不足，传统的图像超分辨率重建方法不适用于红外图像场景，提供一种基于结构转化自相似的红外图像超分辨率重建方法。
为了达到上述目的，本发明所采用的技术方案为：
一种基于结构转化自相似的红外图像超分辨率重建方法，其特征在于：
针对低分辨率红外图像I，图像中某一像素为其在超分辨图像中对应的目标图像块为T(pi)，
利用四种代价函数分析红外图像的结构信息和纹理信息，四种代价函数包括外观特征代价函数Ea(pi)、稠密残差代价函数Ed(pi)、区域协方差代价函数Est(pi)和尺度代价函数Esc(pi)，
红外图像超分辨率重建方法包括，
步骤一，计算外观特征代价函数，分析图像块的结构信息，
用外观特征代价度量红外图像中目标图像块和源图像块之间的相似性，
在灰度空间中通过高斯距离计算红外图像的外观特征，如公式(1)所示：
其中，S(pi)表示采样红外图像ID中利用转换矩阵Mi获得提取的图像块，W(·)表示高斯函数，
针对转换矩阵Mi，先检测目标图像中相似的图像块，再利用加权规则化计算转换矩阵Mi，如公式(2)所示：
其中，表示映射参数，表示信息映射矩阵，表示相似转换矩阵，
矩阵定义如公式(3)所示：
其中，表示一个2×2的旋转矩阵，表示一个尺度标量，
矩阵利用映射信息分析图像的外观特征，保证在目标图像块中保留更多的外观信息，如公式(4)所示：
步骤二：计算区域协方差代价函数，分析图像区域结构信息，
保留结构信息、分析红外特性，计算方法如公式(5)所示：
其中，Rc(,)表示图像块的区域协方差函数，
区域协方差矩阵Rc是一个大小为d×d的矩阵，如公式(6)所示：
其中，fi＝1,...,n∈F表示在一个区域块R中d维的特征向量，β表示这些特征向量的均值，
在重建模型中，通过视觉特征来分析红外图像区域结构信息，如公式(7)所示：
F＝[ID,x,y,||dI/dx||,||dI/dy||,||d2I/dx2||,||d2I/dy2||]T (7)
其中，I表示红外图像，x，y表示像素坐标位置，||dI/dx||，||dI/dy||，||d2I/dx2||和||d2I/dy2||分别表示红外图像I沿x，y轴第一阶导数和第二阶导数；
步骤三：计算稠密残差代价函数，减少重建过程的冗余量，
通过主成分分析PCA计算图像中每个图像块的重建残差，获得邻域模板D，量化模板D得到特征向量EVT，得到目标图像块的PCA基EVD，
基于获得的PCA基EVD，计算图像块pi的重建系数，如公式(8)所示：
然后，计算稠密重建残差，如公式(10)所示：
其中，表示特征T(pi)的向量均值；
步骤四：计算尺度代价函数，约束高分辨率图像的损失信息，
在重建因子和转换矩阵的基础上，通过尺度代价函数尽可能保留相对清晰的图像成份，计算方法如公式(11)所示：
Esc＝max(0,SR-Scale(Mi)) (11)
其中，SR表示图像超分辨率重建因子，Scale(·)表示尺度估计函数，其定义如公式(12)所示：
其中，M表示一个3×3的矩阵；
步骤五：整合四种视觉特征，利用NMF搜索算法在目标图像中估计相似的图像块，
利用转化矩阵Mi传递红外图像的结构信息，并在降采样红外图像ID中映射目标图像块Ti附近邻域的图像块；同时利用最近邻场(NMF)约束转换矩阵，优化目标函数，如公式(13)所示：
本发明的有益效果主要体现在：
针对红外图像场景设计重建模型，能够分析红外图像结构特征和纹理细节，减少不必要的冗余信息；本发明考虑了图像结构自相似信息，通过外观特征、稠密残差、区域协方差和尺度信息这四种视觉特征分析红外图像，并通过一种整合框架来吸收这四种视觉特征，从而可以分析红外图像场景中背景和目标结构信息，保留最显著的目标结构特征信息，获得的图像纹理细节较丰富。
该方法能够保留较多的图像细节，减少图像信号传输过程中的损失量，减轻传输的负荷。该方法能够有效提高图像的分辨率，可以减少硬件算法的运算功耗，提高图像信号的资源利用率，有效改善图像的视觉质量。
附图说明
图1是本发明一种基于结构转化自相似的红外图像超分辨率重建方法的原理图。
图2是本发明重建方法得到的效果图与传统重建方法得到的效果图的第一种对比图。
图3是本发明重建方法得到的效果图与传统重建方法得到的效果图的第二种对比图。
图4是本发明重建方法得到的效果图与传统重建方法得到的效果图的第三种对比图。
图5是本发明重建方法得到的效果图与传统重建方法得到的效果图的第四种对比图。
具体实施方式
本发明提供一种基于结构转化自相似的红外图像超分辨率重建方法。以下结合附图对本发明技术方案进行详细描述，以使其更易于理解和掌握。
一种基于结构转化自相似的红外图像超分辨率重建方法，原理如图1所示。对于给定的一幅低分辨率红外图像I，图像中某一像素为其在超分辨图像中对应的目标图像块为T(pi)。本发明利用四种代价函数分析红外图像的结构信息和纹理信息，包括外观特征代价函数Ea(pi)、稠密残差代价函数Ed(pi)、区域协方差代价函数Est(pi)和尺度代价函数Esc(pi)，提取有用的视觉特征，以更好地表征重建图像的视觉信息。具体实施步骤如下：
步骤一：计算外观特征代价函数，分析图像块的结构信息。
本发明利用外观特征代价度量红外图像中目标图像块和源图像块之间的相似性。在灰度空间中，本发明通过高斯距离计算红外图像的外观特征，如公式(1)所示：
其中，S(pi)表示本文在降采样红外图像ID中利用转换矩阵Mi获得提取的图像块，W(·)表示高斯函数。
针对转换矩阵Mi，本发明采用一种最近邻场(NMF)信息搜索方法，先检测目标图像中相似的图像块，再利用加权规则化计算转换矩阵Mi，如公式(2)所示：
其中，表示映射参数，表示信息映射矩阵，表示相似转换矩阵。
矩阵定义如公式(3)所示：
其中，表示一个2×2的旋转矩阵，表示一个尺度标量。
矩阵利用映射信息分析图像的外观特征，保证在目标图像块中保留更多的外观信息，如公式(4)所示：
步骤二：计算区域协方差代价函数，分析图像区域结构信息。
本发明通过一种多视觉特征的区域协方差方法，保留结构信息、分析红外特性，计算方法如公式(5)所示：
其中，Rc(,)表示图像块的区域协方差函数。
区域协方差矩阵Rc是一个大小为d×d的矩阵，如公式(6)所示：
其中，fi＝1,...,n∈F表示在一个区域块R中d维的特征向量，β表示这些特征向量的均值。
本发明在重建模型中，通过七种视觉特征来分析红外图像区域结构信息，如公式(7)所示：
F＝[ID,x,y,||dI/dx||,||dI/dy||,||d2I/dx2||,||d2I/dy2||]T (7)
其中，I表示红外图像，x，y表示像素坐标位置，||dI/dx||，||dI/dy||，||d2I/dx2||和||d2I/dy2||分别表示红外图像I沿x，y轴第一阶导数和第二阶导数。
步骤三：计算稠密残差代价函数，减少重建过程的冗余量。
本发明通过主成分分析(PCA)计算图像中每个图像块的重建残差，获得邻域模板D，量化模板D得到特征向量EVT，得到目标图像块的PCA基EVD。
基于获得的PCA基EVD，计算图像块pi的重建系数，如公式(8)所示：
然后，计算稠密重建残差，如公式(10)所示：
其中，表示特征T(pi)的向量均值
步骤四：计算尺度代价函数，约束高分辨率图像的损失信息。
本发明在重建因子和转换矩阵的基础上，通过一种尺度代价函数，尽可能保留相对清晰的图像成份，计算方法如公式(11)所示：
Esc＝max(0,SR-Scale(Mi)) (11)
其中，SR表示图像超分辨率重建因子，本发明采用3倍放大倍率作为重建因子，Scale(·)表示尺度估计函数，其定义如公式(12)所示：
其中，M表示一个3×3的矩阵。
步骤五：整合上述四种视觉特征，利用NMF搜索算法在目标图像中估计相似的图像块。
本发明利用转化矩阵Mi传递红外图像的结构信息，并在降采样红外图像ID中映射目标图像块Ti附近邻域的图像块；同时利用最近邻场(NMF)约束转换矩阵，优化目标函数，如公式(13)所示：
本发明的效果可以通过以下实验进一步说明：
实验环境
本实验利用Matlab 2014B软件平台和工作站进行图像超分辨率重建算法实验和对比分析，实验所用的工作站配置为intel i7-3630 2.9GHz四核CPU、8GB RAM。在仿真实验中，利用红外相机获取四种红外图像场景，对图像超分辨率重建算法进行定性分析，并对比三种超分辨率重建算法，即BI算法、SC算法和ZE算法。仿真实验采取300幅红外图像，该图像包括真实的室内场景和室外场景。
选取四种红外图像，计算本算法中四种特征的峰值信噪比(PSNR)，分别为四种红外图像场景，即人体、头盔、建筑物和房屋。区域协方差代价函数获得的PSNR值最高，这表明了该视觉特征对重建算法的性能影响最大。虽然外观特征和稠密残差对最终的重建结果影响不及区域协方差，但若去除这两种视觉特征当中任何一种，都会影响最终的重建结果。尺度特征对重建算法的性能影响最小，但也是重建算法中必不可少的部分。本文重建方法中各个视觉特征是模型的重要组成部分，是不可或缺的，对最终的超分辨率重建结果有不可忽视的影响。
选取四种红外图像进行视觉效果对比，如图2至图5所示，图2为含人物场景图，图3为含头盔场景图，图4为含建筑场景图，图5为含房屋场景图。其中任意一图均具有(a)、(b)、(c)、(d)、(e)五个对比图，(a)为低分辨红外图像，(b)为BI重建成像，(c)为SC重建成像，(d)为ZE重建成像，(e)为本案方法重建成像。
其中，从图5中(e)可以看出，轮廓结构细节比较明显，房屋周围背景的层次也清晰可见。这主要是因为本文算法利用四种视觉特征分析红外图像特性，可保留完整的结构信息和锐利的边缘细节，有效提高重建图像的视觉质量。在图5中(b)，仅能看清外面轮廓，轮廓内的结构信息比较模糊，背景层次也比较模糊。这是因为BI算法利用插值方法提高红外图像的分辨率，会引入错误的像素信息，降低了重建图像的视觉质量。图5中(c)和图5中(e)给出SC和ZE算法重建的视觉效果，从图中可以看出，轮廓的结构信息丢失严重，背景树木噪声比较严重，图像层次比较模糊。这主要是因为这两种算法通过稀疏编码提高图像的分辨率，无法较好地保留目标结构信息，会平滑图像的高频成份，这大大降低了重建图像的视觉质量。
通过以上描述可以发现，本发明一种基于结构转化自相似的红外图像超分辨率重建方法，对红外图像场景设计重建模型，能够分析红外图像结构特征和纹理细节，减少不必要的冗余信息；本发明考虑了图像结构自相似信息，通过外观特征、稠密残差、区域协方差和尺度信息这四种视觉特征分析红外图像，并通过一种整合框架来吸收这四种视觉特征，从而可以分析红外图像场景中背景和目标结构信息，保留最显著的目标结构特征信息，获得的图像纹理细节较丰富。
该方法能够保留较多的图像细节，减少图像信号传输过程中的损失量，减轻传输的负荷。该方法能够有效提高图像的分辨率，可以减少硬件算法的运算功耗，提高图像信号的资源利用率，有效改善图像的视觉质量。
以上对本发明的技术方案进行了充分描述，需要说明的是，本发明的具体实施方式并不受上述描述的限制，本领域的普通技术人员依据本发明的精神实质在结构、方法或功能等方面采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。
Claims (1)
1.一种基于结构转化自相似的红外图像超分辨率重建方法，其特征在于：
针对低分辨率红外图像I，图像中某一像素为其在超分辨图像中对应的目标图像块为T(pi)，
利用四种代价函数分析红外图像的结构信息和纹理信息，四种代价函数包括外观特征代价函数Ea(pi)、稠密残差代价函数Ed(pi)、区域协方差代价函数Est(pi)和尺度代价函数Esc(pi)，
红外图像超分辨率重建方法包括，
步骤一，计算外观特征代价函数，分析图像块的结构信息，
用外观特征代价度量红外图像中目标图像块和源图像块之间的相似性，
在灰度空间中通过高斯距离计算红外图像的外观特征，如公式(1)所示：
<mrow>
<msub>
<mi>E</mi>
<mi>a</mi>
</msub>
<mo>=</mo>
<msubsup>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>W</mi>
<mrow>
<mo>(</mo>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，S(pi)表示采样红外图像ID中利用转换矩阵Mi获得提取的图像块，W(·)表示高斯函数，
针对转换矩阵Mi，先检测目标图像中相似的图像块，再利用加权规则化计算转换矩阵Mi，如公式(2)所示：
<mrow>
<msub>
<mi>M</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>U</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>x</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>y</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>u</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>v</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示映射参数，表示信息映射矩阵，表示相似转换矩阵，
矩阵定义如公式(3)所示：
<mrow>
<mi>U</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>x</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>y</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>x</mi>
</msubsup>
<mi>R</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>y</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示一个2×2的旋转矩阵，表示一个尺度标量，
矩阵利用映射信息分析图像的外观特征，保证在目标图像块中保留更多的外观信息，如公式(4)所示：
<mrow>
<mi>K</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>u</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>v</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>u</mi>
</msubsup>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>v</mi>
</msubsup>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>v</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msubsup>
<mi>s</mi>
<mi>i</mi>
<mi>u</mi>
</msubsup>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
步骤二：计算区域协方差代价函数，分析图像区域结构信息，
保留结构信息、分析红外特性，计算方法如公式(5)所示：
<mrow>
<msub>
<mi>E</mi>
<mrow>
<mi>s</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>R</mi>
<mi>c</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>,</mo>
<msub>
<mi>R</mi>
<mi>c</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Rc(,)表示图像块的区域协方差函数，
区域协方差矩阵Rc是一个大小为d×d的矩阵，如公式(6)所示：
<mrow>
<msub>
<mi>R</mi>
<mi>c</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，fi＝1,...,n∈F表示在一个区域块R中d维的特征向量，β表示这些特征向量的均值，
在重建模型中，通过视觉特征来分析红外图像区域结构信息，如公式(7)所示：
F＝[ID,x,y,||dI/dx||,||dI/dy||,||d2I/dx2||,||d2I/dy2||]T (7)
其中，I表示红外图像，x，y表示像素坐标位置，||dI/dx||，||dI/dy||，||d2I/dx2||和||d2I/dy2||分别表示红外图像I沿x，y轴第一阶导数和第二阶导数；
步骤三：计算稠密残差代价函数，减少重建过程的冗余量，
通过主成分分析PCA计算图像中每个图像块的重建残差，获得邻域模板D，量化模板D得到特征向量EVT，得到目标图像块的PCA基EVD，
基于获得的PCA基EVD，计算图像块pi的重建系数，如公式(8)所示：
<mrow>
<mi>&alpha;</mi>
<mo>=</mo>
<msubsup>
<mi>EV</mi>
<mi>D</mi>
<mi>T</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>T</mi>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>-</mo>
<mi>T</mi>
<mo>(</mo>
<mover>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
然后，计算稠密重建残差，如公式(10)所示：
<mrow>
<msub>
<mi>E</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>EV</mi>
<mi>D</mi>
</msub>
<msub>
<mi>&alpha;</mi>
<mi>i</mi>
</msub>
<mo>+</mo>
<mi>T</mi>
<mo>(</mo>
<mover>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示特征T(pi)的向量均值；
步骤四：计算尺度代价函数，约束高分辨率图像的损失信息，
在重建因子和转换矩阵的基础上，通过尺度代价函数尽可能保留相对清晰的图像成份，计算方法如公式(11)所示：
Esc＝max(0,SR-Scale(Mi)) (11)
其中，SR表示图像超分辨率重建因子，Scale(·)表示尺度估计函数，其定义如公式(12)所示：
<mrow>
<mi>S</mi>
<mi>c</mi>
<mi>a</mi>
<mi>l</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>M</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<mi>det</mi>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>M</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>M</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<msub>
<mi>M</mi>
<mrow>
<mn>3</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>M</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>M</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<msub>
<mi>M</mi>
<mrow>
<mn>3</mn>
<mo>,</mo>
<mn>2</mn>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>M</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>M</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<msub>
<mi>M</mi>
<mrow>
<mn>3</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>M</mi>
<mrow>
<mn>3</mn>
<mo>,</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>M</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<msub>
<mi>M</mi>
<mrow>
<mn>3</mn>
<mo>,</mo>
<mn>2</mn>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，M表示一个3×3的矩阵；
步骤五：整合四种视觉特征，利用NMF搜索算法在目标图像中估计相似的图像块，
利用转化矩阵Mi传递红外图像的结构信息，并在降采样红外图像ID中映射目标图像块Ti附近邻域的图像块；同时利用最近邻场(NMF)约束转换矩阵，优化目标函数，如公式(13)所示：
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>s</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>O</mi>
</mrow>
</munder>
<msub>
<mi>E</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>E</mi>
<mi>d</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>s</mi>
<mi>t</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>E</mi>
<mrow>
<mi>s</mi>
<mi>c</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711322310.5A CN108090870A (zh) | 2017-12-13 | 2017-12-13 | 一种基于结构转化自相似的红外图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711322310.5A CN108090870A (zh) | 2017-12-13 | 2017-12-13 | 一种基于结构转化自相似的红外图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108090870A true CN108090870A (zh) | 2018-05-29 |
Family
ID=62173980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711322310.5A Pending CN108090870A (zh) | 2017-12-13 | 2017-12-13 | 一种基于结构转化自相似的红外图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108090870A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102463A (zh) * | 2018-08-13 | 2018-12-28 | 北京飞搜科技有限公司 | 一种超分辨率图像重建方法及装置 |
| CN109509149A (zh) * | 2018-10-15 | 2019-03-22 | 天津大学 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
| CN106254722A (zh) * | 2016-07-15 | 2016-12-21 | 北京邮电大学 | 一种视频超分辨率重建方法和装置 |
| CN106934766A (zh) * | 2017-03-15 | 2017-07-07 | 西安理工大学 | 一种基于稀疏表示的红外图像超分辨率重建方法 |
| CN107316274A (zh) * | 2017-05-10 | 2017-11-03 | 重庆邮电大学 | 一种边缘保持的红外图像重建方法 |
-
2017
- 2017-12-13 CN CN201711322310.5A patent/CN108090870A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778671A (zh) * | 2015-04-21 | 2015-07-15 | 重庆大学 | 一种基于sae和稀疏表示的图像超分辨率方法 |
| CN106254722A (zh) * | 2016-07-15 | 2016-12-21 | 北京邮电大学 | 一种视频超分辨率重建方法和装置 |
| CN106934766A (zh) * | 2017-03-15 | 2017-07-07 | 西安理工大学 | 一种基于稀疏表示的红外图像超分辨率重建方法 |
| CN107316274A (zh) * | 2017-05-10 | 2017-11-03 | 重庆邮电大学 | 一种边缘保持的红外图像重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| WEI QI: "Infrared image super-resolution via transformed self-similarity", 《INFRARED PHYSICS&TECHNOLOGY》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102463A (zh) * | 2018-08-13 | 2018-12-28 | 北京飞搜科技有限公司 | 一种超分辨率图像重建方法及装置 |
| CN109102463B (zh) * | 2018-08-13 | 2023-01-24 | 苏州飞搜科技有限公司 | 一种超分辨率图像重建方法及装置 |
| CN109509149A (zh) * | 2018-10-15 | 2019-03-22 | 天津大学 | 一种基于双通道卷积网络特征融合的超分辨率重建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yoo et al. | Photorealistic style transfer via wavelet transforms | |
| Chen et al. | Denoising hyperspectral image with non-iid noise structure | |
| CN103093444B (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
| CN103295197B (zh) | 基于字典学习和双边正则的图像超分辨率重建方法 | |
| CN104008539B (zh) | 基于多尺度几何分析的图像超分辨率重建方法 | |
| CN103295196B (zh) | 基于非局部字典学习和双正则项的图像超分辨率重建方法 | |
| CN102968775B (zh) | 基于超分辨率重建技术的低分辨率人脸图像的重建方法 | |
| CN104408700A (zh) | 基于形态学和pca的轮廓波红外与可见光图像融合方法 | |
| CN110796625A (zh) | 一种基于组稀疏表示和加权全变分的图像压缩感知重构方法 | |
| CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
| Zhang et al. | Collaborative network for super-resolution and semantic segmentation of remote sensing images | |
| CN104268833B (zh) | 基于平移不变剪切波变换的图像融合方法 | |
| CN108765280A (zh) | 一种高光谱图像空间分辨率增强方法 | |
| Hu | Multiscale illumination normalization for face recognition using dual-tree complex wavelet transform in logarithm domain | |
| CN108280804A (zh) | 一种多帧图像超分辨率重建方法 | |
| CN108305297A (zh) | 一种基于多维张量字典学习算法的图像处理方法 | |
| CN106815855A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| CN104657951A (zh) | 图像乘性噪声移除方法 | |
| Wang et al. | New image restoration method associated with tetrolets shrinkage and weighted anisotropic total variation | |
| CN111291669A (zh) | 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法 | |
| Mahmood et al. | Human visual enhancement using multi scale retinex | |
| CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
| CN108090870A (zh) | 一种基于结构转化自相似的红外图像超分辨率重建方法 | |
| CN106296583B (zh) | 基于图像块组稀疏编码与成对映射的含噪高光谱图像超分辨率重构方法 | |
| CN107292855A (zh) | 一种结合自适应非局部样本和低秩的图像去噪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180529 |
|
| RJ01 | Rejection of invention patent application after publication |