CN101320072A - 基于红外序列图像超分辨率重建方法的热分析测试系统 - Google Patents

Abstract

本发明公开了一种基于红外序列图像超分辨率重建方法的热分析测试系统。将拍摄装置——非制冷红外热像仪固定在拍摄架x－y位移平台上，把处于导通状态的目标(如电路板)固定在拍摄架支撑柱上。非制冷红外热像仪拍摄得到目标的红外序列图像，通过其上的接口将这些图像存储在计算机终端。使用本发明所述的超分辨率重建方法，对目标的红外序列图像进行超分辨率重建，获得高分辨率的目标图像以供分析。本发明可在给定拍摄距离的情况下，获得比拍摄设备物理分辨率更高分辨率的图像。

Description

基于红外序列图像超分辨率重建方法的热分析测试系统

技术领域

本发明属于测试技术领域，具体地说是一种使用红外序列图像超分辨率重建方法的目标热分析测试系统，主要用于测试分析电路板导线及器件管脚的导通情况。

背景技术

目前国内外利用红外热像仪进行电路板的诊断技术进展如下所述：

1.国外在该方面的发展历程。1969年，可用于“民兵导弹”电子模块测试的红外电路板扫描系统构想诞生。70年代，休斯航空公司研制成功IRFITS(红外故障隔离测试系统)和AIDS(自动红外测试系统)，该系统可以监测到微弱的电路板热像信号，将可能的故障区域展示给测试人员。1983年休斯航空公司成功设计AITIS(自动红外检测和探测系统)。1985年，美国测试测量和诊断技术研究室成功开发IRAMS(红外自动大量筛选系统)。如今，因为红外热像仪的温度灵敏度，空间分辨率，扫描速度等性能的提高以及计算机的处理速度和存储容量的成倍增长，研制高性能的红外热像诊断系统已具备了良好的硬件基础。如今的红外系统通过进行热源辨识，辐射率校准，环境温度校准，热像配准和温度信息的特征提取而改善系统的诊断性能。同时将神经网络、模糊逻辑及遗传算法等人工智能技术引入到红外热像诊断系统中来，实现了诊断过程自动化。由美国军方在20世纪末期开发的NREDS(神经辐射能量检测系统)是一套比较有代表性的电路板故障红外热像诊断系统，该系统已被成功地应用于F-16战斗机控制盒内的电路板和飞行控制程序存储器中EPROM芯片的诊断与维修。

2.国内在电路板故障红外热像诊断方面也有不少成果。总参军械部自行研制开发的“印制电路板红外热像诊断仪”，该设备使用了电子工业部第11所生产的“HR-2型”红外热像仪，在建立印制电路板在正常稳定工作状态下的红外标准热像后，由主控计算机控制施加到电路板上的电源和激励信号，并读取由红外热像仪采集到的热像信息，接着自动分析比较被测电路板的热像和计算机存储器中存储的该电路板的标准热像，对该电路板中存在的故障做出判断。

3.国内在电路板故障红外热像诊断方面的最新应用。目前，较新的应用见于《红外图像处理在实时检测中的应用》(刘兴忠，电子科技大学硕士毕业论文，2003)。文中所述系统可对电路板进行针对性的监测分析，使用专用的故障诊断软件，提取电路板上各元器件的温度信息准确定位故障器件，并显示该器件的名称，代号，坐标，故障类型码等物理信息。在给出测量分析结果的同时，也能给出维修指导意见。

纵观国内外在电路板故障红外热像诊断方面的成果，虽然发展迅速，但仍有一些不足之处，具体表现在：由于硬件条件的限制，对热像信息的处理、显示和存储需要依靠专用的数字处理器、显示器和大容量存储器，使系统外围设备庞杂，十分依赖于机器的性能；只利用了静态热像信息，而没有充分利用整个扫描过程中电路板的温度变化信息(动态信息)；需要专业测试人员根据热像信息进行人工故障定位。

发明内容

本发明的目的在于提出一种新的可应用于目标(如电路板)故障诊断的红外热分析测试装置，对处于工作状态的电路板的进行热像拍摄，获得红外序列图像，

本发明的进一步目的是使用超分辨率重建方法对红外序列图像进行重建，得到目标的高分辨率图像。

实现本发明目的的技术方案是：装配一个拍摄平台，拍摄电路板序列红外图像，通过对图像进行超分辨率重建，得到高分辨率的电路板图像，对该图像进行分析，以获知电路板导线及器件管脚的导通情况。

本发明的测试系统包括拍摄装置、计算机终端和图像处理软件。所述拍摄装置由非制冷红外热像仪，伸缩柱台，x-y位移平台，固定平板，热像仪固定台，支撑柱，水平基座，步进电机组成。拍摄装置的外形结构为矩形框架结构，此框架的上部为热像仪固定台，底部为水平基座，在框架的热像仪固定台和水平基座上分别安装有非制冷红外热像仪、伸缩柱台、x-y位移平台、固定平板、热像仪固定台和支撑柱；其中，非制冷红外热像仪、伸缩柱台、x-y位移平台依次装配固定于固定平板，将固定平板装配固定于热像仪固定台，并使热像仪镜头面向水平基座；支撑柱装配固定于水平基座；所述测试系统的主要部件作用如下：

非制冷红外热像仪：拍摄序列图像，并将序列图像输入到计算机终端；

伸缩柱台：使红外热像仪在竖直方向产生位移，以改变热像仪与目标之间的距离，确保清晰成像；

x-y位移平台：靠两个步进电机使非制冷红外热像仪在水平方向做二维平移，以便在拍摄过程中获得不同位置的目标序列图像；

图像处理软件：对序列图像进行超分辨率重建，输出高分辨率图像。

本发明首先通过拍摄装置获取处于导通状态的目标红外序列图像，再对红外序列图像进行重建分析：

(1)将拍摄装置设计调试到最佳拍摄状态；

(2)对处于稳定工作状态的待测目标进行拍摄，每拍摄一张图像，用x-y位移平台使非制冷红外热像仪产生一段位移，得到目标的序列图像，并存储在计算机终端；

(3)使用图像处理软件对存储的序列图像进行超分辨率重建处理，得到高分辨率目标图像。

本发明提供的一种基于红外序列图像的超分辨率重建方法，包括如下步骤：

(1)建立图像观察模型：即通过算法模拟实际成像过程；首先使用运动估计算法，获取图像序列的位移参数；其次，建立投影模型，以便得到低分辨率图像序列与目标高分辨率图像的具体匹配关系，并以此进行超分辨率重建；最后，考虑实际成像过程中，附加噪声对图像的影响，形成观察模型；

(2)根据建立的图像观察模型，利用超分辨率重建方法对对同一场景的多幅序列图像进行重建，来获取该场景的一幅高分辨率图像。

本发明的基于红外序列图像的超分辨率重建方法，是采用最大后验估计MAP超分辨率重建算法对序列图像进行重建，重建过程包括如下步骤：

(1)设估计得到的高分辨率图像为f，使用最大化后验概率Pr(f|g_l)得到有关f的估计量

方程表达如下：

$\hat{f}=\underset{f}{\arg \max }\mathrm{Pr}\left(f\right|g_1,g_2,\·\·\·,g_k)$

应用贝叶斯理论，上式可写成

$\hat{f}=\underset{f}{\arg \max }\frac{\mathrm{Pr}(g_1,g_2,\·\·\·{,g}_k|f)\mathrm{Pr}\left(f\right)}{\mathrm{Pr}(g_1,g_2,\·\·\·,g_k)}$

由于Pr(g₁，g₂，…，g_k)与相互独立，对上式取对数得到最优解方程：

$\hat{f}=\underset{f}{\arg \max }\{\log \mathrm{Pr}(g_1,g_2,\·\·\·,g_k|f)+\log \mathrm{Pr}\left(f\right)\}$

其中，Pr(f)表示最优模型即规整项，是最终高分辨率图像的先验概率模型，Pr(g₁，g₂，…，g_k)表示序列低分辨率图像的先验概率模型，Pr(g_l|f)为可得到高分辨率图像f的低分辨率序列图像g_l的条件概率模型；

(2)引入吉布斯马尔可夫(Gibbs-MRF)随机场模型，Pr(f)表示为

$\mathrm{Pr}\left(f\right)=\frac{1}{Z}\exp \{-U\left(f\right)\}=\frac{1}{Z}\exp \{-\frac{1}{2\mathrm{\β}}\underset{c\∈C}{\mathrm{\Σ}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}f\right)\}$

其中，Z是归一化系数，U(f)是能量函数，参数β用来控制Gibbs优化模型的变化，c表示一个邻域系统的簇，C表示簇c的全体，d_c ^tf是计算邻域系统的一个标尺，用来计算高分辨率图像f中每一个像素的二阶微分，ρ_α(x)是边缘惩罚函数

${\mathrm{\ρ}}_{\mathrm{\α}}\left(x\right)=\{\begin{array}{c}{x}^2,\left|x\right|\≤\mathrm{\α}\\ 2\mathrm{\α}\left|x\right|-{\mathrm{\α}}^2,\left|x\right|>\mathrm{\α}\end{array}$

其中α是一个门限参数，用来控制最优模型的连续性；

(3)使用观察模型，假设图像噪声为零均值高斯噪声，得到目标高分辨率图像f所应满足的函数表达式：

$\hat{f}=\underset{f}{\arg \min }\{{\left|\right|g-\mathrm{Df}\left|\right|}^2+\mathrm{\Σ}\underset{t=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}f\right)\}$

(4)对f进行迭代，使f满足目标函数的要求，迭代计算式如下：

$f^{n+1}=f^n+\{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{D}_l^T(g_l-D_l{f}^n)-\mathrm{\Σ}\underset{t=1}{\overset{4}{\mathrm{\Σ}}}{\left(d_c^t\right)}^T{{\mathrm{\ρ}}_{\mathrm{\α}}}^{\′}\left(d_c^t{f}^n\right)\}$

其中

${{\mathrm{\ρ}}_{\mathrm{\α}}}^{\′}\left(x\right)=\{\begin{array}{c}x,\left|x\right|\≤\mathrm{\α}\\ \mathrm{sign}\left(x\right)\mathrm{\α},\left|x\right|>\mathrm{\α}\end{array}$

迭代终止条件为：

$\frac{\left|\right|f^{n+1}-f^n\left|\right|}{\left|\right|f^n\left|\right|}\≤\mathrm{\ϵ}$

其中ε是预置的迭代终止系数。

在上述的ρ_α(x)函数中，本发明选用Huber-Markov模型确定红外图像的门限参数α，在噪声较少的情况下，能有效地保存图像的边缘信息。

与现有技术相比较，本发明的有益效果和特点在于：

1、本发明所述的超分辨率重建算法，可以在拍摄红外电路板图像无法达到分辨要求时，有效提高图像分辨率，使图像包含更多细节信息，可以利用更高分辨率的图像进行相关的分析测试。

2、本发明由于采用了运动估计算法，在拍摄序列图像时，不需要规定非制冷热像仪每次移动的位移。位移的确定方法可以用光栅测量序列图像之间的变化而准确求出，使整套测试系统结构简单，稳定耐用。

3、本发明所述的MAP超分辨率重建算法对红外图像重建的有效性和稳定性从实验结果上可以看出是令人满意的。此方法对序列电路板图像进行实际场景拍摄时会有很好的重建结果，能够包含更多的电路板信息，尤其是导线及器件管脚的细节信息，能够准确地对电路板导线及器件管脚的发热情况进行测试分析。

4、本发明能够有效地降低PCB红外热像诊断测试的成本。由于红外探测器像元尺寸大小有限，在实际拍摄过程中常常无法得到所需分辨率红外图像。利用本发明所述的超分辨率重建算法来提高拍摄红外图像的空间分辨率，可以在较低等级的红外探测器上实现较好的成像效果，有效的减少了对精度更高红外探测器的依赖，使测试成本得到控制。

附图说明

图1本发明整体方案框图

图2本发明的拍摄装置立体示意图

图3红外热像仪与x-y位移平台的俯视图

图4实验拍摄光路示意图

图5lena图像移动像素示意图，其中(a)为原lena图像，(b)为向上移动0.5个像素，(c)为向左移动1个像素

图6降采样图像投影处理示意图

图7序列低分辨率图像的观察模型

图8利用超分辨率重建算法进行图像重建以获得高分辨率图像示意图

图9投影MAP图像重建算法的具体迭代重建步骤

图10仿真模拟序列低分辨率图像实验效果对比图样，其中(a)为原高分辨率图像，(b)为低分辨率图像，(c)为三次样条插值图像，(d)为投影MAP算法重建图像(α＝0.001)

图11加载噪声后的仿真模拟序列低分辨率图像处理效果图样，其中，(a)附加高斯噪声低分辨率图像，(b)MAP算法重建图像(α＝0)，(c)MAP算法重建图像(α＝0.001)，(d)MAP算法重建图像(α＝∞)

图12不同序列数量重建效果对比，其中，(a)输入两幅低分辨率图像，(b)输入四幅低分辨率图像，(c)输入八幅低分辨率图像，(d)输入十六幅低分辨率图像

图13使用超分辨率重建算法，序列图像信噪比与输入图像数量点列图

图14实拍实验(人像)序列图像处理效果(a)实拍序列低分辨率图像，(b)三次样条插值，(c)投影MAP算法重建图像(α＝0.001)，(d)投影MAP算法重建图像

具体实施方式

在具体实施方式中将结合附图，清楚、完整描述本发明的热分析测试系统的设置和采用超分辨率重建算法对红外图像进行重建的详细过程。

1、热分析测试系统

参照图1和图2，本发明的热分析测试系统包括拍摄装置，计算机终端和图像处理软件。将非制冷红外热像仪1、待测电路板固定于拍摄架上，构成测试拍摄装置，装配完成后的拍摄装置如图2所示，所述拍摄装置的主要部件包括非制冷红外热像仪1，伸缩柱台2，x-y位移平台3，固定平板4，热像仪固定台5，支撑柱6，水平基座7和两台步进电机8。拍摄装置的外形结构为矩形框架结构，此框架的上部为热像仪固定台5，底部为水平基座7，在框架的热像仪固定台5和水平基座7上分别安装有非制冷红外热像仪1、伸缩柱台2、x-y位移平台3、固定平板4、热像仪固定台5和支撑柱6；其中，非制冷红外热像仪1、伸缩柱台2、x-y位移平台3依次顺序装配固定于固定平板4上，再将组合部件装配固定于热像仪固定台5，并使热像仪1镜头面向水平基座7；支撑柱6装配固定于水平基座7；所述测试装置各组成部件作用如下：

①非制冷红外热像仪1：拍摄序列图像，并将序列图像通过其上的接口存储在计算机终端。

②伸缩柱台2：将热像仪固定其上，靠步进电机驱动可使红外热像仪在竖直方向发生位移，以改变其与电路板之间的距离，确保电路板能够被清晰成像。

③x-y位移平台3：靠两个步进电机对热像仪进行控制，使其能够在水平方向做二维平移，以便在拍摄过程中获得序列电路板图像。

④固定平板4：在将热像仪正确固定到伸缩柱台，并完成x-y位移平台的组装后，将这些组合部件固定在固定平板上。

⑤热像仪固定台5：其结构为中间挖空的阶梯槽的固定平板，为拍摄提供可靠支撑。

⑥支撑柱6：为电路板提供水平支撑，防止带有各种元器件的电路板不能水平放置，造成拍摄失败。

⑦水平基座7：为红外热像仪提供均匀拍摄背景及稳定支撑。

⑧图像处理软件：对序列电路板图像信息进行超分辨率重建，输出高分辨率图像。

图3为红外热像仪与x-y位移平台在图2装配关系下的仰视图，其中编号8为两台分置于x，y方向的步进电机，通过控制x-y位移平台在x-y方向上移动，实现热像仪在二维方向上的移动。

2、调试拍摄装置的拍摄状态

将拍摄装置中所述部件按图2所示装配完毕后，结合实际电路板的成像效果，调试最佳拍摄状态。具体方法如下：

设非制冷红外热像仪焦距为F，热像仪镜头与电路板之间距离即物距为l，像距为l′，则由高斯公式有：

$\frac{1}{l^{\′}}-\frac{1}{l}=\frac{1}{F}---\left(1\right)$

故像距为：

$l^{\′\′}=\frac{l\×F}{l+F}---\left(2\right)$

以此像距值为准，通过调整伸缩柱头调整探测器到热像仪镜头的距离。

设非制冷红外热像仪放大率为β，则物距l，像距l′，物高y，像高y′应满足如下关系：

$\mathrm{\β}=\frac{y^{\′}}{y}=\frac{l^{\′}}{l}$ 即 $\mathrm{\β}=\frac{l^{\′}}{l}---\left(3\right)$

所以电路板上的器件在探测器上对应的高度y′为：

y′＝β×y    (4)

设电路板面积为S＝X×Y，器件管脚宽度为d₁，管脚间距为d₂，热像仪探测器规格为m列n行，像元尺寸为h×h，则探测器面积S₁＝mh×nh。探测器对应物方视场大小为：

$S_2=\frac{\mathrm{mh}}{\left|\mathrm{\β}\right|}\×\frac{\mathrm{nh}}{\left|\mathrm{\β}\right|}---\left(5\right)$

实验中的光路示意图如图4所示。

实例拍摄系统如图2所示，采用定焦距非制冷红外热像仪，其焦距F＝50mm，热像仪镜头与电路板之间距离也即物距为l＝-1300mm；热像仪探测器规格为320×240总计76800个像元，像元为方形，其尺寸h＝0.045mm，探测器面积S₁＝14.4mm×10.8mm；电路板器件管脚宽度d₁＝0.5mm，管脚间距d₂＝0.5mm。

由公式(2)可以计算出像距l′＝52mm，以此数据调整探测器到热像仪镜头的距离。用公式(3)可以计算出β＝0.04，由公式(4)可以求得探测器成像面上对应管脚成像大小|y′|＝0.02mm，由公式(5)算出探测器对应物方视场S₂＝360mm×270mm，由于像元尺寸h＝0.045mm， $\frac{h}{\left|y^{\′}\right|}=\frac{0.045\mathrm{mm}}{0.02\mathrm{mm}}=2.25,$ 可见一个像元里包含的信息无法描述单个管脚的情况。

由此判断此时拍摄出的图像将无法正常分辨出器件的管脚或导线信息。

实际应用过程中，在能够拍到电路板全部信息的前提下，还要具体情况具体分析，对拍摄装置进行相应调整。

3、使用达到最佳拍摄状态的拍摄装置，使待测电路板处于稳定工作状态，进行电路板红外序列图像的拍摄，具体方法如下：

(1)非制冷红外热像仪每拍摄一张电路板红外图像，x-y位移平台在平面上将热像仪移动一段位移，最终得到电路板红外序列图像。

(2)x-y位移平台每次产生的位移不需要提前预置。图像处理软件会计算出各序列图像之间的位移，但x-y位移平台每次移动的位移应小于被测试电路板导线之间或器件管脚之间的距离。

(3)拍摄的序列图像数量应介于8幅到16幅之间。如果图像数量过少，提供的各帧图像的差异信息将会很少，从而影响到最终的热分析测试；如果图像数量过多，重建得到的高分辨率图像质量提高的很小，对后续的热分析基本没有影响，反而会带来很大的计算量。

4、将非制冷红外热像仪拍摄的序列电路板红外图像存储在计算机终端，由图像处理软件提取序列图像信息，进行超分辨率重建，得到高分辨率电路板图像。本发明使用的序列图像超分辨率重建方法如下：

(1)：建立图像观察模型，即通过算法模拟实际成像过程。首先，使用运动估计算法，获取图像序列的相关信息。其次，通过建立投影模型，将低分辨率图像序列与高分辨率图像进行匹配。最后，考虑附加噪声对图像的影响，引入观察模型。

假设非制冷红外热像仪拍摄到的电路板图像序列g含有k幅图像且每幅图像的大小为N₁×N₂，g_l(m，n)表示其第l幅的第(m，n)个像素。重建高分辨率图像f的大小为ηN₁×ηN₂，η是降采样因子。

1)利用预滤波梯度运动估计算法，计算序列图像之间的运动位移参数。

预滤波梯度法是预滤波方法和梯度法的结合。即先对图像进行低通滤波，再用梯度法进行运动估计，这样可以提高图像的光滑度，使梯度的估计更精确，进而提高运动估计的精度。梯度法是一种常用的运动估计算法，算法思想如下：在估算两副图像g₁，g₂之间的位移时，只考虑图像的水平和垂直移动，假设图像g₁和g₂之间的水平位移参数和垂直位移参数分别为a和b，则有：

g₂(x，y)＝g₁(x+a，y+b)    (6)

取g₁的一阶泰勒级数展开式，上式变为：

$g_2(x,y)\≈g_1(x,y)+a\frac{\∂g_1}{\∂x}+b\frac{\∂g_1}{\∂y}---\left(7\right)$

定义E(a，b)为g₁，g₂之间的误差函数，形式为：

$E(a,b)=\mathrm{\Σ}{[g_1(x,y)+a\frac{\∂g_1}{\∂x}+b\frac{\∂g_1}{\∂y}-g_2(x,y)]}^2---\left(8\right)$

计算微分方程 $\∂E(a,b)/\∂a=0$ 和 $\∂E(a,b)/\∂b=0,$ 即

$\left\{\begin{array}{c}\mathrm{\Σ}{g}_x^{2}a+\mathrm{\Σ}{g}_x{g}_{y}b=\mathrm{\Σ}{g}_x(g_2-g_1)\\ \mathrm{\Σ}{g}_x{g}_{y}a+\mathrm{\Σ}{g}_y^{2}b=\mathrm{\Σ}{g}_x(g_2-g_1)\end{array}\right.---\left(9\right)$

式中 $g_x=\∂g_1/\∂x,$ $g_y=\∂g_1/\∂y.$ 求解方程组(9)可以得到g₁，g₂两幅图像的水平位移参数a和垂直位移参数b。

本发明对软件中所用到的运动估计方法进行了精度分析，如图5所示，将一幅128×128的lena图像分别在水平和垂直方向移动1和0.5个像素，使用运动估计对不同位移进行估算的结果如表1所示。

表1运动估计结果

从表1的数据可以看出，梯度法对小平移的运动估计的精度比较高，而预滤波梯度法可以有效地提高运动估计的精度，进而提高图像观察模型的准确性。

2)建立投影模型。设由序列图像g₁，g₂，…，g_k经超分辨率重建得到的高分辨率图像为f，则由上一步得到的序列图像可以看作是此高分辨率图像f的降采样图像。投影模型用于得到低分辨率图像序列与目标高分辨率图像的具体匹配关系，并以此进行超分辨率重建。图像匹配的基本依据是图像降采样模型，表达式如下：

$g(m,n)=\frac{1}{{\mathrm{\η}}^2}\underset{x=1-\mathrm{\η}+\mathrm{\ηi}}{\overset{\mathrm{\ηi}}{\mathrm{\Σ}}}\underset{y=1-\mathrm{\η}+\mathrm{\ηj}}{\overset{\mathrm{\ηj}}{\mathrm{\Σ}}}f(x,y)---\left(10\right)$

其中i＝1，2，…，N₁，j＝1，2，…，N₂。拍摄到的序列图像g₁，g₂，…，g_k之间的运动位移分别为a₁，a₂，…，a_k和b₁，b₂，…，b_k。结合降采样模型(10)式，本发明中所用的高分辨率图像f与序列低分辨率图像g_l之间的投影模型为：

其中β(r′，s)是一个周期为η+1的参数矩阵，r＝x-(η+1)(i-1)，s＝y-(η+1)(j-1)。如图6所示的采样实例，低分辨率图像中的g₁₁像素，是由高分辨率图像的f₁₁，f₁₂，f₂₁，f₂₂经过投影模型的变换得到的，由图6可知，降采样因子η＝2，则参数矩阵形式为：

$\mathrm{\β}=\frac{1}{{\mathrm{\η}}^2}\left[\begin{array}{ccc}(1-a_l)(1-b_l)& 1-b_l& a_l(1-b_l)\\ 1-a_l& 1& a_l\\ b_l(1-a_l)& b_l& a_l{b}_l\end{array}\right]---(12)$

简化(11)式得

g_l＝D_lf    (13)

D_l即为投影模型，式(13)表示了序列图像与高分辨率图像的匹配关系。

3)建立序列图像观察模型。在图像的拍摄过程中，考虑到附加噪声n_l，则修正(13)式为：

g_l＝D_lf+n_l    (14)

其中l＝1，2，…，k。因此，如图7所示，序列低分辨率图像的观察模型可总结为

g＝Df+n    (15)

(15)式中，D可以被看作是投影模型。

(2)：根据(1)所得图像观察模型，利用超分辨率重建对拍摄得到的电路板红外序列图像进行重建，得到高分辨率图像f。基本原理如图8所示，通过对同一场景的多幅图像来获取该场景的一幅高分辨率图像。

本发明使用最大后验估计(MAP)超分辨重建算法对红外序列图像进行重建。具体算法如下：

[1]首先对序列低分辨率图像的初始图像g₁进行三次样条插值，获得最初估计得高分辨率图像fⁿ(n＝0)。

[2]使用MAP估计，通过最大化后验概率Pr(f|g_l)得到有关f的估计量

方程为

$\hat{f}=\underset{f}{\arg \max }\mathrm{Pr}\left(f\right|g_1,g_2,\·\·\·,g_k)---\left(16\right)$

应用贝叶斯理论，上式可化为：

$\hat{f}=\underset{f}{\arg \max }\frac{\mathrm{Pr}(g_1,g_2,\·\·\·,g_k|f)\mathrm{Pr}\left(f\right)}{\mathrm{Pr}(g_1,g_2,\·\·\·,g_k)}---\left(17\right)$

由于Pr(g₁，g₂，…，g_k)与

相互独立，对式(17)取对数，得到最优解方程：

$\hat{f}=\underset{f}{\arg \max }\{\log \mathrm{Pr}(g_1,g_2,\·\·\·,g_k|f)+\log \mathrm{Pr}\left(f\right)\}---\left(18\right)$

其中Pr(f)表示最优模型即规整项，是最终高分辨率图像的先验概率模型，Pr(g₁，g₂，…，g_k)表示序列低分辨率图像的先验概率模型。Pr(g_l|f)为可得到高分辨率图像f的低分辨率序列图像g_l的条件概率模型。

[3]观察式(18)可以看出，不同的最优模型Pr(f)会得出不同的结果。本发明引入吉布斯马尔可夫(Gibbs-MRF)随即场模型，则Pr(f)可表示为

$\mathrm{Pr}\left(f\right)=\frac{1}{Z}\exp \{-U\left(f\right)\}=\frac{1}{Z}\exp \{-\frac{1}{2\mathrm{\β}}\underset{c\∈C}{\mathrm{\Σ}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}f\right)\}---\left(19\right)$

其中Z是归一化系数，U(f)是能量函数，参数β用来控制Gibbs优化模型的变化，c表示一个邻域系统的簇，C表示簇c的全体，d_c ^tf是计算邻域系统的一个标尺。本文中令d_c ^tf计算高分辨率图像f中每一个像素的二阶微分，

$\left\{\begin{array}{c}{d}^1(x,y)=0.5f(x-1,y-1)-f(x,y)+0.5f(x+1,y+1)\\ d^2(x,y)=0.5f(x+1,y-1)-f(x,y)+0.5f(x-1,y+1)\\ d^3(x,y)=f(x,y-1)-2f(x,y)+f(x,y+1)\\ d^4(x,y)=f(x-1,y)-2f(x,y)+f(x+1,y)\end{array}\right.---\left(20\right)$

此方程在图像的平滑区域有很小的数值，在边缘像素有很大的值。ρ_α(x)是边缘惩罚函数

${\mathrm{\ρ}}_{\mathrm{\α}}\left(x\right)=\left\{\begin{array}{c}{x}^2,\left|x\right|\≤\mathrm{\α}\\ 2\mathrm{\α}\left|x\right|-{\mathrm{\α}}^2,\left|x\right|>\mathrm{\α}\end{array}\right.---\left(21\right)$

其中α是一个可人为设定的门限参数，使用该门限参数可以控制最优模型的连续性。

[4]引入(1)中的观察模型，假设图像噪声为零均值高斯噪声，则条件概率模型Pr(g_l|f)表示为

$\mathrm{Pr}\left(g_l\right|f)=\frac{1}{{\left(\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_l\right)}^{N_1{N}_2}}\exp \{-\frac{1}{2{\mathrm{\σ}}_l^2}{\left|\right|g_l-\mathrm{Df}\left|\right|}^2\}---\left(22\right)$

其中l＝1，2，…，k。最后，得到目标函数表达式

$\hat{f}=\underset{f}{\arg \min }\{{\left|\right|g-\mathrm{Df}\left|\right|}^2+\mathrm{\Σ}\underset{t=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}f\right)\}---\left(23\right)$

[5]为了使得到的f满足该目标函数的要求，要不断地对f作出修正，故应对f进行迭代。迭代的目的就是使f收敛于目标函数的一个区域最小解。本文用梯度下降法来计算最优解

$f^{n+1}=f^n+\{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{D}_l^T(g_l-D_l{f}^n)-\mathrm{\Σ}\underset{t=1}{\overset{4}{\mathrm{\Σ}}}{\left(d_c^t\right)}^T{{\mathrm{\ρ}}_{\mathrm{\α}}}^{\′}\left(d_c^t{f}^n\right)\}---\left(24\right)$

其中

${{\mathrm{\ρ}}_{\mathrm{\α}}}^{\′}\left(x\right)=\left\{\begin{array}{c}x,\left|x\right|\≤\mathrm{\α}\\ \mathrm{sign}\left(x\right)\mathrm{\α},\left|x\right|>\mathrm{\α}\end{array}\right.---\left(25\right)$

其中当x＞0时sign(x)＝1，当x＝0时sign(x)＝0，当x＜0时sign(x)＝-1。观察方程(25)可以看出，不同的门限α的会得到不同的收敛解，有以下三种形式：

1)当α＝0时，最优模型Pr(f)即规整项的所有数值为0，此时目标方程不存在最优模型，MAP算法成为图像投影定位算法。

2)当α→∞时，此时最优模型为高斯Markov模型，规整项严格惩罚图像边缘像素，而对图像平滑像素影响很小。

3)当α等于其它值时，最优模型为Huber-Markov模型，通过门限α的变化，调整规整化因子，产生不同收敛解，更好的保存图像的边缘信息。

由于红外图像的大部分信号是低频信号，处理所得到的结果要保存边缘部分的细节信息。直觉上看，对于红外图像门限α最好的选择是Huber-Markov模型。但是在有些情况下，例如图像有很多噪声，Huber-Markov模型不一定会产生最好的解，仿真试验部分对α的三种形式进行了细致的分析比较。

MAP重建算法的迭代终止方程如下所示：

$\frac{\left|\right|f^{n+1}-f^n\left|\right|}{\left|\right|f^n\left|\right|}\≤\mathrm{\ϵ}---\left(26\right)$

其中ε是预置的迭代终止系数。

投影MAP图像重建算法如图9所示，具体迭代步骤如下：

步骤1：对序列低分辨率图像g₁，g₂，…，g_k进行运动估计。

步骤2：对序列低分辨率图像初始图像g₁三次样条插值，获得最初估计的高分辨率图像fⁿ(n＝0)。

步骤3：用投影模型D_l匹配估计的高分辨率图像fⁿ与低分辨率图像序列g_l，获得序列降采样图像D_lfⁿ，并计算投影残差g_l-D_lfⁿ。

步骤4：再用投影模型D₁匹配投影残差g_l-D_lfⁿ与fⁿ，计算 $\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{D}_l^T(g_l-D_l{f}^t),$ 并计算规整项 $\mathrm{\Σ}\underset{t=1}{\overset{4}{\mathrm{\Σ}}}{\left(d_c^t\right)}^T{{\mathrm{\ρ}}_{\mathrm{\α}}}^{\′}\left(d_c^t{f}^n\right).$

步骤5：计算(24)式，获得估计高分辨率图像fⁿ⁺¹。

步骤6：如果满足终止判据式(26)，结束迭代，否则返回步骤3。

(3)对电路板导线及器件管脚发热情况进行分析，具体方法如下：

1)由于待测电路板处于正常工作状态，导通的导线及器件管脚会产生热量，这时非制冷红外热像仪拍摄的图像会显示出电路板上发热的部分，但由于拍摄的图像分辨率低，人眼无法识别出细节信息，对此本发明在调试拍摄装置中的第2部分已给出了具体的解释；

2)利用第4部分的超分辨率重建算法，对第3部分拍摄的序列电路板红外图像进行重建，获得电路板高分辨率图像；

3)由于重建的高分辨率图像已经可以清楚的分辨出电路板上导线及器件的每个管脚，就可以通过视觉观察导线及管脚在图像上的亮度情况，来判定导线及器件管脚的发热情况；

仿真实验

本发明设计了三个仿真实验，使用软件为MATLAB和C++。具体实验步骤如下：

仿真实验一：

(1)仿真模拟序列低分辨率图像，用非制冷红外热像仪拍摄一幅320列×240行高分辨率图像，由于实验需要，将这幅图像剪切为232列×224行[图10(a)]，并将这幅高分辨率图像每移动一个像素降采样成一幅58列×56行低分辨率图像，降采样因子为4，得到16幅序列低分辨率图像[图10(b)所示为其中一幅]。

(2)用本发明介绍的MAP超分辨率重建算法对步骤(1)得到的序列低分辨率图像进行重建，重建结果如图10(d)所示，图10(c)显示了对单幅低分辨率图像进行三次样条插值的结果。

(3)通过对MAP超分辨率重建算法规整项的变化、直接观察以及信噪比，对仿真结果进行比较分析。根据图10和表2，当投影MAP算法的门限参数α＝0.001时，得到了最大的PSNR值，重建效果也是最好的。此时的规整项最优模型为Huber-Markov最优模型，可以很好的保存图像边缘的细节信息。

表2重建图像信噪比

仿真实验二：

(1)对仿真实验一得到的16幅序列低分辨率图像附加均值为0方差为0.01的高斯噪声，得到序列附加噪声低分辨率图像[图12(a)]。

(2)用本发明所述的MAP超分辨率重建算法对步骤(1)得到的序列附加噪声的低分辨率图像图11(a)进行重建，图11(b)、11(c)和11(d)分别显示了MAP超分辨率重建算法门限为α＝0、α＝0.001和α＝∞的重建结果。

(3)通过对MAP超分辨率重建算法规整项的变化、直接观察以及信噪比，对仿真结果进行比较分析。根据图11和表3，当α＝∞时，Gaussian-Markov最优模型严格惩罚图像的噪声点，投影MAP算法得到了最大的PSNR值。比较分析仿真结果，Huber-Markov最优模型虽然可以很好的保存图像边缘，但对附加噪声很敏感。

表3重建附加高斯噪声图像信噪比

仿真试验三：

为了验证序列图像重建中最合理的拍摄图像数量设计本仿真试验，使用软件为MATLAB和C++。具体实验步骤如下：

本实验进一步分析了拍摄低分辨率图像数量的变化，对超分辨率重建结果的影响。实验所用图像为仿真实验一中的序列低分辨率图像，用本发明的超分辨率重建算法分别对2～16幅序列图像进行重建。图12所示为不同序列数量的重建效果对比，通过信噪比与输入图像数量点列图(图13)比较，随着拍摄低分辨率图像的增多，信噪比逐渐增大，重建图像质量提高。但当输入图像大于8幅时，信噪比及重建高分辨率图像质量的变化很微小，因此拍摄低分辨率图像的数量最好大于8幅小于16幅。

实拍试验

本发明设计了一个实际场景实验，使用软件为MATLAB和C++。具体实验步骤如下：

(1)实验设计为两个人靠近站立，并且尽量保持不动，将热像仪固定在一个微调支架上，支架可以上下左右对热像仪进行微小位移调节。热像仪每拍摄一张图像移动一段微小位移，最终得到实拍序列图像。在这个实验中，拍摄得到了12幅320列×240行低分辨率图像，由于实验需要，实验将所得序列图像尺寸剪切为54列×60行，图14(a)显示了序列图像中的一幅，。

(2)用本发明所述的MAP超分辨率重建方法对步骤(1)的实拍序列低分辨率图像进行重建，可以提高4倍的分辨率，图14(b)是三次样条插值的结果，图14(c)和14(d)分别显示了MAP超分辨率重建算法门限为α＝0和α＝∞的重建结果。从视觉直观分析，本发明介绍的MAP超分辨率重建算法重建的高分辨率图像不仅包含更多的细节信息(例如眼镜)，而且克服了图像边缘的振动影响，得到了更平滑的边缘。

Claims (5)

1、一种基于红外序列图像超分辨率重建方法的热分析测试系统，包括拍摄装置、计算机终端和图像处理软件，其特征在于：拍摄装置由非制冷红外热像仪①，伸缩柱台②，x-y位移平台③，固定平板④，热像仪固定台⑤，支撑柱⑥，水平基座⑦，步进电机⑧组成，拍摄装置的外形结构为矩形框架结构，此框架的上部为热像仪固定台⑤，底部为水平基座⑦，在框架的热像仪固定台⑤和水平基座⑦上分别安装有非制冷红外热像仪①、伸缩柱台②、x-y位移平台③、固定平板④、热像仪固定台⑤和支撑柱⑥；其中，非制冷红外热像仪①、伸缩柱台②、x-y位移平台③依次顺序装配固定于固定平板④，再将固定平板④装配固定于热像仪固定台⑤上，并使热像仪镜头面向水平基座⑦；支撑柱⑥装配固定于水平基座⑦；所述热分析测试系统的主要部件作用如下：

非制冷红外热像仪①：拍摄序列图像，并将序列图像输入到计算机终端；

伸缩柱台②：使红外热像仪在竖直方向产生位移，以改变热像仪与目标之间的距离，确保清晰成像；

x-y位移平台③：靠两个步进电机⑧使非制冷红外热像仪在水平方向做二维平移，以便在拍摄过程中获得不同位置的目标序列图像；

图像处理软件：对序列图像进行超分辨率重建，输出高分辨率图像。

2、一种基于红外序列图像的超分辨率重建方法，其特征在于：首先通过拍摄装置获取处于导通状态目标的红外序列图像，再对红外序列图像进行重建分析：

(2.1)将拍摄装置设计调试到最佳拍摄状态；

(2.2)对处于稳定工作状态的待测目标进行拍摄，每拍摄一张图像，用x-y位移平台③使非制冷红外热像仪①产生一段位移，得到目标的序列图像，并存储在计算机终端；

(2.3)使用图像处理软件对存储的序列图像进行超分辨率重建处理，得到高分辨率目标图像。

3、根据权利要求2所述的红外序列图像的超分辨率重建方法，其特征包括如下步骤：

(3.1)建立图像观察模型：即模拟实际成像过程；首先使用运动估计算法，获取图像序列的位移参数；其次，建立投影模型，以便得到低分辨率图像序列与目标高分辨率图像的具体匹配关系，并以此进行超分辨率重建；最后，考虑实际成像过程中，附加噪声对图像的影响，形成观察模型；

(3.2)根据步骤(3.1)得到的图像观察模型，利用超分辨率重建方法对对同一场景的多幅序列图像进行重建，来获取该场景的一幅高分辨率图像。

4、根据权利要求3所述的基于红外序列图像的超分辨率重建方法，其特征在于采用最大后验估计MAP超分辨率重建算法对序列图像进行重建，重建过程包括如下步骤：

(4.1)设估计得到的高分辨率图像为f，使用最大化后验概率Pr(f|g_l)得到有关f的估计量

方程表达如下：

$\hat{f}=\underset{f}{\arg \max }\mathrm{Pr}\left(f\right|g_1,g_2,\·\·\·,g_k)$

应用贝叶斯理论，上式可写成

$\hat{f}=\underset{f}{\arg \max }\frac{\mathrm{Pr}(g_1,g_2,\·\·\·,g_k|f)\mathrm{Pr}\left(f\right)}{\mathrm{Pr}(g_1,g_2,\·\·\·,g_k)}$

由于Pr(g₁，g₂，…，g_k)与

相互独立，对上式取对数得到最优解方程：

$\hat{f}=\underset{f}{\arg \max }\{\log \mathrm{Pr}(g_1,g_2,\·\·\·,g_k|f)+\log \mathrm{Pr}\left(f\right)\}$

其中，Pr(f)表示最优模型即规整项，是最终高分辨率图像的先验概率模型，Pr(g₁，g₂，…，g_k)表示序列低分辨率图像的先验概率模型，Pr(g_l|f)为可得到高分辨率图像f的低分辨率序列图像g_l的条件概率模型；

(4.2)引入吉布斯马尔可夫(Gibbs-MRF)随机场模型，Pr(f)表示为

$\mathrm{Pr}\left(f\right)=\frac{1}{Z}\exp \{-U\left(f\right)\}=\frac{1}{Z}\exp \{-\frac{1}{2\mathrm{\β}}\underset{c\∈C}{\mathrm{\Σ}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}f\right)\}$

其中，Z是归一化系数，U(f)是能量函数，参数β用来控制Gibbs优化模型的变化，c表示一个邻域系统的簇，C表示簇c的全体，d_c ^tf是计算邻域系统的一个标尺，用来计算高分辨率图像f中每一个像素的二阶微分，ρ_α(x)是边缘惩罚函数

${\mathrm{\ρ}}_{\mathrm{\α}}\left(x\right)=\left\{\begin{array}{cc}{x}^2,& \left|x\right|\≤\mathrm{\α}\\ 2\mathrm{\α}\left|x\right|-{\mathrm{\α}}^2,& \left|x\right|>\mathrm{\α}\end{array}\right.$

其中α是一个门限参数，用来控制最优模型的连续性；

(4.3)使用观察模型，假设图像噪声为零均值高斯噪声，得到目标高分辨率图像f所应满足的函数表达式：

$\hat{f}=\underset{f}{\arg \min }\{{\left|\right|g-\mathrm{Df}\left|\right|}^2+\mathrm{\Σ}\underset{t=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{\ρ}}_{\mathrm{\α}}\left(d_c^{t}f\right)\}$

(4.4)对f进行迭代，使f满足目标函数的要求，迭代计算式如下：

$f^{n+1}=f^n+\{\underset{l=1}{\overset{k}{\mathrm{\Σ}}}{D_l}^T(g_1-D_l{f}^n)-\mathrm{\Σ}\underset{t=1}{\overset{4}{\mathrm{\Σ}}}{\left(d_c^t\right)}^T{{\mathrm{\ρ}}_{\mathrm{\α}}}^{\′}\left(d_c^t{f}^n\right)\}$

其中

${{\mathrm{\ρ}}_{\mathrm{\α}}}^{\′}\left(x\right)=\left\{\begin{array}{cc}x,& \left|x\right|\≤\mathrm{\α}\\ \mathrm{sign}\left(x\right)\mathrm{\α},& \left|x\right|>\mathrm{\α}\end{array}\right.$

迭代终止条件为：

$\frac{\left|\right|f^{n+1}-f^n\left|\right|}{\left|\right|f^n\left|\right|}\≤\mathrm{\ϵ}$

其中ε是预置的迭代终止系数。

5、根据权利要求4所述的红外序列图像的超分辨率重建方法，其特征在于：在ρ_α(x)函数中，选用Huber-Markov模型确定红外图像的门限参数α，在噪声较少的情况下，能有效地保存图像的边缘信息。

Images