CN107025648A - 一种电路板故障红外图像自动检测方法 - Google Patents

Abstract

一种电路板故障红外图像自动检测方法，采用可见光图像和红外热图像同时采集的方法获得电路板工作状态的图像信息，先采集电路板正常工作时的可见光图像和红外热图像，存储在数据库中，检测故障电路板时，将拍摄到的电路板图像（可见光图像和红外热图像）与数据库中的正常状态的图像进行对照比较，利用计算机图像处理，找出温度异常的元器件或线路所在的区域和具体位置，并自动在可见光图像上标出，实现电路板可能故障元件的自动检测，该技术可以应用在电路板维修、设备故障监测等领域，也可以在电力设备的故障检修、石化管道积炭堵塞、保温层脱落检查、铁路机车的轮轴状态监测、防火、防洪防病等涉及温度变化的非接触测量领域。

Description

一种电路板故障红外图像自动检测方法

技术领域

本发明属于红外成像技术领域，具体涉及一种电路板故障红外图像自动检测方法。

背景技术

随着红外成像技术的不断发展和成熟，红外热像仪的成本越来越低，性能越来越好，应用也越来越广泛。根据红外辐射理论和红外热像仪的测温原理可知，红外热像仪是利用红外探测器和光学成像物镜接收被测目标辐射红外光线的装置，它可以将不同温度目标的红外辐射能量分布图形，反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。简单地说，红外热像仪就是能接收红外线的照相机，它将物体发出的不可见红外能量转变为可见的热图像。热图像上面的不同颜色代表被测物体的不同温度。红外热像仪是全被动接收仪器，对于其他精密电子仪器设备没有任何干扰，并能够进行非接触式的、高分辨率的温度测量，生成高质量的热分布场图像，可提供测量目标的众多信息，弥补了人类肉眼的不足，已广泛应用于军事领域以及电力行业、石化行业、交通及抢险救灾等领域，未来发展前景更是不可限量。

红外热像仪拍摄的是人眼睛看不到的红外热像图，这种图像与通常看到的可见光图像完全不同。可见光图像是人们熟悉的物体表面特征的图像，和人眼中看到的景象几乎一致，图像清晰，可以直观的表示物体特征，比如照相机拍摄的照片。红外热像图是物体表面温度分布的图像。这里需强调的是，它是物体表面而不是物体内部的温度分布图像。它的神奇之处就在于，物体的表面温度是可以“看”到的，可以通过灰度或伪彩色显示成人眼可以识别的图像。

电路板故障红外图像诊断是利用红外热像仪测得电路板上各电子元器件在工作时的红外辐射温度，进而通过温度信息来判定是否发生故障及故障位置。由于许多电路板上各电子元器件在工作时都会不同程度的发热，电路板发生故障时大多伴随各电子元器件发热状态的变化，通过测定发热状态的变化，即可初步判断出各电子元器件工作状态，确定可能的故障点位置。

电路板故障红外图像诊断方法已经在一些领域得到应用，但由于红外热图像与可见光图像相比，缺少了层次和立体感，其清晰度远不如可见光图像，因此在利用红外热像图分析问题时，往往还需要人工进行温度异常点的判断和定位，且由于红外热图像并不符合人们平日的视觉习惯，在红外热图像上确定的温度异常点要在实际电路板上准确找到相应的位置有一定的困难。特别是由于红外热图像本身只有灰度数据，图像质量较差，利用计算机进行图像自动判断、识别、分析、定位，难度较大，识别、定位的准确度也有待进一步提高。

发明内容

为了克服上述现有技术的不足，本发明的目的是一种电路板故障红外图像自动检测方法，针对红外热图像本身只有灰度数据，图像质量较差，利用计算机进行图像自动判断、识别、分析、定位，难度较大，识别、定位的准确度不高的问题，采用可见光图像和红外热图像同时采集的方法获得电路板工作状态的图像信息。先采集电路板正常工作时的可见光图像和红外热图像，存储在数据库中，检测故障电路板时，将拍摄到的电路板图像(可见光图像和红外热图像)与数据库中的正常状态的图像进行对照比较，利用计算机图像处理，找出温度异常的元器件或线路所在的区域和具体位置，并自动在可见光图像上标出，实现电路板可能故障元件的自动检测。

为了实现上述目的，本发明采用的技术方案是：

一种电路板故障红外图像自动检测方法，其特征在于，包括以下步骤：

1)可见光图像和红外热图像融合配准；

利用可见光相机和红外热像仪光路相对固定，所拍图像空间对应关系固定的特点，确定好可见光图像和红外热图像融合配准关系，基本做到逐点对应；

2)红外图像之间的空间配准；

利用红外热像仪测得电路板上各电子元器件在工作时的红外辐射温度，进而通过温度信息来判定是否发生故障及故障位置，为了达到快速、准确检测定位电路板温度异常区域的目的，必须将采集到的正常工作标准红外热图像与待测红外热图像进行精确配准，采用灰度变换、平滑滤波、锐化增强、频域处理、图像重构、图像识别对图像预处理，然后进行红外图像拼接与配准处理，完成故障红外图像与标准红外图像配准计算；

3)可见光图像辅助精确红外图像配准；

采用基于不变特征的图像配准算法，利用SIFT算法对可见光图像进行特征点检测，采取粗匹配与精匹配结合的匹配策略选取特征点，并将其映射到红外图像，实现快速、有效、高精度的红外图像配准；

首先由一系列的不同核值σ的高斯函数(G(x,y,σ))与图像(I(x,y))做卷积得到的高斯尺度空间(L(x,y,σ))，其次高斯尺度空间进行采样得到高斯金字塔，将相邻的高斯尺度空间做差得到高斯差分尺度空间，即：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

在高斯差分尺度空间中的中间层的每个像素与相邻的26个像素点(其中包含同层8个相邻的像素点以及上层和下层各9个相邻的像素点)进行比较，找出极值点，这些极值点也是候选点；

确定特征点位置；

检测到的所有极值点通过三维二次函数进行拟合，达到精确极值点位置的目的，同时去除对比度低的极值点(对比度低的极值点对噪声很敏感，不稳定)，DoG算子对边缘响应强烈，因此在边缘上的极值点不稳定，必须去除，去除对比度低的极值点和边缘上的极值点，剩下的极值点为图像的特征点；

SIFT特征点配准算法；

设待配准图像为M，基准图像为N，图像M的特征点描述子集合为R＝{r₁,r₂,r₃,…,r_M}，图像N的特征点描述子集合为S＝{s₁,s₂,s₃,…,s_N}，则图像M中某个特征点描述子r_m与图像N中某个特征点描述子s_n的欧氏距离d_mn为：

图像M中某个特征点描述子r_m与图像N中特征点描述子s_n有最近距离d_mn且与描述子s_k有次近距离d_mk，如果有：

式中T为常数，通常取T∈(0.4,0.8)，则接受该匹配点对；

图像变换，设待配准图像中的点(x,y)经过仿射变换到标准图像为(u,v)，则：

式中为旋转与缩放量，为平移量，则仿射变换矩阵可以写为：

通过最小二乘法就计算仿射变换的变换矩阵；

粗匹配，经过SIFT算法检测到特征点生成的描述子后进行特征点匹配；

精匹配，经过SIFT算法检测到特征点生成的描述子后进行特征点匹配有错误匹配点对，剔除错误匹配点对；

为了从红外热图中提取需要的故障特征，需要确定如何从图像中求出那些最需要、最有效的特征；

4)通过正常板卡与故障板卡的红外图像对比及计算，对电路板卡故障进行判别与精确定位；为了在板卡红外热图像中提取出最有效的特征，首先对原始红外图像进行了滤波、降噪预处理，设定温度阈值和灰度阈值通过拉普拉斯算子把背景去除，从而使芯片与背景分离，将芯片准确提取出来；然后提取芯片特征，依据芯片特征使两幅图像配准；最后对两幅图像进行差值运算，得到温度异常区域并将其标注出来，完成故障区域判断，再利用红外图像和可见光图像的一一对应关系，在可见光图像中找到对应的温度异常区域并将其标注出来，完成故障区域显示，然后格局需要，可以自动生成报表，形成故障诊断报告；经过图像处理和比对，故障区域将在图像中被圈出。

本发明的有益效果是：

本发明相关技术可以应用在电路板维修、设备故障监测等领域，也可以在电力设备的故障检修、石化管道积炭堵塞、保温层脱落检查、铁路机车的轮轴状态监测、防火、防洪防病等涉及温度变化的非接触测量领域。

附图说明

图1为故障检测仪硬件组成示意图。

图2为可见光相机和红外相机同时拍摄的可见光图像和红外热图像。

图3为图像平移示意图。

图4为图像旋转示意图。

图5为图像缩放比例差异示意图。

图6为图像沿某个方向扭曲示意图。

图7为SIFT算法流程图。

图8为建立高斯差分金字塔并检测极值点示意图。

图9为特征点描述子生成示意图。

图10为用于粗匹配实验的同一电路板卡图像。

图11为粗匹配特征点对连线图。

图12为基于粗匹配点对的配准图像。

图13为精匹配流程图。

图14为精匹配特征点对连线图。

图15为基于精匹配点对的配准图像。

图16为故障位置在红外图像和可见光图像上相应区域示意图。

图17为调制器卡非正常工作区域示意图

图18为区域1红外热对比图。

图19为区域2红外热对比图。

图20为区域3红外热对比图。

具体实施方式

以下结合附图及实施例对本法民进一步叙述。

构建如图1所示的电路板故障红外图像自动检测设备，完成以下步骤：

1)可见光图像和红外热图像融合配准

利用可见光相机和红外热像仪光路相对固定，所拍图像空间对应关系固定(通过硬件设计实现)的特点，确定好可见光图像和红外热图像融合配准关系，基本做到逐点对应(见图2)，为下一步故障自动检测和显示打下基础。

2)红外图像之间的空间配准

电路板故障红外图像诊断是利用红外热像仪测得电路板上各电子元器件在工作时的红外辐射温度，进而通过温度信息来判定是否发生故障及故障位置。为了达到快速、准确检测定位电路板温度异常区域的目的，必须将采集到的正常工作标准红外热图像与待测红外热图像进行精确配准，然后通过正常板卡与故障板卡的红外图像对比及计算，对通信板卡故障进行判别与精确定位；完成故障区域判断；由此可见，两幅红外图像能否精确配准，直接影响到故障的检测与定位。但是由于正常工作标准红外热图像与待测红外热图像的拍摄时间、地点场合不会完全一样(正常工作标准红外热图像通常是事先拍摄好，存储在计算机中)，会导致图像的配准误差较大，精确配准难度加大。影响配准精度的原因主要有以下几个方面：

由于拍摄位置的不同，造成故障板卡与标准板卡的几何中心不一致，导致图像平移，如图3所示：

由于拍摄角度的不同，造成故障板卡与标准板卡的边界角度不一致，导致图像旋转，如图4所示。

由于拍摄距离的不同，造成故障板卡与标准板卡的规格不一致，导致图像大小比例差异，如图5所示。

由于拍摄时镜头法线与板卡法线不平行，造成图像沿着某个方向扭曲，如图6所示：

一般情况下，采用灰度变换、平滑滤波、锐化增强、频域处理、图像重构、图像识别等手段进行图像预处理，然后进行红外图像拼接与配准处理，完成故障红外图像与标准红外图像配准计算，但是由于红外图像本身质量不高(分辨率低，只有灰度信息)，精确配准计算难度较大。

3)可见光图像辅助精确红外图像配准

图像配准可分为基于灰度的图像配准和基于特征的图像配准。基于灰度的图像配准一般要求图像的相关性强，而且计算量大，很难达到实时性的需求；基于特征的图像配准计算量小、运算速度快，且具有较强的鲁棒性，本系统采用基于不变特征的图像配准算法。

常用的特征提取算法有Harris，SUSAN，SIFT(Scale Invariant FeaturesTransform)和SUFT(Speeded-Up Robust Features)等。SIFT算子最早由Lowe David G提出，是建立在DoG(Difference of Gaussian)尺度空间理论基础上的一种算法。该算法采取邻域方向性信息联合的思想，从空间域和尺度域两个方面对图像进行特征分析，对检测到的关键点用128维的特征向量表征，具有尺度不变性和较强的鲁棒性。SIFT算法性能优于Harris、SUSAN，SUFT等角点算法，本发明针对已经建立的可见光图像和红外图像的空间一一对应关系，利用SIFT算法对可见光图像进行特征点检测，采取粗匹配与精匹配结合的匹配策略选取特征点，并将其映射到红外图像的方法，实现快速、有效、高精度的红外图像配准。

(1)SIFT算法

SIFT算法的理论是基于尺度空间理论。1999年British Columbia大学大卫.劳伊(David G.Lowe)教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT(尺度不变特征变换)，这种算法在2004年被加以完善。其基本思想是在视觉信息处理模型中引入一个尺度参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息深入挖掘图像的本质特征。SIFT算法的基本流程如图7所示。

建立高斯差分金字塔并检测极值点，

SIFT算法是通过DoG(Difference-of-Gaussian)算子构建高斯差分金字塔来检测极值点。首先由一系列的不同核值σ的高斯函数(G(x,y,σ))与图像(I(x,y))做卷积得到的高斯尺度空间(L(x,y,σ))。其次高斯尺度空间进行采样得到高斯金字塔，将相邻的高斯尺度空间做差得到高斯差分尺度空间，即：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

在高斯差分尺度空间中的中间层的每个像素与相邻的26个像素点(其中包含同层8个相邻的像素点以及上层和下层各9个相邻的像素点)进行比较，找出极值点，这些极值点也是候选点。如图8所示。

确定特征点位置

检测到的所有极值点通过三维二次函数进行拟合，达到精确极值点位置的目的，同时去除对比度低的极值点(对比度低的极值点对噪声很敏感，不稳定)。此外，DoG算子对边缘响应强烈，因此在边缘上的极值点不稳定，必须去除。去除对比度低的极值点和边缘上的极值点，剩下的极值点称为图像的特征点。

特征点方向描述

以特征点为中心，在高斯尺度空间中，计算特征点及其邻域点的梯度幅度及方位角，用直方图统计特征点及其邻域的梯度方向，直方图的峰值代表特征点的主要方向，如果直方图中存在其他方向能量高于主方向能量的80％，这些方向将作为特征点的辅助方向。

特征点描述子生成

为了确保旋转不变性，将坐标轴旋转至特征点主方向，以特征点为中心的16*16窗口，分成16个4*4子窗口。计算各子窗口内16个像素点的梯度方向，对各像素点的梯度方向进行高斯加权累加，形成一个种子点，每个种子点包含八个方向梯度信息。则每个关键点对应128维向量。如图9所示。

(2)SIFT特征点配准算法

Lowe提出的特征配准算法是采用欧氏距离作为特征点相似性的度量。设待配准图像为M，基准图像为N，图像M的特征点描述子集合为R＝{r₁,r₂,r₃,…,r_M}，图像N的特征点描述子集合为S＝{s₁,s₂,s₃,…,s_N}，则图像M中某个特征点描述子r_m与图像N中某个特征点描述子s_n的欧氏距离d_mn为：

图像M中某个特征点描述子r_m与图像N中特征点描述子s_n有最近距离d_mn且与描述子s_k有次近距离d_mk，如果有：

式中T为常数，通常取T∈(0.4,0.8)，则接受该匹配点对。

图像变换

由于故障图像相对于标准图像可能平移、缩放、旋转、仿射等变化。而仿射变换包含平移、缩放、旋转的复杂变换。设待配准图像中的点(x,y)经过仿射变换到标准图像为(u,v)，则：

式中为旋转与缩放量，为平移量，则仿射变换矩阵可以写为：

通过最小二乘法就计算仿射变换的变换矩阵。实验选取两幅在相同环境下拍摄的电路板卡红外图像进行验证，如图10(a)、(b)所示，两幅红外图像大小均为240×320，室内无风条件下拍摄，距离0.2m，环境温度33.2℃。

粗匹配，经过SIFT算法检测到特征点生成的描述子后进行特征点匹配，图11为粗匹配后的特征点对连线示意图。从图11中可以看出粗匹配特征点对有错误匹配点对，如果直接用粗匹配点对求平面透视变换模型参数，配准结果如图12所示，配准效果不理想。

精匹配，经过SIFT算法检测到特征点生成的描述子后进行特征点匹配有错误匹配点对，这些错误匹配点对求变换模型有很大影响，所以必须给与剔除，剔除流程如图13所示。

图14为精匹配后的特征点对连线示意图。配准结果如图15所示，配准效果比较理想。

为了从红外热图中提取需要的故障特征，需要确定如何从图像中求出那些最需要、最有效的特征。

图像特征提取要获取的内容包括：能表现图像中特殊点、线、边界、区域等元素的数值、符号，色彩、灰度等图像属性的统计量等，即能反映一幅图像区别于其他图像的特点。提取图像特征首先要确定提取的目标，确定需要提取哪类特征。图像特征提取的关键在于从图像中真实、准确的将需要的内容提取出来。在提取了图像特征后，对特征进行描述，可以提高特征的表征性能。

4)通过正常板卡与故障板卡的红外图像对比及计算，对电路板卡故障进行判别与精确定位。为了在板卡红外热图像中提取出最有效的特征，首先对原始红外图像进行了滤波、降噪等预处理，设定温度阈值和灰度阈值通过拉普拉斯算子把背景去除，从而使芯片与背景分离，将芯片准确提取出来；然后利用相关算法提取芯片特征，依据芯片特征使两幅图像配准；最后对两幅图像进行差值运算，得到温度异常区域并将其标注出来，完成故障区域判断。再利用红外图像和可见光图像的一一对应关系，在可见光图像中找到对应的温度异常区域并将其标注出来，完成故障区域显示，然后格局需要，可以自动生成报表，形成故障诊断报告。

经过图像处理和比对，故障区域将在图像中被圈出，红色框圈出的区域表示故障区域温度比标准温度高，绿色框圈出的区域表示故障区域比标准温度低，在可见光图像上也有相应区域被圈出(见图16)。故障区域的平均温度与最高温度将显示在输出显示区域。

实施例

对某设备电路板卡检查情况如图17～20所示。

表1调制器卡非正常工作区域温度分析

	正常板卡温度	故障板卡温度	温度差
				区域1	38.6	58.1	19.5
区域2	48.1	41.7	-6.4
				区域3	42.0	52.5	10.5

(1)区域1分析：

表2区域1温度分析

	正常板卡温度	故障板卡温度	温度差
					39.2	56.6
	38.3	56.9
					38.4	60.8
平均	38.6	58.1	19.5

(2)区域2分析：

表3区域2温度分析

	正常板卡温度	故障板卡温度	平均温度差
					46.5	41.5
	47.3	40.9
					49.3	41.6
平均	48.1	41.7	-6.4

(3)区域3分析：

表4区域3温度分析

	正常电路板温度	故障电路板温度	平均温度差
					42.5	51.1
	41.7	52.8
					41.8	52.7

Claims (1)

1.一种电路板故障红外图像自动检测方法，其特征在于，包括以下步骤：

1)可见光图像和红外热图像融合配准；

利用可见光相机和红外热像仪光路相对固定，所拍图像空间对应关系固定的特点，确定好可见光图像和红外热图像融合配准关系，基本做到逐点对应；

2)红外图像之间的空间配准；

利用红外热像仪测得电路板上各电子元器件在工作时的红外辐射温度，进而通过温度信息来判定是否发生故障及故障位置，为了达到快速、准确检测定位电路板温度异常区域的目的，必须将采集到的正常工作标准红外热图像与待测红外热图像进行精确配准，采用灰度变换、平滑滤波、锐化增强、频域处理、图像重构、图像识别对图像预处理，然后进行红外图像拼接与配准处理，完成故障红外图像与标准红外图像配准计算；

3)可见光图像辅助精确红外图像配准；

采用基于不变特征的图像配准算法，利用SIFT算法对可见光图像进行特征点检测，采取粗匹配与精匹配结合的匹配策略选取特征点，并将其映射到红外图像，实现快速、有效、高精度的红外图像配准；

首先由一系列的不同核值σ的高斯函数(G(x,y,σ))与图像(I(x,y))做卷积得到的高斯尺度空间(L(x,y,σ))，其次高斯尺度空间进行采样得到高斯金字塔，将相邻的高斯尺度空间做差得到高斯差分尺度空间，即：

L(x,y,σ)＝G(x,y,σ)*I(x,y) (1)

在高斯差分尺度空间中的中间层的每个像素与相邻的26个像素点(其中包含同层8个相邻的像素点以及上层和下层各9个相邻的像素点)进行比较，找出极值点，这些极值点也是候选点；

确定特征点位置；

检测到的所有极值点通过三维二次函数进行拟合，达到精确极值点位置的目的，同时去除对比度低的极值点(对比度低的极值点对噪声很敏感，不稳定)，DoG算子对边缘响应强烈，因此在边缘上的极值点不稳定，必须去除，去除对比度低的极值点和边缘上的极值点，剩下的极值点为图像的特征点；

SIFT特征点配准算法；

设待配准图像为M，基准图像为N，图像M的特征点描述子集合为R＝{r₁,r₂,r₃,…,r_M}，图像N的特征点描述子集合为S＝{s₁,s₂,s₃,…,s_N}，则图像M中某个特征点描述子r_m与图像N中某个特征点描述子s_n的欧氏距离d_mn为：

图像M中某个特征点描述子r_m与图像N中特征点描述子s_n有最近距离d_mn且与描述子s_k有次近距离d_mk，如果有：

式中T为常数，通常取T∈(0.4,0.8)，则接受该匹配点对；

图像变换，设待配准图像中的点(x,y)经过仿射变换到标准图像为(u,v)，则：

式中为旋转与缩放量，为平移量，则仿射变换矩阵可以写为：

通过最小二乘法就计算仿射变换的变换矩阵；

粗匹配，经过SIFT算法检测到特征点生成的描述子后进行特征点匹配；

精匹配，经过SIFT算法检测到特征点生成的描述子后进行特征点匹配有错误匹配点对，剔除错误匹配点对；

为了从红外热图中提取需要的故障特征，需要确定如何从图像中求出那些最需要、最有效的特征；

4)通过正常板卡与故障板卡的红外图像对比及计算，对电路板卡故障进行判别与精确定位；为了在板卡红外热图像中提取出最有效的特征，首先对原始红外图像进行了滤波、降噪预处理，设定温度阈值和灰度阈值通过拉普拉斯算子把背景去除，从而使芯片与背景分离，将芯片准确提取出来；然后提取芯片特征，依据芯片特征使两幅图像配准；最后对两幅图像进行差值运算，得到温度异常区域并将其标注出来，完成故障区域判断，再利用红外图像和可见光图像的一一对应关系，在可见光图像中找到对应的温度异常区域并将其标注出来，完成故障区域显示，然后格局需要，可以自动生成报表，形成故障诊断报告；经过图像处理和比对，故障区域将在图像中被圈出。