CN107025648A - 一种电路板故障红外图像自动检测方法 - Google Patents
一种电路板故障红外图像自动检测方法 Download PDFInfo
- Publication number
- CN107025648A CN107025648A CN201710164574.6A CN201710164574A CN107025648A CN 107025648 A CN107025648 A CN 107025648A CN 201710164574 A CN201710164574 A CN 201710164574A CN 107025648 A CN107025648 A CN 107025648A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- infrared
- registration
- thermal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
一种电路板故障红外图像自动检测方法,采用可见光图像和红外热图像同时采集的方法获得电路板工作状态的图像信息,先采集电路板正常工作时的可见光图像和红外热图像,存储在数据库中,检测故障电路板时,将拍摄到的电路板图像(可见光图像和红外热图像)与数据库中的正常状态的图像进行对照比较,利用计算机图像处理,找出温度异常的元器件或线路所在的区域和具体位置,并自动在可见光图像上标出,实现电路板可能故障元件的自动检测,该技术可以应用在电路板维修、设备故障监测等领域,也可以在电力设备的故障检修、石化管道积炭堵塞、保温层脱落检查、铁路机车的轮轴状态监测、防火、防洪防病等涉及温度变化的非接触测量领域。
Description
技术领域
本发明属于红外成像技术领域,具体涉及一种电路板故障红外图像自动检测方法。
背景技术
随着红外成像技术的不断发展和成熟,红外热像仪的成本越来越低,性能越来越好,应用也越来越广泛。根据红外辐射理论和红外热像仪的测温原理可知,红外热像仪是利用红外探测器和光学成像物镜接收被测目标辐射红外光线的装置,它可以将不同温度目标的红外辐射能量分布图形,反映到红外探测器的光敏元件上,从而获得红外热像图,这种热像图与物体表面的热分布场相对应。简单地说,红外热像仪就是能接收红外线的照相机,它将物体发出的不可见红外能量转变为可见的热图像。热图像上面的不同颜色代表被测物体的不同温度。红外热像仪是全被动接收仪器,对于其他精密电子仪器设备没有任何干扰,并能够进行非接触式的、高分辨率的温度测量,生成高质量的热分布场图像,可提供测量目标的众多信息,弥补了人类肉眼的不足,已广泛应用于军事领域以及电力行业、石化行业、交通及抢险救灾等领域,未来发展前景更是不可限量。
红外热像仪拍摄的是人眼睛看不到的红外热像图,这种图像与通常看到的可见光图像完全不同。可见光图像是人们熟悉的物体表面特征的图像,和人眼中看到的景象几乎一致,图像清晰,可以直观的表示物体特征,比如照相机拍摄的照片。红外热像图是物体表面温度分布的图像。这里需强调的是,它是物体表面而不是物体内部的温度分布图像。它的神奇之处就在于,物体的表面温度是可以“看”到的,可以通过灰度或伪彩色显示成人眼可以识别的图像。
电路板故障红外图像诊断是利用红外热像仪测得电路板上各电子元器件在工作时的红外辐射温度,进而通过温度信息来判定是否发生故障及故障位置。由于许多电路板上各电子元器件在工作时都会不同程度的发热,电路板发生故障时大多伴随各电子元器件发热状态的变化,通过测定发热状态的变化,即可初步判断出各电子元器件工作状态,确定可能的故障点位置。
电路板故障红外图像诊断方法已经在一些领域得到应用,但由于红外热图像与可见光图像相比,缺少了层次和立体感,其清晰度远不如可见光图像,因此在利用红外热像图分析问题时,往往还需要人工进行温度异常点的判断和定位,且由于红外热图像并不符合人们平日的视觉习惯,在红外热图像上确定的温度异常点要在实际电路板上准确找到相应的位置有一定的困难。特别是由于红外热图像本身只有灰度数据,图像质量较差,利用计算机进行图像自动判断、识别、分析、定位,难度较大,识别、定位的准确度也有待进一步提高。
发明内容
为了克服上述现有技术的不足,本发明的目的是一种电路板故障红外图像自动检测方法,针对红外热图像本身只有灰度数据,图像质量较差,利用计算机进行图像自动判断、识别、分析、定位,难度较大,识别、定位的准确度不高的问题,采用可见光图像和红外热图像同时采集的方法获得电路板工作状态的图像信息。先采集电路板正常工作时的可见光图像和红外热图像,存储在数据库中,检测故障电路板时,将拍摄到的电路板图像(可见光图像和红外热图像)与数据库中的正常状态的图像进行对照比较,利用计算机图像处理,找出温度异常的元器件或线路所在的区域和具体位置,并自动在可见光图像上标出,实现电路板可能故障元件的自动检测。
为了实现上述目的,本发明采用的技术方案是:
一种电路板故障红外图像自动检测方法,其特征在于,包括以下步骤:
1)可见光图像和红外热图像融合配准;
利用可见光相机和红外热像仪光路相对固定,所拍图像空间对应关系固定的特点,确定好可见光图像和红外热图像融合配准关系,基本做到逐点对应;
2)红外图像之间的空间配准;
利用红外热像仪测得电路板上各电子元器件在工作时的红外辐射温度,进而通过温度信息来判定是否发生故障及故障位置,为了达到快速、准确检测定位电路板温度异常区域的目的,必须将采集到的正常工作标准红外热图像与待测红外热图像进行精确配准,采用灰度变换、平滑滤波、锐化增强、频域处理、图像重构、图像识别对图像预处理,然后进行红外图像拼接与配准处理,完成故障红外图像与标准红外图像配准计算;
3)可见光图像辅助精确红外图像配准;
采用基于不变特征的图像配准算法,利用SIFT算法对可见光图像进行特征点检测,采取粗匹配与精匹配结合的匹配策略选取特征点,并将其映射到红外图像,实现快速、有效、高精度的红外图像配准;
首先由一系列的不同核值σ的高斯函数(G(x,y,σ))与图像(I(x,y))做卷积得到的高斯尺度空间(L(x,y,σ)),其次高斯尺度空间进行采样得到高斯金字塔,将相邻的高斯尺度空间做差得到高斯差分尺度空间,即:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
在高斯差分尺度空间中的中间层的每个像素与相邻的26个像素点(其中包含同层8个相邻的像素点以及上层和下层各9个相邻的像素点)进行比较,找出极值点,这些极值点也是候选点;
确定特征点位置;
检测到的所有极值点通过三维二次函数进行拟合,达到精确极值点位置的目的,同时去除对比度低的极值点(对比度低的极值点对噪声很敏感,不稳定),DoG算子对边缘响应强烈,因此在边缘上的极值点不稳定,必须去除,去除对比度低的极值点和边缘上的极值点,剩下的极值点为图像的特征点;
SIFT特征点配准算法;
设待配准图像为M,基准图像为N,图像M的特征点描述子集合为R={r1,r2,r3,…,rM},图像N的特征点描述子集合为S={s1,s2,s3,…,sN},则图像M中某个特征点描述子rm与图像N中某个特征点描述子sn的欧氏距离dmn为:
图像M中某个特征点描述子rm与图像N中特征点描述子sn有最近距离dmn且与描述子sk有次近距离dmk,如果有:
式中T为常数,通常取T∈(0.4,0.8),则接受该匹配点对;
图像变换,设待配准图像中的点(x,y)经过仿射变换到标准图像为(u,v),则:
式中为旋转与缩放量,为平移量,则仿射变换矩阵可以写为:
通过最小二乘法就计算仿射变换的变换矩阵;
粗匹配,经过SIFT算法检测到特征点生成的描述子后进行特征点匹配;
精匹配,经过SIFT算法检测到特征点生成的描述子后进行特征点匹配有错误匹配点对,剔除错误匹配点对;
为了从红外热图中提取需要的故障特征,需要确定如何从图像中求出那些最需要、最有效的特征;
4)通过正常板卡与故障板卡的红外图像对比及计算,对电路板卡故障进行判别与精确定位;为了在板卡红外热图像中提取出最有效的特征,首先对原始红外图像进行了滤波、降噪预处理,设定温度阈值和灰度阈值通过拉普拉斯算子把背景去除,从而使芯片与背景分离,将芯片准确提取出来;然后提取芯片特征,依据芯片特征使两幅图像配准;最后对两幅图像进行差值运算,得到温度异常区域并将其标注出来,完成故障区域判断,再利用红外图像和可见光图像的一一对应关系,在可见光图像中找到对应的温度异常区域并将其标注出来,完成故障区域显示,然后格局需要,可以自动生成报表,形成故障诊断报告;经过图像处理和比对,故障区域将在图像中被圈出。
本发明的有益效果是:
本发明相关技术可以应用在电路板维修、设备故障监测等领域,也可以在电力设备的故障检修、石化管道积炭堵塞、保温层脱落检查、铁路机车的轮轴状态监测、防火、防洪防病等涉及温度变化的非接触测量领域。
附图说明
图1为故障检测仪硬件组成示意图。
图2为可见光相机和红外相机同时拍摄的可见光图像和红外热图像。
图3为图像平移示意图。
图4为图像旋转示意图。
图5为图像缩放比例差异示意图。
图6为图像沿某个方向扭曲示意图。
图7为SIFT算法流程图。
图8为建立高斯差分金字塔并检测极值点示意图。
图9为特征点描述子生成示意图。
图10为用于粗匹配实验的同一电路板卡图像。
图11为粗匹配特征点对连线图。
图12为基于粗匹配点对的配准图像。
图13为精匹配流程图。
图14为精匹配特征点对连线图。
图15为基于精匹配点对的配准图像。
图16为故障位置在红外图像和可见光图像上相应区域示意图。
图17为调制器卡非正常工作区域示意图
图18为区域1红外热对比图。
图19为区域2红外热对比图。
图20为区域3红外热对比图。
具体实施方式
以下结合附图及实施例对本法民进一步叙述。
构建如图1所示的电路板故障红外图像自动检测设备,完成以下步骤:
1)可见光图像和红外热图像融合配准
利用可见光相机和红外热像仪光路相对固定,所拍图像空间对应关系固定(通过硬件设计实现)的特点,确定好可见光图像和红外热图像融合配准关系,基本做到逐点对应(见图2),为下一步故障自动检测和显示打下基础。
2)红外图像之间的空间配准
电路板故障红外图像诊断是利用红外热像仪测得电路板上各电子元器件在工作时的红外辐射温度,进而通过温度信息来判定是否发生故障及故障位置。为了达到快速、准确检测定位电路板温度异常区域的目的,必须将采集到的正常工作标准红外热图像与待测红外热图像进行精确配准,然后通过正常板卡与故障板卡的红外图像对比及计算,对通信板卡故障进行判别与精确定位;完成故障区域判断;由此可见,两幅红外图像能否精确配准,直接影响到故障的检测与定位。但是由于正常工作标准红外热图像与待测红外热图像的拍摄时间、地点场合不会完全一样(正常工作标准红外热图像通常是事先拍摄好,存储在计算机中),会导致图像的配准误差较大,精确配准难度加大。影响配准精度的原因主要有以下几个方面:
由于拍摄位置的不同,造成故障板卡与标准板卡的几何中心不一致,导致图像平移,如图3所示:
由于拍摄角度的不同,造成故障板卡与标准板卡的边界角度不一致,导致图像旋转,如图4所示。
由于拍摄距离的不同,造成故障板卡与标准板卡的规格不一致,导致图像大小比例差异,如图5所示。
由于拍摄时镜头法线与板卡法线不平行,造成图像沿着某个方向扭曲,如图6所示:
一般情况下,采用灰度变换、平滑滤波、锐化增强、频域处理、图像重构、图像识别等手段进行图像预处理,然后进行红外图像拼接与配准处理,完成故障红外图像与标准红外图像配准计算,但是由于红外图像本身质量不高(分辨率低,只有灰度信息),精确配准计算难度较大。
3)可见光图像辅助精确红外图像配准
图像配准可分为基于灰度的图像配准和基于特征的图像配准。基于灰度的图像配准一般要求图像的相关性强,而且计算量大,很难达到实时性的需求;基于特征的图像配准计算量小、运算速度快,且具有较强的鲁棒性,本系统采用基于不变特征的图像配准算法。
常用的特征提取算法有Harris,SUSAN,SIFT(Scale Invariant FeaturesTransform)和SUFT(Speeded-Up Robust Features)等。SIFT算子最早由Lowe David G提出,是建立在DoG(Difference of Gaussian)尺度空间理论基础上的一种算法。该算法采取邻域方向性信息联合的思想,从空间域和尺度域两个方面对图像进行特征分析,对检测到的关键点用128维的特征向量表征,具有尺度不变性和较强的鲁棒性。SIFT算法性能优于Harris、SUSAN,SUFT等角点算法,本发明针对已经建立的可见光图像和红外图像的空间一一对应关系,利用SIFT算法对可见光图像进行特征点检测,采取粗匹配与精匹配结合的匹配策略选取特征点,并将其映射到红外图像的方法,实现快速、有效、高精度的红外图像配准。
(1)SIFT算法
SIFT算法的理论是基于尺度空间理论。1999年British Columbia大学大卫.劳伊(David G.Lowe)教授总结了现有的基于不变量技术的特征检测方法,并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子-SIFT(尺度不变特征变换),这种算法在2004年被加以完善。其基本思想是在视觉信息处理模型中引入一个尺度参数,通过连续变化尺度参数获得不同尺度下的视觉处理信息,然后综合这些信息深入挖掘图像的本质特征。SIFT算法的基本流程如图7所示。
建立高斯差分金字塔并检测极值点,
SIFT算法是通过DoG(Difference-of-Gaussian)算子构建高斯差分金字塔来检测极值点。首先由一系列的不同核值σ的高斯函数(G(x,y,σ))与图像(I(x,y))做卷积得到的高斯尺度空间(L(x,y,σ))。其次高斯尺度空间进行采样得到高斯金字塔,将相邻的高斯尺度空间做差得到高斯差分尺度空间,即:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
在高斯差分尺度空间中的中间层的每个像素与相邻的26个像素点(其中包含同层8个相邻的像素点以及上层和下层各9个相邻的像素点)进行比较,找出极值点,这些极值点也是候选点。如图8所示。
确定特征点位置
检测到的所有极值点通过三维二次函数进行拟合,达到精确极值点位置的目的,同时去除对比度低的极值点(对比度低的极值点对噪声很敏感,不稳定)。此外,DoG算子对边缘响应强烈,因此在边缘上的极值点不稳定,必须去除。去除对比度低的极值点和边缘上的极值点,剩下的极值点称为图像的特征点。
特征点方向描述
以特征点为中心,在高斯尺度空间中,计算特征点及其邻域点的梯度幅度及方位角,用直方图统计特征点及其邻域的梯度方向,直方图的峰值代表特征点的主要方向,如果直方图中存在其他方向能量高于主方向能量的80%,这些方向将作为特征点的辅助方向。
特征点描述子生成
为了确保旋转不变性,将坐标轴旋转至特征点主方向,以特征点为中心的16*16窗口,分成16个4*4子窗口。计算各子窗口内16个像素点的梯度方向,对各像素点的梯度方向进行高斯加权累加,形成一个种子点,每个种子点包含八个方向梯度信息。则每个关键点对应128维向量。如图9所示。
(2)SIFT特征点配准算法
Lowe提出的特征配准算法是采用欧氏距离作为特征点相似性的度量。设待配准图像为M,基准图像为N,图像M的特征点描述子集合为R={r1,r2,r3,…,rM},图像N的特征点描述子集合为S={s1,s2,s3,…,sN},则图像M中某个特征点描述子rm与图像N中某个特征点描述子sn的欧氏距离dmn为:
图像M中某个特征点描述子rm与图像N中特征点描述子sn有最近距离dmn且与描述子sk有次近距离dmk,如果有:
式中T为常数,通常取T∈(0.4,0.8),则接受该匹配点对。
图像变换
由于故障图像相对于标准图像可能平移、缩放、旋转、仿射等变化。而仿射变换包含平移、缩放、旋转的复杂变换。设待配准图像中的点(x,y)经过仿射变换到标准图像为(u,v),则:
式中为旋转与缩放量,为平移量,则仿射变换矩阵可以写为:
通过最小二乘法就计算仿射变换的变换矩阵。实验选取两幅在相同环境下拍摄的电路板卡红外图像进行验证,如图10(a)、(b)所示,两幅红外图像大小均为240×320,室内无风条件下拍摄,距离0.2m,环境温度33.2℃。
粗匹配,经过SIFT算法检测到特征点生成的描述子后进行特征点匹配,图11为粗匹配后的特征点对连线示意图。从图11中可以看出粗匹配特征点对有错误匹配点对,如果直接用粗匹配点对求平面透视变换模型参数,配准结果如图12所示,配准效果不理想。
精匹配,经过SIFT算法检测到特征点生成的描述子后进行特征点匹配有错误匹配点对,这些错误匹配点对求变换模型有很大影响,所以必须给与剔除,剔除流程如图13所示。
图14为精匹配后的特征点对连线示意图。配准结果如图15所示,配准效果比较理想。
为了从红外热图中提取需要的故障特征,需要确定如何从图像中求出那些最需要、最有效的特征。
图像特征提取要获取的内容包括:能表现图像中特殊点、线、边界、区域等元素的数值、符号,色彩、灰度等图像属性的统计量等,即能反映一幅图像区别于其他图像的特点。提取图像特征首先要确定提取的目标,确定需要提取哪类特征。图像特征提取的关键在于从图像中真实、准确的将需要的内容提取出来。在提取了图像特征后,对特征进行描述,可以提高特征的表征性能。
4)通过正常板卡与故障板卡的红外图像对比及计算,对电路板卡故障进行判别与精确定位。为了在板卡红外热图像中提取出最有效的特征,首先对原始红外图像进行了滤波、降噪等预处理,设定温度阈值和灰度阈值通过拉普拉斯算子把背景去除,从而使芯片与背景分离,将芯片准确提取出来;然后利用相关算法提取芯片特征,依据芯片特征使两幅图像配准;最后对两幅图像进行差值运算,得到温度异常区域并将其标注出来,完成故障区域判断。再利用红外图像和可见光图像的一一对应关系,在可见光图像中找到对应的温度异常区域并将其标注出来,完成故障区域显示,然后格局需要,可以自动生成报表,形成故障诊断报告。
经过图像处理和比对,故障区域将在图像中被圈出,红色框圈出的区域表示故障区域温度比标准温度高,绿色框圈出的区域表示故障区域比标准温度低,在可见光图像上也有相应区域被圈出(见图16)。故障区域的平均温度与最高温度将显示在输出显示区域。
实施例
对某设备电路板卡检查情况如图17~20所示。
表1调制器卡非正常工作区域温度分析
正常板卡温度 | 故障板卡温度 | 温度差 | |
区域1 | 38.6 | 58.1 | 19.5 |
区域2 | 48.1 | 41.7 | -6.4 |
区域3 | 42.0 | 52.5 | 10.5 |
(1)区域1分析:
表2区域1温度分析
正常板卡温度 | 故障板卡温度 | 温度差 | |
39.2 | 56.6 | ||
38.3 | 56.9 | ||
38.4 | 60.8 | ||
平均 | 38.6 | 58.1 | 19.5 |
(2)区域2分析:
表3区域2温度分析
正常板卡温度 | 故障板卡温度 | 平均温度差 | |
46.5 | 41.5 | ||
47.3 | 40.9 | ||
49.3 | 41.6 | ||
平均 | 48.1 | 41.7 | -6.4 |
(3)区域3分析:
表4区域3温度分析
正常电路板温度 | 故障电路板温度 | 平均温度差 | |
42.5 | 51.1 | ||
41.7 | 52.8 | ||
41.8 | 52.7 |
Claims (1)
1.一种电路板故障红外图像自动检测方法,其特征在于,包括以下步骤:
1)可见光图像和红外热图像融合配准;
利用可见光相机和红外热像仪光路相对固定,所拍图像空间对应关系固定的特点,确定好可见光图像和红外热图像融合配准关系,基本做到逐点对应;
2)红外图像之间的空间配准;
利用红外热像仪测得电路板上各电子元器件在工作时的红外辐射温度,进而通过温度信息来判定是否发生故障及故障位置,为了达到快速、准确检测定位电路板温度异常区域的目的,必须将采集到的正常工作标准红外热图像与待测红外热图像进行精确配准,采用灰度变换、平滑滤波、锐化增强、频域处理、图像重构、图像识别对图像预处理,然后进行红外图像拼接与配准处理,完成故障红外图像与标准红外图像配准计算;
3)可见光图像辅助精确红外图像配准;
采用基于不变特征的图像配准算法,利用SIFT算法对可见光图像进行特征点检测,采取粗匹配与精匹配结合的匹配策略选取特征点,并将其映射到红外图像,实现快速、有效、高精度的红外图像配准;
首先由一系列的不同核值σ的高斯函数(G(x,y,σ))与图像(I(x,y))做卷积得到的高斯尺度空间(L(x,y,σ)),其次高斯尺度空间进行采样得到高斯金字塔,将相邻的高斯尺度空间做差得到高斯差分尺度空间,即:
L(x,y,σ)=G(x,y,σ)*I(x,y) (1)
在高斯差分尺度空间中的中间层的每个像素与相邻的26个像素点(其中包含同层8个相邻的像素点以及上层和下层各9个相邻的像素点)进行比较,找出极值点,这些极值点也是候选点;
确定特征点位置;
检测到的所有极值点通过三维二次函数进行拟合,达到精确极值点位置的目的,同时去除对比度低的极值点(对比度低的极值点对噪声很敏感,不稳定),DoG算子对边缘响应强烈,因此在边缘上的极值点不稳定,必须去除,去除对比度低的极值点和边缘上的极值点,剩下的极值点为图像的特征点;
SIFT特征点配准算法;
设待配准图像为M,基准图像为N,图像M的特征点描述子集合为R={r1,r2,r3,…,rM},图像N的特征点描述子集合为S={s1,s2,s3,…,sN},则图像M中某个特征点描述子rm与图像N中某个特征点描述子sn的欧氏距离dmn为:
图像M中某个特征点描述子rm与图像N中特征点描述子sn有最近距离dmn且与描述子sk有次近距离dmk,如果有:
式中T为常数,通常取T∈(0.4,0.8),则接受该匹配点对;
图像变换,设待配准图像中的点(x,y)经过仿射变换到标准图像为(u,v),则:
式中为旋转与缩放量,为平移量,则仿射变换矩阵可以写为:
通过最小二乘法就计算仿射变换的变换矩阵;
粗匹配,经过SIFT算法检测到特征点生成的描述子后进行特征点匹配;
精匹配,经过SIFT算法检测到特征点生成的描述子后进行特征点匹配有错误匹配点对,剔除错误匹配点对;
为了从红外热图中提取需要的故障特征,需要确定如何从图像中求出那些最需要、最有效的特征;
4)通过正常板卡与故障板卡的红外图像对比及计算,对电路板卡故障进行判别与精确定位;为了在板卡红外热图像中提取出最有效的特征,首先对原始红外图像进行了滤波、降噪预处理,设定温度阈值和灰度阈值通过拉普拉斯算子把背景去除,从而使芯片与背景分离,将芯片准确提取出来;然后提取芯片特征,依据芯片特征使两幅图像配准;最后对两幅图像进行差值运算,得到温度异常区域并将其标注出来,完成故障区域判断,再利用红外图像和可见光图像的一一对应关系,在可见光图像中找到对应的温度异常区域并将其标注出来,完成故障区域显示,然后格局需要,可以自动生成报表,形成故障诊断报告;经过图像处理和比对,故障区域将在图像中被圈出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710164574.6A CN107025648A (zh) | 2017-03-20 | 2017-03-20 | 一种电路板故障红外图像自动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710164574.6A CN107025648A (zh) | 2017-03-20 | 2017-03-20 | 一种电路板故障红外图像自动检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107025648A true CN107025648A (zh) | 2017-08-08 |
Family
ID=59525728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710164574.6A Pending CN107025648A (zh) | 2017-03-20 | 2017-03-20 | 一种电路板故障红外图像自动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107025648A (zh) |
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107463153A (zh) * | 2017-08-11 | 2017-12-12 | 深圳增强现实技术有限公司 | 一种设备工作状态的管理方法、管理设备以及管理系统 |
CN107578433A (zh) * | 2017-08-17 | 2018-01-12 | 中南大学 | 一种用于识别电解槽极板温度的方法 |
CN107680054A (zh) * | 2017-09-26 | 2018-02-09 | 长春理工大学 | 雾霾环境下多源图像融合方法 |
CN107862690A (zh) * | 2017-11-22 | 2018-03-30 | 佛山科学技术学院 | 一种基于特征点匹配的电路板元器件定位方法和定位装置 |
CN108717697A (zh) * | 2018-05-18 | 2018-10-30 | 广州视源电子科技股份有限公司 | 电路板检测方法、装置、计算机设备和存储介质 |
CN108871189A (zh) * | 2018-06-26 | 2018-11-23 | 西安工业大学 | 一种金属冶炼排渣的炉渣位置检测装置及其检测方法 |
CN108896186A (zh) * | 2018-05-15 | 2018-11-27 | 云南电网有限责任公司迪庆供电局 | 设备智能诊断的方法及装置 |
CN109142935A (zh) * | 2018-10-15 | 2019-01-04 | 广东电网有限责任公司 | 巡检机器人 |
CN109285118A (zh) * | 2018-09-26 | 2019-01-29 | 电子科技大学 | 一种添加附件层的红外热图像拼接方法 |
CN109509324A (zh) * | 2019-01-21 | 2019-03-22 | 湖南中铁五新重工有限公司 | 一种电控柜安全系统及其安全控制方法 |
CN109993736A (zh) * | 2019-03-29 | 2019-07-09 | 浙江大学 | 一种基于改进加权otsu算法的电气设备热成像分割查异方法 |
CN110097030A (zh) * | 2019-05-14 | 2019-08-06 | 武汉高德红外股份有限公司 | 一种基于红外和可见光图像的突出标识方法及系统 |
CN110189313A (zh) * | 2019-05-27 | 2019-08-30 | 福建省特种设备检验研究院 | 基于红外热成像技术的电气故障图像识别的预判方法 |
CN110335271A (zh) * | 2019-07-10 | 2019-10-15 | 浙江铁素体智能科技有限公司 | 一种电气部件故障的红外检测方法及装置 |
CN110503678A (zh) * | 2019-08-28 | 2019-11-26 | 徐衍胜 | 基于拓扑结构约束的导航设备红外与光学异源配准方法 |
CN110554302A (zh) * | 2019-09-10 | 2019-12-10 | 北京理工大学 | 快速自动检测电路板故障的装置 |
CN110555819A (zh) * | 2019-08-20 | 2019-12-10 | 中国石油大学(北京) | 基于红外和可见光图像融合的设备监测方法、装置及设备 |
CN110633682A (zh) * | 2019-09-19 | 2019-12-31 | 合肥英睿系统技术有限公司 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
CN110675420A (zh) * | 2019-08-22 | 2020-01-10 | 华为技术有限公司 | 一种图像处理方法和电子设备 |
CN110728713A (zh) * | 2018-07-16 | 2020-01-24 | Oppo广东移动通信有限公司 | 测试方法及测试系统 |
CN110942458A (zh) * | 2019-12-06 | 2020-03-31 | 汕头大学 | 一种温度异常缺陷检测定位方法及系统 |
CN111156655A (zh) * | 2019-12-24 | 2020-05-15 | 珠海格力电器股份有限公司 | 一种空调主控板故障自检测方法及空调 |
CN111710055A (zh) * | 2020-06-11 | 2020-09-25 | 新疆爱华盈通信息技术有限公司 | 便携式电力巡检设备及电力巡检方法、电力巡检系统 |
CN111752457A (zh) * | 2019-03-28 | 2020-10-09 | 株式会社电装天 | 检查数据输出设备、显示系统和检查数据输出方法 |
CN111815560A (zh) * | 2020-06-09 | 2020-10-23 | 理光软件研究所(北京)有限公司 | 光伏电站故障检测方法、装置、便携检测设备及存储介质 |
CN111998960A (zh) * | 2020-09-10 | 2020-11-27 | 昆山大洋电路板有限公司 | 集成线路板的红外扫描设备鉴定方法 |
CN112154450A (zh) * | 2019-11-13 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 识别方法、测温方法、设备及存储介质 |
CN112468780A (zh) * | 2020-11-24 | 2021-03-09 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 变压器设备远程试验监督方法 |
CN112700424A (zh) * | 2021-01-07 | 2021-04-23 | 国网山东省电力公司电力科学研究院 | 一种变电设备带电检测红外检测质量评估方法 |
CN112767358A (zh) * | 2021-01-21 | 2021-05-07 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像特征配准的铁路电力机车故障检测方法 |
CN112880128A (zh) * | 2021-01-28 | 2021-06-01 | 广东美的制冷设备有限公司 | 一种故障检测方法、装置、设备及存储介质 |
CN113095321A (zh) * | 2021-04-22 | 2021-07-09 | 武汉菲舍控制技术有限公司 | 一种带式输送机的滚轮轴承测温及故障预警方法及装置 |
CN113344987A (zh) * | 2021-07-07 | 2021-09-03 | 华北电力大学(保定) | 复杂背景下电力设备的红外与可见光图像配准方法及系统 |
CN113409251A (zh) * | 2021-05-31 | 2021-09-17 | 广西格思克实业有限责任公司 | 一种用于集成电路制造的数据处理方法 |
CN113473078A (zh) * | 2021-06-09 | 2021-10-01 | 国网上海市电力公司 | 一种基于增强现实技术的红外运维巡检方法和装置 |
CN113483898A (zh) * | 2021-08-04 | 2021-10-08 | 国能大渡河瀑布沟发电有限公司 | 水利发电机组励磁系统运行温度智能监测与预警技术 |
CN113554601A (zh) * | 2021-06-30 | 2021-10-26 | 合肥金星机电科技发展有限公司 | 电解槽极板的定位方法 |
CN114049353A (zh) * | 2022-01-11 | 2022-02-15 | 合肥金星智控科技股份有限公司 | 炉管温度监测方法 |
CN114625101A (zh) * | 2020-12-14 | 2022-06-14 | 丰田自动车株式会社 | 异常诊断系统、异常诊断方法及程序 |
CN115035168A (zh) * | 2022-08-15 | 2022-09-09 | 南京航空航天大学 | 基于多约束的光伏面板多源图像配准方法、装置及系统 |
CN115656701A (zh) * | 2022-12-12 | 2023-01-31 | 广东电网有限责任公司佛山供电局 | 一种基于红外图像的电容器发热故障识别方法及装置 |
CN116124837A (zh) * | 2023-04-17 | 2023-05-16 | 广东科翔电子科技股份有限公司 | 一种pcb外观检测方法及装置 |
CN116448255A (zh) * | 2023-06-14 | 2023-07-18 | 中国南方电网有限责任公司超高压输电公司广州局 | 换流站套管温度检测方法、装置、计算机设备和存储介质 |
CN117152145A (zh) * | 2023-10-31 | 2023-12-01 | 威海天拓合创电子工程有限公司 | 一种基于图像的板卡工艺检测方法及装置 |
CN117217596A (zh) * | 2023-09-13 | 2023-12-12 | 广东建筑消防设施检测中心有限公司 | 水利水电工程建构筑物消防检测方法及系统 |
CN117309873A (zh) * | 2023-09-04 | 2023-12-29 | 淮安特创科技有限公司 | 一种高效的pcb外观检测系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102661799A (zh) * | 2012-05-16 | 2012-09-12 | 广东电网公司珠海供电局 | 故障定位方法与系统 |
CN103399248A (zh) * | 2013-07-18 | 2013-11-20 | 江苏物联网研究发展中心 | Pcb电路板缺陷批量检测系统和方法 |
CN103475827A (zh) * | 2013-09-11 | 2013-12-25 | 电子科技大学 | 基于红外热成像技术的检测系统及其实现方法 |
CN106257535A (zh) * | 2016-08-11 | 2016-12-28 | 河海大学常州校区 | 基于surf算子的电气设备红外与可见光图像配准方法 |
-
2017
- 2017-03-20 CN CN201710164574.6A patent/CN107025648A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102661799A (zh) * | 2012-05-16 | 2012-09-12 | 广东电网公司珠海供电局 | 故障定位方法与系统 |
CN103399248A (zh) * | 2013-07-18 | 2013-11-20 | 江苏物联网研究发展中心 | Pcb电路板缺陷批量检测系统和方法 |
CN103475827A (zh) * | 2013-09-11 | 2013-12-25 | 电子科技大学 | 基于红外热成像技术的检测系统及其实现方法 |
CN106257535A (zh) * | 2016-08-11 | 2016-12-28 | 河海大学常州校区 | 基于surf算子的电气设备红外与可见光图像配准方法 |
Non-Patent Citations (2)
Title |
---|
崔伟: "电路板故障红外热像检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
田阿灵 等: "基于SIFT的电力设备红外/可见光图像配准方法", 《电力科学与工程》 * |
Cited By (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107463153A (zh) * | 2017-08-11 | 2017-12-12 | 深圳增强现实技术有限公司 | 一种设备工作状态的管理方法、管理设备以及管理系统 |
CN107463153B (zh) * | 2017-08-11 | 2019-08-20 | 深圳增强现实技术有限公司 | 一种设备工作状态的管理方法、管理设备以及管理系统 |
CN107578433A (zh) * | 2017-08-17 | 2018-01-12 | 中南大学 | 一种用于识别电解槽极板温度的方法 |
CN107578433B (zh) * | 2017-08-17 | 2020-04-21 | 中南大学 | 一种用于识别电解槽极板温度的方法 |
CN107680054A (zh) * | 2017-09-26 | 2018-02-09 | 长春理工大学 | 雾霾环境下多源图像融合方法 |
CN107862690A (zh) * | 2017-11-22 | 2018-03-30 | 佛山科学技术学院 | 一种基于特征点匹配的电路板元器件定位方法和定位装置 |
CN107862690B (zh) * | 2017-11-22 | 2023-11-14 | 佛山科学技术学院 | 一种基于特征点匹配的电路板元器件定位方法和定位装置 |
CN108896186A (zh) * | 2018-05-15 | 2018-11-27 | 云南电网有限责任公司迪庆供电局 | 设备智能诊断的方法及装置 |
CN108717697A (zh) * | 2018-05-18 | 2018-10-30 | 广州视源电子科技股份有限公司 | 电路板检测方法、装置、计算机设备和存储介质 |
CN108871189A (zh) * | 2018-06-26 | 2018-11-23 | 西安工业大学 | 一种金属冶炼排渣的炉渣位置检测装置及其检测方法 |
CN110728713A (zh) * | 2018-07-16 | 2020-01-24 | Oppo广东移动通信有限公司 | 测试方法及测试系统 |
CN110728713B (zh) * | 2018-07-16 | 2022-09-30 | Oppo广东移动通信有限公司 | 测试方法及测试系统 |
CN109285118A (zh) * | 2018-09-26 | 2019-01-29 | 电子科技大学 | 一种添加附件层的红外热图像拼接方法 |
CN109142935A (zh) * | 2018-10-15 | 2019-01-04 | 广东电网有限责任公司 | 巡检机器人 |
CN109509324A (zh) * | 2019-01-21 | 2019-03-22 | 湖南中铁五新重工有限公司 | 一种电控柜安全系统及其安全控制方法 |
CN111752457A (zh) * | 2019-03-28 | 2020-10-09 | 株式会社电装天 | 检查数据输出设备、显示系统和检查数据输出方法 |
CN109993736A (zh) * | 2019-03-29 | 2019-07-09 | 浙江大学 | 一种基于改进加权otsu算法的电气设备热成像分割查异方法 |
CN110097030A (zh) * | 2019-05-14 | 2019-08-06 | 武汉高德红外股份有限公司 | 一种基于红外和可见光图像的突出标识方法及系统 |
CN110189313A (zh) * | 2019-05-27 | 2019-08-30 | 福建省特种设备检验研究院 | 基于红外热成像技术的电气故障图像识别的预判方法 |
CN110335271A (zh) * | 2019-07-10 | 2019-10-15 | 浙江铁素体智能科技有限公司 | 一种电气部件故障的红外检测方法及装置 |
CN110335271B (zh) * | 2019-07-10 | 2021-05-25 | 浙江铁素体智能科技有限公司 | 一种电气部件故障的红外检测方法及装置 |
CN110555819B (zh) * | 2019-08-20 | 2022-02-01 | 中国石油大学(北京) | 基于红外和可见光图像融合的设备监测方法、装置及设备 |
CN110555819A (zh) * | 2019-08-20 | 2019-12-10 | 中国石油大学(北京) | 基于红外和可见光图像融合的设备监测方法、装置及设备 |
CN110675420A (zh) * | 2019-08-22 | 2020-01-10 | 华为技术有限公司 | 一种图像处理方法和电子设备 |
CN110503678A (zh) * | 2019-08-28 | 2019-11-26 | 徐衍胜 | 基于拓扑结构约束的导航设备红外与光学异源配准方法 |
CN110554302A (zh) * | 2019-09-10 | 2019-12-10 | 北京理工大学 | 快速自动检测电路板故障的装置 |
CN110554302B (zh) * | 2019-09-10 | 2020-07-28 | 北京理工大学 | 快速自动检测电路板故障的装置 |
CN110633682A (zh) * | 2019-09-19 | 2019-12-31 | 合肥英睿系统技术有限公司 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
CN112154450A (zh) * | 2019-11-13 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 识别方法、测温方法、设备及存储介质 |
WO2021092815A1 (zh) * | 2019-11-13 | 2021-05-20 | 深圳市大疆创新科技有限公司 | 识别方法、测温方法、设备及存储介质 |
CN110942458A (zh) * | 2019-12-06 | 2020-03-31 | 汕头大学 | 一种温度异常缺陷检测定位方法及系统 |
CN110942458B (zh) * | 2019-12-06 | 2023-05-16 | 汕头大学 | 一种温度异常缺陷检测定位方法及系统 |
CN111156655A (zh) * | 2019-12-24 | 2020-05-15 | 珠海格力电器股份有限公司 | 一种空调主控板故障自检测方法及空调 |
CN111815560A (zh) * | 2020-06-09 | 2020-10-23 | 理光软件研究所(北京)有限公司 | 光伏电站故障检测方法、装置、便携检测设备及存储介质 |
CN111815560B (zh) * | 2020-06-09 | 2024-04-05 | 理光软件研究所(北京)有限公司 | 光伏电站故障检测方法、装置、便携检测设备及存储介质 |
CN111710055A (zh) * | 2020-06-11 | 2020-09-25 | 新疆爱华盈通信息技术有限公司 | 便携式电力巡检设备及电力巡检方法、电力巡检系统 |
CN111998960A (zh) * | 2020-09-10 | 2020-11-27 | 昆山大洋电路板有限公司 | 集成线路板的红外扫描设备鉴定方法 |
CN111998960B (zh) * | 2020-09-10 | 2024-05-03 | 昆山大洋电路板有限公司 | 集成线路板的红外扫描设备鉴定方法 |
CN112468780A (zh) * | 2020-11-24 | 2021-03-09 | 中国南方电网有限责任公司超高压输电公司检修试验中心 | 变压器设备远程试验监督方法 |
CN114625101A (zh) * | 2020-12-14 | 2022-06-14 | 丰田自动车株式会社 | 异常诊断系统、异常诊断方法及程序 |
CN114625101B (zh) * | 2020-12-14 | 2024-02-13 | 丰田自动车株式会社 | 异常诊断系统、异常诊断方法及计算机可读介质 |
CN112700424A (zh) * | 2021-01-07 | 2021-04-23 | 国网山东省电力公司电力科学研究院 | 一种变电设备带电检测红外检测质量评估方法 |
CN112700424B (zh) * | 2021-01-07 | 2022-11-11 | 国网山东省电力公司电力科学研究院 | 一种变电设备带电检测红外检测质量评估方法 |
CN112767358A (zh) * | 2021-01-21 | 2021-05-07 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像特征配准的铁路电力机车故障检测方法 |
CN112880128A (zh) * | 2021-01-28 | 2021-06-01 | 广东美的制冷设备有限公司 | 一种故障检测方法、装置、设备及存储介质 |
CN113095321A (zh) * | 2021-04-22 | 2021-07-09 | 武汉菲舍控制技术有限公司 | 一种带式输送机的滚轮轴承测温及故障预警方法及装置 |
CN113409251A (zh) * | 2021-05-31 | 2021-09-17 | 广西格思克实业有限责任公司 | 一种用于集成电路制造的数据处理方法 |
CN113409251B (zh) * | 2021-05-31 | 2022-06-21 | 广西格思克实业有限责任公司 | 一种用于集成电路制造的数据处理方法 |
CN113473078A (zh) * | 2021-06-09 | 2021-10-01 | 国网上海市电力公司 | 一种基于增强现实技术的红外运维巡检方法和装置 |
CN113554601A (zh) * | 2021-06-30 | 2021-10-26 | 合肥金星机电科技发展有限公司 | 电解槽极板的定位方法 |
CN113344987A (zh) * | 2021-07-07 | 2021-09-03 | 华北电力大学(保定) | 复杂背景下电力设备的红外与可见光图像配准方法及系统 |
CN113483898A (zh) * | 2021-08-04 | 2021-10-08 | 国能大渡河瀑布沟发电有限公司 | 水利发电机组励磁系统运行温度智能监测与预警技术 |
CN114049353A (zh) * | 2022-01-11 | 2022-02-15 | 合肥金星智控科技股份有限公司 | 炉管温度监测方法 |
CN115035168A (zh) * | 2022-08-15 | 2022-09-09 | 南京航空航天大学 | 基于多约束的光伏面板多源图像配准方法、装置及系统 |
CN115656701A (zh) * | 2022-12-12 | 2023-01-31 | 广东电网有限责任公司佛山供电局 | 一种基于红外图像的电容器发热故障识别方法及装置 |
CN116124837A (zh) * | 2023-04-17 | 2023-05-16 | 广东科翔电子科技股份有限公司 | 一种pcb外观检测方法及装置 |
CN116448255B (zh) * | 2023-06-14 | 2023-09-12 | 中国南方电网有限责任公司超高压输电公司广州局 | 换流站套管温度检测方法、装置、计算机设备和存储介质 |
CN116448255A (zh) * | 2023-06-14 | 2023-07-18 | 中国南方电网有限责任公司超高压输电公司广州局 | 换流站套管温度检测方法、装置、计算机设备和存储介质 |
CN117309873A (zh) * | 2023-09-04 | 2023-12-29 | 淮安特创科技有限公司 | 一种高效的pcb外观检测系统及方法 |
CN117217596A (zh) * | 2023-09-13 | 2023-12-12 | 广东建筑消防设施检测中心有限公司 | 水利水电工程建构筑物消防检测方法及系统 |
CN117152145B (zh) * | 2023-10-31 | 2024-02-23 | 威海天拓合创电子工程有限公司 | 一种基于图像的板卡工艺检测方法及装置 |
CN117152145A (zh) * | 2023-10-31 | 2023-12-01 | 威海天拓合创电子工程有限公司 | 一种基于图像的板卡工艺检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107025648A (zh) | 一种电路板故障红外图像自动检测方法 | |
CN107543828B (zh) | 一种工件表面缺陷检测方法及系统 | |
Krotosky et al. | Mutual information based registration of multimodal stereo videos for person tracking | |
CN111047568B (zh) | 一种漏汽缺陷检测识别方法及系统 | |
CN111191629B (zh) | 一种基于多目标的图像能见度检测方法 | |
CN108648168A (zh) | Ic晶圆表面缺陷检测方法 | |
CN108007388A (zh) | 一种基于机器视觉的转盘角度高精度在线测量方法 | |
CN105069790A (zh) | 一种齿轮外观缺陷快速影像检测方法 | |
CN109816674A (zh) | 基于Canny算子的配准图边缘提取方法 | |
CN107993258A (zh) | 一种图像配准方法及装置 | |
Torabi et al. | Local self-similarity-based registration of human ROIs in pairs of stereo thermal-visible videos | |
CN109727239A (zh) | 基于surf特征对巡检图与基准图的配准方法 | |
CN103902953B (zh) | 一种屏幕检测系统及方法 | |
CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
CN106501272B (zh) | 机器视觉焊锡定位检测系统 | |
CN113850749B (zh) | 训练缺陷侦测器的方法 | |
CN112017243B (zh) | 一种介质能见度识别方法 | |
CN109815822A (zh) | 基于广义Hough变换的巡检图零部件目标识别方法 | |
CN109544535B (zh) | 一种基于红外截止滤镜光学滤波特性的窥视摄像头检测方法及系统 | |
CN111738320A (zh) | 基于模板匹配的遮挡工件识别方法 | |
Wu et al. | A self-adaptive correction method for perspective distortions of image | |
Torabi et al. | Local self-similarity as a dense stereo correspondence measure for themal-visible video registration | |
Heather et al. | Multimodal image registration with applications to image fusion | |
CN111462310A (zh) | 一种基于多视几何的螺栓缺陷空间定位方法 | |
CN110288040A (zh) | 一种基于拓扑验证的图像相似评判方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170808 |