CN110599404A - 一种电路板显微图像拼接方法、装置、信息数据处理终端 - Google Patents
一种电路板显微图像拼接方法、装置、信息数据处理终端 Download PDFInfo
- Publication number
- CN110599404A CN110599404A CN201910902802.4A CN201910902802A CN110599404A CN 110599404 A CN110599404 A CN 110599404A CN 201910902802 A CN201910902802 A CN 201910902802A CN 110599404 A CN110599404 A CN 110599404A
- Authority
- CN
- China
- Prior art keywords
- image
- circuit board
- information
- microscopic
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 17
- 238000005286 illumination Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 238000009792 diffusion process Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像拼接技术领域，公开了一种电路板显微图像拼接方法、装置、信息数据处理终端，所述电路板显微图像拼接方法包括：一幅电路板，分区域采集50‑150幅具有重叠区域的彩色显微图像；对每幅电路板显微图像进行无效信息滤除，获得有效信息占比高的电路板富信息图像；对每幅电路板灰度图像进行特征点匹配，获取图像拼接位置及重合度信息；对所有图像进行图像拼接，获得拼接图像。本发明通过大量显微图像拼接，能获得有效信息完整、分辨率高的电路板图像，在图像放大后仍然可以清晰的观察元器件。因此本发明可以为后续电路板检测提供图像，提高检测效率和准确度。
Description
技术领域
本发明属于图像拼接技术领域，尤其涉及一种电路板显微图像拼接方法装置、信息数据处理终端。
背景技术
目前，最接近的现有技术：图像拼接是获得电路板高清放大图像的重要手段之一。然而，由于电路板元器件数量多、尺寸小、背景信息相似度高，要实现大量显微图像的自动拼接十分困难。目前图像拼接存在畸变、拼接图像数量少、拼接错位等问题，不能满足电路板检测对大量图像实现高精度拼接的要求。
常见的图像拼接方法：SURF算法，采用兴趣点检测器检测特征点，基于矢量之间的距离构建描述符，通过描述符进行图像匹配(Herbert Bay,Andreas Ess,TinneTuytelaars,Luc Van Gool.Speeded-Up Robust Features(SURF)[J].Computer Visionand Image Understanding,2007,110(3).)。SIFT算法。在尺度值的基础上确定描述子所需图像区域，使描述子具有平移不变性和尺度不变性，然后通过在每个子块上生成八个方向的梯度大小和方向直方图获得128个方向描述符，再通过欧式距离判断相似度(王玥.SIFT特征匹配算法研究[J].电子制作,2018(20):85-86.)。典型特征点提取方法。Moravec(1977)提出利用灰度方法提取特征点的算子(王舒鹏,方莉.利用Moravec算子提取特征点实现过程分析[J].电脑知识与技术,2006(26):125-126.)。Forstner在Moravec方法的基础上，将最小二乘法与灰度方法结合起来，把点位灰度误差椭圆作为模型，提出了Forster算子(曾凡永,顾爱辉,马勇骥,项皓东.几种特征点提取算子的分析和比较[J].现代测绘,2015,38(03):15-18.)。Smith和Brady提出了SUSAN算子(SUSAN—A New Approach to LowLevel Image Processing[J].Stephen M.Smith,J.Michael Brady.InternationalJournal of Computer Vision.1997(1).)。
常用的特征匹配方法。互信息法，通过比较两幅图像互相包含对方信息量的熵值来进行特征匹配的方法，信息量的熵值是对图像概率分布的一种表述(上官晋太,郭慧,杨汝良.互信息配准的一种改进算法[J].微计算机信息,2009,25(03):253-254.)。聚类法特征匹配，通过聚类计算对特征点对的相对主角进行统计分析，寻找多个局部极大值，然后根据每个中心对初试匹配点集重新聚类得到关联像素点对集合，选出平均距离最小的像素点集合并据此进行特征点匹配(李国波,陈钢,裴颂文,曹文君,吴百锋.基于图像特征聚类的自嵌入水印算法[J].小型微型计算机系统,2011,32(03):547-554.)。相关系数法，通过计算匹配图像与搜索模板之间的互相关值，确定图像匹配度(邵诗强,施立欣,吴美芬.基于频谱特征和归一化互相关系数的3D视频格式自动识别算法[J].光电子技术,2012,32(02):95-98.)。
电路板显微图像具有背景信息相似度高、拼接数目大等特点，采用目前的方法，为保证能够提取到足够多的兴趣点用于特征匹配，通常设置较低的兴趣阈值，在高相似度特征图像下易出现无效特征点比重远高于有效特征点的情况，从而造成拼接混乱，无法保证拼接的准确性。只有克服这一难题，才能使得电路板显微图像通过细微的不同准确的判断出拼接位置，进而实现高精度的拼接。
综上所述，现有技术存在的问题是：电路板显微图像采用目前的方法拼接的准确性低。
解决上述技术问题的难度：
电路板背景信息相似度高，使用显微镜头拍摄的显微图像由于有效视野范围小，且为保证拼接需要在不同的图像之间保证一定量的重叠区域，因此相比于常规图像，更难以保证每幅图像都具有足够多的、具有显著差异的信息用于特征点提取和匹配。加之显微图像数量往往非常大，产生位置、重叠区域误配的概率非常高。
解决上述技术问题的意义：
解决高信息相似度图像的有效特征提取这一问题，能够在电路板显微图像拼接方面实现高精度的拼接，促进电路板检测行业向更加自动化、智能化、高精度的方向发展，将人从电路板检测这一复杂、高强度的劳动中解放出来。此外，这一问题的解决对于其他图像拼接应用领域，如医学显微图像拼接、精密仪器故障诊断等行业的发展具有借鉴意义。
发明内容
针对现有技术存在的问题，本发明提供了一种电路板显微图像拼接方法装置、信息数据处理终端。
本发明是这样实现的，一种电路板显微图像拼接方法，所述电路板显微图像拼接方法包括以下步骤：
第一步，一幅电路板，分区域采集50-150幅具有重叠区域的彩色显微图像；
第二步，对每幅电路板显微图像进行无效信息滤除，获得有效信息占比高的电路板富信息图像；
第三步，对每幅电路板灰度图像进行特征点匹配，获取图像拼接位置及重合度信息，由此可以建立空白灰度空间，并按位置及重合度信息布置局部显微图像。
第四步，对所有图像进行图像拼接，获得拼接图像。
进一步，所述第一步重叠区域占整幅图像的1/3-1/2。
进一步，所述第二步对每幅电路板显微图像进行无效信息滤除包括：提取电路板显微图像中的R，G，B分量，通过分量之间的算术运算获得转化后的电路板灰度图像I(x,y)，对灰度图像I(x,y)进行傅里叶变换获得其图像信息空间T1(x,y)，定义一个筛选操作像素点的经验阈值S，通过搜索窗口遍历电路板图像信息空间，对灰度阈值大于S的像素点进行滤除，消除图像空间中无效的相似背景信息获得有效信息占比高的图像信息空间T2(x,y)，再进行傅里叶逆变换获得电路板富信息图像H(x,y)。
进一步，所述第三步对电路板图像获取位置及重合度信息包括：首先对电路板灰度图像进行Moravec角点提取，对提取角点采用互相关系数法进行匹配获得初始特征点对集合U，然后通过Ransac算法对初试特征点U对进行迭代，剔除误配点，获得准确度较高的特征点对V，通过特征点对V建立电路板灰度图像的投影仿射变换矩阵C，矩阵C中的坐标信息即为图像拼接位置及重合度信息。
进一步，所述第三步对每幅电路板图像进行无效信息滤除，按照如下步骤获得有效信息占比高的富信息图像，并进行特征点提取包括：
1)算术运算：提取电路板显微图像的红色分量R(x,y)图像，绿色分量G(x,y)图像，蓝色分量B(x,y)图像。对R，G，B分量图像按公式进行算术运算，得到图像I(x,y)：
I(x,y)＝r*R(x,y)+g*G(x,y)+b*B(x,y)；
式中，r为红色分量系数，g为绿色分量系数，b为蓝色分量系数，分别根据人眼对三种颜色的敏感程度不同来确定，x＝0,1,2...,M-1，y＝0,1,2...,N-1，M为图像像素行数，N为图像像素列数，x和y分别代表图像的行和列；
2)傅里叶变换：按照公式灰度图像进行频谱函数离散化，将图像信息从空域转换到频域，获得图像信息空间F1(u,v)：
式中，u＝0,1,2...,M-1，v＝0,1,2...,N-1，u和v分别代表图像在频域的时间分量和频率分量；
3)无效信息滤除：定义一个筛选操作像素点的经验阈值S，和一个h×l大小的搜索窗口L，使用搜索窗口遍历电路板图像信息空间，对灰度阈值大于S的像素点通过公式进行消除，消除图像空间中无效的相似背景信息获得有效信息占比高的图像信息空间F2(u,v)：
式中，截止频率D0可看作频率圆原点测得的截止半径，D(u,v)是点(u,v)距频率域矩形原点的距离，表达式为：
4)傅里叶逆变换：根据傅里叶逆变换公式将有效信息占比高的图像信息空间F2(u,v)逆变换获得空域图像H(x,y)；
5)特征点提取：构造一个w×w的图像模板，模板中心坐标定为(r,c)，分别从0°，45°，90°，135°四个方向对电路板灰度图像按照公式计算灰度值方差，灰度方差最大的点选为特征点：
进一步，所述第四步图像拼接包括：建立一个空的灰度空间Z，根据投影仿射变换矩阵C确定图像位置坐标，将电路板彩色显微图像按图像空间中顺序拼接获得拼接图像。
本发明的另一目的在于提供一种基于所述电路板显微图像拼接方法的电路板显微图像拼接装置，所述电路板显微图像拼接装置包括：一个千兆网彩色摄像机、光照箱、散光板、环形LED光源、被测电路板、摄像台、千分尺、电路板夹套、计算机、相机支架；
在光照箱内，摄像台安装在光照箱底部，千兆网彩色摄像机安装在光照箱上部，环形LED光源安装在千兆网彩色摄像机底部，摄像台上安装有千分尺，千分尺与电路板夹套相连，被测电路板夹装在夹套上，环形LED光源的光线透过散光板照射到被测电路板表面，千兆网彩色摄像机与计算机相连接。计算机上安装电路板显微图像拼接软件，由电路板显微图像拼接软件进行图像拼接的处理。
本发明的另一目的在于提供一种运行所述电路板显微图像拼接装置的电路板显微图像拼接方法，所述电路板显微图像拼接方法在外部动力带动下，被测电路板固定在摄像台上的电路板夹套内，在千分尺带动下在光照箱内平移到预设坐标，移动到指定位置后千兆网彩色摄像机采集该位置的被测电路板的一个区域图像，然后平移到下一个位置进行拍摄；图像数据通过千兆网卡传输给计算机，供电路板显微图像拼接软件处理。
本发明的另一目的在于提供一种应用所述路板显微图像拼接方法的信息数据处理终端。
综上所述，本发明的优点及积极效果为：本发明基于Moravec算法提取图像增加了无效信息滤波器，通过滤除无效信息，增大有效特征点占比，并通过增加电路板标志位增加电路板显微图像的差异度，从而精确的实现大量显微图像拼接，为后续电路板检测提供有效信息完整、分辨率高的电路板图像，提高检测效率和准确度。
附图说明
图1是本发明实施例提供的电路板显微图像拼接方法的流程图。
图2是本发明实施例提供的电路板显微图像拼接装置的结构示意图。
图3是本发明实施例提供的Moravec算法提取特征点效果图。
图4是本发明实施例提供的特征匹配效果图。
图5是本发明实施例提供的Ransac剔除误配点后特征匹配效果图。
图6是本发明实施例提供的无畸变消除的电路板拼接图像。
图7是本发明实施例提供的拼接图像放大细节图。
图中：1、千兆网彩色摄像机；2、光照箱；3、散光板；4、环形LED光源；5、被测电路板；6、摄像台；7、千分尺；8、电路板夹套；9、计算机；10、相机支架。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种电路板显微图像拼接方法装置、信息数据处理终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的电路板显微图像拼接方法包括以下步骤：
S101：针对一幅电路板，分区域采集50-150幅具有重叠区域的彩色显微图像；
S102：对每幅电路板显微图像进行无效信息滤除，获得有效信息占比高的电路板富信息图像；
S103：对每幅电路板灰度图像进行特征点匹配，获取图像拼接位置及重合度信息；
S104：对所有图像进行图像拼接，获得高清的拼接图像。
在本发明的优选实施例中，步骤S102中的对每幅电路板显微图像进行无效信息滤除的具体步骤是：提取电路板显微图像中的R，G，B分量，通过分量之间的算术运算获得转化后的电路板灰度图像I(x,y)，对灰度图像I(x,y)进行傅里叶变换获得其图像信息空间T1(x,y)，定义一个筛选操作像素点的经验阈值S，通过搜索窗口遍历电路板图像信息空间，对灰度阈值大于S的像素点进行滤除，消除图像空间中无效的相似背景信息获得有效信息占比高的图像信息空间T2(x,y)，再进行傅里叶逆变换获得电路板富信息图像H(x,y)。
在本发明的优选实施例中，步骤S103中对电路板图像获取位置及重合度信息的具体步骤是：首先对电路板灰度图像进行Moravec角点提取，对提取角点采用互相关系数法进行匹配获得初始特征点对集合U，然后通过Ransac算法对初试特征点U对进行迭代，剔除误配点，获得准确度较高的特征点对V，通过特征点对V建立电路板灰度图像的投影仿射变换矩阵C，矩阵C中的坐标信息即为图像拼接位置及重合度信息。
在本发明的优选实施例中，步骤S104中的图像拼接步骤是：建立一个空的灰度空间Z，根据投影仿射变换矩阵C确定图像位置坐标，将电路板彩色显微图像按图像空间中顺序拼接获得拼接图像。
电路板具有丰富的高频信息，大片空白区域印刷形变较大的不规则标志位。
电路板显微图像拍摄需要保证足够的重叠区域用于匹配，一般要求重叠区域占整幅图像的1/3-1/2。
如图2所示，本发明实施例提供的电路板显微图像拼接装置包括：一个千兆网彩色摄像机1、光照箱2、散光板3、环形LED光源4、被测电路板5、摄像台6、千分尺7、电路板夹套8、计算机9以及相机支架10。
在光照箱2内，摄像台6安装在光照箱2底部，千兆网彩色摄像机1安装在光照箱2上部，环形LED光源4安装在千兆网彩色摄像机1底部，摄像台6上安装有千分尺7，千分尺7与电路板夹套8相连，被测电路板5夹装在夹套8上，环形LED光源4的光线透过散光板3均匀照射到被测电路板5表面，千兆网彩色摄像机1与计算机9相连接。计算机9上安装电路板显微图像拼接软件，由电路板显微图像拼接软件进行图像拼接的处理。
当千分尺7按照程序设定移动指定距离后，千兆网彩色摄像机1采集图像。被测电路板5随电路板夹套8经千分尺7调节进行平移运动。
本发明实施例提供的电路板显微图像拼接装置在外部动力带动下，被测电路板5固定在摄像台6上的电路板夹套8内，在千分尺7带动下在光照箱2内平移到预设坐标，移动到指定位置后千兆网彩色摄像机1采集该位置的被测电路板5的一个区域图像，然后平移到下一个位置进行拍摄，如图2所示。图像数据通过千兆网卡传输给计算机，供电路板显微图像拼接软件处理。
下面结合附图对本发明的技术方案作进一步的描述。
如图3所示，对每幅电路板图像进行无效信息滤除，按照如下步骤获得有效信息占比高的富信息图像，并进行特征点提取：
1)算术运算：提取电路板显微图像的红色分量R(x,y)图像，绿色分量G(x,y)图像，蓝色分量B(x,y)图像。对R，G，B分量图像按公式1进行算术运算，得到图像I(x,y)：
I(x,y)＝r*R(x,y)+g*G(x,y)+b*B(x,y) (1)
式中，r为红色分量系数，g为绿色分量系数，b为蓝色分量系数，分别根据人眼对三种颜色的敏感程度不同来确定，x＝0,1,2...,M-1，y＝0,1,2...,N-1，M为图像像素行数，N为图像像素列数，x和y分别代表图像的行和列。
2)傅里叶变换：按照公式2灰度图像进行频谱函数离散化，将图像信息从空域转换到频域，获得图像信息空间F1(u,v)：
式中，u＝0,1,2...,M-1，v＝0,1,2...,N-1，u和v分别代表图像在频域的时间分量和频率分量。
3)无效信息滤除：定义一个筛选操作像素点的经验阈值S，和一个h×l大小的搜索窗口L，使用搜索窗口遍历电路板图像信息空间，对灰度阈值大于S的像素点通过公式3进行消除，消除图像空间中无效的相似背景信息获得有效信息占比高的图像信息空间F2(u,v)：
式中，截止频率D0可以看作频率圆原点测得的截止半径，D(u,v)是点(u,v)距频率域矩形原点的距离，表达式为：
4)傅里叶逆变换：根据傅里叶逆变换公式将有效信息占比高的图像信息空间F2(u,v)逆变换获得空域图像H(x,y)。
5)特征点提取：构造一个w×w的图像模板，模板中心坐标定为(r,c)，分别从0°，45°，90°，135°四个方向对电路板灰度图像按照公式(4)计算灰度值方差，灰度方差最大的点选为特征点：
如图4-图5，对每幅电路板图像进行特征点提取和匹配，按照如下步骤获得图像拼接位置及重合度信息：
1)特征匹配：对提取角点采用互相关系数法进行匹配获得初始特征点对集合U，如图4。
2)Ransac算法迭代：通过Ransac算法对初试特征点U对进行迭代，剔除误配点，获得准确度较高的特征点对V，如图5。
3)建立投影仿射变化矩阵：通过特征点对V建立电路板灰度图像的投影仿射变换矩阵C，矩阵C中的坐标信息即为图像拼接位置及重合度信息。
如图6-图7所示，进行图像拼接的具体方法是：建立一个空的灰度空间Z，根据投影仿射变换矩阵C确定图像位置坐标，将电路板彩色显微图像按图像空间中顺序拼接获得拼接图像如图6，其放大细节展示效果如图7。
电路板具有丰富的高频信息，大片空白区域印刷形变较大的不规则标志位。
电路板显微图像拍摄有足够的重叠区域用于匹配，重叠区域占整幅图像的1/3-1/2。
下面结合具体实施例对本发明的技术方案作进一步的描述。
本发明实施例中，采用59幅电路板显微图像进行拼接。
对每幅电路板显微图像进行无效信息滤除，提取电路板显微图像中的R，G，B分量，取红色分量系数r＝0.30，绿色分量系数g＝0.59，蓝色分量系数b＝0.11，通过算术运算获得电路板灰度图像I(x,y)。
对灰度图像进行傅里叶变换后对无效信息滤除，将有效信息占比高的图像信息空间F2(u,v)逆变换获得空域图像H(x,y)。
如图3所示，构造一个w×w的图像模板，模板中心坐标定为(r,c)，分别从0°，45°，90°，135°四个方向对电路板灰度图像按照公式(4)计算灰度值方差，灰度方差最大的点选为特征点。
如图4和图5所示，根据Moravec算法对提取角点后采用互相关系数法进行匹配获得初始特征点对集合U，再过Ransac算法对初试特征点U对进行迭代，剔除误配点。
如图6所示，建立一个空的灰度空间Z，根据投影仿射变换矩阵C确定图像位置坐标，将电路板彩色显微图像按图像空间中顺序拼接获得拼接图像。
其中，拼接后的电路板图像分辨率精度可达0.001mm。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种电路板显微图像拼接方法，其特征在于，所述电路板显微图像拼接方法包括以下步骤：
第一步，一幅电路板，分区域采集50-150幅具有重叠区域的彩色显微图像；
第二步，对每幅电路板显微图像进行无效信息滤除，获得有效信息占比高的电路板富信息图像；
第三步，对每幅电路板灰度图像进行特征点匹配，获取图像拼接位置及重合度信息；
第四步，对所有图像进行图像拼接，获得拼接图像。
2.如权利要求1所述的电路板显微图像拼接方法，其特征在于，所述第一步重叠区域占整幅图像的1/3-1/2。
3.如权利要求1所述的电路板显微图像拼接方法，其特征在于，所述第二步对每幅电路板显微图像进行无效信息滤除包括：提取电路板显微图像中的R，G，B分量，通过分量之间的算术运算获得转化后的电路板灰度图像I(x,y)，对灰度图像I(x,y)进行傅里叶变换获得其图像信息空间T1(x,y)，定义一个筛选操作像素点的经验阈值S，通过搜索窗口遍历电路板图像信息空间，对灰度阈值大于S的像素点进行滤除，消除图像空间中无效的相似背景信息获得有效信息占比高的图像信息空间T2(x,y)，再进行傅里叶逆变换获得电路板富信息图像H(x,y)。
4.如权利要求1所述的电路板显微图像拼接方法，其特征在于，所述第三步对电路板图像获取位置及重合度信息包括：首先对电路板灰度图像进行Moravec角点提取，对提取角点采用互相关系数法进行匹配获得初始特征点对集合U，然后通过Ransac算法对初试特征点U对进行迭代，剔除误配点，获得准确度较高的特征点对V，通过特征点对V建立电路板灰度图像的投影仿射变换矩阵C，矩阵C中的坐标信息即为图像拼接位置及重合度信息。
5.如权利要求1所述的电路板显微图像拼接方法，其特征在于，所述第三步对每幅电路板图像进行无效信息滤除，按照如下步骤获得有效信息占比高的富信息图像，并进行特征点提取包括：
1)算术运算：提取电路板显微图像的红色分量R(x,y)图像，绿色分量G(x,y)图像，蓝色分量B(x,y)图像，对R，G，B分量图像按公式进行算术运算，得到图像I(x,y)：
I(x,y)＝r*R(x,y)+g*G(x,y)+b*B(x,y)；
式中，r为红色分量系数，g为绿色分量系数，b为蓝色分量系数，分别根据人眼对三种颜色的敏感程度不同来确定，x＝0,1,2...,M-1，y＝0,1,2...,N-1，M为图像像素行数，N为图像像素列数，x和y分别代表图像的行和列；
2)傅里叶变换：按照公式灰度图像进行频谱函数离散化，将图像信息从空域转换到频域，获得图像信息空间F1(u,v)：
式中，u＝0,1,2...,M-1，v＝0,1,2...,N-1，u和v分别代表图像在频域的时间分量和频率分量；
3)无效信息滤除：定义一个筛选操作像素点的经验阈值S，和一个h×l大小的搜索窗口L，使用搜索窗口遍历电路板图像信息空间，对灰度阈值大于S的像素点通过公式进行消除，消除图像空间中无效的相似背景信息获得有效信息占比高的图像信息空间F2(u,v)：
式中，截止频率D0可看作频率圆原点测得的截止半径，D(u,v)是点(u,v)距频率域矩形原点的距离，表达式为：
4)傅里叶逆变换：根据傅里叶逆变换公式将有效信息占比高的图像信息空间F2(u,v)逆变换获得空域图像H(x,y)；
5)特征点提取：构造一个w×w的图像模板，模板中心坐标定为(r,c)，分别从0°，45°，90°，135°四个方向对电路板灰度图像按照公式计算灰度值方差，灰度方差最大的点选为特征点：
6.如权利要求1所述的电路板显微图像拼接方法，其特征在于，所述第四步图像拼接包括：建立一个空的灰度空间Z，根据投影仿射变换矩阵C确定图像位置坐标，将电路板彩色显微图像按图像空间中顺序拼接获得拼接图像。
7.一种基于权利要求1所述电路板显微图像拼接方法的电路板显微图像拼接装置，其特征在于，所述电路板显微图像拼接装置包括：一个千兆网彩色摄像机、光照箱、散光板、环形LED光源、被测电路板、摄像台、千分尺、电路板夹套、计算机、相机支架；
在光照箱内，摄像台安装在光照箱底部，千兆网彩色摄像机安装在光照箱上部，环形LED光源安装在千兆网彩色摄像机底部，摄像台上安装有千分尺，千分尺与电路板夹套相连，被测电路板夹装在夹套上，环形LED光源的光线透过散光板照射到被测电路板表面，千兆网彩色摄像机与计算机相连接；计算机上安装电路板显微图像拼接软件，由电路板显微图像拼接软件进行图像拼接的处理。
8.一种运行权利要求7所述电路板显微图像拼接装置的电路板显微图像拼接方法，其特征在于，所述电路板显微图像拼接方法在外部动力带动下，被测电路板固定在摄像台上的电路板夹套内，在千分尺带动下在光照箱内平移到预设坐标，移动到指定位置后千兆网彩色摄像机采集该位置的被测电路板的一个区域图像，然后平移到下一个位置进行拍摄；图像数据通过千兆网卡传输给计算机，供电路板显微图像拼接软件处理。
9.一种应用权利要求1～6任意一项所述路板显微图像拼接方法的信息数据处理终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910902802.4A CN110599404A (zh) | 2019-09-24 | 2019-09-24 | 一种电路板显微图像拼接方法、装置、信息数据处理终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910902802.4A CN110599404A (zh) | 2019-09-24 | 2019-09-24 | 一种电路板显微图像拼接方法、装置、信息数据处理终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110599404A true CN110599404A (zh) | 2019-12-20 |
Family
ID=68862582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910902802.4A Pending CN110599404A (zh) | 2019-09-24 | 2019-09-24 | 一种电路板显微图像拼接方法、装置、信息数据处理终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599404A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539164A (zh) * | 2020-05-13 | 2020-08-14 | 深圳市全洲自动化设备有限公司 | 一种通过拍摄图像自动生成lcd电路设计图的方法 |
| CN114356191A (zh) * | 2022-03-04 | 2022-04-15 | 北京阿丘科技有限公司 | 线路板图像显示方法、装置、设备及存储介质 |
| CN114727502A (zh) * | 2022-05-24 | 2022-07-08 | 浙江树人学院 | 一种计算机辅助下的pcb板自动对位切割方法及系统 |
| CN115082484A (zh) * | 2022-08-23 | 2022-09-20 | 山东光岳九州半导体科技有限公司 | 基于图像处理的半导体自动分区方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104166972A (zh) * | 2013-05-17 | 2014-11-26 | 中兴通讯股份有限公司 | 一种终端及其实现图像处理的方法 |
| CN104408742A (zh) * | 2014-10-29 | 2015-03-11 | 河海大学 | 一种基于空间-时间频谱联合分析的运动目标检测方法 |
| CN104732532A (zh) * | 2015-03-11 | 2015-06-24 | 中国空间技术研究院 | 一种遥感卫星多光谱图像配准方法 |
| US9224189B2 (en) * | 2010-11-02 | 2015-12-29 | Zte Corporation | Method and apparatus for combining panoramic image |
| CN107093166A (zh) * | 2017-04-01 | 2017-08-25 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
| CN110020995A (zh) * | 2019-03-06 | 2019-07-16 | 沈阳理工大学 | 针对复杂图像的图像拼接方法 |
| CN110232673A (zh) * | 2019-05-30 | 2019-09-13 | 电子科技大学 | 一种基于医疗显微成像的快速稳健的图像拼接方法 |
-
2019
- 2019-09-24 CN CN201910902802.4A patent/CN110599404A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9224189B2 (en) * | 2010-11-02 | 2015-12-29 | Zte Corporation | Method and apparatus for combining panoramic image |
| CN104166972A (zh) * | 2013-05-17 | 2014-11-26 | 中兴通讯股份有限公司 | 一种终端及其实现图像处理的方法 |
| CN104408742A (zh) * | 2014-10-29 | 2015-03-11 | 河海大学 | 一种基于空间-时间频谱联合分析的运动目标检测方法 |
| CN104732532A (zh) * | 2015-03-11 | 2015-06-24 | 中国空间技术研究院 | 一种遥感卫星多光谱图像配准方法 |
| CN107093166A (zh) * | 2017-04-01 | 2017-08-25 | 华东师范大学 | 低重合率显微图像的无缝拼接方法 |
| CN110020995A (zh) * | 2019-03-06 | 2019-07-16 | 沈阳理工大学 | 针对复杂图像的图像拼接方法 |
| CN110232673A (zh) * | 2019-05-30 | 2019-09-13 | 电子科技大学 | 一种基于医疗显微成像的快速稳健的图像拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 管士勇: "基于特征点的印刷电路板CT图像配准技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 赵洪宋: "基于SIFT算法和图结构的全景图像拼接", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111539164A (zh) * | 2020-05-13 | 2020-08-14 | 深圳市全洲自动化设备有限公司 | 一种通过拍摄图像自动生成lcd电路设计图的方法 |
| CN114356191A (zh) * | 2022-03-04 | 2022-04-15 | 北京阿丘科技有限公司 | 线路板图像显示方法、装置、设备及存储介质 |
| CN114356191B (zh) * | 2022-03-04 | 2022-07-12 | 北京阿丘科技有限公司 | 线路板图像显示方法、装置、设备及存储介质 |
| CN114727502A (zh) * | 2022-05-24 | 2022-07-08 | 浙江树人学院 | 一种计算机辅助下的pcb板自动对位切割方法及系统 |
| CN115082484A (zh) * | 2022-08-23 | 2022-09-20 | 山东光岳九州半导体科技有限公司 | 基于图像处理的半导体自动分区方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599404A (zh) | 一种电路板显微图像拼接方法、装置、信息数据处理终端 | |
| CN111243032B (zh) | 一种棋盘格角点全自动检测方法 | |
| JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
| CN110189322B (zh) | 平整度检测方法、装置、设备、存储介质及系统 | |
| CN105574527B (zh) | 一种基于局部特征学习的快速物体检测方法 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN112067233B (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
| CN111161295B (zh) | 一种菜品图像背景剥离方法 | |
| CN103700082B (zh) | 基于对偶四元数相对定向的图像拼接方法 | |
| CN113129383A (zh) | 手眼标定方法、装置、通信设备及存储介质 | |
| KR20150105190A (ko) | 컬러-코드화된 구조를 사용하는 카메라 캘리브레이션 방법 및 장치 | |
| CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN112833821B (zh) | 高密度ic焊点的微分几何立体微视觉检测系统及方法 | |
| CN114187253A (zh) | 一种电路板零件安装检测方法 | |
| CN105427237A (zh) | 一种大幅面光学测量系统的钢网图像配准与检测方法 | |
| CN111145254B (zh) | 一种基于双目视觉的门阀毛坯定位方法 | |
| CN116935013A (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 | |
| CN115035168B (zh) | 基于多约束的光伏面板多源图像配准方法、装置及系统 | |
| CN111681271B (zh) | 一种多通道多光谱相机配准方法、系统及介质 | |
| CN110956640B (zh) | 一种异源图像边缘点检测与配准方法 | |
| CN107092908A (zh) | 一种基于列车转向架上的平面压印字符自动识别方法 | |
| CN114148103A (zh) | 一种基于神经网络学习的焊膏印刷标记识别方法及系统 | |
| CN110838135A (zh) | 一种pcb裸板图像配准方法 | |
| CN111784779A (zh) | 基于卷积神经网络和嵌套轮廓识别的棋盘格图像识别定位系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |
|
| RJ01 | Rejection of invention patent application after publication |