CN105469085A - 板卡图像获取方法和系统 - Google Patents

板卡图像获取方法和系统 Download PDF

Info

Publication number
CN105469085A
CN105469085A CN201510990864.7A CN201510990864A CN105469085A CN 105469085 A CN105469085 A CN 105469085A CN 201510990864 A CN201510990864 A CN 201510990864A CN 105469085 A CN105469085 A CN 105469085A
Authority
CN
China
Prior art keywords
image
mark2
board
standard drawing
mark1
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510990864.7A
Other languages
English (en)
Other versions
CN105469085B (zh
Inventor
罗汉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201510990864.7A priority Critical patent/CN105469085B/zh
Publication of CN105469085A publication Critical patent/CN105469085A/zh
Priority to PCT/CN2016/098232 priority patent/WO2017107564A1/zh
Application granted granted Critical
Publication of CN105469085B publication Critical patent/CN105469085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明涉及一种板卡图像获取方法和系统,其中,方法包括以下步骤:每隔预设的时间间隔获取板卡所在区域的第一图像;其中,所述第一图像包括至少一张完整的板卡;计算预存的标准图在所述第一图像中的第一匹配矩阵;其中,所述标准图为所述板卡的参照图;计算第一匹配矩阵中取值最小的第一目标元素,并获取所述第一目标元素的第一坐标;如果所述第一目标元素的值小于预设的阈值,将所述第一坐标设为所述板卡的第二图像的左上角坐标,并根据所述标准图的尺寸和所述左上角坐标从第一图像中截取所述板卡的第二图像。所述板卡图像获取方法和系统复杂度低、成本低、效率高。

Description

板卡图像获取方法和系统
技术领域
本发明涉及自动光学检测技术领域,特别是涉及一种板卡图像获取方法和系统。
背景技术
现阶段工厂在对板卡(例如,PCB板)进行组装等处理时,一般是先将板卡放置在流水线上,采用AOI(AutomaticOpticInspection,自动光学检测)系统获取板卡在流水线上的图像,再从图像中过滤掉流水线的背景信息,得到板卡的图像。在AOI系统中,一种常用的做法是将板卡放置在流水线的传送带或托盘之上,将摄像头架设在传送带正上方,并采用传感器对板卡的位置进行检测。当传感器检测到板卡进入摄像头的拍摄区域时,采用摄像头对板卡所在区域的图像进行拍摄。
现有技术具有以下缺点:需要外部传感器检测板卡的位置,增加了系统的复杂度和成本,且每次只能获取一张板卡的图像,图像获取效率低。
发明内容
基于此,有必要针对现有技术复杂度高、成本高和效率低的问题,提供一种板卡图像获取方法和系统。
一种板卡图像获取方法,包括以下步骤:
每隔预设的时间间隔获取板卡所在区域的第一图像;其中,所述第一图像包括至少一张完整的板卡;
计算预存的标准图在所述第一图像中的第一匹配矩阵;其中,所述标准图为所述板卡的参照图;
计算第一匹配矩阵中取值最小的第一目标元素,并获取所述第一目标元素的第一坐标;
如果所述第一目标元素的值小于预设的阈值,将所述第一坐标设为所述板卡的第二图像的左上角坐标,并根据所述标准图的尺寸和所述左上角坐标从第一图像中截取所述板卡的第二图像。
所述板卡图像获取方法还包括以下步骤:
将所述第一图像中所述第二图像对应区域的元素的像素值设为0,得到第三图像;
计算预存的标准图在所述第三图像中的第二匹配矩阵;
计算第二匹配矩阵中取值最小的第二目标元素,并获取所述第二目标元素的坐标;
如果所述第二目标元素的值小于所述阈值,根据所述坐标从第三图像中获得所述板卡的第四图像。
一种板卡图像获取系统,包括:
第一获取模块,用于每隔预设的时间间隔获取板卡所在区域的第一图像;其中,所述第一图像包括至少一张完整的板卡;
第一计算模块,用于计算预存的标准图在所述第一图像中的第一匹配矩阵;其中,所述标准图为所述板卡的参照图;
第二计算模块,用于计算第一匹配矩阵中取值最小的第一目标元素,并获取所述第一目标元素的第一坐标;
截取模块,用于如果所述第一目标元素的值小于预设的阈值,将所述第一坐标设为所述板卡的第二图像的左上角坐标,并根据所述标准图的尺寸和所述左上角坐标从第一图像中截取所述板卡的第二图像。
所述板卡图像获取系统还包括:
设置模块,用于将所述第一图像中所述第二图像对应区域的元素的像素值设为0,得到第三图像;
第四计算模块,用于计算预存的标准图在所述第三图像中的第二匹配矩阵;
第三获取模块,用于计算第二匹配矩阵中取值最小的第二目标元素,并获取所述第二目标元素的坐标;
第四获取模块,用于如果所述第二目标元素的取值小于预设的阈值,根据所述坐标从第三图像中获得所述板卡的第四图像。
上述板卡图像获取方法和系统,通过以预设的速率获取板卡所在区域的第一图像,计算预存的标准图在所述第一图像中的第一匹配矩阵,计算第一匹配矩阵中取值最小的第一目标元素,并获取所述第一目标元素的第一坐标,当第一目标元素的值小于预设的阈值时,将所述第一坐标设为所述板卡的第二图像的左上角坐标,并根据所述标准图的尺寸和所述左上角坐标从第一图像中截取所述板卡的第二图像,无需设置额外的传感器来检测板卡的位置,复杂度低,成本低。
另外,当第一图像中包含多个板卡时,通过将已检测到的板卡的像素值设为0,得到第三图像,计算预存的标准图在所述第三图像中的第二匹配矩阵,计算第二匹配矩阵中取值最小的第二目标元素,并获取所述第二目标元素的坐标,如果所述第二目标元素的取值小于预设的阈值,根据所述坐标从第三图像中获得所述板卡的第四图像,直到所述第三图像中检测不到板卡为止,每次可以获取多张板卡的图像,图像获取效率高。
附图说明
图1为一个实施例的板卡图像获取方法流程图;
图2为一个实施例的标准图中的标记点和对应区域的示意图;
图3为一个实施例的板卡图像获取系统结构示意图。
具体实施方式
下面结合附图对本发明的板卡图像获取方法的实施例进行描述。
图1为一个实施例的板卡图像获取方法流程图。如图1所示,所述板卡图像获取方法可包括以下步骤:
S1,每隔预设的时间间隔获取板卡所在区域的第一图像;其中,所述第一图像包括至少一张完整的板卡;
在本步骤中,可通过摄像头获取板卡的第一图像Iobj。所述第一图像Iobj中可包含一个或多个板卡。所述第一图像Iobj可以是灰度图像。在实际情况下,通过摄像头获取到的图像可能是多通道彩色图像,可首先将彩色图像转换为灰度图。
所述摄像头可以每隔预设的时间间隔获取板卡所在区域的第一图像,例如,当板卡位于传送带上时,可获取板卡所在传送带的第一图像。为了保证能够获取到每张板卡的图像,所述预设的时间间隔应满足以下条件:
vt≤S(1)
式中,v为板卡的移动速度,t为所述预设的时间间隔,S为摄像头的拍摄区域的长度,其中,摄像头的拍摄区域的长度应大于所述板卡的宽度。
S2,计算预存的标准图在所述第一图像中的第一匹配矩阵;其中,所述标准图为所述板卡的参照图;
在本步骤中,可首先获取所述板卡的一张图像,并预存在存储器中,作为参照所需的标准图Imodel。可计算预存的标准图Imodel在所述第一图像Iobj中的第一匹配矩阵。假设所述第一图像Iobj中板卡的方向与所述标准图Imodel中板卡的方向基本一致,可根据如下公式计算所述第一匹配矩阵:
R ( x , y ) = Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 ( I mod e l ( i , j ) - I o b j ( x + i , y + j ) ) 2 Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 I mod e l ( i , j ) 2 Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 I o b j ( x + i , y + j ) 2 - - - ( 2 )
式中,R(x,y)为第一匹配矩阵,wmodel和hmodel分别为所述标准图Imodel的宽和高,Imodel(i,j)和Iobj(x+i,y+j)分别为标准图Imodel中第i行第j列的元素的像素值和第一图像Iobj中第x+i行第y+j列的元素的像素值。
在实际情况下,还可根据其他方式计算所述第一匹配矩阵,具体的计算方式将不会影响后续板卡图像获取方法的实施方式,特此说明。
S3,计算第一匹配矩阵中取值最小的第一目标元素,并获取所述第一目标元素的第一坐标;
在本步骤中,可计算第一匹配矩阵中取值最小的第一目标元素,即:
r=min(R(x,y))(3)
式中,R(x,y)表示所述第一匹配矩阵,r表示所述第一目标元素。
S4,如果所述第一目标元素的值小于预设的阈值,将所述第一坐标设为所述板卡的第二图像的左上角坐标,并根据所述标准图的尺寸和所述左上角坐标从第一图像中截取所述板卡的第二图像。
如果r小于预设的阈值rthreshold,可从第一图像Iobj中获取所述板卡的第二图像Itar;否则,如果r大于或等于预设的阈值rthreshold,可认为第一图像Iobj中没有搜索到所述板卡的第二图像Itar。其中,所述阈值rthreshold可根据经验设定,也可采用相应的算法来计算,阈值rthreshold的获取方式将不会影响后续板卡图像获取方法的实施方式,特此说明。
由于摆放的原因,与标准图Imodel中的板卡相比,第二图像Itar中的板卡位置可能发生位移。为了消除所述位移引起的误差,可对第二图像Itar进行配准操作。在一个实施例中,可采用以下方式对第二图像Itar进行配准操作:
可在所述标准图Imodel中获取第一标记点图像和第二标记点图像。例如,可在所述标准图Imodel中截取两个图案分别设为第一标记点图像Imark1和第二标记点图像Imark2
然后,可根据第一标记点图像Imark1和第二标记点图像Imark2生成第一区域Pmark1和第二区域Pmark2,并获取第一区域Pmark1和第二区域Pmark2的左上角坐标。例如,可对第一标记点图像Imark1和第二标记点图像Imark2进行一定比例的扩大(例如,所述比例可以是0.2倍),并框取扩大后的第一标记点图像Imark1和第二标记点图像,得到第一区域Pmark1和第二区域Pmark2;其中,所述第一区域的坐标可记为(xmark1,ymark1,wmark1,hmark1),所述第二区域的坐标可记为(xmark2,ymark2,wmark2,hmark2),(xmark1,ymark1)和(xmark2,ymark2)分别表示第一区域Pmark1的左上角坐标和第二区域Pmark2的左上角坐标,wmark1和wmark2分别表示第一区域Pmark1和第二区域Pmark2的宽,hmark1和hmark2分别表示第一区域Pmark1和第二区域Pmark2的高。所述第一标记点图像Imark1和第二标记点图像Imark2可以是板卡上的标准露铜圆形,也可以是用户任意设定的两个图案。所述第一标记点图像Imark1和第二标记点图像Imark2可以是清晰,位置相对固定,并且周围没有易混淆的标记点的图像。第一标记点和第二标记点可以取直线距离较大的两个点,例如,可以取板卡的对角线上的两个点。所述标准图Imodel中的标记点和对应区域如图2所示。
可在所述第二图像Itar中截取第一区域Pmark1和第二区域Pmark2对应的第三区域Isearch1和第四区域Isearch2,并可分别以第一区域Pmark1的左上角坐标和第二区域Pmark2的左上角坐标为模板在第三区域Isearch1和第四区域Isearch2中找出对应的第三区域P'mark1的左上角坐标和第四区域P'mark2的左上角坐标,其坐标分别记为(x'mark1,y'mark1)和(x'mark2,y'mark2);
可根据所述第一区域Pmark1的左上角坐标、第二区域Pmark2的左上角坐标、第三区域P'mark1的左上角坐标和第四区域P'mark2的左上角坐标计算所述标准图Imodel与所述第二图像Itar之间的变换矩阵H。可根据以下公式计算所述变换矩阵:
H = s c a l a r · c o s θ - s c a l a r · s i n θ x 0 s c a l a r · s i n θ s c a l a r · cos θ y 0 0 0 1 - - - ( 4 )
其中,
s c a l a r = x m a r k 2 - x m a r k 1 x m a r k 2 ′ c o s θ - y m a r k 2 ′ s i n θ - x m a r k 1 ′ c o s θ + y m a r k 1 ′ s i n θ ,
x0=xmark2-(x'mark2cosθ-y'mark2sinθ)scalar,
y0=ymark2-(x'mark2sinθ+y'mark2cosθ)scalar,
θ=arctan(ymark2-ymark1,xmark2-xmark1)-arctan(y'mark2-y'mark1,x'mark2-x'mark1)
式中,H为所述变换矩阵,scalar为第二图像Itar与标准图Imodel之间的缩放比例,θ为第二图像Itar与标准图Imodel之间的旋转角度,[x0,y0]为第二图像Itar与标准图Imodel之间的平移向量,(xmark1,ymark1)和(xmark2,ymark2)分别为标准图Imodel中第一区域Pmark1和第二区域Pmark2的左上角坐标,(x'mark1,y'mark1)和(x'mark2,y'mark2)为第二图像Itar中第三区域Pm'ark1和第四区域Pm'ark2的左上角坐标。
可根据所述变换矩阵H对所述第二图像Itar的位置进行配准。例如,可使用OpenCV(OpenSourceComputerVisionLibrary,基于开源的跨平台计算机视觉库)库中的函数warpAffine进行配准。
由于第一图像Iobj中可能有多张板卡,可将所述第二图像Itar对应区域的元素Iobj(x,y)的像素值设为0,得到第三图像I'obj;其中,x∈[xbest,xbest+wmodel),y∈[ybest,ybest+hmodel),(xbest,ybest)为第一匹配矩阵R(x,y)中取值最小的第一目标元素的坐标,wmodel和hmodel分别为所述标准图Imodel的宽和高。可获得预存的标准图Imodel在所述第三图像I'obj中的第二匹配矩阵R'(x,y)。然后,可计算第二匹配矩阵R'(x,y)中取值最小的第二目标元素,即:
r'=min(R'(x,y))(5)
式中,R'(x,y)为第二匹配矩阵,r'为第二目标元素。
可获取所述第二目标元素的坐标,如果所述第二目标元素的值小于预设的阈值,根据所述坐标从第三图像I'obj中获得所述板卡的第四图像I'tar;可循环执行本步骤,直到第三图像I'obj中找不到板卡为止。
本发明的板卡图像获取方法具有以下优点:
(1)通过算法实现板卡检测,无需外部设备配合,使用方便,复杂度低,能有效地降低成本。
(2)可基于标记点信息对板卡为止进行精确配准,精度高,速度快。
(3)每次可获取多张板卡的图像,图像获取效率高。
下面结合附图对本发明的板卡图像获取系统的实施例进行描述。
图3为一个实施例的板卡图像获取系统结构示意图。如图3所示,所述板卡图像获取系统可包括:
第一获取模块10,用于每隔预设的时间间隔获取板卡所在区域的第一图像;其中,所述第一图像包括至少一张完整的板卡;
第一获取模块10可获取板卡的第一图像Iobj。所述第一获取模块10可以是摄像头。所述第一图像Iobj中可包含一个或多个板卡。所述第一图像Iobj可以是灰度图像。在实际情况下,通过第一获取模块10获取到的图像可能是多通道彩色图像,可首先将彩色图像转换为灰度图。
所述摄像头可以每隔预设的时间间隔获取板卡所在区域的第一图像,例如,当板卡位于传送带上时,可获取板卡所在传送带的第一图像。为了保证能够获取到每张板卡的图像,所述预设的时间间隔应满足公式(1)给出的条件。
第一计算模块20,用于计算预存的标准图在所述第一图像中的第一匹配矩阵;其中,所述标准图为所述板卡的参照图;
第一计算模块20的获取单元可获取所述板卡的一张图像Imodel,并预存在存储器中,作为参照所需的标准图。第一计算模块20的计算单元可计算预存的标准图Imodel在所述第一图像Iobj中的第一匹配矩阵。假设所述第一图像Iobj中板卡的方向与所述标准图Imodel中板卡的方向基本一致,可根据公式(2)计算所述第一匹配矩阵。
在实际情况下,还可根据其他方式计算所述第一匹配矩阵,具体的计算方式将不会影响后续板卡图像获取方法的实施方式,特此说明。
第二计算模块30,用于计算第一匹配矩阵中取值最小的第一目标元素,并获取所述第一目标元素的第一坐标;
第二计算模块30可根据公式(3)计算第一匹配矩阵中取值最小的第一目标元素。
截取模块40,用于如果所述第一目标元素的值小于预设的阈值,将所述第一坐标设为所述板卡的第二图像的左上角坐标,并根据所述标准图的尺寸和所述左上角坐标从第一图像中截取所述板卡的第二图像。
如果r小于预设的阈值rthreshold,截取模块40可从第一图像Iobj中获取所述板卡的第二图像Itar;否则,如果r大于或等于预设的阈值rthreshold,可认为第一图像Iobj中没有搜索到所述板卡的第二图像Itar。其中,所述阈值rthreshold可根据经验设定,也可采用相应的算法来计算,阈值rthreshold的获取方式将不会影响后续板卡图像获取方法的实施方式,特此说明。
由于摆放的原因,与标准图Imodel中的板卡相比,第二图像Itar中的板卡位置可能发生位移。为了消除所述位移引起的误差,可对第二图像Itar进行配准操作。在一个实施例中,所述板卡图像获取系统还可包括:
第二获取模块,用于在所述标准图Imodel中获取第一标记点图像和第二标记点图像。例如,可在所述标准图Imodel中截取两个图案作为标记点图像,分别记为第一标记点图像Imark1和第二标记点图像Imark2
生成模块,用于根据第一标记点图像Imark1和第二标记点图像Imark2生成第一区域Pmark1和第二区域Pmark2,并获取第一区域Pmark1和第二区域Pmark2的左上角坐标。例如,可对第一标记点图像Imark1和第二标记点图像Imark2进行一定比例的扩大(例如,所述比例可以是0.2倍),并框取扩大后的第一标记点图像Imark1和第二标记点图像,得到第一区域Pmark1和第二区域Pmark2;其中,所述第一区域的坐标可记为(xmark1,ymark1,wmark1,hmark1),所述第二区域的坐标可记为(xmark2,ymark2,wmark2,hmark2),(xmark1,ymark1)和(xmark2,ymark2)分别表示第一区域Pmark1的左上角坐标和第二区域Pmark2的左上角坐标,wmark1和wmark2分别表示第一区域Pmark1和第二区域Pmark2的宽,hmark1和hmark2分别表示第一区域Pmark1和第二区域Pmark2的高。所述第一标记点图像Imark1和第二标记点图像Imark2可以是板卡上的标准露铜圆形,也可以是用户任意设定的两个图案。所述第一标记点图像Imark1和第二标记点图像Imark2可以是清晰,位置相对固定,并且周围没有易混淆的标记点的图像。第一标记点和第二标记点可以取直线距离较大的两个点,例如,可以取板卡的对角线上的两个点。
查找模块,用于在所述第二图像Itar中截取第一区域Pmark1和第二区域Pmark2对应的第三区域Isearch1和第四区域Isearch2,并可分别以第一区域Pmark1的左上角坐标和第二区域Pmark2的左上角坐标为模板在第三区域Isearch1和第四区域Isearch2中找出对应的第三区域P'mark1的左上角坐标和第四区域P'mark2的左上角坐标,其坐标分别记为(x'mark1,y'mark1)和(x'mark2,y'mark2);
第三计算模块,用于根据所述第一区域Pmark1的左上角坐标、第二区域Pmark2的左上角坐标、第三区域P'mark1的左上角坐标和第四区域P'mark2的左上角坐标计算所述标准图Imodel与所述第二图像Itar之间的变换矩阵H。可根据公式(4)计算所述变换矩阵。
配准模块,用于根据所述变换矩阵H对所述第二图像Itar的位置进行配准。例如,可使用OpenCV(OpenSourceComputerVisionLibrary,基于开源的跨平台计算机视觉库)库中的函数warpAffine进行配准。
由于第一图像Iobj中可能有多张板卡,可通过设置模块将所述第二图像Itar对应区域的元素Iobj(x,y)的像素值设为0,得到第三图像I'obj;其中,x∈[xbest,xbest+wmodel),y∈[ybest,ybest+hmodel),(xbest,ybest)为第一匹配矩阵R(x,y)中取值最小的第一目标元素的坐标,wmodel和hmodel分别为所述标准图Imodel的宽和高。可通过第四计算模块计算预存的标准图Imodel在所述第三图像I'obj中的第二匹配矩阵R'(x,y)。然后,可通过第三获取模块计算第二匹配矩阵R'(x,y)中取值最小的第二目标元素,如公式(5)所示,并获取所述第二目标元素的坐标,最后,如果所述第二目标元素的取值小于预设的阈值,第四获取模块可根据所述坐标从第三图像I'obj中获得所述板卡的第四图像I'tar
可循环执行设置模块、第四计算模块、第三获取模块和第四获取模块的功能,直到第三图像I'obj中找不到板卡为止。
本发明的板卡图像获取系统具有以下优点:
(1)通过算法实现板卡检测,无需外部设备配合,使用方便,能有效地降低成本。
(2)先用模版匹配找出板卡的大概位置,再用基于标记点信息的精确配准,精度高,速度快。
(3)每次可获取多张板卡的图像,图像获取效率高。
本发明的板卡图像获取系统与本发明的板卡图像获取方法一一对应,在上述板卡图像获取方法的实施例阐述的技术特征及其有益效果均适用于板卡图像获取系统的实施例中,特此声明。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种板卡图像获取方法,其特征在于,包括以下步骤:
每隔预设的时间间隔获取板卡所在区域的第一图像;其中,所述第一图像包括至少一张完整的板卡;
计算预存的标准图在所述第一图像中的第一匹配矩阵;其中,所述标准图为所述板卡的参照图;
计算第一匹配矩阵中取值最小的第一目标元素,并获取所述第一目标元素的第一坐标;
如果所述第一目标元素的值小于预设的阈值,将所述第一坐标设为所述板卡的第二图像的左上角坐标,并根据所述标准图的尺寸和所述左上角坐标从第一图像中截取所述板卡的第二图像。
2.根据权利要求1所述的板卡图像获取方法,其特征在于,获取所述板卡的第二图像之后,还包括以下步骤:
在所述标准图中获取第一标记点图像和第二标记点图像;
根据第一标记点图像和第二标记点图像生成第一区域和第二区域,并获取所述第一区域和第二区域的左上角坐标;
在所述第二图像中截取第一区域和第二区域对应的第三区域和第四区域,并可分别以第一区域的左上角坐标和第二区域的左上角坐标为模板在第三区域和第四区域中找出第三区域和第四区域的左上角坐标;
根据所述第一区域、第二区域、第三区域和第四区域的左上角坐标计算所述标准图与所述第二图像之间的变换矩阵;
根据所述变换矩阵对所述第二图像的位置进行配准。
3.根据权利要求2所述的板卡图像获取方法,其特征在于,根据所述第一标记点、第二标记点、第三标记点和第四标记点计算所述标准图与所述第二图像之间的变换矩阵的步骤包括:
根据如下公式计算所述标准图与所述第二图像之间的变换矩阵:
H = s c a l a r · c o s θ - s c a l a r · s i n θ x 0 s c a l a r · s i n θ s c a l a r · cos θ y 0 0 0 1 ,
其中,
s c a l a r = x m a r k 2 - x m a r k 1 x m a r k 2 ′ c o s θ - y m a r k 2 ′ s i n θ - x m a r k 1 ′ c o s θ + y m a r k 1 ′ s i n θ ,
x0=xmark2-(x'mark2cosθ-y'mark2sinθ)scalar,
y0=ymark2-(x'mark2sinθ+y'mark2cosθ)scalar,
θ=arctan(ymark2-ymark1,xmark2-xmark1)-arctan(y'mark2-y'mark1,x'mark2-x'mark1),
式中,H为所述变换矩阵,scalar为第二图像与标准图之间的缩放比例,θ为第二图像与标准图之间的旋转角度,[x0,y0]为第二图像与标准图之间的平移向量,[xmark1,ymark1]和[xmark2,ymark2]分别为标准图中两个标记点所在区域的左上角坐标,[x'mark1,y'mark1]和[x'mark2,y'mark2]为第二图像中两个标记点所在区域的左上角坐标。
4.根据权利要求1所述的板卡图像获取方法,其特征在于,获取所述板卡的第二图像之后,还包括以下步骤:
将所述第一图像中所述第二图像对应区域的元素的像素值设为0,得到第三图像;
计算预存的标准图在所述第三图像中的第二匹配矩阵;
计算第二匹配矩阵中取值最小的第二目标元素,并获取所述第二目标元素的坐标;
如果所述第二目标元素的值小于所述阈值,根据所述坐标从第三图像中获得所述板卡的第四图像。
5.根据权利要求1所述的板卡图像获取方法,其特征在于,计算预存的标准图在所述第一图像中的第一匹配矩阵的步骤包括:
根据如下公式计算预存的标准图在所述第一图像中的第一匹配矩阵:
R ( x , y ) = Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 ( I mod e l ( i , j ) - I o b j ( x + i , y + j ) ) 2 Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 I mod e l ( i , j ) 2 Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 I o b j ( x + i , y + j ) 2 ,
式中,R(x,y)为第一匹配矩阵,wmodel和hmodel分别为所述标准图的宽和高,Imodel(i,j)和Iobj(x+i,y+j)分别为标准图中第i行第j列的元素的像素值和第一图像中第x+i行第y+j列的元素的像素值。
6.一种板卡图像获取系统,其特征在于,包括:
第一获取模块,用于每隔预设的时间间隔获取板卡所在区域的第一图像;其中,所述第一图像包括至少一张完整的板卡;
第一计算模块,用于计算预存的标准图在所述第一图像中的第一匹配矩阵;其中,所述标准图为所述板卡的参照图;
第二计算模块,用于计算第一匹配矩阵中取值最小的第一目标元素,并获取所述第一目标元素的第一坐标;
截取模块,用于如果所述第一目标元素的值小于预设的阈值,将所述第一坐标设为所述板卡的第二图像的左上角坐标,并根据所述标准图的尺寸和所述左上角坐标从第一图像中截取所述板卡的第二图像。
7.根据权利要求6所述的板卡图像获取系统,其特征在于,还包括:
第二获取模块,用于在所述标准图中获取第一标记点图像和第二标记点图像;
生成模块,用于根据第一标记点图像和第二标记点图像生成第一区域和第二区域,并获取所述第一区域和第二区域的左上角坐标;
查找模块,用于在所述第二图像中截取第一区域和第二区域对应的第三区域和第四区域,并可分别以第一区域的左上角坐标和第二区域的左上角坐标为模板在第三区域和第四区域中找出第三区域和第四区域的左上角坐标;
第三计算模块,用于根据所述第一区域、第二区域、第三区域和第四区域的左上角坐标计算所述标准图与所述第二图像之间的变换矩阵;
配准模块,用于根据所述变换矩阵对所述第二图像的位置进行配准。
8.根据权利要求7所述的板卡图像获取系统,其特征在于,所述第二计算模块根据以下公式计算所述变换矩阵:
H = s c a l a r · c o s θ - s c a l a r · s i n θ x 0 s c a l a r · s i n θ s c a l a r · cos θ y 0 0 0 1 ,
其中,
s c a l a r = x m a r k 2 - x m a r k 1 x m a r k 2 ′ c o s θ - y m a r k 2 ′ s i n θ - x m a r k 1 ′ c o s θ + y m a r k 1 ′ s i n θ ,
x0=xmark2-(x'mark2cosθ-y'mark2sinθ)scalar,
y0=ymark2-(x'mark2sinθ+y'mark2cosθ)scalar,
θ=arctan(ymark2-ymark1,xmark2-xmark1)-arctan(y'mark2-y'mark1,x'mark2-x'mark1),
式中,H为所述变换矩阵,scalar为第二图像与标准图之间的缩放比例,θ为第二图像与标准图之间的旋转角度,[x0,y0]为第二图像与标准图之间的平移向量,[xmark1,ymark1]和[xmark2,ymark2]分别为标准图中两个标记点所在区域的左上角坐标,[x'mark1,y'mark1]和[x'mark2,y'mark2]为第二图像中两个标记点所在区域的左上角坐标。
9.根据权利要求6所述的板卡图像获取系统,其特征在于,还包括:
设置模块,用于将所述第一图像中所述第二图像对应区域的元素的像素值设为0,得到第三图像;
第四计算模块,用于计算预存的标准图在所述第三图像中的第二匹配矩阵;
第三获取模块,用于计算第二匹配矩阵中取值最小的第二目标元素,并获取所述第二目标元素的坐标;
第四获取模块,用于如果所述第二目标元素的取值小于预设的阈值,根据所述坐标从第三图像中获得所述板卡的第四图像。
10.根据权利要求1所述的板卡图像获取系统,其特征在于,第一计算模块根据如下公式计算所述第一匹配矩阵:
R ( x , y ) = Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 ( I mod e l ( i , j ) - I o b j ( x + i , y + j ) ) 2 Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 I mod e l ( i , j ) 2 Σ i = 0 w mod e l - 1 Σ j = 0 h mod e l - 1 I o b j ( x + i , y + j ) 2 ,
式中,R(x,y)为第一匹配矩阵,wmodel和hmodel分别为所述标准图的宽和高,Imodel(i,j)和Iobj(x+i,y+j)分别为标准图中第i行第j列的元素的像素值和第一图像中第x+i行第y+j列的元素的像素值。
CN201510990864.7A 2015-12-23 2015-12-23 板卡图像获取方法和系统 Active CN105469085B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510990864.7A CN105469085B (zh) 2015-12-23 2015-12-23 板卡图像获取方法和系统
PCT/CN2016/098232 WO2017107564A1 (zh) 2015-12-23 2016-09-06 板卡图像获取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510990864.7A CN105469085B (zh) 2015-12-23 2015-12-23 板卡图像获取方法和系统

Publications (2)

Publication Number Publication Date
CN105469085A true CN105469085A (zh) 2016-04-06
CN105469085B CN105469085B (zh) 2019-03-26

Family

ID=55606756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510990864.7A Active CN105469085B (zh) 2015-12-23 2015-12-23 板卡图像获取方法和系统

Country Status (2)

Country Link
CN (1) CN105469085B (zh)
WO (1) WO2017107564A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846389A (zh) * 2016-12-08 2017-06-13 国网北京市电力公司 机柜内液态汇聚部位的观测方法和装置
WO2017107564A1 (zh) * 2015-12-23 2017-06-29 广州视源电子科技股份有限公司 板卡图像获取方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865950A (zh) * 2005-04-25 2006-11-22 王�琦 一种印刷电路板的自动对位方法
CN102486829A (zh) * 2010-12-01 2012-06-06 鸿富锦精密工业(深圳)有限公司 图像分析系统及方法
CN102937595A (zh) * 2012-11-13 2013-02-20 浙江省电力公司电力科学研究院 一种pcb板检测方法、装置及系统
US9092843B2 (en) * 2010-11-20 2015-07-28 Koh Young Technology Inc. Inspection method
CN105118021A (zh) * 2015-07-28 2015-12-02 深圳市汇川技术股份有限公司 基于特征点的图像配准方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117185A (ja) * 2008-11-11 2010-05-27 Olympus Corp 欠陥検査装置および欠陥検査方法
CN104504375B (zh) * 2014-12-18 2019-03-05 广州视源电子科技股份有限公司 一种pcb元件的识别方法及装置
CN104568985A (zh) * 2014-12-30 2015-04-29 东莞市合易自动化科技有限公司 一种aoi光学检测设备
CN105118086B (zh) * 2015-06-30 2017-09-29 东莞市盟拓光电科技有限公司 3d‑aoi设备中的3d点云数据配准方法及系统
CN105469085B (zh) * 2015-12-23 2019-03-26 广州视源电子科技股份有限公司 板卡图像获取方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865950A (zh) * 2005-04-25 2006-11-22 王�琦 一种印刷电路板的自动对位方法
US9092843B2 (en) * 2010-11-20 2015-07-28 Koh Young Technology Inc. Inspection method
CN102486829A (zh) * 2010-12-01 2012-06-06 鸿富锦精密工业(深圳)有限公司 图像分析系统及方法
CN102937595A (zh) * 2012-11-13 2013-02-20 浙江省电力公司电力科学研究院 一种pcb板检测方法、装置及系统
CN105118021A (zh) * 2015-07-28 2015-12-02 深圳市汇川技术股份有限公司 基于特征点的图像配准方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017107564A1 (zh) * 2015-12-23 2017-06-29 广州视源电子科技股份有限公司 板卡图像获取方法和系统
CN106846389A (zh) * 2016-12-08 2017-06-13 国网北京市电力公司 机柜内液态汇聚部位的观测方法和装置

Also Published As

Publication number Publication date
WO2017107564A1 (zh) 2017-06-29
CN105469085B (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
US11157766B2 (en) Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle
CN104200086B (zh) 宽基线可见光相机位姿估计方法
CN103679702B (zh) 一种基于图像边缘矢量的匹配方法
CN110322513A (zh) 一种相机外参标定方法、装置及电子设备
CN103593838B (zh) 一种快速互相关灰度图像匹配方法与装置
CN105427298A (zh) 基于各向异性梯度尺度空间的遥感图像配准方法
CN111179356A (zh) 基于Aruco码的双目相机标定方法、装置、系统和标定板
CN105118021A (zh) 基于特征点的图像配准方法及系统
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN103345755A (zh) 一种基于Harris算子的棋盘格角点亚像素提取方法
KR20190051463A (ko) 카메라 캘리브레이션을 위한 체커보드 코너점 추출 장치 및 방법
CN109961485A (zh) 一种基于单目视觉进行目标定位的方法
CN107993258A (zh) 一种图像配准方法及装置
CN105354815A (zh) 一种基于平板类微小型零件的精确识别定位方法
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN105096298A (zh) 一种基于快速直线提取的网格特征点提取方法
CN103679693A (zh) 一种多相机单视图标定装置及其标定方法
CN101776437B (zh) 带有光路调整的嵌入式机器视觉亚像素标定方法
CN105427333A (zh) 视频序列图像的实时配准方法、系统及拍摄终端
CN101271576A (zh) 复杂光照与表面条件下棋盘格模式识别定位方法
CN103795935A (zh) 一种基于图像校正的摄像式多目标定位方法及装置
CN104376323A (zh) 一种确定目标距离的方法及装置
CN101882309A (zh) 摄像机标定靶及基于该标定靶的标定检测方法
CN105469085A (zh) 板卡图像获取方法和系统
Wang et al. Automatic reading system for analog instruments based on computer vision and inspection robot for power plant

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant