CN112529924A - 基于多源光学的盖板玻璃与液晶屏的贴合对位方法 - Google Patents

基于多源光学的盖板玻璃与液晶屏的贴合对位方法 Download PDF

Info

Publication number
CN112529924A
CN112529924A CN202011560250.2A CN202011560250A CN112529924A CN 112529924 A CN112529924 A CN 112529924A CN 202011560250 A CN202011560250 A CN 202011560250A CN 112529924 A CN112529924 A CN 112529924A
Authority
CN
China
Prior art keywords
image
cover glass
acquiring
liquid crystal
rectangular area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011560250.2A
Other languages
English (en)
Other versions
CN112529924B (zh
Inventor
张国军
明五一
张红梅
张臻
尹玲
卢亚
倪明堂
廖敦明
耿涛
赵健州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Hust Industrial Technology Research Institute
Original Assignee
Guangdong Hust Industrial Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Hust Industrial Technology Research Institute filed Critical Guangdong Hust Industrial Technology Research Institute
Priority to CN202011560250.2A priority Critical patent/CN112529924B/zh
Publication of CN112529924A publication Critical patent/CN112529924A/zh
Application granted granted Critical
Publication of CN112529924B publication Critical patent/CN112529924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其包括建立图像坐标系,获取激光灯照射下的盖板玻璃的图像;获取初步矩形区域;获得处理后的矩形区域;获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置;获取盖板玻璃的顶部、底部、左侧的边缘位置分别对应的直线LE1、LE2及LE3的交点;获取预贴合位置;获得盖板玻璃移动到预贴合位置的矫正量并进行矫正;贴合对位。本发明通过视觉检测机构对盖板玻璃进行拍照及图像处理,利用多层金字塔的YOLO3算法及投影匹配算法完成对盖板玻璃的定位,最后利用伺服平台带动盖板玻璃移送至液晶屏正上方,完成盖板玻璃与液晶屏的贴合对位操作,进而提高对位精度。

Description

基于多源光学的盖板玻璃与液晶屏的贴合对位方法
技术领域
本发明涉及机器视觉及计算机图像处理技术领域,尤其是涉及一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法。
背景技术
随着大尺寸手机和平板电脑的普及,为了满足用户的多样化需求,通常需要不同的贴合工艺增加电子产品的美观度及质量。贴合技术是现代工业生产中经常运用到的一项技术,目前的贴合装置包括上料模组、贴合模组和真空压载模组,利用上料模组将膜片和盖板转移至贴合模组上,然后利用真空压载模组及贴合模组实现盖板玻璃的液晶屏的贴合。
目前,盖板玻璃的液晶屏的贴合方式由传统的人工方式逐步过渡到机器自动贴合,而这其中最为核心的就是贴合的对位工序,也即是依靠机器视觉技术实现自动对位。机器视觉技术就是利用摄像机/摄像头捕捉图像,并借由计算机进行数字化计算、处理、分析,从而来代替人工的方式完成测量和判断的系统。目前,机器视觉已在工业检测领域得到了成功的应用,并大幅度地提高了产品的质量和可靠性,保证了生产的效率,同时也降低了企业的生产成本。
但是,由于大尺寸手机或者平板盖板玻璃具有透光性,常规的光学检测存在定位困难、检测精度低,导致贴合前的定位存在较大误差。对于小尺寸的盖板玻璃和液晶屏的贴合而言,微小的误差也导致质量不合格。因此,亟待需要一种贴合对位方法以解决上述问题。
发明内容
基于此,有必要针对现有技术的不足,提供一种提高贴合对位精度的基于多源光学的盖板玻璃与液晶屏的贴合对位方法。
为解决上述技术问题,本发明所采用的技术方案是:一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其包括如下步骤:
步骤S100、建立图像坐标系,获取激光灯照射下的盖板玻璃的图像,其中,所述激光灯照射下的盖板玻璃的图像即激光成像图像;
步骤S200、通过多层金字塔的YOLO3算法对激光成像图像进行目标检测获取初步矩形区域;
步骤S300、采用投影匹配算法对多层金字塔的YOLO3算法获取的初步矩形区域进行处理,获得处理后的矩形区域;
步骤S400、对处理后的矩形区域,采用亚像素余弦近似边缘检测算法,通过余弦分段函数获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置;
步骤S500、获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置分别对应的直线LE1、LE2及LE3,进而获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo);
步骤S600、根据待贴合液晶屏的位置获取盖板玻璃上交点T和交点B连线的中心点O(Xo,Yo)、交点T(Xt,Yt)和交点B(Xb,Yb)的预贴合位置O1(Xo1,Yo1)、Tp1(Xtp1,Ytp1)和Bp1(Xbp1,Ybp1);
步骤S700、通过公式
Figure BDA0002859155140000021
获得盖板玻璃700移动到预贴合位置的矫正量Δx、Δy和Δθ,并进行矫正;
步骤S800、贴合对位。
在其中一个实施例中,还包括如下步骤:
步骤S900、对激光灯亮度进行调整。
在其中一个实施例中,所述步骤S100、建立图像坐标系,获取激光灯照射下的盖板玻璃的图像的方法,包括如下步骤:
步骤S110、建立图像坐标系,将基于多源光学的盖板玻璃与液晶屏的贴合对位装置回复至初始工作状态;其中,所述基于多源光学的盖板玻璃与液晶屏的贴合对位装置包括机架,所述机架上设置有移动平台、固定平台、压合机构、视觉检测机构及真空吸附机构,所述移动平台上用于放置液晶屏,所述固定平台上用于放置盖板玻璃,所述机架上端部设置有伺服平台,所述压合机构、视觉检测机构及真空吸附机构分别固定在伺服平台上,所述伺服平台分别带动压合机构、视觉检测机构及真空吸附机构沿X轴及Y轴方向运动,所述伺服平台、压合机构、视觉检测机构及真空吸附机构分别设置在移动平台及固定平台上方;所述固定平台上设置有挡板机构,所述挡板机构设置有定位挡板,所述固定平台上于定位挡板一侧设置有推送机构,所述推送机构一侧设置有激光灯,所述视觉检测机构用于对盖板玻璃拍照并将拍照后的图像进行处理,所述视觉检测机构包括摄像头及LED灯;
步骤S120、将液晶屏放置在移动平台上,将盖板玻璃放置在固定平台上;
步骤S130、摄像头获取激光灯照射下的盖板玻璃图像。
在其中一个实施例中,所述步骤S200、通过多层金字塔的YOLO3算法对激光成像图像进行目标检测获取初步矩形区域的方法,包括如下步骤:
步骤S210、获取激光成像图像中的热点图像A;
步骤S220、对热点图像A通过YOLO3算法进行目标检测获取第一矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像A中是否存在激光成像图像的三个侧边;如果是,分别获取第一矩形区域的两个对角点的坐标SA1((XA11,YA11),(XA12,YA12)),SA2((XA21,Y21),(XA22,YA22)),…,SAn((XAn1,YAn1),(XAn2,YAn2)),n≥3,完成第一层金字塔的YOLO3算法,转入步骤S230;如果否,转入步骤S900;
步骤S230、将热点图像A等分为4等分,获得热点图像B1、热点图像B2、热点图像B3和热点图像B4;对四个热点图像B1、B2、B3和B4分别通过YOLO3算法进行目标检测获取第二矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像B1、B2、B3或B4中是否存在激光成像图像的三个侧边;如果是,分别获取第二矩形区域的两个对角点的坐标SB1((XB11,YB11),(XB12,YB12)),SB2((XB21,YB21),(XB22,YB22)),…,SBp((XBp1,YBp1),(XBp2,YBp2)),完成第二层金字塔的YOLO3算法,转入步骤S240;如果否,转入步骤S900;
步骤S240、将热点图像A等分为16等分,获得热点图像C1、热点图像C2、…、热点图像C16;对16个热点图像C1~C16分别通过YOLO3算法进行目标检测获取第三矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像C1、C2…、或C16中是否存在激光成像图像的三个侧边;如果是,分别获取第三矩形区域的两个对角点的坐标SC1((XC11,YC11),(XC12,YC12)),SC2((XC21,YC21),(XC22,YC22)),…,SCq((XCq1,YCq1),(XCq2,YCq2)),完成第三层金字塔的YOLO3算法;如果否,转入步骤S900;其中,初步矩形区域包括第一矩形区域、第二矩形区域及第三矩形区域。
在其中一个实施例中,所述步骤S300、采用投影匹配算法对多层金字塔的YOLO3算法获取的初步矩形区域进行处理,获得处理后的矩形区域的方法,包括如下步骤:
步骤S310、将初步矩形区域SA1((XA11,YA11),(XA12,YA12)),SA2((XA21,YA21),(XA22,YA22)),…,SAn((XAn1,YAn1),(XAn2,YAn2)),SB1((XB11,YB11),(XB12,YB12)),SB2((XB21,YB21),(XB22,YB22)),…,SBp((XBp1,YBp1),(XBp2,YBp2)),SC1((XC11,YC11),(XC12,YC12)),SC2((XC21,YC21),(XC22,YC22)),…,SCq((XCq1,YCq1),(XCq2,YCq2))进行合并,生成合并矩形区域SD1((XD11,YD11),(XD12,YD12)),S2((XD21,YD21),(XD22,YD22)),…,SDm((XDm1,YDm1),(XDm2,YDm2)),使得m个合并矩形区域SD1~SDm在空间位置上包含所述SA1~SAn、SB1~SBp和SC1~SCq的矩形区域;其中,合并矩形区域SD1~SDm为激光成像图像的三个侧边分别匹配的初步矩形区域的外接最大矩形区域,3≤m≤15。
步骤S320、关闭激光灯,开启LED灯,摄像头拍摄获取LED灯照射下的盖板玻璃图像,即可见光成像图像,通过离线训练方式获取可见光成像图像中包含盖板玻璃侧边区域的图像,对包含盖板玻璃侧边区域的图像进行灰度处理,获得模板图像T;
步骤S330、获取包含盖板玻璃侧边区域的图像中对应合并矩形区域SD1~SDm范围内的截取图像,对截取图像进行灰度处理,分别获得各自对应的搜索图像S。
步骤S340、获取模板图像T(x,y)在X轴的投影Tx及在Y轴的投影Ty,搜索图像S(x,y)的投影在X轴的投影Sx及在Y轴的投影Sy,其中,模板图像T及搜索图像S在X轴的投影是图像列灰度值的累加,Y轴的投影是图像行灰度值的累加。
步骤S350、根据归一化匹配公式
Figure BDA0002859155140000051
Figure BDA0002859155140000052
确定投影Tx与投影Sx在X轴的列最佳匹配位置以及投影Ty与投影Sy在Y轴的行最佳匹配位置,根据列最佳匹配位置及行最佳匹配位置获得模板图像T及搜索图像S最佳匹配位置的中心点坐标;其中,S[i]、S[j]为搜索图像S在X轴、Y轴的投影,T[i]、T[j]为模板图像T在X轴、Y轴的投影,mm、nn分别指代模板图像T的长和宽,ww、hh分别指代搜索图像S的长和宽;
步骤S360、根据模板图像T的大小,获得处理后的矩形区域SE1((XE11,YE11),(XE12,YE12)),SE2((XE21,YE21),(XE22,YE22)),…,SEm((XEm1,YEm1),(XEm2,YEm2))。
在其中一个实施例中,所述通过离线训练方式获取可见光成像图像中包含盖板玻璃侧边区域的图像的方法,包括:
构建可见光成像图像集;
获取可见光成像图像中盖板玻璃选中框,其中,盖板玻璃选中框由人工方式进行标定;
对可见光成像图像集中的盖板玻璃选中框进行离线训练,获取可见光成像图像中包含盖板玻璃侧边区域的图像。
在其中一个实施例中,所述步骤S210、获取激光成像图像中的热点图像A的方法,包括如下步骤:
步骤S211、获取激光成像图像中盖板玻璃选中框的中心位置;
步骤S212、以盖板玻璃选中框的中心为起点分别朝X轴和Y轴方向预设距离,获得热点区域框;
步骤S213、将处于热点区域框内范围内的激光成像图像进行裁切,获取热点图像A。
在其中一个实施例中,所述离线训练获取的激光成像图像的侧边的方法包括:
构建激光成像图像集;
获取激光成像图像中的盖板玻璃选中框,其中,盖板玻璃选中框由人工方式进行标定;
对激光成像图像集中的盖板玻璃选中框进行离线训练,获取激光成像图像的侧边。
在其中一个实施例中,所述步骤S400、对处理后的矩形区域,采用亚像素余弦近似边缘检测算法,通过余弦分段函数获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置的方法,包括如下步骤:
步骤S410、采用整像素边缘检测算法对处理后的矩形区域中盖板玻璃的三个侧边边缘进行初定位,获得整像素边缘;
步骤S420、获取处理后的矩形区域中盖板玻璃区域的平均灰度a5和背景灰度a6,通过公式
Figure BDA0002859155140000061
确定参数a1和a4;
步骤S430、选取整像素边缘的其中一个边缘点,沿边缘点法线方向选取处理后的矩形区域中对应位置的灰度值,利用余弦分段函数
Figure BDA0002859155140000062
对灰度值进行拟合,确定参数a2和a3;
步骤S440、对余弦分段函数
Figure BDA0002859155140000063
进行面积积分,获得亚像素边缘位置P;
步骤S450、根据亚像素边缘位置P获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置。
在其中一个实施例中,所述步骤S500、获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置分别对应的直线LE1、LE2及LE3,进而获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo)的方法,包括如下步骤:
步骤S510、按X轴坐标对处理后的矩形区域中盖板玻璃的顶部边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点T1(Xt1,Yt1)、T2(Xt2,Yt2)和T3(Xt3,Yt3);
步骤S520、按Y轴坐标对处理后的矩形区域中盖板玻璃的底部边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点B1(Xb1,Yb1)、B2(Xb2,Yb2)和B3(Xb3,Yb3);
步骤S530、按Y轴坐标对处理后的矩形区域中盖板玻璃的左侧边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点L1(Xl1,Yb1)、L2(Xl2,Yl2)和L3(Xl3,Yl3);
步骤S540、根据三个边缘位置点T1(Xt1,Yt1)、T2(Xt2,Yt2)和T3(Xt3,Yt3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE1;根据三个边缘位置点B1(Xb1,Yb1)、B2(Xb2,Yb2)和B3(Xb3,Yb3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE2;根据三个边缘位置点L1(Xl1,Yb1)、L2(Xl2,Yl2)和L3(Xl3,Yl3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE3;
步骤S550、分别获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo)。
综上所述,本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法通过视觉检测机构对盖板玻璃进行拍照及图像处理,利用多层金字塔的YOLO3算法及投影匹配算法完成对盖板玻璃的定位,最后利用伺服平台带动盖板玻璃移送至液晶屏正上方,完成盖板玻璃与液晶屏的贴合对位操作,进而提高对位精度。
附图说明
图1为本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位装置的结构示意图;
图2为本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法的流程示意图;
图3为本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法另一实施例的流程示意图;
图4为本发明处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置的原理示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
如图1至图4所示,本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位装置包括机架,所述机架上设置有移动平台100、固定平台200、压合机构300、视觉检测机构400及真空吸附机构500,所述移动平台100上用于放置液晶屏600,所述固定平台200上用于放置盖板玻璃700,所述机架上端部设置有伺服平台800,所述压合机构300、视觉检测机构400及真空吸附机构500分别固定在伺服平台800上,所述伺服平台800分别带动压合机构300、视觉检测机构400及真空吸附机构500沿X轴及Y轴方向运动,此为已知结构,在此不必赘述;所述伺服平台800、压合机构300、视觉检测机构400及真空吸附机构500分别设置在移动平台100及固定平台200上方。
所述移动平台100上设置有X轴驱动机构、Y轴驱动机构及θ轴驱动机构,以分别带动液晶屏600沿X轴、Y轴方向进行移动,及/或带动液晶屏600以θ轴为轴进行转动,进而调节液晶屏600的摆放角度,使得液晶屏600与盖板玻璃700贴合对位更为精准,此为已知结构,在此不必赘述。
所述固定平台200上设置有挡板机构,所述挡板机构设置有定位挡板210,所述挡板机构可带动定位挡板210在固定平台200上来回移动;所述固定平台200上于定位挡板210一侧设置有推送机构220,所述推送机构220一侧设置有弹性推板221,所述弹性推板221内设置有条形激光灯,所述弹性推板221与定位挡板210之间围设形成放置空间,用于摆放盖板玻璃700;具体地,将盖板玻璃700放置在放置空间内后,推送机构220带动弹性推板221朝向定位挡板210一侧移动,从而将盖板玻璃700固定夹持在定位挡板210及弹性推板221之间,弹性推板221外侧部设置的缓冲垫与盖板玻璃700一侧贴合设置,从而避免弹性推板221对盖板玻璃700造成损坏;所述激光灯用于提供光源并将发出的光线射入到盖板玻璃700内。
具体地,所述推送机构220内设置有第一步进电机,所述第一步进电机运动进而带动弹性推板221移动,通过控制第一步进电机的运动进给量来使得盖板玻璃700刚好夹持在弹性推板221与定位挡板210之间而不会对盖板玻璃700造成损坏。
所述伺服平台800上设置有移动座810,所述真空吸附机构500及视觉检测机构400固定在移动座810上,所述视觉检测机构400用于对盖板玻璃700拍照并将拍照后的图像进行处理,具体地,所述视觉检测机构400包括摄像头410,所述摄像头410周侧安设有环形LED灯420,所述LED灯420用于提供摄像头410拍照所需光源;所述移动座810下方设置有驱动杆811,所述真空吸附机构500固定在驱动杆811下端部,所述真空吸附机构500包括真空吸嘴510,所述伺服平台800带动移动座810移动,进而使得真空吸嘴510随着移动座810的运动而移送至盖板玻璃700正上方,真空吸附机构500通过抽真空方式使得真空吸嘴510稳稳吸附在盖板玻璃700表面;然后伺服平台800带动移动座810移动至液晶屏600正上方,进而使得盖板玻璃700移送至液晶屏600正上方,最后配合驱动杆811带动真空吸嘴510上下运动完成盖板玻璃700与液晶屏600的对位操作;所述压合机构300为液压机构,所述压合机构300设置有柔性压头310,所述伺服平台800带动压合机构300移动至液晶屏600正上方,进而配合柔性压头310对对位后的液晶屏600及盖板玻璃700进行贴合紧固操作。
具体地,所述真空吸附机构500内部设置有第二步进电机,所述第二步进电机带动驱动杆811移动,进而带动真空吸嘴510移动。
本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位装置通过在固定平台200上设置推送机构220,利用弹性推板221及定位挡板210将盖板玻璃700进行固定夹持,最后将弹性推板221及定位挡板210从盖板玻璃700两侧离开,通过视觉检测机构400对不同状态下的盖板玻璃700进行拍照及图像处理,完成对盖板玻璃700的定位,最后利用伺服平台800带动盖板玻璃700移送至液晶屏600正上方,完成盖板玻璃700与液晶屏600的贴合对位操作,进而提高对位精度。
根据上述本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位装置,本发明提供了一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法,该方法中涉及的视觉检测机构400可以与上述一种基于多源光学的盖板玻璃与液晶屏的贴合对位装置实施例阐述的技术特征相同,并能产生相同的技术效果。本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法,通过视觉检测机构400对不同状态下的盖板玻璃700进行拍照及图像处理,完成对盖板玻璃700的定位,最后利用伺服平台800带动盖板玻璃700移送至液晶屏600正上方,完成盖板玻璃700与液晶屏600的贴合对位操作,进而提高对位精度。
一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法,包括如下步骤:
步骤S100、建立图像坐标系,获取激光灯照射下的盖板玻璃700的图像;所述步骤S100、建立图像坐标系,获取激光灯照射下的盖板玻璃700的图像的方法,具体包括如下步骤:
步骤S110、建立图像坐标系,将基于多源光学的盖板玻璃与液晶屏的贴合对位装置回复至初始工作状态;其中,移动平台100回复至原位,移动平台100在X轴、Y轴及θ轴上的零位传感器全部归零,推送机构220回复至原位,定位挡板210回复至原位;伺服平台800回复至原位,伺服平台800在X轴及Y轴方向上的零位传感器全部归零;摄像头410、LED灯420、激光灯处于初始工作状态;其中,零位传感器为霍尔传感器。
步骤S120、将液晶屏600放置在移动平台100上,将盖板玻璃700放置在固定平台200上,弹性推板221与定位挡板210将盖板玻璃700固定夹持在放置空间内,真空吸附机构500的真空吸嘴510将盖板玻璃700紧密吸附;其中,弹性推板221在第一步进电机的带动下,将盖板玻璃700推向固定平台200的左侧凸起的定位挡板210,根据盖板玻璃700的尺寸控制第一步进电机所运动的进给量,进而将盖板玻璃700固定在固定平台200上,伺服平台800带动真空吸附机构500在X-Y平面进行初步定位,然后第二步进电机带动驱动杆811向下运动,进而使得真空吸嘴510随着驱动杆811向下运动,从而使得真空吸嘴510与待贴合的盖板玻璃700上表面进行接触,最后通过抽真空方式使得真空吸嘴510稳稳吸附在盖板玻璃700表面。
步骤S130、将定位挡板210远离盖板玻璃700设置,开启激光灯,摄像头410获取激光灯照射下的盖板玻璃700图像,即激光成像图像;其中,第一步进电机带动弹性推板221朝远离盖板玻璃700的方向移动,在保持弹性推板221与盖板玻璃700一侧贴合的状态下逐步减少弹性推板221对盖板玻璃700一侧的接触压力;挡板机构带动定位挡板210朝远离盖板玻璃700的方向移动一段预设距离,避免定位挡板210对摄像头410获取的激光成像图像造成影响,此时,激光灯发出的光线由弹性推板221与盖板玻璃700贴合带动一侧射入,由盖板玻璃700的其他侧面射出,摄像头410拍摄并获取当前激光成像图像。
步骤S200、通过多层金字塔的YOLO3算法对激光成像图像进行目标检测获取初步矩形区域。其中,所述步骤S200、通过多层金字塔的YOLO3算法对激光成像图像进行目标检测获取初步矩形区域的方法,具体包括如下步骤:
步骤S210、获取激光成像图像中的热点图像A;其中,所述步骤S210、获取激光成像图像中的热点图像A的方法,具体包括如下步骤:
步骤S211、获取激光成像图像中盖板玻璃700选中框的中心位置;
步骤S212、以盖板玻璃700选中框的中心为起点分别朝X轴和Y轴方向各扩展一预设距离,获得热点区域框;其中,预设距离分别为盖板玻璃700选中框长和宽的75%;
步骤S213、将处于热点区域框内范围内的激光成像图像进行裁切,获取热点图像A。
步骤S220、对热点图像A通过YOLO3算法进行目标检测获取第一矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像A中是否存在激光成像图像的三个侧边;如果是,分别获取第一矩形区域的两个对角点的坐标SA1((XA11,YA11),(XA12,YA12)),SA2((XA21,Y21),(XA22,YA22)),…,SAn((XAn1,YAn1),(XAn2,YAn2)),n≥3,完成第一层金字塔的YOLO3算法,转入步骤S230;如果否,转入步骤S900。
其中,离线训练获取的激光成像图像的侧边的方法,具体包括:
构建激光成像图像集;
获取激光成像图像中的盖板玻璃700选中框,其中,盖板玻璃选中框由人工方式进行标定;
对激光成像图像集中的盖板玻璃700选中框进行离线训练,获取激光成像图像的侧边,此为已知技术,在此不必赘述。
步骤S230、将热点图像A等分为4等分,获得热点图像B1、热点图像B2、热点图像B3和热点图像B4;对四个热点图像B1、B2、B3和B4分别通过YOLO3算法进行目标检测获取第二矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像B1、B2、B3或B4中是否存在激光成像图像的三个侧边;如果是,分别获取第二矩形区域的两个对角点的坐标SB1((XB11,YB11),(XB12,YB12)),SB2((XB21,YB21),(XB22,YB22)),…,SBp((XBp1,YBp1),(XBp2,YBp2)),完成第二层金字塔的YOLO3算法,转入步骤S240;如果否,转入步骤S900。
步骤S240、将热点图像A等分为16等分,获得热点图像C1、热点图像C2、…、热点图像C16;对16个热点图像C1~C16分别通过YOLO3算法进行目标检测获取第三矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像C1、C2…、或C16中是否存在激光成像图像的三个侧边;如果是,分别获取第三矩形区域的两个对角点的坐标SC1((XC11,YC11),(XC12,YC12)),SC2((XC21,YC21),(XC22,YC22)),…,SCq((XCq1,YCq1),(XCq2,YCq2)),完成第三层金字塔的YOLO3算法;如果否,转入步骤S900;其中,初步矩形区域包括第一矩形区域、第二矩形区域及第三矩形区域。
步骤S300、采用投影匹配算法对多层金字塔的YOLO3算法获取的初步矩形区域进行处理,获得处理后的矩形区域。所述步骤S300、采用投影匹配算法对多层金字塔的YOLO3算法获取的初步矩形区域进行处理,获得处理后的矩形区域的方法,具体包括如下步骤:
步骤S310、将初步矩形区域SA1((XA11,YA11),(XA12,YA12)),SA2((XA21,YA21),(XA22,YA22)),…,SAn((XAn1,YAn1),(XAn2,YAn2)),SB1((XB11,YB11),(XB12,YB12)),SB2((XB21,YB21),(XB22,YB22)),…,SBp((XBp1,YBp1),(XBp2,YBp2)),SC1((XC11,YC11),(XC12,YC12)),SC2((XC21,YC21),(XC22,YC22)),…,SCq((XCq1,YCq1),(XCq2,YCq2))进行合并,生成合并矩形区域SD1((XD11,YD11),(XD12,YD12)),S2((XD21,YD21),(XD22,YD22)),…,SDm((XDm1,YDm1),(XDm2,YDm2)),使得m个合并矩形区域SD1~SDm在空间位置上包含所述SA1~SAn、SB1~SBp和SC1~SCq的矩形区域,以减少搜索范围;其中,合并矩形区域SD1~SDm为激光成像图像的三个侧边分别匹配的初步矩形区域的外接最大矩形区域,3≤m≤15。
步骤S320、关闭激光灯,开启LED灯420,摄像头410拍摄获取LED灯420照射下的盖板玻璃700图像,即可见光成像图像,通过离线训练方式获取可见光成像图像中包含盖板玻璃700侧边区域的图像,对包含盖板玻璃700侧边区域的图像进行灰度处理,获得模板图像T。
其中,通过离线训练方式获取可见光成像图像中包含盖板玻璃700侧边区域的图像的方法,具体包括:
构建可见光成像图像集;
获取可见光成像图像中盖板玻璃700选中框,其中,盖板玻璃700选中框由人工方式进行标定;
对可见光成像图像集中的盖板玻璃700选中框进行离线训练,获取可见光成像图像中包含盖板玻璃700侧边区域的图像,此为已知技术,在此不必赘述。
步骤S330、获取包含盖板玻璃侧边区域的图像中对应对合并矩形区域SD1~SDm范围内的截取图像,对截取图像进行灰度处理,分别获得各自对应的搜索图像S。
步骤S340、获取模板图像T(x,y)在X轴的投影Tx及在Y轴的投影Ty,搜索图像S(x,y)的投影在X轴的投影Sx及在Y轴的投影Sy,其中,模板图像T及搜索图像S在X轴的投影是图像列灰度值的累加,Y轴的投影是图像行灰度值的累加。
步骤S350、根据归一化匹配公式
Figure BDA0002859155140000141
Figure BDA0002859155140000142
确定投影Tx与投影Sx在X轴的列最佳匹配位置以及投影Ty与投影Sy在Y轴的行最佳匹配位置,根据列最佳匹配位置及行最佳匹配位置获得模板图像T及搜索图像S最佳匹配位置的中心点坐标;其中,Rx[0~(ww-mm)]数列中最大的值,即为匹配度最大的点横坐标,也就是模板图像T与搜索图像S在X轴的最佳匹配位置,从而确定投影Tx与投影Sx在X轴的列最佳匹配位置;Ry[0~(hh-nn)]数列中最大的值,即为匹配度最大的点纵坐标,也就是模板图像T与搜索图像S在Y轴的最佳匹配位置,从而确定投影Ty与投影Sy在Y轴的行最佳匹配位置;S[i]、S[j]为搜索图像S在X轴、Y轴的投影,T[i]、T[j]为模板图像T在X轴、Y轴的投影,mm、nn分别指代模板图像T的长和宽,ww、hh分别指代搜索图像S的长和宽。
步骤S360、根据模板图像T的大小,获得处理后的矩形区域SE1((XE11,YE11),(XE12,YE12)),SE2((XE21,YE21),(XE22,YE22)),…,SEm((XEm1,YEm1),(XEm2,YEm2))。
步骤S400、对处理后的矩形区域,采用亚像素余弦近似边缘检测算法,通过余弦分段函数获取处理后的矩形区域中盖板玻璃700的顶部、底部、左侧的边缘位置。其中,所述步骤S400、对处理后的矩形区域,采用亚像素余弦近似边缘检测算法,通过余弦分段函数获取处理后的矩形区域中盖板玻璃700的顶部、底部、左侧的边缘位置的方法,具体包括如下步骤:
步骤S410、采用整像素边缘检测算法对处理后的矩形区域中盖板玻璃700的三个侧边边缘进行初定位,获得整像素边缘。具体地,余弦函数拟合前,首先需要获得处理后的矩形区域中盖板玻璃700的三个侧边边缘的大致位置,可以采用整像素边缘检测的方法。常用的整像素边缘检测算法较多,本发明优选的采用Canny算子、Sobel算子、Log算子、Laplace算子加权混合。其中,Canny算子的综合性能指标最为优秀,其权重为1/2,Sobel算子、Log算子、Laplace算子的权重均为1/6,最终的整像素边缘为上述四个算子的加权取整。
步骤S420、获取处理后的矩形区域中盖板玻璃700区域的平均灰度a5和背景灰度a6,通过公式
Figure BDA0002859155140000151
确定参数a1和a4;具体地,根据处理后的矩形区域中盖板玻璃700区域与背景区域灰度差值明显的特点,确定处理后的矩形区域中盖板玻璃700区域的平均灰度a5和背景灰度a6。
步骤S430、选取整像素边缘的其中一个边缘点,沿边缘点法线方向选取处理后的矩形区域中对应位置的灰度值,利用余弦分段函数
Figure BDA0002859155140000152
对灰度值进行拟合,确定参数a2和a3。
步骤S440、对余弦分段函数
Figure BDA0002859155140000161
进行面积积分,获得亚像素边缘位置P,其中,亚像素边缘位置P的左侧面积积分与其右侧的面积积分之比为1:3。
步骤S450、根据亚像素边缘位置P获取处理后的矩形区域中盖板玻璃700的顶部、底部、左侧的边缘位置。
步骤S500、获取处理后的矩形区域中盖板玻璃700的顶部、底部、左侧的边缘位置分别对应的直线LE1、LE2及LE3,进而获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo);其中,所述步骤S500、获取处理后的矩形区域中盖板玻璃700的顶部、底部、左侧的边缘位置分别对应的直线LE1、LE2及LE3,进而获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo)的方法,具体包括如下步骤:
步骤S510、按X轴坐标对处理后的矩形区域中盖板玻璃700的顶部边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点T1(Xt1,Yt1)、T2(Xt2,Yt2)和T3(Xt3,Yt3);
步骤S520、按Y轴坐标对处理后的矩形区域中盖板玻璃700的底部边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点B1(Xb1,Yb1)、B2(Xb2,Yb2)和B3(Xb3,Yb3);
步骤S530、按Y轴坐标对处理后的矩形区域中盖板玻璃700的左侧边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点L1(Xl1,Yb1)、L2(Xl2,Yl2)和L3(Xl3,Yl3);
步骤S540、根据三个边缘位置点T1(Xt1,Yt1)、T2(Xt2,Yt2)和T3(Xt3,Yt3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE1;根据三个边缘位置点B1(Xb1,Yb1)、B2(Xb2,Yb2)和B3(Xb3,Yb3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE2;根据三个边缘位置点L1(Xl1,Yb1)、L2(Xl2,Yl2)和L3(Xl3,Yl3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE3;
步骤S550、分别获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo)。
步骤S600、根据待贴合液晶屏600的位置获取盖板玻璃700上交点T和交点B连线的中心点O(Xo,Yo)、交点T(Xt,Yt)和交点B(Xb,Yb)的预贴合位置O1(Xo1,Yo1)、Tp1(Xtp1,Ytp1)和Bp1(Xbp1,Ybp1),其中,待贴合的液晶屏600的位置由定位夹具的位置进行确定。
步骤S700、通过公式
Figure BDA0002859155140000171
获得盖板玻璃700移动到预贴合位置的矫正量Δx、Δy和Δθ,并进行矫正,其中,所计算的矫正量Δx和Δy由伺服平台800及移动平台100共同执行,其中,所述伺服平台800负责进行粗调,移动平台100负责进行精调,具体地,伺服平台800执行粗粒度(整数倍)矫正,移动平台100执行细粒度(剩余部分)矫正,所述伺服平台800执行粗粒度(0.01mm/脉冲)、100~500mm范围内的大行程位移,所述移动平台100执行细粒度(0.005mm/脉冲或者0.01°/脉冲)、1~10mm范围内的小行程位移;所计算的矫正量Δθ由移动平台100的θ轴旋转进行矫正。
步骤S800、贴合对位。盖板玻璃700与液晶屏600对位完成后,由压合机构300驱动柔性压头310压在盖板玻璃700外表面,使得盖板玻璃700和液晶屏600之间的贴合更为紧密;贴合完成后,通过人工方式取出产品,方便进行下一工序的贴合。
步骤S900、对激光灯亮度进行调整,转入步骤S100;具体地,若通过第一层YOLO3算法、第二层YOLO3算法或第三层YOLO3算法进行目标检测获取的矩形区域中至少不存在激光成像图像的三个侧边中的两个侧边,则认为第一层YOLO3算法、第二层YOLO3算法或第三层YOLO3算法进行目标检测失败,则当前激光亮度下的检测不成功,需要对激光灯亮度进行调整,提升激光灯亮度到当前激光亮度的120%。
综上所述,本发明一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法通过视觉检测机构400对盖板玻璃700进行拍照及图像处理,利用多层金字塔的YOLO3算法及投影匹配算法完成对盖板玻璃700的定位,最后利用伺服平台800带动盖板玻璃700移送至液晶屏600正上方,完成盖板玻璃700与液晶屏600的贴合对位操作,进而提高对位精度。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,包括如下步骤:
步骤S100、建立图像坐标系,获取激光灯照射下的盖板玻璃的图像,其中,所述激光灯照射下的盖板玻璃的图像即激光成像图像;
步骤S200、通过多层金字塔的YOLO3算法对激光成像图像进行目标检测获取初步矩形区域;
步骤S300、采用投影匹配算法对多层金字塔的YOLO3算法获取的初步矩形区域进行处理,获得处理后的矩形区域;
步骤S400、对处理后的矩形区域,采用亚像素余弦近似边缘检测算法,通过余弦分段函数获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置;
步骤S500、获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置分别对应的直线LE1、LE2及LE3,进而获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo);
步骤S600、根据待贴合液晶屏的位置获取盖板玻璃上交点T和交点B连线的中心点O(Xo,Yo)、交点T(Xt,Yt)和交点B(Xb,Yb)的预贴合位置O1(Xo1,Yo1)、Tp1(Xtp1,Ytp1)和Bp1(Xbp1,Ybp1);
步骤S700、通过公式
Figure FDA0002859155130000011
获得盖板玻璃700移动到预贴合位置的矫正量△x、△y和Δθ,并进行矫正;
步骤S800、贴合对位。
2.根据权利要求1所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,还包括如下步骤:
步骤S900、对激光灯亮度进行调整。
3.根据权利要求2所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,所述步骤S100、建立图像坐标系,获取激光灯照射下的盖板玻璃的图像的方法,包括如下步骤:
步骤S110、建立图像坐标系,将基于多源光学的盖板玻璃与液晶屏的贴合对位装置回复至初始工作状态;其中,所述基于多源光学的盖板玻璃与液晶屏的贴合对位装置包括机架,所述机架上设置有移动平台、固定平台、压合机构、视觉检测机构及真空吸附机构,所述移动平台上用于放置液晶屏,所述固定平台上用于放置盖板玻璃,所述机架上端部设置有伺服平台,所述压合机构、视觉检测机构及真空吸附机构分别固定在伺服平台上,所述伺服平台分别带动压合机构、视觉检测机构及真空吸附机构沿X轴及Y轴方向运动,所述伺服平台、压合机构、视觉检测机构及真空吸附机构分别设置在移动平台及固定平台上方;所述固定平台上设置有挡板机构,所述挡板机构设置有定位挡板,所述固定平台上于定位挡板一侧设置有推送机构,所述推送机构一侧设置有激光灯,所述视觉检测机构用于对盖板玻璃拍照并将拍照后的图像进行处理,所述视觉检测机构包括摄像头及LED灯;
步骤S120、将液晶屏放置在移动平台上,将盖板玻璃放置在固定平台上;
步骤S130、摄像头获取激光灯照射下的盖板玻璃图像。
4.根据权利要求3所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,所述步骤S200、通过多层金字塔的YOLO3算法对激光成像图像进行目标检测获取初步矩形区域的方法,包括如下步骤:
步骤S210、获取激光成像图像中的热点图像A;
步骤S220、对热点图像A通过YOLO3算法进行目标检测获取第一矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像A中是否存在激光成像图像的三个侧边;如果是,分别获取第一矩形区域的两个对角点的坐标SA1((XA11,YA11),(XA12,YA12)),SA2((XA21,Y21),(XA22,YA22)),…,SAn((XAn1,YAn1),(XAn2,YAn2)),n≥3,完成第一层金字塔的YOLO3算法,转入步骤S230;如果否,转入步骤S900;
步骤S230、将热点图像A等分为4等分,获得热点图像B1、热点图像B2、热点图像B3和热点图像B4;对四个热点图像B1、B2、B3和B4分别通过YOLO3算法进行目标检测获取第二矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像B1、B2、B3或B4中是否存在激光成像图像的三个侧边;如果是,分别获取第二矩形区域的两个对角点的坐标SB1((XB11,YB11),(XB12,YB12)),SB2((XB21,YB21),(XB22,YB22)),…,SBp((XBp1,YBp1),(XBp2,YBp2)),完成第二层金字塔的YOLO3算法,转入步骤S240;如果否,转入步骤S900;
步骤S240、将热点图像A等分为16等分,获得热点图像C1、热点图像C2、…、热点图像C16;对16个热点图像C1~C16分别通过YOLO3算法进行目标检测获取第三矩形区域,与离线训练获取的激光成像图像的侧边进行比对,判断热点图像C1、C2…、或C16中是否存在激光成像图像的三个侧边;如果是,分别获取第三矩形区域的两个对角点的坐标SC1((XC11,YC11),(XC12,YC12)),SC2((XC21,YC21),(XC22,YC22)),…,SCq((XCq1,YCq1),(XCq2,YCq2)),完成第三层金字塔的YOLO3算法;如果否,转入步骤S900;其中,初步矩形区域包括第一矩形区域、第二矩形区域及第三矩形区域。
5.根据权利要求4所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,所述步骤S300、采用投影匹配算法对多层金字塔的YOLO3算法获取的初步矩形区域进行处理,获得处理后的矩形区域的方法,包括如下步骤:
步骤S310、将初步矩形区域SA1((XA11,YA11),(XA12,YA12)),SA2((XA21,YA21),(XA22,YA22)),…,SAn((XAn1,YAn1),(XAn2,YAn2)),SB1((XB11,YB11),(XB12,YB12)),SB2((XB21,YB21),(XB22,YB22)),…,SBp((XBp1,YBp1),(XBp2,YBp2)),SC1((XC11,YC11),(XC12,YC12)),SC2((XC21,YC21),(XC22,YC22)),…,SCq((XCq1,YCq1),(XCq2,YCq2))进行合并,生成合并矩形区域SD1((XD11,YD11),(XD12,YD12)),S2((XD21,YD21),(XD22,YD22)),…,SDm((XDm1,YDm1),(XDm2,YDm2)),使得m个合并矩形区域SD1~SDm在空间位置上包含所述SA1~SAn、SB1~SBp和SC1~SCq的矩形区域;其中,合并矩形区域SD1~SDm为激光成像图像的三个侧边分别匹配的初步矩形区域的外接最大矩形区域,3≤m≤15。
步骤S320、关闭激光灯,开启LED灯,摄像头拍摄获取LED灯照射下的盖板玻璃图像,即可见光成像图像,通过离线训练方式获取可见光成像图像中包含盖板玻璃侧边区域的图像,对包含盖板玻璃侧边区域的图像进行灰度处理,获得模板图像T;
步骤S330、获取包含盖板玻璃侧边区域的图像中对应合并矩形区域SD1~SDm范围内的截取图像,对截取图像进行灰度处理,分别获得各自对应的搜索图像S。
步骤S340、获取模板图像T(x,y)在X轴的投影Tx及在Y轴的投影Ty,搜索图像S(x,y)的投影在X轴的投影Sx及在Y轴的投影Sy,其中,模板图像T及搜索图像S在X轴的投影是图像列灰度值的累加,Y轴的投影是图像行灰度值的累加。
步骤S350、根据归一化匹配公式
Figure FDA0002859155130000041
Figure FDA0002859155130000042
确定投影Tx与投影Sx在X轴的列最佳匹配位置以及投影Ty与投影Sy在Y轴的行最佳匹配位置,根据列最佳匹配位置及行最佳匹配位置获得模板图像T及搜索图像S最佳匹配位置的中心点坐标;其中,S[i]、S[j]为搜索图像S在X轴、Y轴的投影,T[i]、T[j]为模板图像T在X轴、Y轴的投影,mm、nn分别指代模板图像T的长和宽,ww、hh分别指代搜索图像S的长和宽;
步骤S360、根据模板图像T的大小,获得处理后的矩形区域SE1((XE11,YE11),(XE12,YE12)),SE2((XE21,YE21),(XE22,YE22)),…,SEm((XEm1,YEm1),(XEm2,YEm2))。
6.根据权利要求5所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,所述通过离线训练方式获取可见光成像图像中包含盖板玻璃侧边区域的图像的方法,包括:
构建可见光成像图像集;
获取可见光成像图像中盖板玻璃选中框,其中,盖板玻璃选中框由人工方式进行标定;
对可见光成像图像集中的盖板玻璃选中框进行离线训练,获取可见光成像图像中包含盖板玻璃侧边区域的图像。
7.根据权利要求4所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,所述步骤S210、获取激光成像图像中的热点图像A的方法,包括如下步骤:
步骤S211、获取激光成像图像中盖板玻璃选中框的中心位置;
步骤S212、以盖板玻璃选中框的中心为起点分别朝X轴和Y轴方向预设距离,获得热点区域框;
步骤S213、将处于热点区域框内范围内的激光成像图像进行裁切,获取热点图像A。
8.根据权利要求4所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,所述离线训练获取的激光成像图像的侧边的方法包括:
构建激光成像图像集;
获取激光成像图像中的盖板玻璃选中框,其中,盖板玻璃选中框由人工方式进行标定;
对激光成像图像集中的盖板玻璃选中框进行离线训练,获取激光成像图像的侧边。
9.根据权利要求1或2所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,所述步骤S400、对处理后的矩形区域,采用亚像素余弦近似边缘检测算法,通过余弦分段函数获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置的方法,包括如下步骤:
步骤S410、采用整像素边缘检测算法对处理后的矩形区域中盖板玻璃的三个侧边边缘进行初定位,获得整像素边缘;
步骤S420、获取处理后的矩形区域中盖板玻璃区域的平均灰度a5和背景灰度a6,通过公式
Figure FDA0002859155130000061
确定参数a1和a4;
步骤S430、选取整像素边缘的其中一个边缘点,沿边缘点法线方向选取处理后的矩形区域中对应位置的灰度值,利用余弦分段函数
Figure FDA0002859155130000062
对灰度值进行拟合,确定参数a2和a3;
步骤S440、对余弦分段函数
Figure FDA0002859155130000063
进行面积积分,获得亚像素边缘位置P;
步骤S450、根据亚像素边缘位置P获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置。
10.根据权利要求1或2所述的基于多源光学的盖板玻璃与液晶屏的贴合对位方法,其特征在于,所述步骤S500、获取处理后的矩形区域中盖板玻璃的顶部、底部、左侧的边缘位置分别对应的直线LE1、LE2及LE3,进而获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo)的方法,包括如下步骤:
步骤S510、按X轴坐标对处理后的矩形区域中盖板玻璃的顶部边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点T1(Xt1,Yt1)、T2(Xt2,Yt2)和T3(Xt3,Yt3);
步骤S520、按Y轴坐标对处理后的矩形区域中盖板玻璃的底部边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点B1(Xb1,Yb1)、B2(Xb2,Yb2)和B3(Xb3,Yb3);
步骤S530、按Y轴坐标对处理后的矩形区域中盖板玻璃的左侧边缘位置进行排序,分别获取最大值、最小值和最接近的中间值三个边缘位置点L1(Xl1,Yb1)、L2(Xl2,Yl2)和L3(Xl3,Yl3);
步骤S540、根据三个边缘位置点T1(Xt1,Yt1)、T2(Xt2,Yt2)和T3(Xt3,Yt3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE1;根据三个边缘位置点B1(Xb1,Yb1)、B2(Xb2,Yb2)和B3(Xb3,Yb3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE2;根据三个边缘位置点L1(Xl1,Yb1)、L2(Xl2,Yl2)和L3(Xl3,Yl3),采用最小二乘法获取离三个位置点垂直距离最近的直线LE3;
步骤S550、分别获取直线LE1和直线LE3的交点T(Xt,Yt)、直线LE2和直线LE3的交点B(Xb,Yb)、及交点T和交点B连线的中心点坐标O(Xo,Yo)。
CN202011560250.2A 2020-12-25 2020-12-25 基于多源光学的盖板玻璃与液晶屏的贴合对位方法 Active CN112529924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011560250.2A CN112529924B (zh) 2020-12-25 2020-12-25 基于多源光学的盖板玻璃与液晶屏的贴合对位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011560250.2A CN112529924B (zh) 2020-12-25 2020-12-25 基于多源光学的盖板玻璃与液晶屏的贴合对位方法

Publications (2)

Publication Number Publication Date
CN112529924A true CN112529924A (zh) 2021-03-19
CN112529924B CN112529924B (zh) 2022-04-26

Family

ID=74976397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011560250.2A Active CN112529924B (zh) 2020-12-25 2020-12-25 基于多源光学的盖板玻璃与液晶屏的贴合对位方法

Country Status (1)

Country Link
CN (1) CN112529924B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889151A (zh) * 2022-04-08 2022-08-12 赣州市同兴达电子科技有限公司 适用于夹心oca边角裁切拍照对位的方法
CN115179640A (zh) * 2022-06-27 2022-10-14 广东华中科技大学工业技术研究院 玻璃盖板贴合设备及玻璃盖板的激光定位校正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240961A1 (en) * 2013-02-27 2014-08-28 Japan Display Inc. Display device and electronic apparatus
CN104981105A (zh) * 2015-07-09 2015-10-14 广东工业大学 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
CN106485275A (zh) * 2016-10-10 2017-03-08 厦门理工学院 一种实现盖板玻璃与液晶屏定位贴合的方法
CN109447955A (zh) * 2018-10-11 2019-03-08 安徽皓视光电科技有限公司 手机背光模组点灯检测roi分割方法
CN111968144A (zh) * 2020-09-07 2020-11-20 北京凌云光技术集团有限责任公司 一种图像边缘点获取方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240961A1 (en) * 2013-02-27 2014-08-28 Japan Display Inc. Display device and electronic apparatus
CN104981105A (zh) * 2015-07-09 2015-10-14 广东工业大学 一种快速精确获得元件中心和偏转角度的检测及纠偏方法
CN106485275A (zh) * 2016-10-10 2017-03-08 厦门理工学院 一种实现盖板玻璃与液晶屏定位贴合的方法
CN109447955A (zh) * 2018-10-11 2019-03-08 安徽皓视光电科技有限公司 手机背光模组点灯检测roi分割方法
CN111968144A (zh) * 2020-09-07 2020-11-20 北京凌云光技术集团有限责任公司 一种图像边缘点获取方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUO H F ET.AL: "Application of multi - level redundant control system in heat treatment vacuum brazing furnace", 《MANUFACTURING AUTOMATION》 *
冀钰 等: "基于PLC 的全自动对位贴合机的设计", 《山西电子技术》 *
张国军 等: "一种基于端点非插值性的NURBS曲面重构方法", 《东南大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889151A (zh) * 2022-04-08 2022-08-12 赣州市同兴达电子科技有限公司 适用于夹心oca边角裁切拍照对位的方法
CN115179640A (zh) * 2022-06-27 2022-10-14 广东华中科技大学工业技术研究院 玻璃盖板贴合设备及玻璃盖板的激光定位校正方法
CN115179640B (zh) * 2022-06-27 2023-08-15 广东华中科技大学工业技术研究院 玻璃盖板贴合设备及玻璃盖板的激光定位校正方法

Also Published As

Publication number Publication date
CN112529924B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN112529924B (zh) 基于多源光学的盖板玻璃与液晶屏的贴合对位方法
CN112631002B (zh) 一种液晶屏贴合装置及方法
KR101108136B1 (ko) 전자부품 탑재장치 및 전자부품 탑재방법
WO2016141882A1 (zh) 一种自动涂胶系统及其涂胶方法
WO2017088469A1 (zh) 一种基于机械手臂的高精度自动光学检测系统和方法
WO2020153203A1 (ja) 実装装置および実装方法
JP5117109B2 (ja) 貼り合せ基板の製造方法、及び貼り合せ基板製造装置
CN112381827A (zh) 基于视觉图像的快速高精度缺陷检测方法
CN112365502A (zh) 一种基于视觉图像缺陷检测的标对方法
US20120313840A1 (en) Image display device and autostereoscopic panel
CN108406095A (zh) 一种激光振镜的校正方法及校正装置
CN112950660A (zh) 一种可正反识别手机背光模组的方法
KR101438914B1 (ko) 전사방법 및 전사장치
CN113348538A (zh) 安装装置和安装方法
JP3959265B2 (ja) プロキシミティ露光装置及びその装置におけるプロキシミティギャップ制御方法
CN112965276B (zh) 偏贴精度检测机及其控制方法
JPH0964085A (ja) ボンディング方法
CN110989219B (zh) 一种液晶面板贴合方法、终端、系统及存储介质
KR20230149483A (ko) 코팅 갭 자동 조절 기능을 갖는 슬롯 다이 코터
JP2001326252A (ja) 電子部品の実装装置および実装方法
JP4860366B2 (ja) 表面実装装置
KR20150142300A (ko) 터치패널 부착 장치
KR101817937B1 (ko) 카메라 모듈 렌즈의 능동 정렬 장치 및 그 정렬 방법
CN112867386A (zh) 自动贴片装置及其吸嘴和自动贴片方法
JP7013400B2 (ja) 実装装置および実装方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant