CN117824504A - 一种屏体与fpc的压接对位精度检测方法以及相关装置 - Google Patents
一种屏体与fpc的压接对位精度检测方法以及相关装置 Download PDFInfo
- Publication number
- CN117824504A CN117824504A CN202410209964.0A CN202410209964A CN117824504A CN 117824504 A CN117824504 A CN 117824504A CN 202410209964 A CN202410209964 A CN 202410209964A CN 117824504 A CN117824504 A CN 117824504A
- Authority
- CN
- China
- Prior art keywords
- crimped
- fpc
- screen body
- coordinate value
- point coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002788 crimping Methods 0.000 title claims abstract description 101
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims description 68
- 230000007246 mechanism Effects 0.000 claims description 56
- 238000006073 displacement reaction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004642 Polyimide Substances 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229920006267 polyester film Polymers 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种屏体与FPC的压接对位精度检测方法以及相关装置,用于提高屏体与FPC的压接对位精度检测结果的可靠性。本申请方法包括:生成第一参考图像以及第二参考图像;采集第一目标图像和第二目标图像;将第一参考图像分别与第一目标图像和第二目标图像进行相似度匹配;计算待压接屏体与待压接FPC之间的偏移量;根据偏移量驱动承载平台运动;驱动待压接FPC与待压接屏体进行压接;进行二次图像采集,得到第三目标图像和第四目标图像;将第二参考图像分别与第三目标图像和第四目标图像进行相似度匹配;计算pin边中心点坐标值与pin角中心点坐标值在X轴方向上的差值;根据差值计算待压接屏体与待压接FPC的压接对位精度。
Description
技术领域
本申请涉及显示屏技术领域,尤其涉及一种屏体与FPC的压接对位精度检测方法以及相关装置。
背景技术
柔性电路板(FPC,FlexiblePrintedCircuit)是一种以聚酰亚胺或聚酯薄膜为基材制成的印刷电路板,又称软性电路板或者挠性电路板,广泛适用于手机、汽车及航空等领域,具有自由弯曲、折叠、卷绕、小体积、薄型化、随意移动及伸缩等特点。
在显示屏的生产工艺中,屏体与FPC的压接对位是一道重要工序,只有当屏体与FPC完成压接对位并通电点亮后,才能对屏体进行后续的各项光学检测。而由于在屏体与FPC的压接对位过程中会受到各种因素的影响,导致屏体与FPC的压接对位成功率无法达到生产标准,从而会直接影响到显示屏的生产效率和成品良率。例如:由于屏体的材料特性或生产过程中可能出现的问题,屏体可能会发生轻微的翘曲,从而导致对位不精确;或者由于表面污染和工艺缺陷等原因导致图像识别出错;又或者由于FPC使用次数过多,导致FPC拉伸变形,进而导致对位压接的过程中出现点位位移,最终造成压接不合格。因此,需要对屏体与FPC的压接对位精度进行检测,以保障后续各项光学检测的正常进行。
目前,现有的屏体与FPC的压接对位精度检测方式是在通过自动压接机构完成屏体与FPC的压接对位后,由人工使用相关测量仪对其进行压接对位精度检测。但是,人工检测方式容易受到主观性因素或者外界环境因素的干扰,从而导致屏体与FPC的压接对位精度检测结果的可靠性降低。
发明内容
本申请提供了一种屏体与FPC的压接对位精度检测方法以及相关装置,能够提高屏体与FPC的压接对位精度检测结果的可靠性。
本申请第一方面提供了一种屏体与FPC的压接对位装置,包括:固定平台、固定机架、第一工业相机、第二工业相机、压接控制机构、承载平台以及三轴位移控制机构;
所述固定机架和所述三轴位移控制机构固定于所述固定平台上;
所述承载平台固定于所述三轴位移控制机构的顶部,所述承载平台用于承载待压接屏体,所述三轴位移控制机构用于驱动所述待压接屏体在X轴、Y轴以及θ轴方向上运动;
所述第一工业相机、所述第二工业相机和所述压接控制机构安装于所述固定机架上,所述第一工业相机、所述第二工业相机和所述压接控制机构都位于所述待压接屏体的上方,所述压接控制机构用于控制待压接FPC进行升降运动。
本申请第二方面提供了一种屏体与FPC的压接对位精度检测方法,包括:
设置待压接屏体和待压接FPC的基准点,并基于所述基准点生成绘制有所述待压接屏体的mark标记点和所述待压接FPC的mark标记点的第一参考图像以及绘制有所述待压接屏体的Pin边和所述待压接FPC的pin角的第二参考图像;
使用所述第一工业相机和所述第二工业相机分别对所述待压接屏体和所述待压接FPC进行图像采集,得到第一目标图像和第二目标图像;
将所述第一参考图像分别与所述第一目标图像和所述第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;
根据所述第一屏体中心点坐标值、所述第一FPC中心点坐标值、所述第二屏体中心点坐标值以及所述第二FPC中心点坐标值计算所述待压接屏体与所述待压接FPC之间的偏移量;
根据所述偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于所述承载平台上的所述待压接屏体的mark标记点与所述待压接FPC的mark标记点对齐;
控制压接控制机构驱动所述待压接FPC与所述待压接屏体进行压接;
使用所述第一工业相机和所述第二工业相机分别对所述待压接FPC和所述待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;
将所述第二参考图像分别与所述第三目标图像和所述第四目标图像进行相似度匹配,分别得到所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值;
计算所述待压接屏体的pin边中心点坐标值与所述待压接FPC的pin角中心点坐标值在X轴方向上的差值;
根据所述差值计算所述待压接屏体与所述待压接FPC的压接对位精度。
可选的,所述根据所述差值计算所述待压接屏体与所述待压接FPC的压接对位精度包括:
根据所述差值和预设精度阈值计算所述待压接屏体与所述待压接FPC的压接对位精度,所述压接对位精度的对应计算公式如下:
其中,表示所述待压接屏体的pin边中心点坐标值与所述待压接FPC的pin角中心点坐标值在X轴方向上的差值,/>表示预设精度阈值。
可选的,所述将所述第一参考图像分别与所述第一目标图像和所述第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值包括:
将所述第一参考图像作为第一滑动窗口,并按照预设规则分别在所述第一目标图像和所述第二目标图像上滑动;
分别在所述第一目标图像和所述第二目标图像上的每个第一滑动位置进行特征提取,分别得到与所述第一参考图像维度相同的第一局部区域特征向量集和第二局部区域特征向量集,所述每个第一滑动位置为所述第一滑动窗口在所述第一目标图像上或者所述第二目标图像上的滑动过程中所停留过的每个位置;
分别计算所述第一参考图像的特征向量与所述第一局部特征向量集和所述第二局部区域特征向量集的第一余弦相似度和第二余弦相似度;
当存在所述第一余弦相似度或者所述第二余弦相似度大于第一相似度阈值时,分别确定对应的滑动位置为第一目标匹配点和第二目标匹配点;
分别计算所有第一目标匹配点的中心点坐标的第一平均值和所有第二目标匹配点的中心点坐标的第二平均值;
分别根据所述第一平均值和所述第二平均值确定第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值。
可选的,所述将所述第二参考图像分别与所述第三目标图像和所述第四目标图像进行相似度匹配,分别得到所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值包括:
将所述第二参考图像作为第二滑动窗口,并按照预设规则分别在所述第三目标图像和所述第四目标图像上滑动;
分别在所述第三目标图像和所述第四目标图像上的每个第二滑动位置进行特征提取,分别得到与所述第二参考图像维度相同的第三局部区域特征向量集和第四局部区域特征向量集,所述每个第二滑动位置为所述第二滑动窗口在所述第三目标图像上或者所述第四目标图像上的滑动过程中所停留过的每个位置;
分别计算所述第二参考图像的特征向量与所述第三局部特征向量集和所述第四局部区域特征向量集的第三余弦相似度和第四余弦相似度;
当存在所述第三余弦相似度或者所述第四余弦相似度大于第二相似度阈值时,分别确定对应的滑动位置为第三目标匹配点和第四目标匹配点;
分别计算所有第三目标匹配点的中心点坐标的第三平均值和所有第四目标匹配点的中心点坐标的第四平均值;
分别根据所述第三平均值和所述第四平均值确定所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值。
可选的,所述根据所述第一屏体中心点坐标值、所述第一FPC中心点坐标值、所述第二屏体中心点坐标值以及所述第二FPC中心点坐标值计算所述待压接屏体与所述待压接FPC之间的偏移量包括:
根据所述第一屏体中心点坐标值和所述第一FPC中心点坐标值确定第一直线,以及根据所述第二屏体中心点坐标值和所述第二FPC中心点坐标值确定第二直线;
确定所述第一直线和所述第二直线之间的夹角为偏移角度;
根据所述偏移角度计算所述第一直线和所述第二直线的X轴偏差和Y轴偏差;
确定所述X轴偏差、所述Y轴偏差以及所述偏移角度分别为所述待压接屏体与所述待压接FPC之间在X轴、Y轴以及θ轴方向上的偏移量。
可选的,在所述根据所述差值计算所述待压接屏体与所述待压接FPC的压接对位精度之后,所述压接对位精度检测方法还包括:
判断所述压接对位精度是否满足预设条件;
若否,停止所述压接控制机构的压接动作,并发出报警信号。
本申请第三方面提供了一种屏体与FPC的压接对位精度检测装置,包括:
设置单元,用于设置待压接屏体和待压接FPC的基准点,并基于所述基准点生成绘制有所述待压接屏体的mark标记点和所述待压接FPC的mark标记点的第一参考图像以及绘制有所述待压接屏体的Pin边和所述待压接FPC的pin角的第二参考图像;
图像采集单元,用于使用所述第一工业相机和所述第二工业相机分别对所述待压接屏体和所述待压接FPC进行图像采集,得到第一目标图像和第二目标图像;
第一相似度匹配单元,用于将所述第一参考图像分别与所述第一目标图像和所述第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;
第一计算单元,用于根据所述第一屏体中心点坐标值、所述第一FPC中心点坐标值、所述第二屏体中心点坐标值以及所述第二FPC中心点坐标值计算所述待压接屏体与所述待压接FPC之间的偏移量;
驱动单元,用于根据所述偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于所述承载平台上的所述待压接屏体的mark标记点与所述待压接FPC的mark标记点对齐;
压接单元,用于控制压接控制机构驱动所述待压接FPC与所述待压接屏体进行压接;
二次图像采集单元,用于使用所述第一工业相机和所述第二工业相机分别对所述待压接FPC和所述待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;
第二相似度匹配单元,用于将所述第二参考图像分别与所述第三目标图像和所述第四目标图像进行相似度匹配,分别得到所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值;
第二计算单元,用于计算所述待压接屏体的pin边中心点坐标值与所述待压接FPC的pin角中心点坐标值在X轴方向上的差值;
第三计算单元,用于根据所述差值计算所述待压接屏体与所述待压接FPC的压接对位精度。
可选的,所述第三计算单元具体用于:根据所述差值和预设精度阈值计算所述待压接屏体与所述待压接FPC的压接对位精度,所述压接对位精度的对应计算公式如下:
其中,表示所述待压接屏体的pin边中心点坐标值与所述待压接FPC的pin角中心点坐标值在X轴方向上的差值,/>表示预设精度阈值。
可选的,所述第一相似度匹配单元具体用于:将所述第一参考图像作为第一滑动窗口,并按照预设规则分别在所述第一目标图像和所述第二目标图像上滑动;
分别在所述第一目标图像和所述第二目标图像上的每个第一滑动位置进行特征提取,分别得到与所述第一参考图像维度相同的第一局部区域特征向量集和第二局部区域特征向量集,所述每个第一滑动位置为所述第一滑动窗口在所述第一目标图像上或者所述第二目标图像上的滑动过程中所停留过的每个位置;
分别计算所述第一参考图像的特征向量与所述第一局部特征向量集和所述第二局部区域特征向量集的第一余弦相似度和第二余弦相似度;
当存在所述第一余弦相似度或者所述第二余弦相似度大于第一相似度阈值时,分别确定对应的滑动位置为第一目标匹配点和第二目标匹配点;
分别计算所有第一目标匹配点的中心点坐标的第一平均值和所有第二目标匹配点的中心点坐标的第二平均值;
分别根据所述第一平均值和所述第二平均值确定第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值。
可选的,所述第二相似度匹配单元具体用于:将所述第二参考图像作为第二滑动窗口,并按照预设规则分别在所述第三目标图像和所述第四目标图像上滑动;
分别在所述第三目标图像和所述第四目标图像上的每个第二滑动位置进行特征提取,分别得到与所述第二参考图像维度相同的第三局部区域特征向量集和第四局部区域特征向量集,所述每个第二滑动位置为所述第二滑动窗口在所述第三目标图像上或者所述第四目标图像上的滑动过程中所停留过的每个位置;
分别计算所述第二参考图像的特征向量与所述第三局部特征向量集和所述第四局部区域特征向量集的第三余弦相似度和第四余弦相似度;
当存在所述第三余弦相似度或者所述第四余弦相似度大于第二相似度阈值时,分别确定对应的滑动位置为第三目标匹配点和第四目标匹配点;
分别计算所有第三目标匹配点的中心点坐标的第三平均值和所有第四目标匹配点的中心点坐标的第四平均值;
分别根据所述第三平均值和所述第四平均值确定所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值。
可选的,所述第一计算单元具体用于:根据所述第一屏体中心点坐标值和所述第一FPC中心点坐标值确定第一直线,以及根据所述第二屏体中心点坐标值和所述第二FPC中心点坐标值确定第二直线;
确定所述第一直线和所述第二直线之间的夹角为偏移角度;
根据所述偏移角度计算所述第一直线和所述第二直线的X轴偏差和Y轴偏差;
确定所述X轴偏差、所述Y轴偏差以及所述偏移角度分别为所述待压接屏体与所述待压接FPC之间在X轴、Y轴以及θ轴方向上的偏移量。
可选的,所述压接对位精度检测装置还包括:
判断单元,用于判断所述压接对位精度是否满足预设条件;
报警单元,用于当所述压接对位精度未满足预设条件时,停止所述压接控制机构的压接动作,并发出报警信号。
本申请第四方面提供了一种屏体与FPC的压接对位精度检测系统,包括:
中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行第二方面以及第二方面的可选方式中的任意一种所述的方式。
本申请第五方面提供了一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行第二方面以及第二方面的可选方式中的任意一种所述的方式。
从以上技术方案可以看出,本申请具有以下效果:
首先设置待压接屏体和待压接FPC的基准点,基于基准点生成绘制有待压接屏体的mark标记点和待压接FPC的mark标记点的第一参考图像以及绘制有待压接屏体的Pin边和待压接FPC的pin角的第二参考图像;然后使用第一工业相机和第二工业相机分别对待压接屏体和待压接FPC进行图像采集,得到第一目标图像和第二目标图像;并将得到的第一参考图像分别与第一目标图像和第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;再根据第一屏体中心点坐标值、第一FPC中心点坐标值、第二屏体中心点坐标值以及第二FPC中心点坐标值计算待压接屏体与待压接FPC之间的偏移量;进而根据偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于承载平台上的待压接屏体的mark标记点与待压接FPC的mark标记点对齐;之后控制压接控制机构驱动待压接FPC与待压接屏体进行压接;在压接完成后,使用第一工业相机和第二工业相机分别对待压接FPC和待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;再将第二参考图像分别与第三目标图像和第四目标图像进行相似度匹配,分别得到待压接屏体的pin边中心点坐标值和待压接FPC的pin角中心点坐标值;进而计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值;最后根据差值计算待压接屏体与待压接FPC 的压接对位精度。通过这样,可以根据待压接屏体和待压接FPC在X轴、Y轴以及θ轴方向上的偏移对待压接屏体的位置进行调整,以提高待压接屏体和待压接FPC的压接对位精度。并在压接完成后,根据计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值来确定待压接屏体和待压接FPC的压接对位精度,而不再需要由人工来对压接对位精度进行检测,从而可以提高屏体与FPC的压接对位精度检测结果的可靠性。
附图说明
图1为本申请中一种屏体与FPC的压接对位装置的整体结构示意图;
图2为本申请中一种屏体与FPC的压接对位精度检测方法的一个实施例示意图;
图3-1、图3-2以及图3-3为本申请中一种屏体与FPC的压接对位精度检测方法的另一个实施例示意图;
图4为本申请中一种屏体与FPC的压接对位精度检测装置的一个实施例示意图;
图5为本申请中一种屏体与FPC的压接对位精度检测装置的另一个实施例示意图;
图6为本申请中一种屏体与FPC的压接对位精度检测系统的一个实施例示意图。
具体实施方式
本申请提供了一种屏体与FPC的压接对位精度检测方法以及相关装置,用于提高屏体与FPC的压接对位精度检测结果的可靠性。
本申请描述的屏体与FPC的压接对位精度检测方法应用于服务器、系统、终端或者其他具备逻辑处理能力的设备上执行实现,对此,本申请不做限定。
请参阅图1所示,本申请中的屏体与FPC的压接对位装置的一个实施例包括:
固定平台1、固定机架2、第一工业相机3、第二工业相机4、压接控制机构5、承载平台6以及三轴位移控制机构7;
固定机架2和三轴位移控制机构7固定于固定平台1上;
承载平台6固定于三轴位移控制机构7的顶部,该承载平台6用于承载待压接屏体,三轴位移控制机构7用于驱动待压接屏体在X轴、Y轴以及θ轴方向上运动;
第一工业相机3、第二工业相机4和压接控制机构5安装于固定机架2上,该第一工业相机3、第二工业相机4和压接控制机构5都位于待压接屏体的上方,该压接控制机构5用于控制待压接FPC进行升降运动。
本实施例中,第一工业相机3和第二工业相机4平行布置于固定机架2的顶部,用于对待压接屏体和待压接FPC进行图像采集。且该第一工业相机3和第二工业相机4都采用精度较高的相机,通常只对待压接屏体和待压接FPC左右两侧部分视野进行图像采集,这两部分视野都同时包含有待压接屏体和待压接FPC,且这两个视野互不交集。
当该屏体与FPC的压接对位装置启动时,首先由第一工业相机3和第二工业相机4对待压接屏体和待压接FPC进行图像采集。然后由外部图像处理工作站对采集到的图像进行分析处理,以得到待压接屏体和待压接FPC之间的偏移量。再由三轴位移控制机构7根据该偏移量调整待压接屏体的位置,使待压接屏体与待压接FPC对齐。最后控制压接控制机构5驱动待压接FPC下压,使待压接FPC与待压接屏体进行压接。压接完成后,压接控制机构5松开待压接FPC,并回退至初始位置。通过这样,即可完成屏体与FPC的自动对位和压接,从而可以提升压接成功率和压接效率。
请参阅图2所示,本申请中的屏体与FPC的压接对位精度检测方法的一个实施例包括:
201、设置待压接屏体和待压接FPC的基准点,并基于基准点生成绘制有待压接屏体的mark标记点和待压接FPC的mark标记点的第一参考图像以及绘制有待压接屏体的Pin边和待压接FPC的pin角的第二参考图像;
本实施例中,在对待压接屏体和待压接FPC进行压接对位精度检测的初始阶段,需要先设置待压接屏体和待压接FPC的基准点,该基准点为待压接屏体与待压接FPC进行精确重合连接后的状态。该基准点可以由人工来对待压接屏体和待压接FPC的位置进行调整,或者使用同类型和同规格的待压接屏体和待压接FPC的压接成品作为基准点,具体此处不做限定。在确定了基准点后,使用第一工业相机或者第二工业相机对待压接屏体和待压接FPC进行图像采集,生成绘制有待压接屏体的mark标记点和待压接FPC的mark标记点的第一参考图像以及绘制有待压接屏体的Pin边和待压接FPC的pin角的第二参考图像。
202、使用第一工业相机和第二工业相机分别对待压接屏体和待压接FPC进行图像采集,得到第一目标图像和第二目标图像;
本实施例中,使用第一工业相机对待压接屏体和待压接FPC的左侧视野进行图像采集,得到第一目标图像。使用第二工业相机对待压接屏体和待压接FPC的右侧视野进行图像采集,得到第二目标图像。该第一目标图像和第二目标图像都同时包含有待压接屏体和待压接FPC。
203、将第一参考图像分别与第一目标图像和第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;
本实施例中,由于第一参考图像中同时含有待压接屏体的mark标记点和待压接FPC的mark标记点,因此可以将第一参考图像分别与第一目标图像和第二目标图像进行局部区域的相似度匹配,以获取第一目标图像和第二目标图像内与待压接屏体的mark标记点和待压接FPC的mark标记点相似的局部区域位置。当第一参考图像与第一目标图像或者第二目标图像内的局部区域的相似度满足要求时,将该局部区域作为匹配点,然后根据所有匹配点的中心点坐标值确定待压接屏体和待压接FPC的中心点坐标值。其中,通过第一参考图像与第一目标图像的相似度匹配,可以得到待压接屏体的第一屏体中心点坐标值和待压接FPC的第一FPC中心点坐标值;通过将第一参考图像与第二目标图像的相似度匹配,可以得到待压接屏体的第二屏体中心点坐标值和待压接FPC的第二FPC中心点坐标值。
204、根据第一屏体中心点坐标值、第一FPC中心点坐标值、第二屏体中心点坐标值以及第二FPC中心点坐标值计算待压接屏体与待压接FPC之间的偏移量;
本实施例中,通过待压接屏体的第一屏体中心点坐标值和第二屏体中心点坐标值与待压接FPC的第一FPC中心点坐标值和第二FPC中心点坐标值的坐标关系,可以计算得到待压接屏体与待压接FPC之间在X轴、Y轴以及θ轴方向上的偏移量。
205、根据偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于承载平台上的待压接屏体的mark标记点与待压接FPC的mark标记点对齐;
本实施例中,根据待压接屏体与待压接FPC之间在X轴、Y轴以及θ轴方向上的偏移量,控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上位移对应的偏移量,使得放置于承载平台上的待压接屏体的mark标记点与待压接FPC的mark标记点对齐,以消除待压接屏体与待压接FPC之间在X轴、Y轴以及θ轴方向上的偏差。
206、控制压接控制机构驱动待压接FPC与待压接屏体进行压接;
本实施例中,在消除待压接屏体与待压接FPC之间在X轴、Y轴以及θ轴方向上的偏差后,即可控制压接控制机构驱动待压接FPC下压,使得待压接FPC与待压接屏体进行压接重合。
207、使用第一工业相机和第二工业相机分别对待压接FPC和待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;
本实施例中,在压接完成后,第一工业相机和第二工业相机的拍摄视野内都可以同时看到待压接屏体的pin边和待压接FPC的pin角,此时可以对对待压接FPC和待压接屏体进行二次图像采集,以得到第三目标图像和第四目标图像。
208、将第二参考图像分别与第三目标图像和第四目标图像进行相似度匹配,分别得到待压接屏体的pin边中心点坐标值和待压接FPC的pin角中心点坐标值;
本实施例中,由于第二参考图像内同时绘制有待压接屏体与待压接FPC精确重合后的pin边和pin角,因此可以将第二参考图像分别与第三目标图像和第四目标图像进行局部区域的相似度匹配,以获取第三目标图像和第四目标图像内与待压接屏体的pin边和待压接FPC的pin角相似的位置。当第二参考图像与第三目标图像或者第四目标图像内的局部区域的相似度满足要求时,将该局部区域作为匹配点,然后根据所有匹配点的中心点坐标值确定待压接屏体的pin边和待压接FPC的pin角的中心点坐标值。其中,通过第二参考图像与第三目标图像的相似度匹配,可以得到待压接屏体的pin边中心点坐标值;通过将第二参考图像与第四目标图像的相似度匹配,可以得到待压接FPC的pin角中心点坐标值。
209、计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值;
本实施例中,在确定待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值后,根据两者的X轴坐标确定两者在X轴方向上的差值。
210、根据差值计算待压接屏体与待压接FPC的压接对位精度。
本实施例中,由于待压接屏体与待压接FPC的压接对位精度的判断本质上是判断待压接屏体的pin边和待压接FPC的pin角是否能精确重合,因此,可以通过计算待压接屏体的pin边和待压接FPC的pin角在X轴方向上的差值来确定待压接屏体与待压接FPC的压接对位精度。
通过这样,可以根据待压接屏体和待压接FPC在X轴、Y轴以及θ轴方向上的偏移对待压接屏体的位置进行调整,以提高待压接屏体和待压接FPC的压接对位精度。并在压接完成后,根据计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值来确定待压接屏体和待压接FPC的压接对位精度,而不再需要由人工来对压接对位精度进行检测,从而可以提高屏体与FPC的压接对位精度检测结果的可靠性。
请参阅图3-1、图3-2以及图3-3所示,本申请中的屏体与FPC的压接对位精度检测方法的另一个实施例包括:
301、设置待压接屏体和待压接FPC的基准点,并基于基准点生成绘制有待压接屏体的mark标记点和待压接FPC的mark标记点的第一参考图像以及绘制有待压接屏体的Pin边和待压接FPC的pin角的第二参考图像;
302、使用第一工业相机和第二工业相机分别对待压接屏体和待压接FPC进行图像采集,得到第一目标图像和第二目标图像;
本实施例中的步骤301和302与前述图2所示实施例中的步骤201和202类似,此处不再进行赘述。
303、将第一参考图像作为第一滑动窗口,并按照预设规则分别在第一目标图像和第二目标图像上滑动;
304、分别在第一目标图像和第二目标图像上的每个第一滑动位置进行特征提取,分别得到与第一参考图像维度相同的第一局部区域特征向量集和第二局部区域特征向量集,每个第一滑动位置为第一滑动窗口在第一目标图像上或者第二目标图像上的滑动过程中所停留过的每个位置;
305、分别计算第一参考图像的特征向量与第一局部特征向量集和第二局部区域特征向量集的第一余弦相似度和第二余弦相似度;
306、当存在第一余弦相似度或者第二余弦相似度大于第一相似度阈值时,分别确定对应的滑动位置为第一目标匹配点和第二目标匹配点;
307、分别计算所有第一目标匹配点的中心点坐标的第一平均值和所有第二目标匹配点的中心点坐标的第二平均值;
308、分别根据第一平均值和第二平均值确定第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;
可选的,本实施例中,可以采用滑动窗口法将第一参考图像分别与第一目标图像和第二目标图像进行相似度匹配。此处以第一参考图像与第一目标图像的相似度匹配过程为例进行描述,具体过程如下:
首先,将第一参考图像作为可以在第一目标图像内滑动的第一滑动窗口,设第一参考图像为,对应的特征向量为/>。将该第一滑动窗口按照预设规则在第一目标图像内滑动,预设规则可以为:第一滑动窗口在第一目标图像内的左上角区域开始滑动,以固定步长向右滑动,滑动至最右边时回退至左上角区域的初始位置并下滑一行,然后继续以固定步长向右滑动,以此循环。
然后,在第一滑动窗口以固定步长滑动的过程中所停留过的每个第一滑动位置进行第一局部区域特征向量提取,该第一局部区域特征向量与第一参考图像的维度相同,设第一局部区域特征向量为,特征向量表示为/>。
再将第一参考图像的特征向量与所有第一局部区域特征向量逐一进行第一余弦相似度计算,计算过程为:先计算特征向量和特征向量/>的点积/>,其中;然后分别计算特征向量/>和特征向量/>的范数,对应的范数分别为:/>,/>;最后,根据similarity函数计算余弦相似度,对应计算公式为:/>。
最后,确定第一余弦相似度大于第一相似度阈值时对应的第一滑动位置为第一目标匹配点,并计算所有第一目标匹配点对应的中心点坐标值的第一平均值。由于第一参考图像中同时包含有待压接屏体的mark标记点和待压接FPC的mark标记点,因此根据该第一平均值可以获取到第一屏体中心点坐标值和第一FPC中心点坐标值。
由于第二目标图像与第一目标图像的相似度匹配过程相似,因此根据该计算方式可以得到第二屏体中心点坐标值和第二FPC中心点坐标值。
309、根据第一屏体中心点坐标值和第一FPC中心点坐标值确定第一直线,以及根据第二屏体中心点坐标值和第二FPC中心点坐标值确定第二直线;
310、确定第一直线和第二直线之间的夹角为偏移角度;
311、根据偏移角度计算第一直线和第二直线的X轴偏差和Y轴偏差;
312、确定X轴偏差、Y轴偏差以及偏移角度分别为待压接屏体与待压接FPC之间在X轴、Y轴以及θ轴方向上的偏移量;
可选的,本实施例中,设第一屏体中心点坐标值为,第一FPC中心点坐标值为/>,第二屏体中心点坐标值为/>,第二FPC中心点坐标值为。取/>和/>两点之间的连线为第一直线,/>和/>两点之间的连线为第二直线,其中,第一直线的斜率为/>,第二直线的斜率为/>。然后根据直线夹角公式计算偏移角度/>,对应公式为:/>。最后,将第一直线的中点旋转/>角度后与第二直线的中点重合,计算X轴偏差/>和Y轴偏差/>,对应公式为:;/>。
313、根据偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于承载平台上的待压接屏体的mark标记点与待压接FPC的mark标记点对齐;
314、控制压接控制机构驱动待压接FPC与待压接屏体进行压接;
315、使用第一工业相机和第二工业相机分别对待压接FPC和待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;
本实施例中的步骤314和315与前述图2所示实施例中步骤206和207类似,此处不再进行赘述。
316、将第二参考图像作为第二滑动窗口,并按照预设规则分别在第三目标图像和第四目标图像上滑动;
317、分别在第三目标图像和第四目标图像上的每个第二滑动位置进行特征提取,分别得到与第二参考图像维度相同的第三局部区域特征向量集和第四局部区域特征向量集,每个第二滑动位置为第二滑动窗口在第三目标图像上或者第四目标图像上的滑动过程中所停留过的每个位置;
318、分别计算第二参考图像的特征向量与第三局部特征向量集和第四局部区域特征向量集的第三余弦相似度和第四余弦相似度;
319、当存在第三余弦相似度或者第四余弦相似度大于第二相似度阈值时,分别确定对应的滑动位置为第三目标匹配点和第四目标匹配点;
320、分别计算所有第三目标匹配点的中心点坐标的第三平均值和所有第四目标匹配点的中心点坐标的第四平均值;
321、分别根据第三平均值和第四平均值确定待压接屏体的pin边中心点坐标值和待压接FPC的pin角中心点坐标值;
可选的,本实施例中,可以采用滑动窗口法将第二参考图像分别与第三目标图像和第四目标图像进行相似度匹配。此处以第二参考图像与第三目标图像的相似度匹配过程为例进行描述,具体过程如下:
首先,将第二参考图像作为可以在第三目标图像内滑动的第二滑动窗口,设第二参考图像为,对应的特征向量为/>。将该第二滑动窗口按照预设规则在第三目标图像内滑动,预设规则可以为:第二滑动窗口在第三目标图像内的左上角区域开始滑动,以固定步长向右滑动,滑动至最右边时回退至左上角区域的初始位置并下滑一行,然后继续以固定步长向右滑动,以此循环。
然后,在第二滑动窗口以固定步长滑动的过程中所停留过的每个第二滑动位置进行第三局部区域特征向量提取,该第三局部区域特征向量与第二参考图像的维度相同,设第三局部区域特征向量为,特征向量表示为/>。
再将第二参考图像的特征向量与所有第三局部区域特征向量逐一进行第三余弦相似度计算,计算过程为:先计算特征向量和特征向量/>的点积/>,其中/>;然后分别计算特征向量/>和特征向量/>的范数,对应的范数分别为:/>,;最后,根据similarity函数计算余弦相似度,对应计算公式为:/>。
最后,确定第三余弦相似度大于第二相似度阈值时对应的第二滑动位置为第三目标匹配点,并计算所有第三目标匹配点对应中心点坐标值的第三平均值,根据该第三平均值确定待压接屏体的pin边中心点坐标值。
由于第四参考图像与第三目标图像的相似度匹配过程相似,因此根据该计算方式可以得到待压接FPC的pin角中心点坐标值。
322、计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值;
本实施例中的步骤322与前述图2所示实施例中的步骤209类似,此处不再进行赘述。
323、根据差值和预设精度阈值计算待压接屏体与待压接FPC的压接对位精度;
可选的,本实施例中,设待压接屏体的pin边中心点坐标值为,待压接FPC的pin角中心点坐标值为/>。待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值为/>。预设精度阈值为/>,该预设精度阈值可以根据待压接FPC的pin宽来设定。压接对位精度的对应计算公式如下:
其中,表示待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值,/>表示预设精度阈值。
324、判断压接对位精度是否满足预设条件,若是,则结束流程;若否,则执行步骤325;
325、停止压接控制机构的压接动作,并发出报警信号。
可选的,本实施例中,根据压接对位精度计算公式求出压接对位精度后,可以判断其是否满足预设条件,例如:预设条件为。若满足预设条件,则表示本次待压接屏体和待压接FPC的压接对位结果合格;若不满足预设要求,则表示本次待压接屏体和待压接FPC的压接对位结果不合格,此时可以控制压接控制机构停止动作,并发出报警信号阻止不合格产品继续工艺。
请参阅图4所示,本申请中的屏体与FPC的压接对位精度检测装置的一个实施例包括:
设置单元401,用于设置待压接屏体和待压接FPC的基准点,并基于基准点生成绘制有待压接屏体的mark标记点和待压接FPC的mark标记点的第一参考图像以及绘制有待压接屏体的Pin边和待压接FPC的pin角的第二参考图像;
图像采集单元402,用于使用第一工业相机和第二工业相机分别对待压接屏体和待压接FPC进行图像采集,得到第一目标图像和第二目标图像;
第一相似度匹配单元403,用于将第一参考图像分别与第一目标图像和第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;
第一计算单元404,用于根据第一屏体中心点坐标值、第一FPC中心点坐标值、第二屏体中心点坐标值以及第二FPC中心点坐标值计算待压接屏体与待压接FPC之间的偏移量;
驱动单元405,用于根据偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于承载平台上的待压接屏体的mark标记点与待压接FPC的mark标记点对齐;
压接单元406,用于控制压接控制机构驱动待压接FPC与待压接屏体进行压接;
二次图像采集单元407,用于使用第一工业相机和第二工业相机分别对待压接FPC和待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;
第二相似度匹配单元408,用于将第二参考图像分别与第三目标图像和第四目标图像进行相似度匹配,分别得到待压接屏体的pin边中心点坐标值和待压接FPC的pin角中心点坐标值;
第二计算单元409,用于计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值;
第三计算单元410,用于根据差值计算待压接屏体与待压接FPC的压接对位精度。
本实施例中,设置单元401设置待压接屏体和待压接FPC的基准点,并基于基准点生成绘制有待压接屏体的mark标记点和待压接FPC的mark标记点的第一参考图像以及绘制有待压接屏体的Pin边和待压接FPC的pin角的第二参考图像;图像采集单元402使用第一工业相机和第二工业相机分别对待压接屏体和待压接FPC进行图像采集,得到第一目标图像和第二目标图像;第一相似度匹配单元403将第一参考图像分别与第一目标图像和第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;第一计算单元404根据第一屏体中心点坐标值、第一FPC中心点坐标值、第二屏体中心点坐标值以及第二FPC中心点坐标值计算待压接屏体与待压接FPC之间的偏移量;驱动单元405根据偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于承载平台上的待压接屏体的mark标记点与待压接FPC的mark标记点对齐;压接单元406控制压接控制机构驱动待压接FPC与待压接屏体进行压接;二次图像采集单元407使用第一工业相机和第二工业相机分别对待压接FPC和待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;第二相似度匹配单元408将第二参考图像分别与第三目标图像和第四目标图像进行相似度匹配,分别得到待压接屏体的pin边中心点坐标值和待压接FPC的pin角中心点坐标值;第二计算单元409计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值;第三计算单元410根据差值计算待压接屏体与待压接FPC的压接对位精度。通过这样,可以根据待压接屏体和待压接FPC在X轴、Y轴以及θ轴方向上的偏移对待压接屏体的位置进行调整,以提高待压接屏体和待压接FPC的压接对位精度。并在压接完成后,根据计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值来确定待压接屏体和待压接FPC的压接对位精度,而不再需要由人工来对压接对位精度进行检测,从而可以提高屏体与FPC的压接对位精度检测结果的可靠性。
请参阅图5所示,本申请中的屏体与FPC的压接对位精度检测装置的另一个实施例包括:
设置单元501,用于设置待压接屏体和待压接FPC的基准点,并基于基准点生成绘制有待压接屏体的mark标记点和待压接FPC的mark标记点的第一参考图像以及绘制有待压接屏体的Pin边和待压接FPC的pin角的第二参考图像;
图像采集单元502,用于使用第一工业相机和第二工业相机分别对待压接屏体和待压接FPC进行图像采集,得到第一目标图像和第二目标图像;
第一相似度匹配单元503,具体用于将第一参考图像作为第一滑动窗口,并按照预设规则分别在第一目标图像和第二目标图像上滑动;
分别在第一目标图像和第二目标图像上的每个第一滑动位置进行特征提取,分别得到与第一参考图像维度相同的第一局部区域特征向量集和第二局部区域特征向量集,每个第一滑动位置为第一滑动窗口在第一目标图像上或者第二目标图像上的滑动过程中所停留过的每个位置;
分别计算第一参考图像的特征向量与第一局部特征向量集和第二局部区域特征向量集的第一余弦相似度和第二余弦相似度;
当存在第一余弦相似度或者第二余弦相似度大于第一相似度阈值时,分别确定对应的滑动位置为第一目标匹配点和第二目标匹配点;
分别计算所有第一目标匹配点的中心点坐标的第一平均值和所有第二目标匹配点的中心点坐标的第二平均值;
分别根据第一平均值和第二平均值确定第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;
第一计算单元504,具体用于根据第一屏体中心点坐标值和第一FPC中心点坐标值确定第一直线,以及根据第二屏体中心点坐标值和第二FPC中心点坐标值确定第二直线;
确定第一直线和第二直线之间的夹角为偏移角度;
根据偏移角度计算第一直线和第二直线的X轴偏差和Y轴偏差;
确定X轴偏差、Y轴偏差以及偏移角度分别为待压接屏体与待压接FPC之间在X轴、Y轴以及θ轴方向上的偏移量;
驱动单元505,用于根据偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于承载平台上的待压接屏体的mark标记点与待压接FPC的mark标记点对齐;
压接单元506,用于控制压接控制机构驱动待压接FPC与待压接屏体进行压接;
二次图像采集单元507,用于使用第一工业相机和第二工业相机分别对待压接FPC和待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;
第二相似度匹配单元508,具体用于将第二参考图像作为第二滑动窗口,并按照预设规则分别在第三目标图像和第四目标图像上滑动;
分别在第三目标图像和第四目标图像上的每个第二滑动位置进行特征提取,分别得到与第二参考图像维度相同的第三局部区域特征向量集和第四局部区域特征向量集,每个第二滑动位置为第二滑动窗口在第三目标图像上或者第四目标图像上的滑动过程中所停留过的每个位置;
分别计算第二参考图像的特征向量与第三局部特征向量集和第四局部区域特征向量集的第三余弦相似度和第四余弦相似度;
当存在第三余弦相似度或者第四余弦相似度大于第二相似度阈值时,分别确定对应的滑动位置为第三目标匹配点和第四目标匹配点;
分别计算所有第三目标匹配点的中心点坐标的第三平均值和所有第四目标匹配点的中心点坐标的第四平均值;
分别根据第三平均值和第四平均值确定待压接屏体的pin边中心点坐标值和待压接FPC的pin角中心点坐标值;
第二计算单元509,用于计算待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值;
第三计算单元510,具体用于根据差值和预设精度阈值计算待压接屏体与待压接FPC 的压接对位精度,压接对位精度的对应计算公式如下:
其中,表示待压接屏体的pin边中心点坐标值与待压接FPC的pin角中心点坐标值在X轴方向上的差值,/>表示预设精度阈值。
判断单元511,用于判断压接对位精度是否满足预设条件;
报警单元512,用于当压接对位精度未满足预设条件时,停止压接控制机构的压接动作,并发出报警信号。
本实施例中,各单元的功能与前述图3-1、图3-2以及图3-3所示实施例中的步骤301至325的功能类似,此处不再进行赘述。
请参阅图6所示,本申请中的屏体与FPC的压接对位精度检测系统的一个实施例包括:
中央处理器602,存储器601,输入输出接口603,有线或无线网络接口604以及电源605;
存储器601为短暂存储存储器或持久存储存储器;
中央处理器602配置为与存储器601通信,并执行存储器601中的指令操作以执行前述图2至图3-1、图3-2以及图3-3所示实施例中的步骤。
本申请提供了一种计算机可读存储介质,包括指令,当该指令在计算机上运行时,使得计算机执行前述图2至图3-1、图3-2以及图3-3所示实施例中的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种屏体与FPC的压接对位装置,其特征在于,包括:固定平台、固定机架、第一工业相机、第二工业相机、压接控制机构、承载平台以及三轴位移控制机构;
所述固定机架和所述三轴位移控制机构固定于所述固定平台上;
所述承载平台固定于所述三轴位移控制机构的顶部,所述承载平台用于承载待压接屏体,所述三轴位移控制机构用于驱动所述待压接屏体在X轴、Y轴以及θ轴方向上运动;
所述第一工业相机、所述第二工业相机和所述压接控制机构安装于所述固定机架上,所述第一工业相机、所述第二工业相机和所述压接控制机构都位于所述待压接屏体的上方,所述压接控制机构用于控制待压接柔性电路板FPC进行升降运动。
2.根据权利要求1中所述屏体与FPC的压接对位装置的压接对位精度检测方法,其特征在于,包括:
设置待压接屏体和待压接FPC的基准点,并基于所述基准点生成绘制有所述待压接屏体的mark标记点和所述待压接FPC的mark标记点的第一参考图像以及绘制有所述待压接屏体的Pin边和所述待压接FPC的pin角的第二参考图像;
使用所述第一工业相机和所述第二工业相机分别对所述待压接屏体和所述待压接FPC进行图像采集,得到第一目标图像和第二目标图像;
将所述第一参考图像分别与所述第一目标图像和所述第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;
根据所述第一屏体中心点坐标值、所述第一FPC中心点坐标值、所述第二屏体中心点坐标值以及所述第二FPC中心点坐标值计算所述待压接屏体与所述待压接FPC之间的偏移量;
根据所述偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于所述承载平台上的所述待压接屏体的mark标记点与所述待压接FPC的mark标记点对齐;
控制压接控制机构驱动所述待压接FPC与所述待压接屏体进行压接;
使用所述第一工业相机和所述第二工业相机分别对所述待压接FPC和所述待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;
将所述第二参考图像分别与所述第三目标图像和所述第四目标图像进行相似度匹配,分别得到所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值;
计算所述待压接屏体的pin边中心点坐标值与所述待压接FPC的pin角中心点坐标值在X轴方向上的差值;
根据所述差值计算所述待压接屏体与所述待压接FPC的压接对位精度。
3.根据权利要求2中所述的压接对位精度检测方法,其特征在于,所述根据所述差值计算所述待压接屏体与所述待压接FPC的压接对位精度包括:
根据所述差值和预设精度阈值计算所述待压接屏体与所述待压接FPC的压接对位精度,所述压接对位精度的对应计算公式如下:
其中,表示所述待压接屏体的pin边中心点坐标值与所述待压接FPC的pin角中心点坐标值在X轴方向上的差值,/>表示预设精度阈值。
4.根据权利要求2中所述的压接对位精度检测方法,其特征在于,所述将所述第一参考图像分别与所述第一目标图像和所述第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值包括:
将所述第一参考图像作为第一滑动窗口,并按照预设规则分别在所述第一目标图像和所述第二目标图像上滑动;
分别在所述第一目标图像和所述第二目标图像上的每个第一滑动位置进行特征提取,分别得到与所述第一参考图像维度相同的第一局部区域特征向量集和第二局部区域特征向量集,所述每个第一滑动位置为所述第一滑动窗口在所述第一目标图像上或者所述第二目标图像上的滑动过程中所停留过的每个位置;
分别计算所述第一参考图像的特征向量与所述第一局部特征向量集和所述第二局部区域特征向量集的第一余弦相似度和第二余弦相似度;
当存在所述第一余弦相似度或者所述第二余弦相似度大于第一相似度阈值时,分别确定对应的滑动位置为第一目标匹配点和第二目标匹配点;
分别计算所有第一目标匹配点的中心点坐标的第一平均值和所有第二目标匹配点的中心点坐标的第二平均值;
分别根据所述第一平均值和所述第二平均值确定第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值。
5.根据权利要求2中所述的压接对位精度检测方法,其特征在于,所述将所述第二参考图像分别与所述第三目标图像和所述第四目标图像进行相似度匹配,分别得到所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值包括:
将所述第二参考图像作为第二滑动窗口,并按照预设规则分别在所述第三目标图像和所述第四目标图像上滑动;
分别在所述第三目标图像和所述第四目标图像上的每个第二滑动位置进行特征提取,分别得到与所述第二参考图像维度相同的第三局部区域特征向量集和第四局部区域特征向量集,所述每个第二滑动位置为所述第二滑动窗口在所述第三目标图像上或者所述第四目标图像上的滑动过程中所停留过的每个位置;
分别计算所述第二参考图像的特征向量与所述第三局部特征向量集和所述第四局部区域特征向量集的第三余弦相似度和第四余弦相似度;
当存在所述第三余弦相似度或者所述第四余弦相似度大于第二相似度阈值时,分别确定对应的滑动位置为第三目标匹配点和第四目标匹配点;
分别计算所有第三目标匹配点的中心点坐标的第三平均值和所有第四目标匹配点的中心点坐标的第四平均值;
分别根据所述第三平均值和所述第四平均值确定所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值。
6.根据权利要求2中所述的压接对位精度检测方法,其特征在于,所述根据所述第一屏体中心点坐标值、所述第一FPC中心点坐标值、所述第二屏体中心点坐标值以及所述第二FPC中心点坐标值计算所述待压接屏体与所述待压接FPC之间的偏移量包括:
根据所述第一屏体中心点坐标值和所述第一FPC中心点坐标值确定第一直线,以及根据所述第二屏体中心点坐标值和所述第二FPC中心点坐标值确定第二直线;
确定所述第一直线和所述第二直线之间的夹角为偏移角度;
根据所述偏移角度计算所述第一直线和所述第二直线的X轴偏差和Y轴偏差;
确定所述X轴偏差、所述Y轴偏差以及所述偏移角度分别为所述待压接屏体与所述待压接FPC之间在X轴、Y轴以及θ轴方向上的偏移量。
7.根据权利要求2至6中任一项所述的压接对位精度检测方法,其特征在于,在所述根据所述差值计算所述待压接屏体与所述待压接FPC的压接对位精度之后,所述压接对位精度检测方法还包括:
判断所述压接对位精度是否满足预设条件;
若否,停止所述压接控制机构的压接动作,并发出报警信号。
8.一种屏体与FPC的压接对位精度检测装置,其特征在于,包括:
设置单元,用于设置待压接屏体和待压接FPC的基准点,并基于所述基准点生成绘制有所述待压接屏体的mark标记点和所述待压接FPC的mark标记点的第一参考图像以及绘制有所述待压接屏体的Pin边和所述待压接FPC的pin角的第二参考图像;
图像采集单元,用于使用第一工业相机和第二工业相机分别对所述待压接屏体和所述待压接FPC进行图像采集,得到第一目标图像和第二目标图像;
第一相似度匹配单元,用于将所述第一参考图像分别与所述第一目标图像和所述第二目标图像进行相似度匹配,分别得到第一屏体中心点坐标值和第一FPC中心点坐标值以及第二屏体中心点坐标值和第二FPC中心点坐标值;
第一计算单元,用于根据所述第一屏体中心点坐标值、所述第一FPC中心点坐标值、所述第二屏体中心点坐标值以及所述第二FPC中心点坐标值计算所述待压接屏体与所述待压接FPC之间的偏移量;
驱动单元,用于根据所述偏移量控制三轴位移控制机构驱动承载平台在X轴、Y轴以及θ轴方向上运动,以使得放置于所述承载平台上的所述待压接屏体的mark标记点与所述待压接FPC的mark标记点对齐;
压接单元,用于控制压接控制机构驱动所述待压接FPC与所述待压接屏体进行压接;
二次图像采集单元,用于使用所述第一工业相机和所述第二工业相机分别对所述待压接FPC和所述待压接屏体进行二次图像采集,得到第三目标图像和第四目标图像;
第二相似度匹配单元,用于将所述第二参考图像分别与所述第三目标图像和所述第四目标图像进行相似度匹配,分别得到所述待压接屏体的pin边中心点坐标值和所述待压接FPC的pin角中心点坐标值;
第二计算单元,用于计算所述待压接屏体的pin边中心点坐标值与所述待压接FPC的pin角中心点坐标值在X轴方向上的差值;
第三计算单元,用于根据所述差值计算所述待压接屏体与所述待压接FPC 的压接对位精度。
9.一种屏体与FPC的压接对位精度检测系统,其特征在于,包括:
中央处理器,存储器,输入输出接口,有线或无线网络接口以及电源;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理器配置为与所述存储器通信,并执行所述存储器中的指令操作以执行权利要求2至7中任意一项所述的压接对位精度检测方法。
10.一种计算机可读存储介质,包括指令,当所述指令在计算机上运行时,使得计算机执行如权利要求2至7中任意一项所述的压接对位精度检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410209964.0A CN117824504A (zh) | 2024-02-26 | 2024-02-26 | 一种屏体与fpc的压接对位精度检测方法以及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410209964.0A CN117824504A (zh) | 2024-02-26 | 2024-02-26 | 一种屏体与fpc的压接对位精度检测方法以及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117824504A true CN117824504A (zh) | 2024-04-05 |
Family
ID=90513623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410209964.0A Pending CN117824504A (zh) | 2024-02-26 | 2024-02-26 | 一种屏体与fpc的压接对位精度检测方法以及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117824504A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112733862A (zh) * | 2021-01-05 | 2021-04-30 | 卓望数码技术(深圳)有限公司 | 终端图像自动匹配方法、系统及存储介质 |
CN114283207A (zh) * | 2021-12-27 | 2022-04-05 | 昆山福拉特自动化设备有限公司 | 一种用于柔性电路板FPC与屏体cell对位压接的标定方法 |
CN116113227A (zh) * | 2022-12-27 | 2023-05-12 | 深圳明锐理想科技有限公司 | 电路板的偏移校正方法、锡膏检查设备及存储介质 |
-
2024
- 2024-02-26 CN CN202410209964.0A patent/CN117824504A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112733862A (zh) * | 2021-01-05 | 2021-04-30 | 卓望数码技术(深圳)有限公司 | 终端图像自动匹配方法、系统及存储介质 |
CN114283207A (zh) * | 2021-12-27 | 2022-04-05 | 昆山福拉特自动化设备有限公司 | 一种用于柔性电路板FPC与屏体cell对位压接的标定方法 |
CN116113227A (zh) * | 2022-12-27 | 2023-05-12 | 深圳明锐理想科技有限公司 | 电路板的偏移校正方法、锡膏检查设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111263142B (zh) | 一种摄像模组光学防抖的测试方法、装置、设备及介质 | |
CN111815634A (zh) | 基于机器视觉内存对位接插方法与系统、设备、存储介质 | |
CN115797359B (zh) | 基于电路板上锡膏的检测方法、设备和存储介质 | |
CN111325798A (zh) | 相机模型纠正方法、装置、ar实现设备及可读存储介质 | |
CN111914693A (zh) | 一种人脸姿态调整方法、系统、装置、设备及介质 | |
CN110519508B (zh) | 一种在摄像模组自动调心过程中识别特征对象的方法 | |
CN115524347A (zh) | 缺陷检测方法、缺陷检测装置及计算机可读存储介质 | |
CN111223078B (zh) | 瑕疵等级判定的方法及存储介质 | |
CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
CN117824504A (zh) | 一种屏体与fpc的压接对位精度检测方法以及相关装置 | |
CN110853102A (zh) | 一种新的机器人视觉标定及引导方法、装置及计算机设备 | |
WO2024032006A1 (zh) | 电芯检测方法、装置、设备、可读存储介质及程序产品 | |
US20240062988A1 (en) | Machine vision-based automatic focusing and automatic centering method and system | |
CN115937950A (zh) | 一种多角度人脸数据采集方法、装置、设备及存储介质 | |
CN115134523B (zh) | 远程控制方法、装置、操作终端、控制设备和存储介质 | |
CN209992963U (zh) | 触控显示屏 | |
CN110466158A (zh) | 基于mark点的物品贴合方法、装置和计算机可读存储介质 | |
CN116053549A (zh) | 电芯定位方法、装置及系统 | |
CN113344977B (zh) | 一种基于图像处理的触头压力测量模型构建方法 | |
Pan et al. | Research on functional test of mobile app based on robot | |
CN113313648B (zh) | 图像矫正方法、装置、电子设备和介质 | |
CN115294217B (zh) | 一种视觉实验平台标定方法、定位方法及相关设备 | |
CN114693798B (zh) | 机械手控制方法及装置 | |
CN116912946A (zh) | 一种基于深度学习的人体姿态动作识别系统 | |
CN111145265B (zh) | 一种确定相机虚拟光轴的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |