CN113483682A

CN113483682A - 一种基于机器视觉的缝隙测量方法及系统

Info

Publication number: CN113483682A
Application number: CN202110665075.1A
Authority: CN
Inventors: 孙丰; 张宝峰; 吴斌; 刘斌
Original assignee: Suzhou Secote Precision Electronic Co Ltd
Current assignee: Suzhou Secote Precision Electronic Co Ltd
Priority date: 2021-06-16
Filing date: 2021-06-16
Publication date: 2021-10-08
Anticipated expiration: 2041-06-16
Also published as: CN113483682B

Abstract

本发明公开了一种基于机器视觉的缝隙测量方法及系统，其中方法包括：用指定波长的线激光照射在待检测设备屏幕表面，产生光条；其中，光条由屏幕玻璃表面的反射光、待检测设备主体上的漫反射光以及由屏幕玻璃和待检测设备主体之间缝隙产生的暗部组成；通过工业相机获取包含光条的图像；根据图像中的光条明暗像素信息，通过亚像素算法获取屏幕玻璃和待检测设备主体之间缝隙宽度。图像采集和分析时使用亚像素分析技术，能更精准的测量出屏幕缝隙的大小，提高产品质量。相较于现阶段人工测量存在的干扰以及精度问题，通过采用计算机视觉处理方法，由于计算机视觉的方法具有速度快、非接触、精度较高等特点，满足了精益求精、与时俱进的生产要求。

Description

一种基于机器视觉的缝隙测量方法及系统

技术领域

本发明涉及手机制造技术领域，具体涉及一种基于机器视觉的缝隙测量方法及系统。

背景技术

智能手机进入发展的成熟阶段，用户对手机的设计要求逐渐提升，导致制造商对于手机装配的工艺要求越来越高。手机主体与屏幕的连接处的缝隙大小不仅关乎于手机的整体手感，还涉及到手机屏幕的显示性能、防水性能的好坏，是安装过程的一个要点。往往生产商和用户都是希望这个缝隙是越小越好，所以对于手机主体与屏幕的缝隙的检测是手机的生产过程中是必不可少的环节。

国内的检测方法依然是传统的测量方法，逐渐被时间检验出一系列问题，包括检测工具精度有限、检测方法未更新、检测过程数据监控和分析不够、检测结果处理不足、缺乏工程数据管理能力等，这些都使检测的质量不是很高，限制了手机设计的总体水平。而在生产过程中，缝隙的大小是手机表面玻璃粘接环节中的技术要点之一，粘接的精度直接影响手机的装配质量，对装配缝隙进行精确测量，对于提高手机的装配工艺具有重要意义。

目前对手机屏幕与主体的缝隙的测量方案中，对结果的精度要求一直都是被关注的重点，结果的准确程度直接决定了产品的质量高低，现阶段工厂中采用的测量方法主要是目测法、卡尺测量法等精度不高的简单方法，而且人的手工操作避免不了会有灰尘、静电的干扰。从装配的结果来看，对于缝隙的大小的误差和角度的偏移，都是会造成产品的不合格率上升、浪费原材料、产品寿命缩短、用户体验降低。

因此，如何提高对于手机屏幕与主体之间缝隙的测量精度成为亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种基于机器视觉的缝隙测量方法及系统，以解决现有技术中对手机屏幕与主体的缝隙的测量方案存在精度不够高的问题。

本发明实施例提供了一种基于机器视觉的缝隙测量方法，包括：

用指定波长的线激光照射在待检测设备屏幕表面，产生光条；其中，光条由屏幕玻璃表面的反射光、待检测设备主体上的漫反射光以及由屏幕玻璃和待检测设备主体之间缝隙产生的暗部组成；

通过工业相机获取包含光条的图像；

根据图像中的光条明暗像素信息，通过亚像素算法获取屏幕玻璃和待检测设备主体之间缝隙宽度。

可选地，采用结构光发生器发射出指定波长的线激光。

可选地，线激光与待检测设备的边缘形成的夹角为直角。

可选地，根据图像中的光条明暗像素信息，通过亚像素算法获取屏幕玻璃和待检测设备主体之间缝隙宽度包括：

获取指定一行中暗部的像素点数量；

获取指定一行中反射光像素与暗部像素之间灰部的灰度等级；

获得屏幕玻璃和待检测设备主体之间缝隙宽度为暗部的像素点数量与灰度等级倒数之和。

可选地，获取指定一行中与反射光像素与暗部像素之间灰部的灰度等级包括：

将像素值0～255等比例划分为n等分，则第n个灰度等级对应的像素值范围为[M×256/n-1，(M+1)×256/n]；n的取值范围为2～256，且256被n整除；M的取值范围为1～255；M×256/n-1的最小值为0，(M+1)×256/n的最大值为255。

可选地，屏幕玻璃和待检测设备主体之间缝隙宽度为暗部的像素点数量与灰度等级倒数之和的计算方式为：

假设暗部的像素点数量为s，灰度等级为n_t，则屏幕玻璃和待检测设备主体之间缝隙宽度w＝s+n_t/n，n_t∈[0，n]。

可选地，在通过工业相机获取包含光条的图像之后，还包括：

联合连续的多帧图像对待检测设备的边缘区域进行位置分析处理，以消除待检测设备的位移与灯光突变的影响。

可选地，若屏幕玻璃和待检测设备主体之间缝隙宽度超过预设阈值，则通过声光报警通知相应的监控终端和主控机，以标记出不合格产品。

可选地，在通过工业相机获取包含光条的图像之前，还包括：

通过校正公式对工业相机的镜头畸变进行处理。

本发明实施例提供了一种基于机器视觉的缝隙测量方法，通过用机器视觉代替人眼对智能设备屏幕玻璃缝隙进行观测，极大减轻实验人员劳动强度的同时，提供一种实时、客观、准确的判断标准。图像采集和分析时使用亚像素分析技术，能更精准的测量出屏幕缝隙的大小，提高产品质量。由于计算机视觉的方法具有速度快、非接触、精度较高等特点，满足了精益求精、与时俱进的生产要求。相较于现阶段人工测量存在的干扰以及精度问题，本实施例通过采用计算机视觉处理方法，由于计算机视觉的方法具有速度快、非接触、精度较高等特点，满足了精益求精、与时俱进的生产要求。

本发明实施例还提供了一种基于机器视觉的缝隙测量系统，应用前述的基于机器视觉的缝隙测量方法，包括：

传送带，用于放置待检测设备；

结构光发生器，固定设置在传送带一侧的上方，结构光发生器用于向放置在传送带上的待检测设备发射线激光，产生光条；

工业相机，固定设置在传送带另一侧的上方，工业相机用于获取包含光条的图像；

数据终端，与工业相机连接，数据终端用于根据图像中的光条明暗像素信息，通过亚像素算法获取屏幕玻璃和待检测设备主体之间缝隙宽度。

本发明实施例提供了一种基于机器视觉的缝隙测量系统，通过用机器视觉代替人眼对智能设备屏幕玻璃缝隙进行观测，极大减轻实验人员劳动强度的同时，提供一种实时、客观、准确的判断标准。图像采集和分析时使用亚像素分析技术，能更精准的测量出屏幕缝隙的大小，提高产品质量。由于计算机视觉的方法具有速度快、非接触、精度较高等特点，满足了精益求精、与时俱进的生产要求。相较于现阶段人工测量存在的干扰以及精度问题，本实施例通过采用计算机视觉处理方法，由于计算机视觉的方法具有速度快、非接触、精度较高等特点，满足了精益求精、与时俱进的生产要求

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明实施例中一种基于机器视觉的缝隙测量方法的流程图；

图2示出了本发明实施例中一种基于机器视觉的缝隙测量系统结构图；

图3示出了本发明实施例中一种待检测设备及光条的俯视图；

图4示出了本发明实施例中一种待检测设备边缘及光条的A局部放大图；

图5示出了本发明实施例中一种待检测设备边缘光条明暗交界处的B局部放大图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种基于机器视觉的缝隙测量方法，如图1所示，包括：

步骤S10，用指定波长的线激光照射在待检测设备表面上，产生光条。其中，光条由屏幕玻璃表面的反射光、待检测设备主体上的漫反射光以及由屏幕玻璃和待检测设备主体之间缝隙产生的暗部组成。

在本实施例中，如图2所示，待检测设备1为手机，放置在传送带2上，用结构光发生器3对待检测手机进行照射，产生光条4。在具体实施例中，结构光发生器发射出指定波长的线激光，并且指定波长的线激光与待检测手机的边缘形成的夹角为直角，减少后续图像处理运算的计算量。

步骤S20，通过工业相机获取包含光条的图像。

通过工业相机5对带有光条4的待检测手机进行拍摄，得到如图3所示的图像。工业相机5与数据终端连接，数据终端包括主控机6、数据库7以及显示器8等。

步骤S30，根据图像中的光条明暗像素信息，通过亚像素算法获取屏幕玻璃和待检测设备主体之间缝隙宽度。

在本实施例中，数据终端可以对工业相机5传输的图像进行数据的处理。在结构光的照射下，采集手机屏幕的边缘与手机主体的光学特征，在如数字信号处理器和DSP这类的嵌入式处理器中对图像进行实时分析和处理，利用亚像素的分析方法识别出精度更高的缝隙大小值，检测结果实时传输到主控机和数据库中，进行数据对比判断是否符合要求。本实施例通过用机器视觉代替人眼对手机玻璃缝隙进行观测，极大减轻实验人员劳动强度的同时，提供一种实时、客观、准确的判断标准。同时还能记录缝隙的详细数据，为屏幕歪斜程度的分析提供客观有力的依据。此外，图像采集和分析时使用亚像素分析技术，能更精准的测量出屏幕缝隙的大小，提高产品质量。由于计算机视觉的方法具有速度快、非接触、精度较高等特点，满足了精益求精、与时俱进的生产要求。

作为可选的实施方式，采用结构光发生器发射出指定波长的线激光。在本实施例中，结构光发生器发射出波长为632.8纳米的线激光，工业相机采集到的光条图像缝隙处明暗较为明显。

作为可选的实施方式，步骤S30包括：

步骤S301，获取指定一行中暗部的像素点数。

在本实施例中，如图4所示，放大图3中玻璃边缘的光条图案A，光条4由玻璃表面的反射光41、缝隙之间的暗部42以及手机主体上的漫反射光组成，图中未示出漫反射光部分。

步骤S302，获取指定一行中反射光像素与暗部像素之间灰部的灰度等级。

工业相机采集图像，主要是看图像的边缘部分的像素，如图5，相机得到的像素和像素之间还有几十到十几个微米的距离，这个距离称作灰部。读取到完全暗部的像素数据和灰部的灰度值，将所得数据传输到主控机进行计算。

在本实施例中，图5为图4中反射光41与暗部42相邻处的B局部放大图。将亮部和暗部这两个像素中间的灰部43这个极小的位置所拥有的颜色进行灰度值比较，把灰度值按照比例划分为8等分、16等分或32等分，再看灰部的灰度值与这一分级的哪一个部分相对应，就可以得出更精确的这一部分的距离大小。

步骤S303，获得屏幕玻璃和待检测设备主体之间缝隙宽度为暗部的像素点数量与灰度等级倒数之和。

在本实施例中，假设将灰度值划分0、1、2、3、4、5、6、7这样的八个等级，0就是完全亮部对应的亮度值，7就是完全暗部对应的亮度值。假设当前识别出灰部的灰度值为1，则缝隙大小为完全暗部的像素个数整数部分加上亚像素分析出来的0.125，就是整个缝隙的更高精度的大小。

作为可选的实施方式，步骤S302包括：

在本实施例中，将像素值0～255等比例划分为n等分，则0～n个灰度等级对应的像素值范围为[0，256/n-1]，[256/n，2x256/n-1]，[2x256/n，3x256/n-1]，…，[(M-1)x256/n，Mx256/n-1]，[Mx256/n-1，(M+1)x256/n]；n的取值范围为2～256，且256被n整除；M的取值范围为1～255。

由于相机性能限制，图像中反射光41与暗部42之间不存在像素点，但是交界处图案43是有灰度的，因此根据已有的明暗度0～255对图案43划分灰度等级。具体地，选取能够整除256的数值作为灰度等级，例如前述的8、16、32，最大能分出256个等级。

作为可选的实施方式，可以通过计算机在反射光41与暗部42之间插入像素点，对其进行卷积计算，提高像素精度，但是这种方法计算量大，且花费时间长。

作为可选的实施方式，玻璃和待检测设备主体之间缝隙宽度为暗部的像素点数量与灰度等级倒数之和的计算方式为：

假设暗部的像素点数量为s，灰度等级为n_t，则玻璃和待检测设备主体之间缝隙宽度w＝s+n_t/n，n_t∈[0，n]。

在本实施例中，假如灰度等级分为8个，检测到暗部像素为4个，图案43的灰度等级为1，则玻璃和手机主体之间缝隙宽度为4+1/8＝4.125个像素，再根据相机精度，算出实际距离。

作为可选的实施方式，在通过工业相机获取包含光条的图像之后，还包括：

联合连续的多帧图像对待检测手机的边缘区域进行位置分析处理，以消除待检测手机的位移与灯光突变的影响。

在本实施例中，在传输过程中可能存在轻微抖动使得相机与待测手机之间存在一定的相对位移；同时环境灯光等也会对图像造成影响，在帧间差图像上也会有所体现。计算时采用帧相关法进行判断，即联合前后多帧图像进行综合判断，分析边缘区域的位置变化特征，消除环境灯光突变的影响。

作为可选的实施方式，若玻璃和手机主体之间缝隙宽度超过预设阈值，则通过声光报警通知相应的监控终端和主控机，以标记出不合格产品。

在本实施例中，发现缝隙大小超出规定值后，数据终端发送通知到主控机，主控机对其时刻判断后进行声光报警；同时根据设定通知传送带进行相应的动作。如连续记录中发现有偏移现象，把视频图像信息压缩后发送到主控机中存贮，便于判断严重程度，分级进行后期处理。

作为可选的实施方式，在步骤S20之前，还包括：通过校正公式对工业相机的镜头畸变进行处理。

在机器视觉的应用中，相机得到的图像往往会产生畸变，这些畸变一般分为径向畸变和切向畸变。在识别像素之前需要利用校正公式先进行镜头畸变的算法处理，调整好相机镜头的准确程度。

同一个手机缝隙值会产生偏差，可能是本次检测的屏幕与主板产生了一定角度的偏移。如表1所示，假设标准值是1.23456，误差是±0.00005，则第一组数据是合格的；第二组数据是不合格的，但未偏移角度。分析结果通过TCP/IP网络实时传送到主控机进行记录和处理。一旦发现有超出误差的数据产生，则立刻由主控机发出声光报警信息，同时通知相应的监控终端以图像或视频方式记录检测过程，并把记录数据发送到主控机。

表1数据对比表

数据产生时刻	第一组	第二组
			1	1.23456	1.23564
2	1.23454	1.23561
			3	1.23455	1.23564
4	1.23456	1.23565
			5	1.23454	1.23562
6	1.23457	1.23564
			......	......	......

此外，主控机具有数据记录、查询、分析以及反演功能，可以随时把实验数据以多种格式转换输出，供进一步分析和处理。

本实施例还提供了一种基于机器视觉的缝隙测量系统，如图2所示，包括传送带、结构光发生器、工业相机和数据终端，其中：传送带用于放置待检测设备；结构光发生器固定设置在传送带一侧的上方，结构光发生器用于向放置在传送带上的待检测设备发射线激光，产生光条；工业相机固定设置在传送带另一侧的上方，工业相机用于获取包含光条的图像；数据终端与工业相机连接，数据终端用于根据图像中的光条明暗像素信息，通过亚像素算法获取屏幕玻璃和待检测设备主体之间缝隙宽度。

本实施例还提供了一种检测流程：

1)在传送带的正上方安装结构光发生器和工业相机，保证工业相机能够接收到完整的结构光条，并通过TCP/IP网络连接到主机，在架设过程中注意安装牢靠、防震。

2)调整相机镜头焦距和视场范围，使其能够观测到相应的区域，周围光照一定不能超过激光的强度，所以可以不需要再采用其他机器视觉光源进行辅助。

3)相机和数据终端安装到位后，通过主控机上对检测终端进行调试和初始化设置。

4)主控机发送初始化命令到检测终端。检测终端收到初始化命令后，开始驱动工业相机采集图像，读取到完全暗部的像素数据和灰部的灰度值，将所得数据传输到主控机进行计算。

5)工作开始后，主控机接收到相机传输的数据之后，进行计算完全暗部的数值大小，通常计算出的数值坐标都是正整数，这表示的是对像素进行操作。将亚像素的灰度值进行比例计算，即可得出这个灰度代表的距离大小，通过亚像素方法计算出来的坐标是实数，能够极大地提高算法的精度。

6)由于实验过程中存在震动，引起镜头和被测设备存在一定的相对位移，使得差分图像中会存在“假”超额缝隙，在裂缝识别算法中采用上下文相关法动态对其进行进一步的分析，剔除“假”超额缝隙。

7)发现缝隙大小超出规定值后，数据终端发送通知到主控机，主控机对其时刻判断后进行声光报警；同时根据设定通知传送带进行相应的动作。如连续记录中发现有偏移现象，把视频图像信息压缩后发送到主控机中存贮，便于判断严重程度，分级进行后期处理。

8)主控机具有参数设定、数据记录、查询、反演等功能，配合其他分析和计算系统共同完成手机玻璃屏幕缝隙大小的高精度测定。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims

1.一种基于机器视觉的缝隙测量方法，其特征在于，包括：

用指定波长的线激光照射在待检测设备屏幕表面，产生光条；其中，所述光条由屏幕玻璃表面的反射光、待检测设备主体上的漫反射光以及由所述屏幕玻璃和所述待检测设备主体之间缝隙产生的暗部组成；

通过工业相机获取包含所述光条的图像；

根据所述图像中的光条明暗像素信息，通过亚像素算法获取所述屏幕玻璃和所述待检测设备主体之间缝隙宽度。

2.根据权利要求1所述的基于机器视觉的缝隙测量方法，其特征在于，采用结构光发生器发射出所述指定波长的线激光。

3.根据权利要求1所述的基于机器视觉的缝隙测量方法，其特征在于，所述线激光与所述待检测设备的边缘形成的夹角为直角。

4.根据权利要求1所述的基于机器视觉的缝隙测量方法，其特征在于，根据所述图像中的光条明暗像素信息，通过亚像素算法获取所述屏幕玻璃和所述待检测设备主体之间缝隙宽度包括：

获取指定一行中所述暗部的像素点数量；

获取所述指定一行中所述反射光像素与所述暗部像素之间灰部的灰度等级；

获得所述屏幕玻璃和所述待检测设备主体之间缝隙宽度为所述暗部的像素点数量与所述灰度等级倒数之和。

5.根据权利要求4所述的基于机器视觉的缝隙测量方法，其特征在于，获取所述指定一行中与所述反射光像素与所述暗部像素之间灰部的灰度等级包括：

6.根据权利要求5所述的基于机器视觉的缝隙测量方法，其特征在于，所述屏幕玻璃和所述待检测设备主体之间缝隙宽度为所述暗部的像素点数量与所述灰度等级倒数之和的计算方式为：

假设所述暗部的像素点数量为s，所述灰度等级为n_t，则所述屏幕玻璃和所述待检测设备主体之间缝隙宽度w＝s+n_t/n，n_t∈[0，n]。

7.根据权利要求1所述的基于机器视觉的缝隙测量方法，其特征在于，在通过工业相机获取包含所述光条的图像之后，还包括：

联合连续的多帧图像对所述待检测设备的边缘区域进行位置分析处理，以消除所述待检测设备的位移与灯光突变的影响。

8.根据权利要求1所述的基于机器视觉的缝隙测量方法，其特征在于，若所述屏幕玻璃和所述待检测设备主体之间缝隙宽度超过预设阈值，则通过声光报警通知相应的监控终端和主控机，以标记出不合格产品。

9.根据权利要求1所述的基于机器视觉的缝隙测量方法，其特征在于，在通过工业相机获取包含所述光条的图像之前，还包括：

通过校正公式对所述工业相机的镜头畸变进行处理。

10.一种基于机器视觉的缝隙测量系统，应用如权利要求1～9任一所述的基于机器视觉的缝隙测量方法，其特征在于，包括：

传送带，用于放置待检测设备；

结构光发生器，固定设置在所述传送带一侧的上方，所述结构光发生器用于向放置在所述传送带上的待检测设备发射线激光，产生光条；

工业相机，固定设置在所述传送带另一侧的上方，所述工业相机用于获取包含所述光条的图像；

数据终端，与所述工业相机连接，所述数据终端用于根据图像中的光条明暗像素信息，通过亚像素算法获取屏幕玻璃和待检测设备主体之间缝隙宽度。