CN106485275B - 一种实现盖板玻璃与液晶屏定位贴合的方法 - Google Patents

Abstract

本发明公开了一种实现盖板玻璃与液晶屏定位贴合的方法。其步骤包括：获取盖板玻璃和液晶屏的图像，检测图像中的特征点，并通过条件限制选取一组对角标记并连线，对所得特征点的像素坐标值进行细化处理得到亚像素级坐标值，获取控制参数，控制盖板玻璃和液晶屏移动完成单目的初步校验；获取盖板玻璃和液晶屏的一组角点的图像，检测出图像的边缘，得到仅剩边缘线的图像；最后将边缘图像中的直线提取出来，并筛选线条以确定所需角点的两条边缘直线，计算出角点的坐标，并得到盖板玻璃和液晶屏对角线的中点坐标及斜率、两中点的坐标差值及两直线的夹角；控制盖板玻璃和液晶屏移动使两直线平行且中点重合，至此完成触摸屏的盖板玻璃与液晶屏的贴合。

Description

一种实现盖板玻璃与液晶屏定位贴合的方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于机器视觉引导用于实现触摸屏的盖板玻璃与液晶屏的贴合的方法。

背景技术

随着近几年高端电子产品的带动，触摸屏行业的市场规模也不断扩大。触摸屏具备反应灵敏、操作便捷、成本低廉等众多优势。利用这项技术，只要通过手指轻轻地触碰液晶显示屏上相应的图符或文字，就能实现对软件访问或文字编辑等应用的操作，从而使人机交互变得更为友好，具有极强的直观性，同时这项技术也极大的方便了用户的操作。如今触摸屏已能广泛应用于智能手机，平板电脑，车载移动终端等产品中。

对于日益增长的触摸屏的需求，现在工业手机生产工程中，芯片生产以及外壳的制作和安装大多都是自动化流水线完成的，但贴屏工艺还是需要人为地进行手动操作。手机屏是一部手机最直观的东西，它的贴合精度，就会给产品质量上带来严重的影响，为此生产中还需要用专门的瑕疵检测仪对其进行检测，以确保足够的精度。

21世纪是一个充满信息的时代，图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。图像处理(image processing)，是指用计算机对图像进行分析，以达到所需结果的技术，又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术的一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。数字图像处理技术可以帮助人们更客观、准确地认识世界，正如人的视觉系统可以帮助人类从外界获取3/4以上的信息。

发明内容

本发明提出一种基于机器视觉引导用于实现触摸屏的盖板玻璃与液晶屏的贴合的方法，在贴合方法上结合了视觉系统，摆脱了传统仿形工艺需要模具进行贴合的限制。

具体方案如下：

一种实现盖板玻璃与液晶屏定位贴合的方法，包括单目引导的步骤和双目引导的步骤，其中单目引导的步骤包括：

S1、获取盖板玻璃图像和液晶屏图像；

S2、获取盖板玻璃图像和液晶屏图像的所有特征点；

S3、从获取盖板玻璃图像和液晶屏图像的所有特征点中获取盖板玻璃和液晶屏的角点并计算出角点坐标；

S4、计算出盖板玻璃和液晶屏的一条对角线及对角线中点、图像的水平中线及水平中线的中点，并计算出对角线与水平中线之间的夹角；

S5、以比例测算的方式进行图像坐标系和实际二维坐标系的转换，获取实际控制参数，以使盖板玻璃和液晶屏的对角线中点与图像水平中线终点重合，对角线与图像水平中线平行，完成初步定位，

双目引导的步骤包括：

S6、根据上述单目引导的步骤所计算的角点坐标而快速移动盖板玻璃和液晶屏至双目摄像头拍摄区域，以分别获取盖板玻璃和液晶屏的一组对角图像；

S7、对盖板玻璃和液晶屏的对角图像进行处理并检测出盖板玻璃或液晶屏角点的边缘图像；

S8、获取盖板玻璃和液晶屏边缘图像中的直线并通过直线计算出盖板玻璃和液晶屏的角点坐标；

S9、通过盖板玻璃的角点坐标计算出盖板玻璃的对角线、对角线中点、图像水平中线以及水平中线中点，通过液晶屏的角点坐标计算出液晶屏的对角线、对角线中点、图像水平中线以及水平中线中点；

S10、以比例测算的方式进行图像坐标系和实际二维坐标系的转换，获取实际控制参数，以移动盖板玻璃以及液晶屏，满足下列所有条件：盖板玻璃对角线中点、盖板玻璃图像水平中线中点、液晶屏对角线中点、液晶屏图像水平中线中点均贴合；盖板玻璃对角线、盖板玻璃图像水平中线、液液晶屏对角线、液晶屏图像水平中线均平行，实现精确定位，以完成盖板玻璃与液晶屏的贴合。

进一步的，所述的步骤S3的具体步骤是：

S31、将获取的所有特征点进行区域划分以获取指定区域的特征点；

S32、计算出两两特征点间的距离；

S33、将两两特征点间的距离与实际的对角距离比较筛选获取距离相近的特征点；

S34、设定特征值阈值，将步骤S33获取的特征点的特征值与特征值阈值进行比较，若大于特征值阈值，则为盖板玻璃和液晶屏的角点，计算出该角点坐标。

进一步的，所述的步骤S3至S4之间，还包括获取精确度更高的亚像素级角点的步骤，具体如下：设置迭代终止条件，使像素点被均匀切割，然后通过向量的点积理论确定角点最终的亚像素级坐标。

进一步的，所述的步骤S5中以比例测算的方式进行图像坐标系和实际二维

坐标系的转换的具体步骤是：

S51、单目摄像头对棋盘格标定板多次拍摄并存储；

S53、提取棋盘格角点并计算相邻棋盘格角点像素坐标差；

S54、获取相邻棋盘格角点像素坐标差与实际棋盘格边长比值，以得到图像坐标系与二维坐标系的对应关系。

进一步的，所述的步骤S7具体步骤是：

S71、分别对获取的盖板玻璃的一组对角图像和液晶屏的一组对角图像进行二值化处理；

S72、分别对经二值化处理后的图像进行第一次降噪；

S73、分别对经第一次降噪处理的图像进行膨胀操作；

S74、分别对经膨胀操作的图像进行第二次降噪处理；

S75、分别对经第二次降噪处理的图像进行腐蚀操作；

S76、分别对经腐蚀操作的图像进行第三次降噪处理；

S77、分别对经第三次降噪处理的图像进行灰度值梯度检测，将梯度变化值大的区域作为第一边缘区域；

S78、对初步边缘区域进行非最大值抑制，即寻找像素点的局部最大值，去除非极大值点所对应的区域，去除后的区域为第二边缘区域；

S79、设定第一阈值和第二阈值，保留梯度变化值高于第一阈值的区域部分为第三边缘区域，连接第三边缘区域中符合第二阈值端点形成最终的边缘图像。

进一步的，所述的步骤S8具体步骤包括提取盖板玻璃边缘图像中的直线并计算出盖板玻璃角点坐标的步骤和提取液晶屏边缘图像中的直线并计算出液晶屏角点坐标的步骤，其中提取盖板玻璃边缘图像中的直线并计算出盖板玻璃角点坐标的步骤：提取盖板玻璃边缘图像中符合要求的直线，该直线满足S＝X cosθ+Y sinθ，其中S表示该直线到原点的直线距离，θ表示该直线与X轴的夹角，将满足公式的点进行连接，并筛选以得到两条相互垂直的直线，对获取的两条直线求交点即为盖板玻璃角点坐标；

提取液晶屏边缘图像中的直线并计算出液晶屏角点坐标的步骤：

(1)随机抽取边缘图像中的一个点，如果该点已经被标定为是某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取结束；

(2)对该点进行霍夫变换，并进行累加和计算；

(3)选取在霍夫空间内最大值的点，如果该点的值大于阈值，则进行步骤(4)，否则回到步骤(1)；

(4)根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线段的两个端点；

(5)计算直线段的长度，如果大于设定阈值，则输出直线并回到步骤(1)。

(6)重复(1)至(5)所述的步骤，当处理完边缘图像上的所有点后，即可得到两条相交的直线；

(7)对获取的两条直线求交点即为液晶屏角点坐标。

进一步的，所述的步骤S10中以比例测算的方式进行图像坐标系和实际二维坐标系的转换的具体步骤是：

S101、双目摄像头对棋盘格标定板多次拍摄并存储；

S102、获取双目摄像头的纵向与横向偏差值以使两摄像头建立在同一坐标系中；

S103、提取棋盘格角点并计算相邻棋盘格角点像素坐标差；

S104、获取相邻棋盘格角点像素坐标差与实际棋盘格边长比值，以得到图像坐标系与二维坐标系的对应关系。

与现有技术相比：本发明采用单、双目摄像头结合的检测方式，以单目摄像头进行整体盖板玻璃或液晶屏的拍摄，并获取一组对角进行初步定位，通过调整后以双目摄像头拍摄该组对角的局部图像，进行精准定位，并且本发明中所使用的单双目摄像头均为像素较低的摄像头，使用低端相机便能够进行高精度定位。本发明在单目引导过程中检测角点坐标后，由于采用较低像素的单目摄像头所得到的坐标是一个精度不佳的像素坐标，大多数情况下，此时角点的极限峰值并不在像素点的中心位置，因而为减小单目检测时的误差，为后续双目检测作保障，加入对所得到的角点进行亚像素级的精确的步骤。

本发明还具有如下的有益效果：

1、首次提出了一种基于机器视觉引导用于实现触摸屏的盖板玻璃与液晶屏的贴合的算法，在贴合方法上结合了视觉系统，摆脱了传统仿形工艺需要模具进行贴合的限制。

2、本发明可以根据触摸屏的不同大小，不同需求，适当修改相应参数获得有效数据，实现同时兼容多种规格触摸屏的贴合，并且本发明已经能够实际投入到生产模拟使用过程中。

3、本发明的视觉系统是双目视觉系统，相较于传统的单目系统，双目视觉系统可以采用机器学习技术，将视觉处理技术，统计学，概率学，算法复杂度理论等多种学科相结合，使双目摄像机拍摄的两个角点联系在同一个坐标系中，并通过相对位置的计算，使最终得到的坐标值更加准确，也让整个算法更加智能化。

4、本发明的检测精度是基于对双边双角点的计算，相较于传统的单边计算，精度更高，可靠性跟强。同时可根据控制平台的不同精度要求进行调整和完善，目前至少可以控制检测精度在±0.01mm，±0.01°之间。

附图说明

图1是本发明的方法流程图；

图2是本发明实施例单目引导下未加限制条件的盖板玻璃检测图；

图3是本发明实施例单目引导下添加限制条件后的盖板玻璃检测图；

图4是本发明实施例单目引导下亚像素级坐标检测原理图；

图5是本发明实施例盖板玻璃左下角部分原图；

图6是本发明实施例盖板玻璃右上角部分原图；

图7是本发明实施例液晶屏左下角部分原图；

图8是本发明实施例盖板玻璃右上角部分原图；

图9是本发明实施例盖板玻璃左下角部分二值化-膨胀-腐蚀-去噪后的效果图；

图10是本发明实施例盖板玻璃右上角部分二值化-膨胀-腐蚀-去噪后的效果图；

图11是本发明实施例液晶屏左下角部分二值化-膨胀-腐蚀-去噪后的效果图；

图12是本发明实施例液晶屏右上角部分二值化-膨胀-腐蚀-去噪后的效果图；

图13是本发明实施例盖板玻璃左下角部分边缘检测-直线提取-直线求交点后的效果图；

图14是本发明实施例盖板玻璃右上角部分边缘检测-直线提取-直线求交点后的效果图；

图15是本发明实施例液晶屏左下角部分边缘检测-直线提取-直线求交点后的效果图；

图16是本发明实施例液晶屏右上角部分边缘检测-直线提取-直线求交点后的效果图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。现结合附图和具体实施方式对本发明进一步说明。

本发明的实施例的大致流程如下：

通过单目摄像头对盖板玻璃和液晶屏进行拍照并存储，将彩色图像转为灰度图，同时对图像进行处理，找出盖板玻璃或液晶屏的所有特征点，并根据需求添加约束条件得到所需要最大特征点的像素级坐标值，再对已找到的最大特征点的像素点根据精度要求进行均匀切割，最终确定角点的亚像素级坐标值。获取角点坐标后，通过已知两条直线上的点求解相关数据的方式计算出盖板玻璃和液晶屏的一条对角线及对角线中点、图像的水平中线及水平中线的中点，再计算出两线之间的夹角，最后控制盖板玻璃和液晶屏的移动以保证双目摄像头能拍摄到角点；

通过双目摄像头分别拍摄盖板玻璃和液晶屏的一组对角。获取图像后，首先进行二值化处理，通过设置二值化的阈值，使图像变成单一黑白色彩的图像(高于该阈值部分转换为黑色，低于该阈值部分转化为白色)。然后对图像进行第一次降噪，将图像中的噪声进行过滤。接着对图像进行膨胀操作，将与物体接触的所有背景点合并到物体中，使图像中的干扰模糊化，并进行第二次降噪。再对图像进行腐蚀操作，消除物体边界点，使图像恢复原有尺寸，消除小于结构元素的噪声点，此时进行第三次降噪。以上操作能够便于边缘检测算法更好的进行边缘检测。利用边缘检测算法检测出盖板玻璃或液晶屏角点的边缘，获得角点的边缘线。再从图像中分离出角点边缘图像中的直线。通过检测筛选出的两条直线，用已知两条直线上的点求直线相关数据的数学推导的方式，再借由图像坐标系与二维坐标系的比值，算出角点的坐标，并得到盖板玻璃和液晶屏对角线的中点坐标及斜率，通过数学推导的方式计算出两中点的坐标差值及两直线的夹角。最后控制盖板玻璃与液晶屏的移动使两直线平行且中点重合，并进行贴合，至此完成触摸屏的盖板玻璃与液晶屏的贴合。

结合图1所示，为本发明的方法流程，包括单目引导的步骤和双目引导的步骤，其中单目引导的步骤包括：

S1、通过单目摄像头获取盖板玻璃图像和液晶屏图像；

S2、获取盖板玻璃图像和液晶屏图像的所有特征点；

S3、从获取盖板玻璃图像和液晶屏图像的所有特征点中获取盖板玻璃和液晶屏的角点并计算出角点坐标；

S4、计算出盖板玻璃和液晶屏的一条对角线及对角线中点、图像的水平中线及水平中线的中点，并计算出对角线与水平中线之间的夹角；

S5、以比例测算的方式进行图像坐标系和实际二维坐标系的转换，获取实际控制参数，以使盖板玻璃和液晶屏的角点均处于双目摄像头的拍摄范围内；

其中，双目引导的步骤包括：

S6、通过双目摄像头分别获取盖板玻璃和液晶屏的一组对角图像；

S7、对盖板玻璃和液晶屏的对角图像进行处理并检测出盖板玻璃或液晶屏角点的边缘图像；

S8、获取盖板玻璃和液晶屏边缘图像中的直线并通过直线计算出盖板玻璃和液晶屏的角点坐标；

S9、通过盖板玻璃的角点坐标计算出盖板玻璃的对角线、对角线中点、图像水平中线以及水平中线中点，通过液晶屏的角点坐标计算出液晶屏的对角线、对角线中点、图像水平中线以及水平中线中点；

S10、以比例测算的方式进行图像坐标系和实际二维坐标系的转换，获取实际控制参数，以移动盖板玻璃以及液晶屏，满足下列所有条件：盖板玻璃对角线中点、盖板玻璃图像水平中线中点、液晶屏对角线中点、液晶屏图像水平中线中点均贴合；盖板玻璃对角线、盖板玻璃图像水平中线、液液晶屏对角线、液晶屏图像水平中线均平行，则完成盖板玻璃与液晶屏的贴合。

本实施例中，步骤S3的具体步骤是：

S31、将获取的所有特征点进行区域划分以获取指定区域的特征点；

S32、计算出两两特征点间的距离；

S33、将两两特征点间的距离与实际的对角距离比较筛选获取距离相近的特征点；

S34、设定特征值阈值，将步骤S33获取的特征点的特征值与特征值阈值进行比较，若大于特征值阈值，则为盖板玻璃和液晶屏的角点，计算出该角点坐标。

本实施例中，步骤S3至S4之间，还包括获取精确度更高的亚像素级角点的步骤，具体如下：设置迭代终止条件，使像素点被均匀切割，然后通过向量的点积理论确定角点最终的亚像素级坐标。

本实施例中，步骤S5中以比例测算的方式进行图像坐标系和实际二维坐标

系的转换的具体步骤是：

S51、单目摄像头对棋盘格标定板多次拍摄并存储；

S53、提取棋盘格角点并计算相邻棋盘格角点像素坐标差；

S54、获取相邻棋盘格角点像素坐标差与实际棋盘格边长比值，以得到图像坐标系与二维坐标系的对应关系。

本实施例中，步骤S7的具体步骤是：

S71、分别对获取的盖板玻璃的一组对角图像和液晶屏的一组对角图像进行二值化处理；

S72、分别对经二值化处理后的图像进行第一次降噪；

S73、分别对经第一次降噪处理的图像进行膨胀操作；

S74、分别对经膨胀操作的图像进行第二次降噪处理；

S75、分别对经第二次降噪处理的图像进行腐蚀操作；

S76、分别对经腐蚀操作的图像进行第三次降噪处理；

S77、分别对经第三次降噪处理的图像进行灰度值梯度检测，将梯度变化值大的区域作为第一边缘区域；

S78、对初步边缘区域进行非最大值抑制，即寻找像素点的局部最大值，去除非极大值点所对应的区域，去除后的区域为第二边缘区域；

S79、设定第一阈值和第二阈值，保留梯度变化值高于第一阈值的区域部分为第三边缘区域，连接第三边缘区域中符合第二阈值端点形成最终的边缘图像。

本实施例中，步骤S8的具体步骤包括提取盖板玻璃边缘图像中的直线并计算出盖板玻璃角点坐标的步骤和提取液晶屏边缘图像中的直线并计算出液晶屏角点坐标的步骤，其中提取盖板玻璃边缘图像中的直线并计算出盖板玻璃角点坐标的步骤：提取盖板玻璃边缘图像中符合要求的直线，该直线满足S＝X cosθ+Y sinθ，其中S表示该直线到原点的直线距离，θ表示该直线与X轴的夹角，将满足公式的点进行连接，并筛选以得到两条相互垂直的直线，对获取的两条直线求交点即为盖板玻璃角点坐标；

提取液晶屏边缘图像中的直线并计算出液晶屏角点坐标的步骤：

(1)随机抽取边缘图像中的一个点，如果该点已经被标定为是某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取结束；

(2)对该点进行霍夫变换，并进行累加和计算；

(3)选取在霍夫空间内最大值的点，如果该点的值大于阈值，则进行步骤(4)，否则回到步骤(1)；

(4)根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线段的两个端点；

(5)计算直线段的长度，如果大于设定阈值，则输出直线并回到步骤(1)。

(6)重复(1)至(5)所述的步骤，当处理完边缘图像上的所有点后，即可得到两条相交的直线；

(7)对获取的两条直线求交点即为液晶屏角点坐标。

本实施例中，步骤S10中以比例测算的方式进行图像坐标系和实际二维坐标系的转换的具体步骤是：

S101、双目摄像头对棋盘格标定板多次拍摄并存储；

S102、获取双目摄像头的纵向与横向偏差值以使两摄像头建立在同一坐标系中；

S103、提取棋盘格角点并计算相邻棋盘格角点像素坐标差；

S104、获取相邻棋盘格角点像素坐标差与实际棋盘格边长比值，以得到图像坐标系与二维坐标系的对应关系。

在本实施例中，可将上述的操作分为单目引导和双目引导的过程。

其中单目引导的过程如下：

将盖板玻璃和液晶屏移动其至单目摄像头可拍摄视场内，分别对盖板玻璃和液晶屏进行拍照并存储图像。首先将读取的彩色图像转为灰度图，再由特征点检测算法对灰度图像进行检测，找出盖板玻璃或液晶屏的最大特征点，即寻找图像中的强角点(强角点是指不受噪声干扰的点)，利用找出的特征点进行区域划分和两两特征点距离的比较、筛选，得到一组对角。接着由亚像素级角点检测算法对已筛选的最大特征点进行二次处理，将角点的坐标精度进一步精确到亚像素级，从而获取角点的亚像素级坐标。获取角点坐标后，通过已知两条直线上的点求解相关数据的方式计算出盖板玻璃的一条对角线及对角线中点、图像的水平中线及水平中线的中点，再计算出两线之间的夹角。最后计算中点的X轴和Y轴各自的坐标差值，以比例测算的方式进行图像坐标系和实际二维坐标系的转换，获取到移动控制的参数后，控制盖板玻璃和液晶屏的移动以保证双目摄像头能拍摄到角点。

本实施例中对特征点的检测与筛选是通过本专利原创的特征点检测算法实现的。该算法是通过对强角点的检测来确定角点。强角点，是指不受噪声干扰的点。通常情况下，一张图像有多个强角点,通过设置一些限定条件后即可选取最为符合需求的强角点了。

当要确定一个角点时，程序内部首先会虚拟地建立一个较小的范围，可将该范围看作是一个方格，再通过不断移动该方格，并利用公式重复检测方格各个方向是否存在变化量，最终将在各个方向均有明显变化的点确认为角点。其数学表达方式为图像中每个点与周围点变化率的平均值。其表达如公式1-1所示:

其中E(u,v)变量可由公式1-2，公式1-3推导:

I(x+u,y+v)＝I(x,y)+I_xu+I_yv+o(u²,v²) (公式1-2)

其中I(x+u,y+u)代表检测点的灰度值，(x,y)表示邻域点的灰度值。

经过上述计算后，将会得到图像中所有的特征点，如图2所示：

但由于检测结果仅需图像中的一组对角角点，所以需要通过在函数中设置限制因子大小，并将图像划分区域，寻找指定区域的特征点，同时对两两特征点之间的距离测算，筛选距离合适的点留下。在设定限定条件后，再进行非最大值抑制(非最大值抑制，是指在所选定的感兴趣区域中，将每一个点的特征值与由限制因子决定的一个临界值相比较，只保留特征值大于临界值的角点)，从而得到理想的效果图，如图3所示。

实验结果表明，如果仅使用特征点检测算法检测角点坐标后，所得到的坐标是一个精度不佳的像素坐标。大多数情况下，此时角点的极限峰值并不在像素点的中心位置。为减小单目检测时的误差，为后续双目检测作保障，需要对所得到的角点进行亚像素级的精确。

本发明使用的亚像素级角点检测算法是用于寻找亚像素级精度的角点位置。在使用亚像素级角点检测算法时，该函数首先通过设置迭代终止条件，使像素点被均匀切割(例如，指定值为0.10，则求得的亚像素级精度为像素的十分之一)。然后通过向量的点积理论来确定角点最终的亚像素级坐标(点积理论，是指一个向量和其正交的向量的点积为0)。

如图4所示，算法开始时，会将所选定区域的中心点设为q，同时设p为其邻域点。使用公式1-4得到点q到其临域点p的向量和p点处的图像梯度：

εi＝DIpiT·(q-pi) (公式1-4)

公式中的DIpi表示在q的一个邻域点pi处的图像梯度，并通过最小化εi来得到q的值。之后算法会自动将εi值设为0并得到公式3-5：

sumi(DIpi·DIpiT)·q-sumi(DIpi·DIpiT·pi)＝0 (公式3-5)

假设所设的起始中心点q，在实际的亚像素级角点p的附近。利用上述公式，可在p点附近提取多组p点的梯度值，并使其与向量q的点的积为0。将得到的方程列成方程组，通过求解方程组便能最终得到亚像素级角点的坐标。

本实施例中的图像坐标系到二维坐标系的转换采用比例测算方式，图像坐标系到二维坐标系的转换方式一般为三维成像方式。三维成像是利用摄像头拍摄图像，通过测算参数和几何关系，还原空间中的物体的一种成像方式。三维成像的基本原理是立体视差原理，要求利用两个规格相同的摄像头拍取同一个图像才能获取三维信息。通过实际使用测试发现，利用三维成像法获取的实际三维坐标的精确性取决于双目摄像头内部参数和外部参数的误差值大小。而内部参数的误差大小由标定的棋盘格图像和手动选取棋盘格角点的精确性共同决定，一般应控制在0.1-0.2以内最佳。外部参数由内部参数和双目标定的图像共同决定，图像的质量和内部参数误差的大小都会影响其值的大小。

像素坐标系到实际的二维坐标系间存在着一种转换关系，可以将这种转换关系看作是一种线性关系，则通过测算其坐标系间的比例，就可以实现从像素坐标直接转换为实际二维坐标，其精度仅仅取决于比例测算的准确性和重复性。相比而言，三维成像的方式精度难以由单一变量控制，且到目前为止，标定和特征点匹配都是机器视觉研究领域的一大难点，对人力物力的要求都极高，综合来看，利用比例测算的方式快捷有效，且结果可靠。

单目比例测算过程如下：

由于单目摄像头的像素较低，故采用边长为16*16mm的棋盘格进行标定。拍照过程中要求棋盘格正向放置，且多次进行拍照；对图片中棋盘格角点进行提取，并计算两两角点间的像素坐标差。用该坐标差与16mm进行比值计算，最终得到图像坐标系与二维坐标系的对应关系。

双目引导过程如下：

调整盖板玻璃和液晶屏的摆放位置后，由双目摄像头分别拍摄盖板玻璃和液晶屏的一组对角(该组角点在上述单目过程中已经确定是哪一组)。获取图像后，如图5，图6，图7，图8所示，首先读取彩色图像并进行二值化处理，通过设置二值化的阈值，使图像变成单一黑白色彩的图像(高于该阈值部分转换为黑色，低于该阈值部分转化为白色)，同时过滤掉一些光线造成的干扰因素(如图像亮度不一致等)。再对转换的黑白图像进行第一次降噪，将图像中的噪声进行过滤(噪声，是指图像中所有的可能会使计算机对其信息接收时造成干扰的因素都可以称为图像的噪声，如毛边等)。接着对图像进行膨胀操作，将与图像中物体接触的所有背景点合并到物体中，使干扰模糊化，并进行第二次降噪。最后对图像进行腐蚀操作，消除物体边界点，使图像恢复原有尺寸，消除小于结构元素的噪声点，进行第三次降噪。其结果如图9，图10，图11，图12所示，以上操作能够便于边缘检测算法更好的进行边缘检测。利用边缘检测算法检测出盖板玻璃或液晶屏角点的边缘，获得角点的边缘线。再利用直线提取算法从图像中分离出边缘检测后边缘图像中的直线。通过比较直线的截距大小来检测筛选出两条直线，则这两条直线为角点的边缘直线。用已知两条直线上的点求直线相关数据的数学推导的方式，再借由图像坐标系与二维坐标系的比值，算出角点的坐标，其结果如图13，图14，图15，图16所示，通过角点坐标值推算出盖板玻璃和液晶屏一组对角线的中点坐标及斜率，通过数学推导的方式计算出两中点的坐标差值及两直线的夹角。以比例测算的方式进行图像坐标系和实际二维坐标系的转换，计算出盖板玻璃或液晶屏所需移动距离及实际所需转动角度，最后使两直线平行且中点重合，并进行贴合，至此完成触摸屏的盖板玻璃与液晶屏的贴合。

本实施例中使用的边缘检测算法是一种常用的多级边缘检测算法，通过使用边缘检测算法就能检测出图像的相邻区域色彩强度急剧变化的区域，再经过筛选、连接以获得符合要求的最佳边缘。边缘检测算法是基于图像强度的一二阶导数的计算，由于导数对图像的噪声等影响因素较为敏感，严重干扰处理的结果，故边缘检测算法首先采用高斯滤波对噪声进行过滤，即将图像与高斯滤波器进行卷积处理，以达到平滑图像的效果。高斯滤波器算法如公式2-1所示：

再对高斯滤波后的图像进行灰度值梯度检测，以公式2-2、公式2-3的两个卷积算子进行x、y方向上的偏导计算。

其中x方向、y方向的一阶偏导数矩阵、梯度幅值及梯度方向的数学表达式如公式2-4，公式2-5，公式2-6，公式2-7所示：

经过上述处理后，算法内部将得到一组初步边缘数据，但由于不是所有的梯度变化值大的区域都可看作边缘，所以还需要进行非最大值抑制，即寻找像素点的局部最大值，将非极大值点所对应的区域灰度值全部设置为0。由此就可将非边缘的像素点去除掉，以免影响实验结果。

因为图像质量等影响因素，检测后的边缘有可能会存在断点和一部分的假边，这样的边缘是不符合下文直线提取算法的处理要求，故算法中采用双阈值算法进一步检测和连接边缘。

双阈值算法，是指在算法内部规定两个阈值，分别为高阈值和低阈值。其中高阈值用以清除假边，低阈值用以连接真边。算法中以高阈值为基准，依次与所有初步检测出的边缘进行对比，并保留梯度值高于高阈值的部分。但同时，由于高阈值的选取值要求过大，会导致一些真边也被清除掉，使边缘不连续。为解决这一问题，采用限制低阈值来将断点连接起来。处理过程中会将已有边缘连接成轮廓，当连接到端点时，将在端点附近选取八个邻域点并从中选择符合低阈值的点进行连接。通过不断重复此过程，直到整个图像边缘闭合，并形成一个完整的边缘。该边缘就是符合初步处理要求的最佳边缘。

本发明中由于盖板玻璃与液晶屏的图像效果不同，所以直线提取算法分为两个不同的子算法分别对盖板玻璃或液晶屏来进行处理。

针对盖板玻璃所采用的子算法，原理就是在坐标系中提取边缘轮廓图像中符合要求的直线。在直线定义中，若坐标系中存在一条直线，则此直线上任意一点的坐标均满足公式2-8：

S＝X cosθ+Y sinθ (公式2-8)

其中S表示该直线到原点的直线距离，θ表示该直线与X轴的夹角。

使用公式2-8对检测出的边缘轮廓上的所有点进行计算，将满足公式的点进行连接，并筛选以得到两条相互垂直的直线。

针对液晶屏采用的子算法，原理就是利用概率霍夫变换来检测直线。该算法运行过程分为以下5个步骤：

(1)随机抽取边缘图像中的一个点，如果该点已经被标定为是某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取结束；

(2)对该点进行霍夫变换，并进行累加和计算；

(3)选取在霍夫空间内最大值的点，如果该点的值大于阈值，则进行步骤(4)，否则回到步骤(1)；

(4)根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线段的两个端点；

(5)计算直线段的长度，如果大于设定阈值，则输出直线并回到步骤(1)。

通过重复以上5个步骤,当处理完边缘图像上的所有点后，即可得到两条相交的直线。

本实施例中，两条相交直线求交点过程如下：

在两条直线上分别选取两个点，通过两个点建立对应的直线方程，并将其表达式转换为点斜式方程。将两条直线的斜率相乘。若值为-1，则两直线垂直，由此可以确定所得到的两条直线为角点对应的两条边。

最后，将两直线的方程联立为方程组，如公式2-9所示：

经过求解计算后，该方程组的解就是手机屏的角点坐标。

本实施例中，双目标定原理说明：

在标定之前，双目系统的两摄像头相互独立，无法进行角点的定位，故需将双目的两坐标系整合到同一坐标系，这一过程通过求取两摄像头的纵向与横向偏差值便可以实现。

经过实际测量，双目在拍摄同一条直线时，纵向坐标存在偏差。为了消除偏差，需要在双目的视野中标出一条直线，要求双目要能同时拍摄到且这条直线与双目平行。将边长1mm的棋盘格分别放置在双目下，且与标出的直线平行。在棋盘格上确定一个特定的点，并确保两目都能拍到这个点。利用标定工具箱进行处理，以所标点为起点，标定每一行方格的角点坐标。将双目图像中每一行角点的Y坐标分别取平均值并做差，得到左右目的纵向偏差值。将每组偏差值求取平均值，所得结果就是最终的左右目纵向偏差值。

横向偏差值求取过程与比例测算过程类似。先用游标卡尺等测量仪器，测量出两摄像头中电的横向距离。用标定工具箱对左右目进行比例测算，用得到的比例值与实际横向距离进行比值计算，最终的得到左右目横向偏差值。

利用左右目的横、纵向偏差值作为连接参数，便可将两摄像头建立在同一坐标系中，接着便可利用与单目引导过程类似的比例测算过程进行图像坐标系到实际坐标系的转换。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种实现盖板玻璃与液晶屏定位贴合的方法，其特征在于，包括单目引导的步骤和双目引导的步骤，其中单目引导的步骤包括：

S1、获取盖板玻璃图像和液晶屏图像；

S2、获取盖板玻璃图像和液晶屏图像的所有特征点；

S3、从获取盖板玻璃图像和液晶屏图像的所有特征点中获取盖板玻璃和液晶屏的角点并计算出角点坐标；

S4、分别计算盖板玻璃图像和液晶屏图像中盖板玻璃和液晶屏的一条对角线及对角线中点、盖板玻璃图像和液晶屏图像的水平中线及水平中线的中点，并计算出对角线与水平中线之间的夹角；

S5、以比例测算的方式进行图像坐标系和实际二维坐标系的转换，获取实际控制参数，以使盖板玻璃的对角线中点与盖板玻璃图像的水平中线中点重合、盖板玻璃的对角线与盖板玻璃图像的水平中线平行、液晶屏的对角线中点与液晶屏图像的水平中线中点重合、液晶屏的对角线与液晶屏图像的水平中线平行，完成初步定位，

双目引导的步骤包括：

S6、根据上述单目引导的步骤所计算的角点坐标而快速移动盖板玻璃和液晶屏至双目摄像头拍摄区域，以分别获取盖板玻璃和液晶屏的一组对角图像；

S7、对盖板玻璃和液晶屏的对角图像进行处理并检测出盖板玻璃或液晶屏角点的边缘图像；

S8、获取盖板玻璃和液晶屏边缘图像中的直线并通过直线计算出盖板玻璃和液晶屏的角点坐标；

S9、通过盖板玻璃的角点坐标计算出盖板玻璃的对角线、对角线中点、图像水平中线以及水平中线中点，通过液晶屏的角点坐标计算出液晶屏的对角线、对角线中点、图像水平中线以及水平中线中点；

S10、以比例测算的方式进行图像坐标系和实际二维坐标系的转换，获取实际控制参数，以移动盖板玻璃以及液晶屏，满足下列所有条件：盖板玻璃对角线中点、盖板玻璃图像水平中线中点、液晶屏对角线中点、液晶屏图像水平中线中点四个中点均贴合；盖板玻璃对角线、盖板玻璃图像水平中线、液晶屏对角线、液晶屏图像水平中线四条中线均平行，实现精确定位，以完成盖板玻璃与液晶屏的贴合。

2.根据权利要求1所述的一种实现盖板玻璃与液晶屏定位贴合的方法，其特征在于，所述的步骤S3的具体步骤是：

S31、将获取的所有特征点进行区域划分以获取指定区域的特征点；

S32、计算出两两特征点间的距离；

S33、将两两特征点间的距离与实际的对角距离比较筛选获取距离相近的特征点，并计算特征点的特征值；

S34、设定特征值阈值，将步骤S33获取的特征点的特征值与特征值阈值进行比较，若大于特征值阈值，则为盖板玻璃和液晶屏的角点，计算出该角点坐标。

3.根据权利要求1所述的一种实现盖板玻璃与液晶屏定位贴合的方法，其特征在于，所述的步骤S3至S4之间，还包括获取精确度更高的亚像素级角点的步骤，具体如下：设置迭代终止条件，使像素点被均匀切割，然后通过向量的点积理论确定角点最终的亚像素级坐标。

4.根据权利要求1所述的一种实现盖板玻璃与液晶屏定位贴合的方法，其特征在于，所述的步骤S5中以比例测算的方式进行图像坐标系和实际二维坐标系的转换的具体步骤是：

S51、单目摄像头对棋盘格标定板多次拍摄并存储；

S53、提取棋盘格角点并计算相邻棋盘格角点像素坐标差；

S54、获取相邻棋盘格角点像素坐标差与实际棋盘格边长比值，以得到图像坐标系与二维坐标系的对应关系。

5.根据权利要求1所述的一种实现盖板玻璃与液晶屏定位贴合的方法，其特征在于，所述的步骤S7具体步骤是：

S71、分别对获取的盖板玻璃的一组对角图像和液晶屏的一组对角图像进行二值化处理；

S72、分别对经二值化处理后的图像进行第一次降噪；

S73、分别对经第一次降噪处理的图像进行膨胀操作；

S74、分别对经膨胀操作的图像进行第二次降噪处理；

S75、分别对经第二次降噪处理的图像进行腐蚀操作；

S76、分别对经腐蚀操作的图像进行第三次降噪处理；

S77、分别对经第三次降噪处理的图像进行灰度值梯度检测，将梯度变化值大的区域作为第一边缘区域；

S78、对第一边缘区域进行非最大值抑制，即寻找像素点的局部最大值，去除非极大值点所对应的区域，去除后的区域为第二边缘区域；

S79、设定第一阈值和第二阈值，保留梯度变化值高于第一阈值的区域部分为第三边缘区域，连接第三边缘区域中大于第二阈值的点形成最终的边缘图像。

6.根据权利要求1所述的一种实现盖板玻璃与液晶屏定位贴合的方法，其特征在于，所述的步骤S8具体步骤包括提取盖板玻璃边缘图像中的直线并计算出盖板玻璃角点坐标的步骤和提取液晶屏边缘图像中的直线并计算出液晶屏角点坐标的步骤，其中提取盖板玻璃边缘图像中的直线并计算出盖板玻璃角点坐标的步骤：提取盖板玻璃边缘图像中符合要求的直线，该直线满足S＝Xcosθ+Ysinθ，其中S表示该直线到原点的直线距离，θ表示该直线与X轴的夹角，将满足公式的点进行连接，并筛选以得到两条相互垂直的直线，对获取的两条直线求交点即为盖板玻璃角点坐标；

提取液晶屏边缘图像中的直线并计算出液晶屏角点坐标的步骤：

(1)随机抽取边缘图像中的一个点，如果该点已经被标定为是某一条直线上的点，则继续在剩下的边缘点中随机抽取一个边缘点，直到所有边缘点都抽取结束；

(2)对该点进行霍夫变换，并进行累加和计算；

(3)选取在霍夫空间内最大值的点，如果该点的值大于阈值，则进行步骤(4)，否则回到步骤(1)；

(4)根据霍夫变换得到的最大值，从该点出发，沿着直线的方向位移，从而找到直线段的两个端点；

(5)计算直线段的长度，如果大于设定阈值，则输出直线并回到步骤(1)；

(6)重复(1)至(5)所述的步骤，当处理完边缘图像上的所有点后，即可得到两条相交的直线；

(7)对获取的两条直线求交点即为液晶屏角点坐标。

7.根据权利要求1所述的一种实现盖板玻璃与液晶屏定位贴合的方法，其特征在于，所述的步骤S10中以比例测算的方式进行图像坐标系和实际二维坐标系的转换的具体步骤是：

S101、双目摄像头对棋盘格标定板多次拍摄并存储；

S102、获取双目摄像头的纵向与横向偏差值以使两摄像头建立在同一坐标系中；

S103、提取棋盘格角点并计算相邻棋盘格角点像素坐标差；

S104、获取相邻棋盘格角点像素坐标差与实际棋盘格边长比值，以得到图像坐标系与二维坐标系的对应关系。