CN108562250B - 基于结构光成像的键盘键帽平整度快速测量方法与装置 - Google Patents

Abstract

本发明一种基于结构光成像的键盘键帽平整度快速测量方法及装置，该方法的步骤为：步骤S1：结构光模式设计及投影，产生的结构光在待测键盘各按键键帽表面上下两端各存在一条清晰的光条纹；步骤S2：多台相机采集图像序列；接收到检测信号后，相机采集已被结构光编码的键盘图像序列；步骤S3：图像拼接；将图像序列拼接成一幅完整的全尺寸键盘图像；步骤S4：键帽建模；依靠人工获得键帽掩模和键盘图像中各键帽的位置信息；步骤S5：利用平整度算法检测算法，用以实现快速检测键盘各键帽平整度。该装置用来实施上述方法。本发明具有自动化程度高、检测效率高、易实现、易维护等优点。

Description

基于结构光成像的键盘键帽平整度快速测量方法与装置

技术领域

本发明主要涉及到机器视觉技术领域，特指一种电脑键盘键帽平整度快速测量方法及装置。

背景技术

键盘是生活中常用的电子产品，也是人机交互的桥梁。一般键盘由上百个按键镶嵌在其中，每个按键的键帽是用户主要接触的部分，键帽一旦出现高低不平现象，就会影响使用者敲击按键的舒适度和顺畅度。所以，在键盘的生产过程中，需要检测键盘键帽的平整度。

如果使用人工检测，其主观性强、误差较大、效率低下。

目前，有四种技术方案实现键帽平整度自动化测量：(1)测量探针测量方式，该方法精度高，传感器无需移动，缺点是设备成本和维护费用高；(2)三维视觉测量方式，其检测精度高，最大缺点是需要移动三维传感器，检测速度慢；(3)激光测距仪测量方式，该方法同样需要移动传感器，物理安装是一个难题，其检测速度慢，存在位移误差；(4)面阵相机的机器视觉测量方式，其优点是成本低，但是检测精度低。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种自动化程度高、检测效率高、易实现、易维护的基于结构光成像的键盘键帽平整度快速测量方法与装置。

为解决上述技术问题，本发明采用以下技术方案：

一种基于结构光成像的键盘键帽平整度快速测量方法，其步骤为：

步骤S1：结构光模式设计及投影，产生的结构光在待测键盘各按键键帽表面上下两端各存在一条清晰的光条纹；

步骤S2：多台相机采集图像序列；接收到检测信号后，相机采集已被结构光编码的键盘图像序列；

步骤S3：图像拼接；将图像序列拼接成一幅完整的全尺寸键盘图像；

步骤S4：键帽建模；依靠人工获得键帽掩模和键盘图像中各键帽的位置信息；

步骤S5：利用平整度算法检测算法，用以实现快速检测键盘各键帽平整度。

作为本发明方法的进一步改进：所述步骤S1中，将图案模式设计成多激光线条样式来模拟多个线形激光发生器产生的效果。

作为本发明方法的进一步改进：所述步骤S3的流程为：

步骤S3.1：提取稳定特征点；

依据多相机排序依次拼接，从检测设备中排序毗邻相机中采集到的二维图像ⅠI₁(x,y)和二维图像ⅡI₂(x,y)，x代表图像像素行坐标，y代表图像像素列坐标；分别对图像ⅠI₁(x,y)和ⅡI₂(x,y)提取SIFT特征点，得到SIFT特征点集合；

步骤S 3.2：特征点筛选和匹配；

采用RANSAC算法筛选步骤S3.1所述特征点集合，获得可靠的点并进行特征点匹配，求取图像变换矩阵H；

步骤S 3.3：图像拼接；

将图像ⅠI₁(x,y)仿射变换后，得到对图像Ⅱ的映射图像ⅢH(u,v)；将图像Ⅱ拼接到映射图像Ⅲ上，完成第一对图像拼接；后续图像序列依据排序重复所述步骤，得到拼接后的完整的键盘图像I(x,y)；仿射公式如下：

作为本发明方法的进一步改进：所述步骤S4的步骤如下：通过人工框选键盘键帽，以键盘的Esc键为原点行扫描，框选住键盘图像中全部键帽，保存为键帽掩模M(x,y)，并保存框选时各键帽框位置信息，即矩形框的左上点和右下点坐标信息。

作为本发明方法的进一步改进：所述步骤S5的详细流程为：

步骤S 5.1：图像预处理；对拼接后的键盘图像I(x,y)进行高斯滤波，抑制噪声，得到平滑后的图像B(x,y)；

步骤S 5.2：光条纹分割；使用自适应阈值Otsu二值化分割方法从键盘图像I'(x,y)背景中提取光条纹，得到光条纹二值图像B(x,y)；其中白色区域为光条纹，黑色区域为背景；

步骤S 5.3：光条纹中心线提取；基于无限腐蚀思想的细化技术，从光条纹二值图像中B(x,y)提取得到12条光条纹中心线；

步骤S 5.3.1：对二值图像计算目标点与背景区域的欧式距离，获得代表光条纹的距离地形图D(x,y)；

步骤S 5.3.2：对距离地形图进行边界剥离，直至距离地形图的最后一层，即光条纹的几何中心，从而得到中心线L；

步骤S 5.4：键帽掩模处理；依据键帽掩模M(x,y)和位置信息，分别提列出归属各键帽的中心线L_k；各按键键帽应该有上下两条光条纹中心线，除开方位键上下只包含一条光条纹中心线；

步骤S 5.5：模板比对；与键盘标准件进行模板比对；

步骤S 5.5.1：将键盘标准件重复所述步骤S5.1～5.4，获的标准的键盘键帽光条纹中心线L_k；

步骤S 5.5.2：依据键帽位置信息，将待测键盘键帽与标准键盘键帽中心线匹配；计算中心线L'_k和L_k的欧式距离d_k；欧式距离计算公式如下：

步骤S 5.5.3：当d_k小于检测阈值T，该键帽平整度合格，否则，视为不合格；其中，检测阈值T由检测精度P和相机标定后的像素比R来共同决定，公式为：

本发明进一步提供一种基于结构光成像的键盘键帽平整度快速检测装置，其包括：

键盘压板，用来固定住待测键盘，保证每次被检测键盘放置位置相同；

一台以上的面阵相机，固定在键盘正上方，用来采集到键盘图像序列；

数字投影仪，角投射结构光图案，并使投影范围完全覆盖键盘；

工控机，与数字投影仪和面阵相机通信连接，控制其工作实现联动，并运行图像分析检测软件获得检测结果；

设备箱，用来安装固定上述部件。

作为本发明装置的进一步改进：还包括气动装置，通过气压变化控制所述键盘压板做升降动作，以便放置和取出待测键盘。

作为本发明装置的进一步改进：所述面阵相机以垂直90度固定在键盘正上方。

作为本发明装置的进一步改进：所述数字投影仪以与水平面呈45度的方向固定。

与现有技术相比，本发明的优点在于：

1、本发明的基于结构光成像的键盘键帽平整度快速测量方法及装置，藉由数字投影仪投影到待测键盘按键上光条纹中心在面阵相机采集的图像中的位置与键盘标准件的位置的距离，来获得检测结果。藉以降低时间消耗及节约人力成本，从而有效提升整体检测效率。

2、本发明的基于结构光成像的键盘键帽平整度快速测量方法及装置，可以实现键盘键帽平整度快速测量；其采用面阵结构光扫描，检测速度快且无需移动，解决了线结构光发生器物理安装难题和移动误差；采用多相机图像拼接，检测精度高，降低了设备成本。

3、本发明的基于结构光成像的键盘键帽平整度快速测量方法及装置，采用数字光处理器产生结构光，该光源寿命长、图案模式具有编辑性、切换方便，解决了线结构光模式单一的困境.

4、本发明的基于结构光成像的键盘键帽平整度快速测量方法及装置，采用自动化的质检方案，解放人工，降低劳动成本，提高检测效率；检测阈值可以通过软件进行人工调整，使用灵活方便；整个系统维护方便、成本低。

附图说明

图1是本发明检测方法的流程示意图。

图2是结构光图案模式示意图。

图3是图像序列拼接特征点处理示意图。

图4是人工建模键帽掩模示意图。

图5是本发明装置的结构原理示意图。

图6是本发明去掉外部盖板之后的结构原理示意图。

图7是本发明装置的主视结构原理示意图。

图8是本发明装置的侧视结构原理示意图。

图例说明：

1、设备箱；2、键盘压板；3、面阵相机；4、数字投影仪；5、工控机；6、气动装置。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1～图4所示，本发明的基于结构光成像的键盘键帽平整度快速测量方法，其步骤为：

步骤S1：结构光模式设计及投影，用以保证数字投影仪产生的结构光在待测键盘各按键键帽表面上下两端各存在一条清晰的光条纹；

步骤S2：多台相机采集图像序列；接收到检测信号后，相机采集已被结构光编码的键盘图像序列；

步骤S3：图像拼接；将图像序列拼接成一幅分辨率高的完整的全尺寸键盘图像；

步骤S4：键帽建模；依靠人工获得键帽掩模和键盘图像中各键帽的位置信息；

步骤S5：利用平整度算法检测算法，用以实现快速检测键盘各键帽平整度。

在上述步骤S1中，进一步可以利用投影结构光可编辑的特性，将图案模式设计成多激光线条样式来模拟多个线形激光发生器产生的效果。例如，在具体应用时，普通键盘由6排按键组成，为检测键帽平面，在键帽表面上下端，设计一共12条光线的二维图像。

在具体应用中，上述步骤S3的详细流程为：

步骤S3.1：提取稳定特征点。

依据多相机排序依次拼接，从检测设备中排序毗邻相机中采集到的二维图像ⅠI₁(x,y)和二维图像ⅡI₂(x,y)，x代表图像像素行坐标，y代表图像像素列坐标。分别对图像ⅠI₁(x,y)和ⅡI₂(x,y)提取SIFT(Scale-invariantfeature transform)特征点，得到SIFT特征点集合；

步骤S 3.2：特征点筛选和匹配。

采用RANSAC(Random Sample Consensus)算法筛选步骤S3.1所述特征点集合，获得可靠的点并进行特征点匹配，求取图像变换矩阵H；

步骤S 3.3：图像拼接。

将图像ⅠI₁(x,y)仿射变换后，得到对图像Ⅱ的映射图像ⅢH(u,v)。将图像Ⅱ拼接到映射图像Ⅲ上，完成第一对图像拼接。后续图像序列依据排序重复所述步骤，得到拼接后的完整的键盘图像I(x,y)。仿射公式如下：

在具体应用中，上述步骤S4包括步骤如下：为获得键盘图像中各键帽的位置信息。通过人工框选键盘键帽，以键盘的Esc键为原点行扫描，框选住键盘图像中全部键帽，保存为键帽掩模M(x,y)，并保存框选时各键帽框位置信息(即矩形框的左上点和右下点坐标信息)。其中，相同型号的键盘可以使用同一模型，无需多次建模。

在具体应用中，上述步骤S5的详细流程为：

步骤S 5.1：图像预处理；对拼接后的键盘图像I(x,y)进行高斯滤波，抑制噪声，得到平滑后的图像B(x,y)；

步骤S 5.2：光条纹分割；使用自适应阈值Otsu二值化分割方法从键盘图像I'(x,y)背景中提取光条纹，得到光条纹二值图像B(x,y)；其中白色区域为光条纹，黑色区域为背景。

步骤S 5.3：光条纹中心线提取；基于无限腐蚀思想的细化技术，从光条纹二值图像中B(x,y)提取得到12条光条纹中心线；

步骤S 5.3.1：对二值图像计算目标点与背景区域的欧式距离，获得代表光条纹的距离地形图D(x,y)；

步骤S 5.3.2：对距离地形图进行边界剥离，直至距离地形图的最后一层，即光条纹的几何中心，从而得到中心线L。

步骤S 5.4：键帽掩模处理；依据键帽掩模M(x,y)和位置信息，分别提列出归属各键帽的中心线L_k。各按键键帽应该有上下两条光条纹中心线，除开方位键上下只包含一条光条纹中心线；

步骤S 5.5：模板比对；与键盘标准件进行模板比对。

步骤S 5.5.1：将键盘标准件重复所述步骤1,2,3,4,5，获的标准的键盘键帽光条纹中心线L_k。

步骤S 5.5.2：依据键帽位置信息，将待测键盘键帽与标准键盘键帽中心线匹配。计算中心线L'_k和L_k的欧式距离d_k；欧式距离计算公式如下：

步骤S 5.5.3：当d_k小于检测阈值T，该键帽平整度合格，否则，视为不合格。其中，检测阈值T由检测精度P(目前设为P＝0.3mm)和相机标定后的像素比R(标记后为1.0mm/25pixel)来共同决定，公式为：

由上可知，本发明是基于机器视觉技术的自动检测技术，检测的原理是基于激光三角法。当激光照射在待测物体平面上，通过反射最后在传感器上成像。当物体表面的位置发生改变时，其所成的像在传感器上也发生相应的位移。通过像移和实际位移之间的关系式，真实的物体位移可以通过对像位的测量和计算得到。

键盘键帽高度不变时，结构光投射到键帽表面上两条光线位置不发生变化；如果键帽高低产生变化，其光线就在水平面上产生位置偏移。通过与键盘标准件的对应光条纹匹配，计算两键帽的中心线欧式距离。如果测得的距离值在检测阈值范围内，则该按键合格；如果测得的距离值大于检测阈值，则该按键不良。本发明就是依据上述原理对按键上光条纹中心线在图像上的位置偏移量的变化，实现键帽平整度检测。

如图5～图8所示，本发明进一步提供一种基于结构光成像的键盘键帽平整度快速检测装置，它包括：

设备箱1，用来安装固定以下装置并保证工作安全，同时有效地消除环境光干扰；

键盘压板2，用来固定住待测键盘，保证每次被检测键盘放置位置相同；

气动装置6，通过气压变化控制所述压板升降动作，以便操作员放置和取出待测键盘；

多台面阵相机3，以垂直90度固定在键盘正上方的设备箱1的横梁上，保证采集到分辨率高、重叠区域足的键盘图像序列；

数字投影仪4，以与水平面呈45度固定在设备箱1后方横梁上，以45度入射角投射结构光图案，并保证投影范围完全覆盖键盘；

嵌入式工控机5，与所述气动装置6、数字投影仪4和多台面阵相机3通信连接，控制三者的工作，实现联动。同时，运行图像分析检测软件获得检测结果。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于结构光成像的键盘键帽平整度快速测量方法，其特征在于，步骤为：

步骤S1：结构光模式设计及投影，产生的结构光在待测键盘各按键键帽表面上下两端各存在一条清晰的光条纹；

步骤S2：多台相机采集图像序列；接收到检测信号后，相机采集已被结构光编码的键盘图像序列；

步骤S3：图像拼接；将图像序列拼接成一幅完整的全尺寸键盘图像；

步骤S4：键帽建模；依靠人工获得键帽掩模和键盘图像中各键帽的位置信息；

步骤S5：利用平整度算法检测算法，用以实现快速检测键盘各键帽平整度；

所述步骤S5的详细流程为：

步骤S 5.1：图像预处理；对拼接后的键盘图像I(x,y)进行高斯滤波，抑制噪声，得到平滑后的键盘图像I'(x,y)；

步骤S 5.2：光条纹分割；使用自适应阈值Otsu二值化分割方法从键盘图像I'(x,y)背景中提取光条纹，得到光条纹二值图像B(x,y)；其中白色区域为光条纹，黑色区域为背景；

步骤S 5.3：光条纹中心线提取；基于无限腐蚀思想的细化技术，从光条纹二值图像中B(x,y)提取得到12条光条纹中心线；

步骤S 5.3.1：对二值图像计算目标点与背景区域的欧式距离，获得代表光条纹的距离地形图D(x,y)；

步骤S 5.3.2：对距离地形图进行边界剥离，直至距离地形图的最后一层，即光条纹的几何中心，从而得到中心线L；

步骤S 5.4：键帽掩模处理；依据键帽掩模M(x,y)和位置信息，分别提列出归属各键帽的中心线L_k；各按键键帽应该有上下两条光条纹中心线，除开方位键上下只包含一条光条纹中心线；

步骤S 5.5：模板比对；与键盘标准件进行模板比对；

步骤S 5.5.1：将键盘标准件重复所述步骤S5.1～5.4，获的标准的键盘键帽光条纹中心线L'_k；

步骤S 5.5.2：依据键帽位置信息，将待测键盘键帽与标准键盘键帽中心线匹配；计算中心线L'_k和L_k的欧式距离d_k；欧式距离计算公式如下：

步骤S 5.5.3：当d_k小于检测阈值T，该键帽平整度合格，否则，视为不合格；其中，检测阈值T由检测精度P和相机标定后的像素比R来共同决定，公式为：

2.根据权利要求1所述的基于结构光成像的键盘键帽平整度快速测量方法，其特征在于，所述步骤S1中，将图案模式设计成多激光线条样式来模拟多个线形激光发生器产生的效果。

3.根据权利要求1或2所述的基于结构光成像的键盘键帽平整度快速测量方法，其特征在于，所述步骤S3的流程为：

步骤S3.1：提取稳定特征点；

依据多相机排序依次拼接，从检测设备中排序毗邻相机中采集到的二维图像Ⅰ I₁(x,y)和二维图像Ⅱ I₂(x,y)，x代表图像像素行坐标，y代表图像像素列坐标；分别对图像Ⅰ I₁(x,y)和Ⅱ I₂(x,y)提取SIFT特征点，得到SIFT特征点集合；

步骤S 3.2：特征点筛选和匹配；

采用RANSAC算法筛选步骤S3.1所述特征点集合，获得可靠的点并进行特征点匹配，求取图像变换矩阵H；

步骤S 3.3：图像拼接；

将图像Ⅰ I₁(x,y)仿射变换后，得到对图像Ⅱ的映射图像Ⅲ H(u,v)；将图像Ⅱ拼接到映射图像Ⅲ上，完成第一对图像拼接；后续图像序列依据排序重复所述步骤，得到拼接后的完整的键盘图像I(x,y)；仿射公式如下：

4.根据权利要求3所述的基于结构光成像的键盘键帽平整度快速测量方法，其特征在于，所述步骤S4的步骤如下：通过人工框选键盘键帽，以键盘的Esc键为原点行扫描，框选住键盘图像中全部键帽，保存为键帽掩模M(x,y)，并保存框选时各键帽框位置信息，即矩形框的左上点和右下点坐标信息。

5.一种用于实施权利要求1～4中任一项所述的键盘键帽平整度快速测量方法的基于结构光成像的键盘键帽平整度快速检测装置，其特征在于，包括：

键盘压板，用来固定住待测键盘，保证每次被检测键盘放置位置相同；

一台以上的面阵相机，固定在键盘正上方，用来采集到键盘图像序列；

数字投影仪，角投射结构光图案，并使投影范围完全覆盖键盘；

工控机，与数字投影仪和面阵相机通信连接，控制其工作实现联动，并运行图像分析检测软件获得检测结果；

设备箱，用来安装固定上述部件；

所述数字投影仪，以与水平面呈45度固定在设备箱后方横梁上。

6.根据权利要求5所述的基于结构光成像的键盘键帽平整度快速检测装置，其特征在于，还包括气动装置，通过气压变化控制所述键盘压板做升降动作，以便放置和取出待测键盘。

7.根据权利要求5或6所述的基于结构光成像的键盘键帽平整度快速检测装置，其特征在于，所述面阵相机以垂直90度固定在键盘正上方。

Images