CN105258653B - 一种用于遥控器键盘上色状况合格性的自动检测方法 - Google Patents

Abstract

一种用于遥控器键盘上色状况合格性的自动检测方法，首先采集一张遥控器键盘的彩色照片；提取红绿蓝三个光通道中的光强矩阵，求解该彩色图片中各像素点的三原色强度混合比例系数，得到三原色比例系数矩阵；将待测彩色的三原色搭配比例与上步所得三原色比例系数矩阵进行匹配，得到该彩色的覆盖区域，对该区域进行边界检测，得到上色区域的边界；投影标准的条纹在遥控器键盘上，采集遥控器键盘上的变形条纹，对采集到的变形条纹图进行相位解调，得到连续的相位后，通过相位测量轮廓术的相位高度关系获得待测纸面表面的高度信息，根据遥控器按钮位置的高度值跃变特性进行遥控器按钮边界检测，对比颜色区域边界，完成检测。

Description

一种用于遥控器键盘上色状况合格性的自动检测方法

技术领域

本发明涉及遥控器键盘上色状况合格性的自动检测的技术领域，提供了一种用于遥控器键盘上色状况合格性的自动检测方法。

背景技术

现在的硅胶按键需要key多、颜色多、外形美观、实用、体积小的才能有市场，热别是遥控器按键，一个硅胶按键产品内有几十个key，而且基本都是不同的颜色，那么对于我们硅胶按键生产厂家而言在生产工序中就比较复杂，尤其是成型、印刷环节就显得没那么简单，生产的效率不会很高，而且不良率也会比较高，不良率主要表现在容易出现混色的问题。一般，硅胶制品厂在生产硅胶按键的时候，普遍的做法都是把那些key放在铁氟龙板上排列，然后进行成型，这样做的作用是可以提高生产效率，而且不容易弄脏色key料，但是如果key比较多，颜色比较杂，同时key间距比较小的时候，那么把key放在铁氟龙板上排列的工作方法就不是那么很好工作，会很容易就出现混色的问题，混色的原因才能解决你的问题点，以下是混色几大因素：第一，色KEY的料重不对，或是不均匀；第二，落料位置不对；第三，上、下模具合模偏，导致压偏。

目前工业中基本上是通过人工的方式进行上色合格性的检查，看按键上的颜色上色区域是否过大(超出所限定的区域，甚至覆盖到了其他按键上)或者过小(按键没有覆盖全)，这种方式效率低，成本高。若要实现机器自动检测合格性，必须要同时完成两类边界的同时检测：各颜色的边界和遥控器按钮边界。常用的边界检测方法如图像处理算法只能完成颜色边界的自动检测，无法检测按钮边界。本发明所提供的方法能同时检测各颜色的边界和遥控器按钮边界，并且测试系统简单，仅包含数码相机和投影仪。

发明内容

本发明的目的在于解决如何将混色后不合格的key(按键)进行识别的问题，解决传统采用人工方式进行上色合格性的检查效率低下的问题。

本发明提出一个新的构思，采用同时对颜色边界和按键边界进行检测，并通过按键边界与颜色边界的相互约束关系，达到判断按键是否上色完整、是否混色的目的。

本发明公开了用于遥控器键盘上色状况合格性的自动检测方法。其特征在于包括以下几个步骤：

步骤1.设置实验测量系统：系统主要包括数码相机、投影仪、计算机及支架。调整系统使数码相机能够拍摄到遥控器键盘的条纹图案，同时确保投影仪的光学中心和相机的光学中心的连线与投影光轴垂直，(以满足相位测量轮廓术系统结构的三角关系，提高系统标定的准确度)；

步骤2.相机直接拍摄遥控器键盘一次，用计算机软件如matlab读取采集到的彩色图样，提取彩色图片的RGB三个光通道中的光强矩阵，并分别求出红、绿、蓝三通道的光强比例系数矩阵，将所得系数矩阵与待测颜色的三色值系数进行匹配，可得到对应颜色的上色区域，再运用边界检测算法得到上色区域边界。

步骤3.投影仪向被测遥控器键盘投影强度呈正弦分布的条纹图像，相机拍摄记录遥控器键盘面形所调制的条纹图像，此时待测遥控器键盘表面的高度信息调制在变形条纹的相位中；

步骤4.对变形条纹图进行相位解调，得到变形条纹的相位分布，通过相位测量轮廓术的相位高度关系获得待测表面的三维高度信息。从而实现对凸起的按键位置的进行范围检测(此区域为理想的上色区域)。再结合步骤2完成检测。

上述技术方案中，所述步骤2中的对于彩色键盘，需要检测某种颜色的区域边界，以提取x颜色区域边界为例：

理想x颜色由RGB三原色通过一定比例搭配而成。假设x颜色的R、G、B理想比例系数即三色值系数分别为k_R，k_G，k_B，有k_R+k_G+k_B＝1，且k_R≥0、k_G≥0、k_B≥0(对于特定颜色，该配色比例可以通过查询相关资料获得)；

实验中CCD所获彩色图片光强矩阵为I₀，有以下表达式：

R₀＝I₀(：，：，1)；G₀＝I₀(：，：，2)；B₀＝I₀(：，：，3)；

R₀矩阵为彩色图片红色通道的光强矩阵，其值等于三维矩阵I₀的第一页I₀(：，：，1)；G₀矩阵为彩色图片绿色通道的光强矩阵，其值等于三维矩阵I₀的第二页I₀(：，：，2)；B₀矩阵为彩色图片蓝色通道的光强矩阵，其值等于三维矩阵I₀的第三页I₀(：，：，3)，第一个逗号前表示行(第一维)，第二个逗号表示列(第二纬)，“：”表示全行(第一行到最后一行)或全列(第一列到最后一列)。则x颜色在该彩色图片中R、G、B三原色的光强比例系数矩阵K_r，K_g，K_b可做如下表示：

K_r＝R₀/(R₀+G₀+B₀)；K_g＝G₀/(R₀+G₀+B₀)；K_b＝B₀/(R₀+G₀+B₀)；

上式中R₀，G₀，B₀分别为三个通道的光强矩阵，所得K_r，K_g，K_b矩阵为彩色图片上三种原色的光强比例系数矩阵。由于是彩色图片，所以K_r，K_g，K_b在不同像素位置的值随着颜色的变化而变化，并且在颜色一致的地方，值保持不变。在光强比例系数矩阵K_r，K_g，K_b中，只有那些与x颜色的三色值系数k_r，k_g，k_b相等或相近的区域，才是要分离的x颜色区域。由以下表达式来确定x彩色区域：

I_x＝1-(|K_r-k_R|+|K_g-k_G|+|K_b-k_B|)/3；

则所得矩阵I_x所显示的高亮区域为x颜色区域，并选取合适的阈值进行二值化，得到二值图像，其中值为1的区域则为x颜色上色区域，并对该区域进行边界检测，即可得到该x颜色上色区域边界。

上述技术方案中，所述步骤3中的变形条纹图I(x,y)，可以表示为：

I(x,y)＝A(x,y)+B(x,y)cos[2πf₀(x,y)x+φ(x,y)]

其中I(x,y)表示相机记录的光强分布，A(x,y)是背景光强，B(x,y)是调制度分布，是载频的频率函数，是与跃变物体表面高度相关的相位分布，(x,y)为变形条纹图像的二维坐标。

上述技术方案中，所述步骤4中，对变形条纹图中的相位信息进行分析解调，得到变形条纹的相位分布；

下式为得到的第n帧相移图像光强的表达式：

I_n(x,y)＝A(x,y)+B(x,y)·cos[φ(x,y)+α_n]

其中I_n(x,y)表示记录的n帧条纹图光强分布，A(x,y)是背景光强，B(x,y)是调制度分布，φ(x,y)是与跃变物体表面高度相关的相位分布，(x,y)为变形条纹图像的二维坐标，φ(x,y)为相移大小，n为条纹图的帧序数，N相移法的总相移步数，即拍摄N幅等间距的相移图像，得到的变形条纹的截断相位分布如下：

对截断相位φ₀(x,y)展开得到展开相位φ(x,y)，通过以下关系式得到键盘表面高度分布矩阵H(x,y)：

H(x,y)为键盘高度分布矩阵，φ(x,y)为相位矩阵，P为条纹周期，d为投影仪光心到CCD光心的距离，L为投影仪光心到参考面光心的距离；

对高度矩阵H(x,y)进行阈值处理，得到按钮区域范围，再进行边界检测，得到按钮边界。

本发明具备以下有益效果：

本发明最突出的是提供了一种简单、低成本的遥控器键盘上色状况合格性的自动检测方法。该方法基于一种改进的光学三维面形测量方法(相位测量轮廓术)，能同时完成遥控器上喷涂的不同颜色的边界和遥控器按钮的边界的检测，本发明测试系统经济、简单、稳定，主要包括计算机、数码相机和投影仪。

附图说明

图1是条纹投影系统结构简图；

图2是CCD所获键盘彩色图像；

图3是通过图像处理所得键盘绿色上色边界图；

图4是通过图像处理所得键盘蓝色上色边界图；

图5是键盘变形条纹图；

图6是键盘的高度分布图；

图7是盘按钮边界图；

图8是上色边界图。

具体实施方式

本发明提供了一种简单、低成本的遥控器键盘上色状况合格性的自动检测方法。该方法提出了一种改进的光学三维面形测量方法，使得相位测量轮廓术能够同时完成遥控器上喷涂的不同颜色的边界和遥控器按钮的边界的检测。下面结合附图和具体实施例子对发明的实施方案具体说明。

步骤一：设置实验测量系统：系统主要包括相机、投影仪、待测遥控器键盘、控制电脑及支架。调整实验系统使数码相机能够拍摄到待测键盘上的条纹图案，同时确保投影仪的光学中心和相机的光学中心的连线与投影光轴垂直。如图1所示。

步骤二：投影仪先投影全亮图样至待测键盘，彩色数码相机拍摄,用于确定键盘各颜色实际上色边界。通过计算机软件提取该彩色图片的红绿蓝三个光通道中的光强矩阵，根据获得的颜色光强矩阵的在相应颜色边界的跃变特性，进行各颜色边界检测。图2为CCD所捕获的待测键盘彩色图像，图3显示了通过二维数字图像处理所得键盘绿色上色区域边界，图3显示了通过图像处理所得键盘蓝色上色区域边界，本例中CCD相机是ProsilicaGT1660C，相机使用50mm的定焦镜头(Computar M5018-MP2).

步骤三：通过计算机控制投影仪产生并投射标准的正弦条纹图案，数码相机拍摄在待测键盘上的变形条纹。图4显示了键盘变形条纹图。

步骤四：提取变形条纹相位，然后根据相位测量轮廓术的相位高度关系得到高度分布，进而提取各凸起按钮的位置范围。图5显示了本例的键盘的高度分布。图6显示了按键区域边界。图8、图7在同一副图上显示上色边界和按键边界。

本发明提出的该方法基于一种改进的光学三维面形测量方法(相位测量轮廓术)，能同时完成遥控器上喷涂的不同颜色的边界和遥控器按钮的边界的检测，本发明测试系统稳定简单，主要包括计算机、数码相机和投影仪。通常一个硅胶按键产品内有几十个按键，而且基本上都有3种以上的不同的颜色，由于每个按键间隔很近，在上色时非常容易出现混色或者上色区域过大(或过小)的现象，导致产品不良。要实现遥控器上色合格性的自动检测，通常需要得到遥控器上喷涂的不同颜色的边界和遥控器按钮的边界。传统的相位测量轮廓术用于遥控器的测量可以得到遥控器表面高度分布，从而可以获得遥控器按钮边界，但是无法得到遥控器上各颜色边界的检测，本专利将传统的相位测量轮廓术方法改进，通过测量系统的数码相机拍摄彩色待测遥控器键盘照片，然后通过计算机软件读取图片并将其分成红绿蓝三个光强矩阵，在遥控器键盘上的红色区域，代表红色的光强矩阵的光强值会明显大于其他两个矩阵在该区域的光强值，绿色和蓝色的位置同理，而其他颜色均由红绿蓝三原色按特定比例混合得到，通过将该彩色的三原色理想比例与红绿蓝三个光强矩阵进行匹配，即可检测不同颜色区域的边界。因此本专利基于一种改进的光学三维面形测量方法(相位测量轮廓术)，可以实现遥控器上喷涂的不同颜色的边界和遥控器按钮的边界的自动检测，从而实现遥控器键盘上色状况合格性的自动检测。本发明的主要增益：提供了一种简单、低成本的遥控器键盘上色状况合格性的自动检测方法。

Claims (6)

1.一种用于遥控器键盘上色状况合格性的自动检测方法，包括以下几个步骤:

步骤1、设置实验系统，采集一张遥控器键盘的彩色照片；

步骤2、提取彩色图片的红绿蓝三个光通道中的光强矩阵，求解该彩色图片中各像素点的三原色强度混合比例系数，得到三原色比例系数矩阵；

步骤3、预设待测彩色的三原色搭配比例，因此，将待测彩色的三原色搭配比例与上步所得三原色比例系数矩阵进行匹配，得到该彩色的覆盖区域，对该区域进行边界检测，得到上色区域的的边界；

步骤4、投影标准的条纹在遥控器键盘上，采集遥控器键盘上的变形条纹I(x,y)，遥控器键盘表面的高度信息将被调制在变形条纹的相位中；

步骤5、对采集到的变形条纹I(x,y)进行相位解调，得到连续的相位后，通过相位测量轮廓术的相位高度关系获得待测遥控器表面的高度信息，根据遥控器按钮位置的高度值跃变特性进行遥控器按钮边界检测，对比步骤3得到的颜色边界，完成遥控器键盘上色状况合格性的自动检测。

2.根据权利要求1所述的一种用于遥控器键盘上色状况合格性的自动检测方法，其特征在于：所述步骤2中三原色比例系数矩阵是表示每一个像素点上红绿蓝三种颜色分别占的比例；

读取彩色图片光强值为三维矩阵I₀，对三维矩阵I₀进行R、G、B三个通道的光强提取，分别得到红、绿、蓝光强矩阵如下：

R₀＝I₀(：，：，1)；G₀＝I₀(：，：，2)；B₀＝I₀(：，：，3)；

R₀矩阵为彩色图片红色通道的光强分布矩阵，其值等于三维矩阵I₀的第一页I₀(：，：，1)；G₀矩阵为彩色图片绿色通道的光强分布矩阵，其值等于三维矩阵I₀的第二页I₀(：，：，2)；B₀矩阵为彩色图片蓝色通道的光强分布矩阵，其值等于三维矩阵I₀的第三页I₀(：，：，3)，第一个逗号前表示行，第二个逗号表示列，“：”表示全行或全列；

其次，再对红、绿、蓝不同颜色的光强比例系数矩阵进行求解如下：

K_r＝R₀/(R₀+G₀+B₀)；K_g＝G₀/(R₀+G₀+B₀)；K_b＝B₀/(R₀+G₀+B₀)；

K_r为红色光强比例系数矩阵，K_g为绿色光强比例系数矩阵，K_b为蓝色光强比例系数矩阵。

3.根据权利要求2所述的一种用于遥控器键盘上色状况合格性的自动检测方法，其特征在于：所述步骤3包括以下步骤：

预设特定三色值系数为k_R，k_G，k_B，有k_R+k_G+k_B＝1，将该颜色的三色值系数与光强比例系数矩阵进行如下匹配：

I_x＝1-(|K_r-k_R|+|K_g-k_G|+|K_b-k_B|)/3；

所得矩阵I_x即为一幅有强烈对比度的灰度图，高亮部分为待测颜色的上色区域，再对I_x阈值处理和边界检测，即能得到待测颜色的上色边界。

4.根据权利要求1所述的一种用于遥控器键盘上色状况合格性的自动检测方法，其特征在于：所述实验系统包括数码相机、投影仪，使数码相机能够拍摄到遥控器键盘的条纹图案，同时确保投影仪的光学中心和相机的光学中心的连线与投影光轴垂直。

5.根据权利要求1所述的一种用于遥控器键盘上色状况合格性的自动检测方法，其特征在于：所述步骤4中的变形条纹I(x,y)，表示为：

I(x,y)＝A(x,y)+B(x,y)cos[2πf₀(x,y)x+φ(x,y)]

其中I(x,y)表示相机记录的光强分布，A(x,y)是背景光强，B(x,y)是调制度分布，f₀(x,y)是载频的频率函数，φ(x,y)是变形条纹的相位分布，(x,y)为变形条纹图像的二维坐标。

6.根据权利要求1所述的一种用于遥控器键盘上色状况合格性的自动检测方法，其特征在于：所述步骤5中，对采集到的变形条纹图进行相位解调，得到变形条纹的相位分布φ(x,y)，利用相位φ(x,y)求出高度分布H(x,y)；

下式为某一帧变形条纹图像的光强表达式：

I_n(x,y)＝A(x,y)+B(x,y)·cos[φ(x,y)+α_n]

需要N副图，每一副条纹图像的相位都比前一副要多一个为相移大小值α，α即为2π/N，相位解调得到的截断相位φ₀(x,y)的解如下：

<mrow> <msub> <mi>&amp;phi;</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <mo>-</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>I</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>sin</mi> <mrow> <mo>(</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mi>n</mi> <mo>/</mo> <mi>N</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>I</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mi>n</mi> <mo>/</mo> <mi>N</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>&amp;rsqb;</mo> </mrow>

对截断相位φ₀(x,y)展开得到展开相位φ(x,y)，通过以下关系式得到键盘表面高度分布矩阵H(x,y)：

<mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>P</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mi>L</mi> </mrow> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> <mi>d</mi> <mo>+</mo> <mi>&amp;phi;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mi>P</mi> </mrow> </mfrac> </mrow>

H(x,y)为键盘高度分布矩阵，φ(x,y)为相位矩阵，P为条纹周期，d为投影仪光心到CCD光心的距离，L为投影仪光心到参考面光心的距离；

对高度矩阵H(x,y)进行阈值处理，得到按钮区域范围，再进行边界检测，得到按钮边界。