CN105160652A - 基于计算机视觉的手机外壳检验装置与方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的手机外壳检验装置与方法，包括，高清摄像机、辅助光源和工业控制计算机；辅助光源照亮高清摄像机的视野范围，高清摄像机和辅助光源设置于生产线的手机外壳检验工位，能够捕捉到需要精确检验的手机外壳的部位；工业控制计算机分别与高清摄像机和辅助光源电连接。其方法，包括，摄像机标定阶段；图像采集阶段；图像处理阶段；检测结果输出阶段。有益效果是，采用基于图像处理的技术，实现精确定位、精密检测是自动化生产的有效途径；计算机视觉技术具有非接触测量、较宽的光谱范围及可长时间工作等优点，广泛应用于工业领域，可以快速、精确检验产品相关指标，速度快，维护成本低廉。

Description

基于计算机视觉的手机外壳检验装置与方法

技术领域

本发明涉及一种产品检测装置，特别涉及一种在手机外壳生产企业的生产线上，可以实时自动检验手机外壳产品质量的检测装置与方法，属于电子光学检测技术领域。

背景技术

国内手机外壳生产企业中，对残次品的检验工作大多是依靠人工来进行检验的，人工检验方法针对产品的裂纹、色差、翘曲变形、粗糙油渍等现象具有优势。但对于尺寸精度要求达到0.1mm孔径的检验几乎无能为力，需借助计算机视觉图像检测设备来实现高精度检验。

手机外壳生产加工企业通过模具注塑成型生产大量的手机外壳毛坯产品，由于注塑填充过程中的冷却时间存在微小差异、成型时拉伸不均匀等原因，其中部分毛坯产品会出现翘曲、毛刺残留物、孔径尺寸误差大、圆角不规则，形成残次品。目前，市场急需生产流水线上需要快速剔除不合格外壳产品的检测装置，只将尺寸合格的外壳产品送入下一道工序。

发明内容

本发明所要解决的技术问题是，提供一种基于计算机视觉检验手机外壳产品质量的检测装置与方法。

本发明所采用的技术方案是，一种基于计算机视觉的手机外壳检验装置，包括，高清摄像机、辅助光源和工业控制计算机；所述辅助光源照亮高清摄像机的视野范围，高清摄像机和辅助光源设置于生产线的手机外壳检验工位，能够捕捉到需要精确检验的手机外壳的部位；工业控制计算机分别与高清摄像机和辅助光源电连接。

所述的高清摄像机和辅助光源20配对设置，数目为4-6组。

所述高清摄像机的型号为DigiRetina16型；所述辅助光源采用的型号为P-PHFL-48-28-W型。

实现根据权利要求1所述手机外壳检验装置的方法，包括以下步骤：

(1)摄像机标定阶段；

(2)图像采集阶段；

(3)图像处理阶段；

(4)检测结果输出阶段。

所述摄像机标定阶段包括以下步骤：

(1)打印一张标定板；

(2)拍摄标定板各种角度的10幅图片；

(3)检测图片中的特征点；

(4)计算5个内部参数和所有的外部参数；

(5)通过最小二乘法现行求解径向畸变参数；

(6)通过求最小参数值，优化所有的参数。

所述图像采集阶段包括以下步骤：

(1)灰度化；

(2)快速中值滤波；

(3)阈值分割；

(4)目标区域提取；

(5)边缘检测；

(6)直线检测与拟合；

(7)合格检验。

实现所述灰度化的方法如下：

采用加权平均法，即根据重要性及其它指标，在RGB模型中，将R＝G＝B

三个分量以不同的权值进行加权平均能得到较合理的灰度图像：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中(i，j)代表图像中像素点的坐标；

实现所述快速中值滤波的方法如下：

设有一个一维序列f₁,f₂,f₃,Λf_n，取该窗口长度为m(奇数)，从一维序列中相继抽取m个数f_i-v,Λf_i-1,f_if_i+1Λf_i+v，其中以f_i为窗口的中心点值，v＝(m-1)/2。再将这m个点值按照其数值大小排序，取中间的那个数作为滤波输出去，用数学公式表示为：

y_i＝med{f_i-v,Λf_i-1,f_if_i+1Λf_i+v}其中i∈Z,v＝(m-1)/2。

当滤波窗口在原始图像上从左到右滑动时，从当前位置移动到下一位置的方法是：

去除窗口最左端一列像素，将与原窗口相邻接的一列像素加入到窗口中，由于原有的窗口中的像素灰度值是排序好的，因此，只需要对新加入的像素排序就可以了。

该系统中采用的是3*3窗口，对窗口中每一列像素排序需要比较操作次数为3*(3-1)/2次，(即3次)。将新加入列表插入有序数列，比较操作次数为3*3次，总计算量为12次；

实现所述阈值分割的步骤如下：

(1)建立图像灰度直方图(共有L个灰度级，每个出现概率为p)

$N=\underset{i=0}{\overset{L-1}{\Σ}}{n}_i,p_i=n_i/N$

(2)计算背景和目标的出现概率，计算方法如下，

$p_A=\underset{i=0}{\overset{t}{\Σ}}{p}_i,p_B=\underset{i=t+1}{\overset{L-1}{\Σ}}{p}_i=1-p_A$

上式中假设t为所选定的阈值，A代表背景(灰度级为0～N),根

据直方图中的元素可知，Pa为背景出现的概率，同理B为目标Pb

为目标出现的概率；

(3)计算A和B两个区域的类间方差如下：

${\mathrm{\ω}}_A=\underset{i=0}{\overset{t}{\Σ}}{\mathrm{ip}}_i/p_A,{\mathrm{\ω}}_B=\underset{i=t+1}{\overset{L-1}{\Σ}}{\mathrm{ip}}_i/p_B$

${\mathrm{\ω}}_0=p_A{\mathrm{\ω}}_A+p_B{\mathrm{\ω}}_B=\underset{i=0}{\overset{L-1}{\Σ}}{\mathrm{ip}}_i$

σ²＝p_A(ω_A-ω₀)²+p_B(ω_B-ω₀)²

第一个表达式分别计算A和B区域的平均灰度值；第二个表达式计算灰度图像

全局的灰度平均值；第三个表达式计算A、B两个区域的类间方差；

(4)对每个出现的灰度值据此进行寻优，找到能够使得A与B的类间灰度方差最大的灰度值，即为阈值，按此阈值将图像分割；

实现目标区域提取的方法如下：

得到二值化图像后，先采用轮廓提取的方法，将目标区域提取出来，将得到的粗略边缘点的坐标进行排序，寻找到最大最小的横纵坐标值，记为：X_max,X_min,Y_max,Y_min，然后，确定目标区域为长度为X_max-X_min,宽度为Y_max-Y_min的矩形作为目标区域，设手机壳全部高度为h，确定灰度目标区域为长度为X_max-X_min，宽度为Y_max-Y_min+h/2的矩形作为灰度目标区域，两个目标区域的左右上角端点为(X_min,Y_min)，(X_max,Y_min)；

实现所述边缘检测的步骤如下：

(5)将输入图像与尺度为σ的高斯函数G(x,y)做卷积；

(6)对图像中的每个像素，用3*3邻域的梯度幅值计算方法估计局部边缘法线方向，X方向的偏导数；

(7)用非最大值抑制法找到边缘的位置；

(8)用双阈值方法检测和连接边缘；

实现所述直线检测与拟合方法的步骤如下：

(1)用随机Hough变换(RHT)确定直线的大致位置，找到直线参量和数量；

(2)根据步骤1所得到直线参数，计算图像上的点到直线的距离，根据该距离，可以确定每条直线附近的点集，从而剔除干扰点和噪声；

(3)用最小二乘法对边界点集进行直线拟合，即可得到较精确的直线参量。

实现所述合格检验的步骤如下：

(1)平整度

计算记录出的直线的斜率:

$k_{AB}=\frac{y_b-y_a}{x_b-x_a}$

$k_{CD}=\frac{y_d-y_c}{x_d-x_c}$

$k_{MN}=\frac{y_n-y_m}{x_n-x_m}$

直线MN的斜率为标准斜率，计算直线AB,CD斜率与标准斜率之间的误差，判断插槽平整度是否合格。

(2)尺寸及直线部分毛刺

计算线段AB,CD,X₁X₂，AC,BD之间的距离：

$S_{AB}=\sqrt{{(x_a-x_b)}^2+{(y_a-y_b)}^2}$

$s_{CD}=\sqrt{{(x_c-x_d)}^2+{(y_c-y_d)}^2}$

$s_{AC}=\sqrt{{(x_a-x_c)}^2+{(y_a-y_c)}^2}$

$s_{BD}=\sqrt{{(x_b-x_d)}^2+{(y_b-y_d)}^2}$

$S_{X1X2}=\sqrt{{(x_{X1}-x_{X2})}^2+{(y_{X1}-y_{X2})}^2}$

根据摄像机标定的参数，将像素距离转变为实际距离，计算测量距离与标准距离之间的误差，判断插槽长度，宽度尺寸是否合格。

计算得点A,C的中点 $K(\frac{x_a+x_c}{2},\frac{y_a+y_c}{2}),$ 点B,D的中点 $L(\frac{x_b+x_d}{2},\frac{y_b+y_d}{2}),$ 如图8中所示。

从记录的边缘点中提取横坐标在x_a与x_b之间，纵坐标小于min(y_d，y_c)的点，即上端直线的边缘点，计算这些点与直线KL的距离，然后转换为实际单位距离，比较其与标准距离的误差；提取横坐标在x_c与x_d之间，纵坐标大于max(y_b，y_a)的点，即下端直线的边缘点，计算这些点与直线KL的距离，然后转换为实际单位距离，比较其与标准距离的误差。在执行此过程中，若存在一定数量(可设置阈值)的误差较大的点，说明此处有毛刺或者残留物。

(3)半圆曲度

从记录的边缘点中提取横坐标小于max(x_a，x_c)，纵坐标在y_a和y_c中间的点，即左半圆弧的边缘点，计算每个点与K点之间的距离，转变为实际单位距离，与标准半圆的半径做比较，若存在一定数量的点误差较大，说明半圆不标准或者有毛刺；提取横坐标大于min(x_b，x_d)，纵坐标在y_b和y_d中间的点，即右半圆弧的边缘点，计算每个点与L点之间的距离，转变为实际单位距离，与标准半圆的半径做比较，若存在一定数量的点误差较大，说明右半圆不标准或者有毛刺。

本发明的有益效果是，采用基于图像处理的技术，实现精确定位、精密检测是自动化生产的有效途径；计算机视觉技术具有非接触测量、较宽的光谱范围及可长时间工作等优点，广泛应用于工业领域，可以快速、精确检验产品相关指标，速度快，维护成本低廉。

附图说明

图1是本发明手机外壳检测装置的实体示意图；

图2是本发明手机外壳检测装置的组成方框图；

图3是本发明手机外壳检测方法的总流程图；

图4是本发明手机外壳检测方法的图像处理流程图；

图5是本发明手机外壳检测方法目标区域提取的算法流程图；

图6是本发明手机外壳检测方法边缘检测的流程图；

图7是本发明中待测物的原灰度图；

图8是本发明中检测的灰度目标图像；

图9是本发明中检测的目标图像。

图中：

10、高清摄像机20、辅助光源

30、工业控制计算机。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明：

图1是本发明手机外壳检测装置的实体示意图；图2是本发明手机外壳检测装置的组成方框图；如图1图2所示，本发明一种基于计算机视觉的手机外壳检验装置，包括，高清摄像机10、辅助光源20和工业控制计算机30；所述辅助光源20照亮高清摄像机10的视野范围，高清摄像机10和辅助光源20设置于生产线的手机外壳检验工位，能够捕捉到需要精确检验的手机外壳的部位，用来对待检验的手机外壳进行图像的采集；工业控制计算机30分别与高清摄像机10和辅助光源20电连接，工业控制计算机30用来对图像进行处理识别，并输出检验结果。

所述的高清摄像机10和辅助光源20配对设置，数目为4-6组。所述高清摄像机10的型号为DigiRetina16型；所述辅助光源20采用的型号为P-PHFL-48-28-W型。

图3是本发明手机外壳检测方法的总流程图；如图3所示，所述手机外壳检验装置的方法，包括以下步骤：

(1)摄像机标定阶段；

(2)图像采集阶段；

(3)图像处理阶段；

(4)检测结果输出阶段。

由于对摄像机采集的图像处理后得到的参数是以像素为单位，而实际检测时，则需要使用实际距离的长度单位，因此，需要对检测到的参数进行标定，即对摄像机进行标定。为了从所拍摄到的图像获取被拍摄物体的空间信息，则需要先得到摄像机的参数，构建摄像机的成像几何模型，这个过程即摄像机标定。

在摄像机标定过程中，引入三个坐标系，即图像坐标系、摄像机坐标系和世界坐标系。采用张正友标定法，以针孔模型为基础，引入了透镜的径向畸变和切向畸变，该模型更能反映透镜的畸变情况。

设世界坐标系中的一点P(X_w，Y_w，Z_w)，该点在摄像机坐标系中的坐标为Q(X_c，Y_c，Z_c)，则经过三维空间刚体变换后得其转换公式：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

R为旋转矩阵，T为平移矩阵。归一化图像坐标设为(x_n,y_n)，则由透视投影的比例关系有：

$\left[\begin{array}{c}{x}_n\\ y_n\end{array}\right]=\left[\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\end{array}\right]$

设四维向量k_c＝(k₁,k₂,p₁,p₂)^T定义为径向与切向畸变系数，则归一化图像坐标(x_nd,y_nd)如下表示：

$\left[\begin{array}{c}{x}_{nd}\\ y_{nd}\end{array}\right]=\left[\begin{array}{c}{x}_n(1+k_1{r}^2+k_2{r}^4)+2p_1{x}_n{y}_n+p_2(r^2+2x_n^2)\\ y_n(1+k_1{r}^2+k_2{r}^4)+2p_2{x}_n{y}_n+p_1(r^2+2y_n^2)\end{array}\right]$

则世界坐标系中的P在图像平面上的像点(u,v)为

$\left\{\begin{array}{c}u=f_u{x}_{nd}+u_0\\ v=f_v{y}_{nd}+v_0\end{array}\right.$

即

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[\begin{array}{c}{x}_{nd}\\ y_{nd}\\ 1\end{array}\right]$

其中 $K=\left[\begin{array}{ccc}{f}_u& 0& u_0\\ 0& f_v& v_0\\ 0& 0& 1\end{array}\right]$ 即为摄像机标定的内参数矩阵，f_u，f_v为摄像机在图像像素坐标方向以像素为单位的焦距，即为外参数，(u₀,v₀)为主点。

图4是本发明手机外壳检测方法的图像处理流程图；如图4所示，摄像机标定阶段包括以下步骤：

(1)打印一张标定板；

(2)拍摄标定板各种角度的10幅图片；

(3)检测图片中的特征点；

(4)计算5个内部参数和所有的外部参数；

(5)通过最小二乘法现行求解径向畸变参数；

(6)通过求最小参数值，优化所有的参数。

待检验的手机壳由流水线传送到固定产品检验工位上，工控机控制光源和摄像机开启，然后对手机壳进行图像采集。

所述图像采集阶段包括以下步骤：

(1)灰度化；

(2)快速中值滤波；

(3)阈值分割；

(4)目标区域提取；

(5)边缘检测；

(6)直线检测与拟合；

(7)合格检验。

具体处理方案如下：

(1)灰度化

为了能够简化图像模型，减少图像原始数据量，对原图像进行灰度化，这是图像增强技术中一种非常基础的处理方法。在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。一般有以下四种方法对彩色图像进行灰度化：分量法、最大值法、平均值法、加权平均法。其中，常用加权平均法，即根据重要性及其它指标，将三个分量以不同的权值进行加权平均。

由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中(i，j)代表图像中像素点的坐标。

(2)快速中值滤波

由于实际获得的图像在形成、传输、接受和处理过程中，不可避免的存在着外部干扰和内部干扰，使得图像中存在一定程度的噪声干扰。为了改善图像质量和更加方便的抽出对象特征，要对图像进行去噪处理，一般称之为图像平滑或者滤波。中值滤波是一种常用的滤波方法，它可以衰减随机噪声同时又不使边界模糊，能较好的保护原始信号，在灰度值变化较小的情况下可以起到很好的平滑处理效果。中值滤波方法在一定条件下可以克服线性滤波器、最小均方滤波、平均值滤波等所带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效，可以保护图像边缘的同时去除噪声。

具体方法如下：

设有一个一维序列f₁,f₂,f₃,Λf_n，取该窗口长度为m(奇数)，从一维序列中相继抽取m个数f_i-v,Λf_i-1,f_if_i+1Λf_i+v，其中以f_i为窗口的中心点值，v＝(m-1)/2。再将这m个点值按照其数值大小排序，取中间的那个数作为滤波输出去，用数学公式表示为：

y_i＝med{f_i-v,Λf_i-1,f_if_i+1Λf_i+v}其中i∈Z,v＝(m-1)/2。

当滤波窗口在原始图像上从左到右滑动时，从当前位置移动到下一位置的方法是，去除窗口最左端一列像素，将与原窗口相邻接的一列像素加入到窗口中，由于原有的窗口中的像素灰度值是排序好的，因此，只需要对新加入的像素排序就可以了。该系统中采用的是3*3窗口，对窗口中每一列像素排序需要比较操作次数为3*(3-1)/2次，(即3次)。将新加入列表插入有序数列，比较操作次数为3*3次，总计算量为12次。比较次数比传统的中值滤波明显减少了，提高了中值滤波效率。

实现所述阈值分割的步骤如下：

(1)建立图像灰度直方图(共有L个灰度级，每个出现概率为p)

$N=\underset{i=0}{\overset{L-1}{\Σ}}{n}_i,p_i=n_i/N$

(2)计算背景和目标的出现概率，计算方法如下，

$p_A=\underset{i=0}{\overset{t}{\Σ}}{p}_i,p_B=\underset{i=t+1}{\overset{L-1}{\Σ}}{p}_i=1-p_A$

上式中假设t为所选定的阈值，A代表背景(灰度级为0～N),根据直方图中的元素可知，Pa为背景出现的概率，同理B为目标，Pb为目标出现的概率；

(3)计算A和B两个区域的类间方差如下：

${\mathrm{\ω}}_A=\underset{i=0}{\overset{t}{\Σ}}{\mathrm{ip}}_i/p_A,{\mathrm{\ω}}_B=\underset{i=t+1}{\overset{L-1}{\Σ}}{\mathrm{ip}}_i/p_B$

${\mathrm{\ω}}_0=p_A{\mathrm{\ω}}_A+p_B{\mathrm{\ω}}_B=\underset{i=0}{\overset{L-1}{\Σ}}{\mathrm{ip}}_i$

σ²＝p_A(ω_A-ω₀)²+p_B(ω_B-ω₀)²

第一个表达式分别计算A和B区域的平均灰度值；第二个表达式计算灰度图像全局的灰度平均值；第三个表达式计算A、B两个区域的类间方差；

一幅图像，包括，目标物体和背景，为了从多值的数字图像中只取出目标物体，最常用的办法就是，设定某一阈值T，用阈值T将图像的数据分成两大部分：大于T的像素群和小于T的像素群，称为图像的二值化。

阈值处理的过程是，先由用户指定或通过算法生成一个阈值，如果图像中某像素的灰度值小于该阈值，则将该像素的灰度值设置为0或者255，否则设为255或0。其函数表达式如下：

$f\left(x\right)=\left\{\begin{array}{c}0,x<T\\ 255,x>T\end{array}\right.$

实验条件不同时，手机外壳插槽图像的灰度级是不同的，为了提高普适性，通过一种动态阈值分割算法，确定图像中手机外壳插槽和周围背景进行二值化的阈值，即最大类间方差法。对于手机外壳图像灰度值主要集中在三个部分，即，插槽部分、图像背景和插槽周围被光源照亮的部分。三个范围值域差别较明显，可视为两类问题，以最大类间方差法对图像进行二值化，找出手机外壳与背景的最佳分离点，即自适应的二值化阈值，这种方法的主要思想是按照灰度特性，将图像划分为背景和目标两个部分，划分依据为选取门限值，使得背景和目标之间的方差最大。背景和目标之间的类间方差越大，说明这两部分的差别越大，当部分目标被错划分为背景或部分背景错划分为目标时，都会导致这两部分差别变小。因此，使用类间方差最大的分割意味着错分的概率最小。

实现所述阈值分割的步骤如下：

(1)建立图像灰度直方图(共有L个灰度级，每个出现概率为p)

$N=\underset{i=0}{\overset{L-1}{\&Sigma;}}{n}_i,p_i=n_i/N$

(2)计算背景和目标的出现概率，计算方法如下，

$p_A=\underset{i=0}{\overset{t}{\&Sigma;}}{p}_i,p_B=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}{p}_i=1-p_A$

上式中假设t为所选定的阈值，A代表背景(灰度级为0～N),根据

直方图中的元素可知，Pa为背景出现的概率，同理B为目标，Pb

为目标出现的概率；

(3)计算A和B两个区域的类间方差如下：

${\mathrm{\&omega;}}_A=\underset{i=0}{\overset{t}{\&Sigma;}}{\mathrm{ip}}_i/p_A,{\mathrm{\&omega;}}_B=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}{\mathrm{ip}}_i/p_B$

${\mathrm{\&omega;}}_0=p_A{\mathrm{\&omega;}}_A+p_B{\mathrm{\&omega;}}_B=\underset{i=0}{\overset{L-1}{\&Sigma;}}{\mathrm{ip}}_i$

σ²＝p_A(ω_A-ω₀)²+p_B(ω_B-ω₀)²

第一个表达式分别计算A和B区域的平均灰度值；第二个表达式计算灰度图像全局的灰度平均值；第三个表达式计算A、B两个区域的类间方差；

(4)对每个出现的灰度值据此进行寻优，找到能够使得A与B的类间灰度方差最大的灰度值，即为阈值，按此阈值将图像分割。

图5是本发明手机外壳检测方法目标区域提取的算法流程图；如图5所示，实现目标区域提取的步骤如下：

得到二值化图像后，先采用轮廓提取的方法将目标区域提取出来，基本原理就是掏空内部点。具体的讲，对于背景为白色，目标为黑色的二值图像，如果在图中找到一黑色点，且它的8领域点也均为黑色，说明该点是目标的内部点，将其置为白色，表现为掏空的状态；否则保持黑色不变，该点是目标的边界点。整幅图像完毕后就得到了目标的轮廓图。

轮廓检测与边缘检测的一点区别在于，轮廓检测出来后一定边缘信息一定是连续的，利用这一点可以为后续的边缘检测进行区域的选择。

对于采集的手机外壳图像来说，得到图像中所有的轮廓后，一定是插槽部分的轮廓最大，因此，可以粗略确定插槽部分在图像中的像素位置，将得到的粗略边缘点的坐标进行排序，寻找到最大最小的横纵坐标值，记为：X_max,X_min,Y_max,Y_min。然后，确定目标区域为长度为X_max-X_min,宽度为Y_max-Y_min的矩形作为目标区域，。设手机壳全部高度为h，确定灰度目标区域为长度为X_max-X_min，宽度为Y_max-Y_min+h/2的矩形作为灰度目标区域。两个目标区域的左右上角端点为(X_min,Y_min)，(X_max,Y_min)。

图6是本发明手机外壳检测方法边缘检测的流程图；如图6所示，在灰度图像中找到目标区域，采用改进的Canny算子进行边缘检测，可以将目标的精确边缘确定出来。

实现边缘检测的具体步骤如下：

(1)将输入图像与尺度为σ的高斯函数G(x,y)做卷积；

$G(x,y)=\frac{1}{2{\mathrm{\&pi;\&sigma;}}^2}\exp (-\frac{x^2+y^3}{2{\mathrm{\&sigma;}}^2})$

传统的Canny算子中的参数σ是人为设定，σ太大，则会使目标边缘变得模糊，σ太小，则除噪能力较差，为克服这些缺点，参数σ的选取应该根据图像的实际情况进行自动获取：在N*N窗口中，计算N*N窗口的均值

$M=\frac{1}{N*N}{\&Sigma;}_{n=1}^{N}f(i,j)$

方差

$D={\&Sigma;}_{n=1}^{N*N},{\left(f\right(i,j)-M)}^2$

整个图像中的最小方差

D_min＝min(D)

尺度参数其中即为均值的倒数，将参数σ的选取以每个窗口的灰度值作为参考，这样算法的适应性得到增强，同时可以保留更多的边缘信息。

(2)对图像中的每个像素，用3*3邻域的梯度幅值计算方法估计局部边缘法线方向，X方向的偏导数；

P_x(i，j)＝G(i，j+1)-G(i，j-1)，

Y方向的偏导数

P_v(i，j)＝G(i+1，j)-G(i-1，j)

45°方向偏导数

P₄₅(i，j)＝G(i-1，j+1)-G(i+1，j-1)

135°方向的偏导数

P₁₃₅(i，j)＝G(i+1，j+1)-G(i-1，j-1)

水平方向的差分

垂直方向的差分

$f_y(i,j)=P_y(i,j)+\frac{\&lsqb;p_{45}(i,j)-(i,j)\&rsqb;}{2}$

则梯度幅值为

$M(i,j)=\sqrt{f_x{(i,j)}^2+f_y}{(i,j)}^2$

梯度方向

$\mathrm{\&Theta;}(i,j)=\arctan \left[\frac{f_y(i,j)}{f_x(i,j)}\right]$

(3)用非最大值抑制法找到边缘的位置；

在梯度幅值图像M中以点(i,j)为中心3*3的邻域内沿梯度方向Θ(i，j)进行插值，当当前点(i,j)处的梯度幅值M(i，j)大于Θ(i，j)方向上与其相邻的2个插值，则将点(i,j)标记为候选边缘点，从而得到候选边缘点。

(4)用双阈值方法检测和连接边缘；

由于较高的亮度梯度比较有可能是边缘，但是没有一个确切的值来限定多大的亮度梯度是边缘多大又不是，所以Canny使用了滞后阈值。

滞后阈值需要两个阈值——高阈值与低阈值。假设图像中的重要边缘都是连续的曲线，这样我们就可以跟踪给定曲线中模糊的部分，并且避免将没有组成曲线的噪声像素当成边缘。所以我们从一个较大的阈值开始，这将标识出我们比较确信的真实边缘，使用前面导出的方向信息，我们从这些真正的边缘开始在图像中跟踪整个的边缘。在跟踪的时候，我们使用一个较小的阈值，这样就可以跟踪曲线的模糊部分直到我们回到起点。一旦这个过程完成，我们就得到了一个二值图像，每点表示是否是一个边缘点。

边缘点检测完毕后，将所有点的坐标存储，另外记录边缘点坐标中横坐标最大最小的两个点X₁(x_min,y₁),X₂(x_max,y₂)。

实现所述直线检测与拟合方法的步骤如下：

(1)用随机Hough变换(RHT)确定直线的大致位置，找到直线参量和数量；

(2)根据步骤1所得到直线参数，计算图像上的点到直线的距离，根据该距离，可以确定每条直线附近的点集，从而剔除干扰点和噪声；

(3)用最小二乘法对边界点集进行直线拟合，即可得到较精确的直线参量。

Hough变换的基本思想是，利用点和线在图像空间及参数空间的对偶性，图像空间上的每个边缘点与参数空间的一条正弦曲线对应，参数空间累加后搜索局部峰值，就可以得到最大可能的直线参数。

Hough变换方法检测直线对随机噪声有较强的鲁棒性，不受直线间断、局部遮挡等缺陷的影响，并且，在高噪声环境下还具有较强的检测率。但是传统的Hough变换计算时间长，而且需要的存储空间大，不能实现实时的检测。因此，提出了基于随机Hough变换(RHT)与最小二乘法LSM相结合的方法，在图像的背景噪声较强、直线存在一定弯曲时，该方法仍能有效的检测，检测精度较高。

对提取出的灰度目标图像以及目标图像均进行直线检测，图7是本发明中待测物的原灰度图；图8是本发明中检测的灰度目标图像；图9是本发明中检测的目标图像；对于灰度图像检测得到直线序列后，取检测到的最长直线，记录两端点坐标M(x_m,y_m)，N(x_n,y_n)，如图8所示。对于目标图像检测得到直线段序列后，记录直线上最左端端点A(x_a,y_a)和最右端端点B(x_b,y_b)，下面最左端端点C(x_c,y_c)，最右边端点D(x_d,y_d)四个角点坐标，如图9所示。

实现所述合格检验的步骤如下：

合格的标准为测量距离与实际距离的误差精确度为0.03mm。

(1)平整度

计算记录出的直线的斜率:

$k_{AB}=\frac{y_b-y_a}{x_b-x_a}$

$k_{CD}=\frac{y_d-y_c}{x_d-x_c}$

$k_{MN}=\frac{y_n-y_m}{x_n-x_m}$

直线MN的斜率为标准斜率，计算直线AB,CD斜率与标准斜率之间的误差，判断插槽平整度是否合格。

(2)尺寸及直线部分毛刺

计算线段AB,CD,X₁X₂，AC,BD之间的距离：

$s_{AB}=\sqrt{{(x_a-x_b)}^2+{(y_a-y_b)}^2}$

$s_{CD}=\sqrt{{(x_c-x_d)}^2+{(y_c-y_d)}^2}$

$s_{AC}=\sqrt{{(x_a-x_c)}^2+{(y_a-y_c)}^2}$

$s_{BD}=\sqrt{{(x_b-x_d)}^2+{(y_b-y_d)}^2}$

$S_{X1X2}=\sqrt{{(x_{X1}-x_{X2})}^2+{(y_{X1}-y_{X2})}^2}$

根据摄像机标定的参数，将像素距离转变为实际距离，计算测量距离与标准距离之间的误差，判断插槽长度，宽度尺寸是否合格。

计算得点A,C的中点 $K(\frac{x_a+x_c}{2},\frac{y_a+y_c}{2}),$ 点B,D的中点 $L(\frac{x_b+x_d}{2},\frac{y_b+y_d}{2}),$ 如图9中所示。

从记录的边缘点中提取横坐标在x_a与x_b之间，纵坐标小于min(y_d，y_c)的点，即上端直线的边缘点，计算这些点与直线KL的距离，然后转换为实际单位距离，比较其与标准距离的误差；提取横坐标在x_c与x_d之间，纵坐标大于max(y_b，y_a)的点，即下端直线的边缘点，计算这些点与直线KL的距离，然后转换为实际单位距离，比较其与标准距离的误差。在执行此过程中，若存在一定数量(可设置阈值)的误差较大的点，说明此处有毛刺或者残留物。

(3)半圆曲度

从记录的边缘点中提取横坐标小于max(x_a，x_c)，纵坐标在y_a和y_c中间的点，即左半圆弧的边缘点，计算每个点与K点之间的距离，转变为实际单位距离，与标准半圆的半径做比较，若存在一定数量的点误差较大，说明半圆不标准或者有毛刺；提取横坐标大于min(x_b，x_d)，纵坐标在y_b和y_d中间的点，即右半圆弧的边缘点，计算每个点与L点之间的距离，转变为实际单位距离，与标准半圆的半径做比较，若存在一定数量的点误差较大，说明右半圆不标准或者有毛刺。

工作原理简述如下：

本发明依据数字图像理论，以流水线上手机外壳插槽的检测及尺寸测量为研究目标，实现该零部件的检验装置与方法。

待检验的手机外壳由流水线传送到产品检验的固定工位上，工控机控制光源和摄像机的开启，取得局部图像，可检验直线平整度、圆度、尺寸。对采集到手机外壳的图像进行预处理，经快速中值滤波处理，减少了噪声的影响，通过对目标区域进行定位，提取目标区域，采用改进的Canny算子进行边缘检测，提取出边缘，采用基于RHT-LSM的算法进行直线拟合，根据取得的线段序列找到相应角点的坐标，并且，对手机外壳的两侧半圆区域进行测量，经摄像机标定，得到摄像机的内参数和外参数，得到世界坐标系中的长度和宽度，并且进行了误差分析。

本发明基于计算机视觉的流水线上手机外壳的精密测量，采用改进的Canny算子边缘检测算法，基于RHT-LSM的直线拟合，删除斜率大于给定阈值的直线段，找到相应的角点及坐标，将手机外壳两端的半圆型数据与给定的标准数据进行比较，得出边缘处切线斜率最大的点，即为最左端和最右端，从而得到图像坐标系中的长和宽；经对摄像机标定，得到摄像机的内参数和外参数，得到的世界坐标系中的长和宽与标准的长宽对比，由结果可得其误差在允许的范围内，且运行速度相对较快，满足测量精度以及快速计算的条件。

本发明采用基于图像处理的技术实现精确定位、精密检测是自动化生产的有效途径；计算机视觉技术具有非接触测量、较宽的光谱范围及可长时间工作等优点，广泛应用于工业领域，可以快速、精确检验产品相关指标，速度快，维护成本低廉。

值得指出的是，本发明的保护范围并不局限于上述具体实例方式，根据本发明的基本技术构思，也可用基本相同的结构，可以实现本发明的目的，只要本领域普通技术人员无需经过创造性劳动，即可联想到的实施方式，均属于本发明的保护范围。

Claims (7)

1.一种基于计算机视觉的手机外壳检验装置，其特征在于，包括，高清摄像机(10)、辅助光源(20)和工业控制计算机(30)；所述辅助光源(20)照亮高清摄像机(10)的视野范围，高清摄像机(10)和辅助光源(20)设置于生产线的手机外壳检验工位，能够捕捉到需要精确检验的手机外壳的部位；工业控制计算机(30)分别与高清摄像机(10)和辅助光源(20)电连接。

2.根据权利要求1所述的手机外壳检验装置，其特征在于，所述的高清摄像机(10)和辅助光源(20)配对设置，数目为4-6组。

3.根据权利要求1所述的手机外壳检验装置，其特征在于，所述高清摄像机(10)的型号为DigiRetina16型；所述辅助光源(20)采用的型号为P-PHFL-48-28-W型。

4.实现根据权利要求1所述手机外壳检验装置的方法，其特征在于，包括以下步骤：

(1)摄像机标定阶段；

(2)图像采集阶段；

(3)图像处理阶段；

(4)检测结果输出阶段。

5.根据权利要求4所述的手机外壳检验方法，其特征在于，所述摄像机标定阶段包括以下步骤：

(1)打印一张标定板；

(2)拍摄标定板各种角度的10幅图片；

(3)检测图片中的特征点；

(4)计算5个内部参数和所有的外部参数；

(5)通过最小二乘法现行求解径向畸变参数；

(6)通过求最小参数值，优化所有的参数。

6.根据权利要求4所述的手机外壳检验方法，其特征在于，所述图像采集阶段包括以下步骤：

(1)灰度化；

(2)快速中值滤波；

(3)阈值分割；

(4)目标区域提取；

(5)边缘检测；

(6)直线检测与拟合；

(7)合格检验。

7.根据权利要求6所述的手机外壳检验方法，其特征在于，实现所述灰度化的方法如下：

采用加权平均法，即根据重要性及其它指标，在RGB模型中，将R＝G＝B

三个分量以不同的权值进行加权平均能得到较合理的灰度图像：

f(i,j)＝0.30R(i,j)+0.59G(i,j)+0.11B(i,j))

其中(i，j)代表图像中像素点的坐标；

实现所述快速中值滤波的方法如下：

设有一个一维序列f₁,f₂,f₃,Λf_n，取该窗口长度为m(奇数)，从一维序列中相继抽取m个数f_i-v,Λf_i-1,f_if_i+1Λf_i+v，其中以f_i为窗口的中心点值，v＝(m-1)/2；再将这m个点值按照其数值大小排序，取中间的那个数作为滤波输出去，用数学公式表示为：

y_i＝med{f_i-v,Λf_i-1,f_if_i+1Λf_i+v}其中i∈Z,v＝(m-1)/2；

当滤波窗口在原始图像上从左到右滑动时，从当前位置移动到下一位置的方法是：去除窗口最左端一列像素，将与原窗口相邻接的一列像素加入到窗口中，由于原有的窗口中的像素灰度值是排序好的，因此，只需要对新加入的像素排序就可以了；该系统中采用的是3*3窗口，对窗口中每一列像素排序需要比较操作次数为3*(3-1)/2次，(即3次)；将新加入列表插入有序数列，比较操作次数为3*3次，总计算量为12次；

实现所述阈值分割的步骤如下：

(1)建立图像灰度直方图(共有L个灰度级，每个出现概率为p)

$N=\underset{i=0}{\overset{L-1}{\&Sigma;}}{n}_i,p_i=n_i/N$

(2)计算背景和目标的出现概率，计算方法如下，

$p_A=\underset{i=0}{\overset{t}{\&Sigma;}}{p}_i,p_B=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}{p}_i=1-p_A$

上式中假设t为所选定的阈值，A代表背景(灰度级为0～N),根据直方图中的元素可知，Pa为背景出现的概率，同理B为目标Pb为目标出现的概率；

(3)计算A和B两个区域的类间方差如下：

$\begin{array}{c}{\mathrm{\&omega;}}_A=\underset{i=0}{\overset{t}{\&Sigma;}}{\mathrm{ip}}_i/p_A,{\mathrm{\&omega;}}_B=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}{\mathrm{ip}}_i/p_B\\ {\mathrm{\&omega;}}_0=p_A{\mathrm{\&omega;}}_A+p_B{\mathrm{\&omega;}}_B=\underset{i=0}{\overset{L-1}{\&Sigma;}}{\mathrm{ip}}_i\\ {\mathrm{\&sigma;}}^2=p_A{({\mathrm{\&omega;}}_A-{\mathrm{\&omega;}}_0)}^2+p_B{({\mathrm{\&omega;}}_B-{\mathrm{\&omega;}}_0)}^2\end{array}$

第一个表达式分别计算A和B区域的平均灰度值；第二个表达式计算灰度图像全局的灰度平均值；第三个表达式计算A、B两个区域的类间方差；

(4)对每个出现的灰度值据此进行寻优，找到能够使得A与B的类间灰度方差最大的灰度值，即为阈值，按此阈值将图像分割；

实现目标区域提取的方法如下：

得到二值化图像后，先采用轮廓提取的方法，将目标区域提取出来，将得到的粗略边缘点的坐标进行排序，寻找到最大最小的横纵坐标值，记为：X_max,X_min,Y_max,Y_min，然后，确定目标区域为长度为X_max-X_min,宽度为Y_max-Y_min的矩形作为目标区域，设手机壳全部高度为h，确定灰度目标区域为长度为X_max-X_min，宽度为Y_max-Y_min+h/2的矩形作为灰度目标区域，两个目标区域的左右上角端点为(X_min,Y_min)，(X_max,Y_min)；

实现所述边缘检测的步骤如下：

(1)将输入图像与尺度为σ的高斯函数G(x,y)做卷积；

(2)对图像中的每个像素，用3*3邻域的梯度幅值计算方法估计局部边缘法线方向，X方向的偏导数；

(3)用非最大值抑制法找到边缘的位置；

(4)用双阈值方法检测和连接边缘；

实现所述直线检测与拟合方法的步骤如下：

(1)用随机Hough变换(RHT)确定直线的大致位置，找到直线参量和数量；

(2)根据步骤1所得到直线参数，计算图像上的点到直线的距离，根据该距离，可以确定每条直线附近的点集，从而剔除干扰点和噪声；

(3)用最小二乘法对边界点集进行直线拟合，即可得到较精确的直线参量；

实现所述合格检验的步骤如下：

(1)平整度

计算记录出的直线的斜率:

$k_{AB}=\frac{y_b-y_a}{x_b-x_a}$

$k_{CD}=\frac{y_d-y_c}{x_d-x_c}$

$k_{MN}=\frac{y_n-y_m}{x_n-x_m}$

直线MN的斜率为标准斜率，计算直线AB,CD斜率与标准斜率之间的误差，判断插槽平整度是否合格；

(2)尺寸及直线部分毛刺

计算线段AB,CD,X₁X₂，AC,BD之间的距离：

$s_{AB}=\sqrt{{(x_a-x_b)}^2+{(y_a-y_b)}^2}$

$s_{CD}=\sqrt{{(x_c-x_d)}^2+{(y_c-y_d)}^2}$

$s_{AC}=\sqrt{{(x_a-x_c)}^2+{(y_a-y_c)}^2}$

$S_{BD}=\sqrt{{(x_b-x_d)}^2+{(y_b-y_d)}^2}$

$S_{X1X2}=\sqrt{{(x_{X1}-x_{X2})}^2+{(y_{X1}-y_{X2})}^2}$

根据摄像机标定的参数，将像素距离转变为实际距离，计算测量距离与标准距离之间的误差，判断插槽长度，宽度尺寸是否合格；

计算得点A,C的中点点B,D的中点从记录的边缘点中提取横坐标在x_a与x_b之间，纵坐标小于min(y_d，y_c)的点，即上端直线的边缘点，计算这些点与直线KL的距离，然后转换为实际单位距离，比较其与标准距离的误差；提取横坐标在x_c与x_d之间，纵坐标大于max(y_b，y_a)的点，即下端直线的边缘点，计算这些点与直线KL的距离，然后转换为实际单位距离，比较其与标准距离的误差；在执行此过程中，若存在一定数量的误差较大的点，说明此处有毛刺或者残留物；

(3)半圆曲度

从记录的边缘点中提取横坐标小于max(x_a，x_c)，纵坐标在y_a和y_c中间的点，即左半圆弧的边缘点，计算每个点与K点之间的距离，转变为实际单位距离，与标准半圆的半径做比较，若存在一定数量的点误差较大，说明半圆不标准或者有毛刺；提取横坐标大于min(x_b，x_d)，纵坐标在y_b和y_d中间的点，即右半圆弧的边缘点，计算每个点与L点之间的距离，转变为实际单位距离，与标准半圆的半径做比较，若存在一定数量的点误差较大，说明右半圆不标准或者有毛刺。