CN106651828A - 一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法 - Google Patents

Abstract

一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，涉及一种基于机器视觉的工业产品尺寸高精度测量方法。为了解决在工业采集图像存在小尺度运动模糊时现有主流亚像素测量算法存在精度低的问题，本发明首先对工业元件图像进行灰度化和中值滤波处理，采用Canny算子进行边缘粗提取并进行局部连通域处理；然后对图中的直线边缘和弧形边缘进行检测与识别，并计算原始灰度图像上对应各边缘所含像素的法向量，计算缘像素沿其法向量方向上灰度值差分，求解二次拟合曲线最大值所在的位置并进行判断，最后对直线边缘有效亚像素位置进行直线最小二乘拟合，求解工业元件各个尺寸参数。本发明适用于产品尺寸的亚像素测量。

Description

一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量 方法

技术领域

本发明涉及一种基于机器视觉的工业产品尺寸高精度测量方法。

背景技术

工业产品尺寸测量是工业检测的重要组成部分，测量技术的水平是衡量工业发展水平的重要指标。在产品生产批量化、种类的多样化、品控要求的严格化的现代化生产模式下，传统的人工测量方法已经无法满足生产者在效率、成本以及信息化等方面的要求。以图像处理技术为理论基础的视觉测量技术在灵活性、可移植性、成本以及检测速度和精度等方面表现出了显著的优势，已经在航天、航空、汽车电子等高精度生产制造领域得到了较为广泛的应用。

视觉测量系统中，已标定工业相机对被测工业元件进行图像采集，视觉测量算法通过对采集图像中元件边缘的提取和拟合来求解元件的尺寸参数。因此，在摄像机标定精度相对准确时，影响元件测量精度的主要因素在于图像处理过程中的边缘位置的提取精度。

传统边缘提取算法，例如一阶的Prewitt算子、Sobel算子，以及二阶的Canny算子、LoG算子等，其提取精度均为像素级别，无法满足高精度测量场合下的精度要求。亚像素提取算法是在传统边缘提取算法的基础之上发展而来的，该类算法建立在传统算法得到的像素级边缘的基础之上，结合边缘像素的邻域灰度信息，采用插值、拟合等方法，对其进行精确定位。现有主流的亚像素边缘检测方法主要分为：基于小波变换的方法、基于矩的方法、基于插值或拟合的方法。

但在工业产品实际动态测量条件下，当工业采集图像存在小尺度运动模糊时，现有主流亚像素测量算法存在精度低、鲁棒性差的问题。在实际工业检测过程中，为了保证检测流程的高效化，对工业元件的测量一般采用运动流水作业的方式，然而待测元件与成像系统之间的相对运动容易导致所采集图像产生小尺度的运动模糊(图像运动模糊尺度一般小于7像素)。在工业图像存在小尺度模糊退化情形下，现有亚像素测量方法的测量精度和稳定性较差，例如德国Halcon机器视觉软件中，视觉测量算法在上述情况下的平均测量相对标准差为0.99％。对于上述问题，现有的解决方法是采用静态图像采集的方式或改用高速视觉测量系统，但前者显然会降低工业产品的检测效率，后者会增加工业视觉检测系统的成本。

发明内容

本发明为了解决在工业采集图像存在小尺度运动模糊时现有主流亚像素测量算法存在精度低的问题。

一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，包括以下步骤：

步骤一、对工业相机采集得到的工业元件图像进行灰度化和中值滤波处理，得到原始灰度图像；

步骤二、针对原始灰度图像，采用Canny算子进行边缘粗提取，确定边缘位置；对提取得到的边缘像素进行局部连通域处理，得到完整边缘二值图像；

步骤三、对完整边缘二值图像进行连通域标记，对已标记的连通区域进行筛选，保留连通区域中所含像素的个数大于预设阈值T的连通区域；

步骤四、对步骤三得到的经过连通域筛选后的完整边缘二值图像，分别采用Hough直线检测方法和Hough圆检测方法，对图中的直线边缘和弧形边缘进行检测与识别，得到满足不同直线参数的直线型边缘集合，以及满足不同圆参数的弧形边缘集合；并将所述满足不同直线参数或圆参数的边缘视为不同类型边缘；

步骤五、根据完整边缘二值图像上的不同类型边缘，计算原始灰度图像上对应各边缘所含像素的法向量；

步骤六、针对得到的每个边缘像素的法向量，基于图像插值方法求解每个边缘像素沿其法向量方向上的前后共2n+1个采样点的灰度值，其中n为预设值，且相邻采样点的间距为1像素；计算相邻采样点沿法向量方向的灰度值差分，得到2n个灰度差分值；对灰度差分值进行对于自然对数变换和二次曲线拟合，求解二次拟合曲线最大值所在的位置；

步骤七、对每个边缘像素的二次拟合曲线最大值所在的位置进行判断：如果拟合曲线最大值所在位置与对应边缘像素的位置之间的距离小于n，则将此拟合曲线最大值所在位置认为有效亚像素位置；否则，舍弃该最大值位置，视对应边缘像素的亚像素位置提取失败；

步骤八、对直线边缘有效亚像素位置进行直线最小二乘拟合；对弧形边缘有效亚像素位置进行圆最小二乘拟合；根据拟合结果，求解工业元件各个尺寸参数。

优选地，步骤二所述的对提取得到的边缘像素进行局部连通域处理得到完整边缘二值图像的具体步骤如下：

步骤二一、对Canny边缘粗提取得到的边缘位置上的每个像素进行遍历；

步骤二二、对于每个像素，以该像素为中心，选择3x3大小的邻域窗口；

步骤二三、如果该邻域窗口内连通域的个数大于或等于2时，则通过在这些连通域之间填充像素，使其形成一个完整的连通域；否则，不进行任何操作；最终得到完整边缘二值图像；

其中，连通域是指像素位置之间满足8连通的像素集合。

优选地，步骤三所述的对已标记的连通区域进行筛选保留连通区域中所含像素的个数大于预设阈值T的连通区域的具体步骤如下：

步骤三一、对完整边缘二值图像进行连通域标记，此时每个完整的边缘视为一个连通域，并分配有一个唯一的编号；

步骤三二、对每个连通域进行分析：判断该连通域内包含的像素个数，是否大于预设阈值T；

步骤三三、如果大于所述预设阈值T，则保留所述连通域；否则，将所述连通域进行剔除。

优选地，步骤五所述的计算原始灰度图像上对应各边缘所含像素的具体步骤如下：

步骤五一、根据完整边缘二值图像上的不同类型边缘，在原始灰度图像上，针对各个边缘所包含的每个像素，计算其沿图像x方向和y方向的偏微分值，并将得到的偏微分值构成一个向量；

步骤五二、将步骤五一得到的偏微分值构成的向量进行归一化，并将归一化后的向量作为原始灰度图像上对应边缘像素的法向量。

优选地，所述步骤六的具体过程如下：

步骤六一、在原始灰度图像上，对所有边缘像素进行如下操作：以边缘像素位置为原点，沿其边缘法向量方向左、右各等间距各选择n个位置作为采样点，采用图像双线性插值方法确定这2n+1个采样点的图像灰度值；

步骤六二、步骤六一得到2n+1个采样点的图像灰度值后，计算相邻采样点沿该像素法向量方向的灰度值差分，形成2n个灰度差分值；

步骤六三、首先对步骤六二得到的2n个灰度差分值进行自然对数变换，然后将变换之后的2n个值进行二次曲线拟合，确定拟合参数；

步骤六四、利用步骤六三得到的二次曲线拟合参数，求解二次拟合曲线最大值所在的位置。

优选地，步骤八所述的求解工业元件各个尺寸参数的具体过程如下：

针对工业元件上需要确定尺寸的边缘或部位，依据根据拟合结果求解工业元件的尺寸。

本发明具有以下有益效果：

1)本发明解决了现有工业视觉高精度测量算法在工业小尺度运动模糊成像条件下，测量精度低、鲁棒性差的技术问题；即本发明能够在工业小尺度运动模糊成像条件下实现小尺度部件的高精度测量。

2)较现有国内外广泛使用的Halcon机器算法库，本发明算法在测量的稳定性和准确性上有较大的优越性：对于低速动态测量情形下的小尺度运动模糊图像(模糊尺度小于7个像素)，在测量稳定性方面：本算法的平均测量相对标准差为0.23％，明显优于Halcon视觉软件0.99％的平均测量相对标准差；在测量精度方面：本算法的最大相对测量误差为0.49％，明显优于Halcon视觉软件1.36％的最大相对测量误差。

附图说明

图1是本发明的流程示意图；

图2a是被测产品的实物图，图2b是利用Canny算子进行边缘粗提取并进行局部连通域处理得到的边缘二值图像的效果图；

图3a采用Hough直线检测方法和Hough圆检测方法对边缘二值图像中的直线边缘检测与识别的效果图，图3b采用Hough直线检测方法和Hough圆检测方法对边缘二值图像中的弧形边缘检测与识别的效果图；

图4是步骤五至步骤六所述从计算原始灰度图像上对应各边缘所含像素的法向量到确定二次拟合曲线最大值所在的位置的过程示意图；

图5是本发明对得到的每一类型弧形边缘的有效亚像素位置进行圆最小二乘拟合的效果图。

具体实施方式

具体实施方式一：结合图1至图5说明本实施方式，

一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，包括以下步骤：

步骤一、对工业相机采集得到的工业元件图像进行灰度化和中值滤波处理，得到原始灰度图像；

步骤二、针对原始灰度图像，采用Canny算子进行边缘粗提取，确定边缘位置；对提取得到的边缘像素进行局部连通域处理，得到完整边缘二值图像；

步骤三、对完整边缘二值图像进行连通域标记，对已标记的连通区域进行筛选，保留连通区域中所含像素的个数大于预设阈值T的连通区域；

步骤四、对步骤三得到的经过连通域筛选后的完整边缘二值图像，分别采用Hough直线检测方法和Hough圆检测方法，对图中的直线边缘和弧形边缘进行检测与识别，得到满足不同直线参数的直线型边缘集合，以及满足不同圆参数的弧形边缘集合；并将所述满足不同直线参数或圆参数的边缘视为不同类型边缘，如图3a和图3b所示；

步骤五、根据完整边缘二值图像上的不同类型边缘，计算原始灰度图像上对应各边缘所含像素的法向量；

步骤六、针对得到的每个边缘像素的法向量，基于图像插值方法求解每个边缘像素沿其法向量方向上的前后共2n+1个采样点的灰度值，其中n为预设值，且相邻采样点的间距为1像素；计算相邻采样点沿法向量方向的灰度值差分，得到2n个灰度差分值；对灰度差分值进行对于自然对数变换和二次曲线拟合，求解二次拟合曲线最大值所在的位置；

步骤七、对每个边缘像素的二次拟合曲线最大值所在的位置进行判断：如果拟合曲线最大值所在位置与对应边缘像素的位置之间的距离小于n，则将此拟合曲线最大值所在位置认为有效亚像素位置；否则，舍弃该最大值位置，视对应边缘像素的亚像素位置提取失败；

步骤八、对直线边缘有效亚像素位置进行直线最小二乘拟合；对弧形边缘有效亚像素位置进行圆最小二乘拟合；根据拟合结果，求解工业元件各个尺寸参数。

具体实施方式二：结合图2a和图2b说明本实施方式，

本实施方式的步骤二所述的对提取得到的边缘像素进行局部连通域处理得到完整边缘二值图像的具体步骤如下：

步骤二一、对Canny边缘粗提取得到的边缘位置上的每个像素进行遍历；

步骤二二、对于每个像素，以该像素为中心，选择3x3大小的邻域窗口；

步骤二三、如果该邻域窗口内连通域的个数大于或等于2时，则通过在这些连通域之间填充像素，使其形成一个完整的连通域；否则，不进行任何操作；最终得到完整边缘二值图像；

其中，连通域是指像素位置之间满足8连通的像素集合。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：

本实施方式的步骤三所述的对已标记的连通区域进行筛选保留连通区域中所含像素的个数大于预设阈值T的连通区域的具体步骤如下：

步骤三一、对完整边缘二值图像进行连通域标记，此时每个完整的边缘视为一个连通域，并分配有一个唯一的编号；

步骤三二、对每个连通域进行分析：判断该连通域内包含的像素个数，是否大于预设阈值T；

步骤三三、如果大于所述预设阈值T，则保留所述连通域；否则，将所述连通域进行剔除。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式步骤五所述的计算原始灰度图像上对应各边缘所含像素的具体步骤如下：

步骤五一、根据完整边缘二值图像上的不同类型边缘，在原始灰度图像上，针对各个边缘所包含的每个像素，计算其沿图像x方向和y方向的偏微分值：

G_x(x,y)＝f(x+1,y)-f(x,y)

G_y(x,y)＝f(x,y+1)-f(x,y)

式中，f(x,y)为像素位置(x,y)处的图像灰度值；f(x+1,y)为像素位置(x+1,y)处的图像灰度值；f(x,y+1)为像素位置(x,y+1)处的图像灰度值；G_x(x,y)、G_y(x,y)分别为图像像素位置(x,y)在x方向和y方向偏微分值；

并将得到的偏微分值构成一个向量；

步骤五二、将步骤五一得到的偏微分值构成的向量进行归一化，并将归一化后的向量作为原始灰度图像上对应边缘像素的法向量。

其中，归一化公式如下：

式中，[n_x(x,y),n_y(x,y)]为像素位置(x,y)在其边缘位置处的边缘法向量。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：

本实施方式所述步骤六的具体过程如下：

步骤六一、在原始灰度图像上，对所有边缘像素进行如下操作：以边缘像素位置为原点，沿其边缘法向量方向左、右各等间距各选择n个位置作为采样点，采用图像双线性插值方法确定这2n+1个采样点的图像灰度值；

步骤六二、步骤六一得到2n+1个采样点的图像灰度值后，计算相邻采样点沿该像素法向量方向的灰度值差分，形成2n个灰度差分值；

步骤六三、首先对步骤六二得到的2n个灰度差分值进行自然对数变换，然后将变换之后的2n个值进行二次曲线拟合，确定拟合参数；

二次拟合曲线f(x_λ)的表达式如下：

f(x_λ)＝Ax_λ ²+Bx_λ+C

其中，x_λ为拟合二次拟合曲线的自变量，A、B、C分别是拟合参数；

步骤六四、利用步骤六三得到的二次曲线拟合参数，求解二次拟合曲线最大值所在的位置。其中，二次拟合曲线最大值所在的图像位置的计算方法为：

式中，(x_sub,y_sub)为二次拟合曲线最大值所在的图像位置，(x,y)为原边缘像素位置。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：

本实施方式步骤八所述的求解工业元件各个尺寸参数的具体过程如下：

针对工业元件上需要确定尺寸的边缘或部位，依据根据拟合结果求解工业元件的尺寸。

其它步骤及参数与具体实施方式一至五之一相同。

Claims (6)

1.一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，其特征在于，包括以下步骤：

步骤一、对工业相机采集得到的工业元件图像进行灰度化和中值滤波处理，得到原始灰度图像；

步骤二、针对原始灰度图像，采用Canny算子进行边缘粗提取，确定边缘位置；对提取得到的边缘像素进行局部连通域处理，得到完整边缘二值图像；

步骤三、对完整边缘二值图像进行连通域标记，对已标记的连通区域进行筛选，保留连通区域中所含像素的个数大于预设阈值T的连通区域；

步骤四、对步骤三得到的经过连通域筛选后的完整边缘二值图像，分别采用Hough直线检测方法和Hough圆检测方法，对图中的直线边缘和弧形边缘进行检测与识别，得到满足不同直线参数的直线型边缘集合，以及满足不同圆参数的弧形边缘集合；并将所述满足不同直线参数或圆参数的边缘视为不同类型边缘；

步骤五、根据完整边缘二值图像上的不同类型边缘，计算原始灰度图像上对应各边缘所含像素的法向量；

步骤六、针对得到的每个边缘像素的法向量，基于图像插值方法求解每个边缘像素沿其法向量方向上的前后共2n+1个采样点的灰度值，其中n为预设值，且相邻采样点的间距为1像素；计算相邻采样点沿法向量方向的灰度值差分，得到2n个灰度差分值；对灰度差分值进行对于自然对数变换和二次曲线拟合，求解二次拟合曲线最大值所在的位置；

步骤七、对每个边缘像素的二次拟合曲线最大值所在的位置进行判断：如果拟合曲线最大值所在位置与对应边缘像素的位置之间的距离小于n，则将此拟合曲线最大值所在位置认为有效亚像素位置；否则，舍弃该最大值位置，视对应边缘像素的亚像素位置提取失败；

步骤八、对直线边缘有效亚像素位置进行直线最小二乘拟合；对弧形边缘有效亚像素位置进行圆最小二乘拟合；根据拟合结果，求解工业元件各个尺寸参数。

2.根据权利要求1所述的一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，其特征在于，步骤二所述的对提取得到的边缘像素进行局部连通域处理得到完整边缘二值图像的具体步骤如下：

步骤二一、对Canny边缘粗提取得到的边缘位置上的每个像素进行遍历；

步骤二二、对于每个像素，以该像素为中心，选择3x3大小的邻域窗口；

步骤二三、如果该邻域窗口内连通域的个数大于或等于2时，则通过在这些连通域之间填充像素，使其形成一个完整的连通域；否则，不进行任何操作；最终得到完整边缘二值图像；

其中，连通域是指像素位置之间满足8连通的像素集合。

3.根据权利要求2所述的一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，其特征在于，步骤三所述的对已标记的连通区域进行筛选保留连通区域中所含像素的个数大于预设阈值T的连通区域的具体步骤如下：

步骤三一、对完整边缘二值图像进行连通域标记，此时每个完整的边缘视为一个连通域，并分配有一个唯一的编号；

步骤三二、对每个连通域进行分析：判断该连通域内包含的像素个数，是否大于预设阈值T；

步骤三三、如果大于所述预设阈值T，则保留所述连通域；否则，将所述连通域进行剔除。

4.根据权利要求3所述的一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，其特征在于，步骤五所述的计算原始灰度图像上对应各边缘所含像素的具体步骤如下：

步骤五一、根据完整边缘二值图像上的不同类型边缘，在原始灰度图像上，针对各个边缘所包含的每个像素，计算其沿图像x方向和y方向的偏微分值，并将得到的偏微分值构成一个向量；

步骤五二、将步骤五一得到的偏微分值构成的向量进行归一化，并将归一化后的向量作为原始灰度图像上对应边缘像素的法向量。

5.根据权利要求4所述的一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，其特征在于，所述步骤六的具体过程如下：

步骤六一、在原始灰度图像上，对所有边缘像素进行如下操作：以边缘像素位置为原点，沿其边缘法向量方向左、右各等间距各选择n个位置作为采样点，采用图像双线性插值方法确定这2n+1个采样点的图像灰度值；

步骤六二、步骤六一得到2n+1个采样点的图像灰度值后，计算相邻采样点沿该像素法向量方向的灰度值差分，形成2n个灰度差分值；

步骤六三、首先对步骤六二得到的2n个灰度差分值进行自然对数变换，然后将变换之后的2n个值进行二次曲线拟合，确定拟合参数；

步骤六四、利用步骤六三得到的二次曲线拟合参数，求解二次拟合曲线最大值所在的位置。

6.根据权利要求1至5之一所述的一种工业小尺度运动模糊成像条件下的产品尺寸亚像素测量方法，其特征在于，步骤八所述的求解工业元件各个尺寸参数的具体过程如下：

针对工业元件上需要确定尺寸的边缘或部位，依据根据拟合结果求解工业元件的尺寸。