CN101477685A - 具有景深零件加工质量的亚像素级图像检测方法 - Google Patents

Abstract

本发明公开一种具有景深物件的亚像素级图像测量方法。所述的图像检测方法包括：对机器视觉系统进行分层标定；对原始图像进行插值运算，通过粗精两步法实现零件边缘的精确定位；利用建立的图像各层面与零件各层面映射关系，计算具有景深零件的形状、关键尺寸参数，通过比较分析获得零件加工质量数据。本发明的零件加工质量在线检测方法计算速度快，检测精度高，能满足高速自动化生产线的实时性要求。

Description

具有景深零件加工质量的亚像素级图像检测方法

技术领域

本发明涉及一种零件加工质量的检测方法，特别涉及具有景深零件加工质量的亚像素级图像检测方法。

背景技术

基于机器视觉的方法大量地用在机械生产线上零件加工质量的检测领域，包括测量零件的几何形状、尺寸信息。为了提高生产线上零件检测的精度，人们开始使用亚像素级的图像处理方法。由于亚像素级图像处理算法要进行插值运算，计算时间较长，将影响视觉检测系统的实时性。机械零件大多都具有景深视差，对具有景深视差的零件加工质量的图像检测，目前的方法有：(1)采用双目视觉通过图像预处理、亚像素边界提取、立体匹配和圆边界拟合等步骤完成测量，该方法过程较为复杂，很难应用于机械零件生产线的实时检测；(2)利用双目视觉进行过立体匹配实现三维重建，该方法对机械零件的检测精度很难满足检测要求，其正确检测率和可靠性也难以满足工业生产线实时检测的要求。

发明内容

本发明的目的是提供了一种具有景深零件加工质量的亚像素级图像检测方法，该方法操作简便，检测精度高，能满足高速生产线的实时性需要。

本发明提供的具有景深的零件加工质量亚像素级图像检测方法包括：

1)对机器视觉系统进行分层标定；

2)对原始图像进行插值运算，通过粗精两步法实现零件边缘的精确定位；

3)利用建立的图像各层面与零件各层面的映射关系，计算具有景深零件的形状、关键尺寸参数，通过比较分析获得质量数据。

所述的对机器视觉系统进行分层标定包括：使用标准件对机器视觉系统进行分层标定，边缘检测提取出的各个层面的边缘线，把标准件的平面图像分割成若干区域，每个区域可以看作是立体标准件的一个景深层面在平面图像上的投影区域，根据映射关系实现对机器视觉系统的标定。

所述的对原始图像进行插值运算，通过粗精两步法实现零件边缘的精确定位包括：对摄像机拍摄的原始图像进行双线性插值，提高图像的分辨率。由于传统的双线性插值算法比较复杂，为了减小插值计算量，提高检测实时性，本发明采用了一种双线性和最近邻域插值相结合的算法进行图像插值。采用Robert边缘检测算子检测物体的粗边缘，检测到像素级的粗边缘后，利用Hough变换定位直线段边缘位置，获取各个景深层面在平面图像上投影区域的直线段边缘位置，精度达到像素级。由于Hough运算过于复杂，本发明利用查表法对Hough变换的计算过程进行了优化。针对已进行粗定位的直线段边缘线，利用基于图像灰度矩的算法将直线段边缘线上像素点的定位精度精确到亚像素级，再对得到的离散点集运用最小二乘直线拟合法进行直线拟合处理，将直线段边缘线的定位精度提高到亚像素级，精确地建立图像上各个层面的投影区域到对应机械零件各个层面的映射。

所述的利用建立的图像各层面与零件各层面的映射关系，计算具有景深零件的形状、关键尺寸参数，通过比较分析获得质量数据包括：根据精确定位的各层面边缘线，确定图像中的待测尺寸所处于的实际层面，然后利用分层标定的结果选择相应层面的物面分辨率，计算出零件的形状数据、关键的尺寸参数，通过与待检测零件的设计数据比较，来判断零件是否合格。

本发明提供的对具有景深的零件加工质量进行检测的亚像素级图像检测方法，能满足高速生产线的实时性需要，对大约1cm的物体进行尺寸测量，精度可以达到0.01mm，而且有很高的检测速度。

附图说明

图1是本发明方法的检测流程图；

图2是图像插值与边缘定位处理效果图，

(a)具有景深的零件原图，(b)插值后图像，(c)边缘定位后图像；

图3是分层标定的剖面示意图和俯视示意图。

下面结合附图对本发明的内容作进一步详细说明。

具体实施方式

本发明提供了一种具有景深零件加工质量的亚像素级图像检测方法，该方法利用单摄像机采集图像，根据景深差异分割图像，同时通过插值计算实现对零件加工质量的高精度检测。

下面将结合附图对本发明进行详细描述。

参照图1所示，本发明提供的零件加工质量检测方法具体步骤如下：

1)对待测零件的原始图像进行插值运算，并对图像的直线段边缘进行粗定位；

2)对各个景深层面在投影区域的边缘线进行亚像素级精定位；

3)根据零件不同景深层面的物面分辨率，求出零件的形状、尺寸数据。

通过与待检测零件的设计数据比较，来判断零件是否合格。

所述的对原始图像进行插值运算，并对图像的直线段边缘进行粗定位包括：针对机械零件图像的特点，采用一种双线性插值和最近邻域插值相结合的算法进行图像插值；然后，利用计算过程得到优化的Hough变换对插值后的图像进行处理，粗定位待测机械零件各个层面在图像上投影区域的直线段边缘。

参照图2(a)、(b)、(c)所示，为了提高图像的分辨率和边缘粗定位精度，需要对图像进行插值运算。在线图像检测系统对实时性要求很高，由于传统的双线性插值算法比较复杂，它不能满足高速生产线的实时性需要。机械零件的图像上往往具有大面积的深色背景区域和在光源下呈白亮的零件表面区域，其特点是相邻像素之间的灰度几乎没有差异，不能提供零件图像检测所需要的有用信息。因此，为了减小插值运算量，改善系统的检测实时性，采用双线性插值和最近邻域插值相结合的算法进行图像插值。

假设要在坐标为(x，y)的点插值新的图像像素，该点(x，y)处灰度值为f(x，y)，已知其左上、左下、右上、右下4个点为Q₁₁、Q₁₂、Q₂₁、Q₂₂，它们的像素灰度值分别为f(Q₁₁)、f(Q₁₂)、f(Q₂₁)、f(Q₂₂)。本发明采用的插值运算方法是：对(x，y)周围的四个点Q₁₁、Q₁₂、Q₂₁、Q₂₂，用排序的办法求出其中灰度值最大和最小两个点的灰度值f(Q_max)和f(Q_min)，选择合理的阈值T。当|f(Q_max)-f(Q_min)|≥T时，采用传统的双线性插值算法进行运算；当|f(Q_max)-f(Q_min)|<T时，按照就近原则，将(x，y)点的非整数坐标四舍五入得到整数点坐标值(x，y)，(x，y)必定是Q₁₁、Q₁₂、Q₂₁、Q₂₂中的某点坐标，表示为点Q_αβ，则有f(x，y)＝f(Q_αβ)。利用上述算法，减少了运算次数，避免了繁杂的浮点数乘除法运算，使运算量大幅减少，并且仍具有双线性插值所具有的平滑自然的插值效果，提高了检测系统的实时性。

由于加工工艺的原因，机械零件的边缘线多数是直线段或是由许多短直线段组成的曲线。在对图像边缘进行亚像素级的精确定位之前，首先要对图像边缘进行粗定位。由于需要检测的机械零件是精密磨削加工出来的，配上合适的光源后，图像边界的灰度变化比较陡峭，图像的噪声较小，因此像素级边缘检测采用Robert检测算子。检测到像素级的粗边缘后，采用Hough变换的方法定位直线段的边缘位置。设图像尺寸为N＝W×H，图像上任意一点P，坐标为(x，y)，其中，0≤x<W，0≤y<H。设P点的灰度值为f(x，y)，则P点在参数空间中对应着一条曲线：

ρ＝xcosθ+ysinθ

其中， $0\&le;\mathrm{\&rho;}<\sqrt{W^2+H^2+1},$ 0°≤θ<180°。设HT(ρ，θ)为对应于曲线参数(ρ，θ)的累加器。对图像中每个灰度值不为零的像素点，都要利用上述公式计算180个角度的ρ值，实现累加器HT(ρ，θ)的计数，计算过于繁杂，不利于在线检测系统对实时性的要求。

本发明利用查表法对Hough变换的计算过程进行了优化。设M＝Max{W，H}，Hough变换检索表采用M×360的二维数组结构，数组检索标号是角度θ(0°≤θ<180°)和坐标(x，y)(0≤x<M，0≤y<M)，检索表中存放的数据是四舍五入取整后的相应角度余弦值和正弦值与坐标的乘积。Hough变换检索表如表1所示。

表1 Hough变换检索表

检测系统初始化时导入检索表，对图像做Hough变换时，公式ρ＝xcosθ+ysinθ中的xcosθ和ysinθ值无须计算，可以利用x(或y)和θ值直接在表中检索到。利用查表法代替了浮点数乘法，每次运算只需要做两次查询和一次整数加法，运算量减少，缩短了Hough变换的运行时间，提高了检测系统的实时性。利用计算过程得到优化的Hough变换对插值后的图像作处理，可以获取各个景深层面在平面图像上的投影区域的直线段边缘位置，精度达到像素级，且速度较快。

所述的对各个景深层面在投影区域的边缘线进行亚像素级精定位包括：利用基于图像灰度矩的算法，将直线段边缘线上像素点的定位精度提高到亚像素级，再对得到的点集进行直线拟合处理，精确地建立图像上各个层面的投影区域到对应机械零件各个层面的映射。

针对已进行粗定位的直线段边缘线，利用基于灰度矩的亚像素边缘定位算法，将边缘线上像素点的定位精度提高到亚像素级。这样直线段边缘线就变成一系列离散的点集：P{(x_i，y_i)}，i＝0，1，...n。对这个近似按照直线分布的点集进行直线拟合处理，就可以获取定位精度在亚像素级的直线段边缘线。本发明对得到的离散点集运用最小二乘直线拟合法进行直线拟合处理，相对于粗定位的像素级边缘线，定位更加精确。

所述的零件几何数据计算与质量检测包括：视觉系统的分层标定，零件上位于不同景深层面的几何尺寸进行测量，测量数据与待检测零件的设计数据比较分析。

参照图3所示，首先使用标准件法对视觉系统进行标定，得到摄像机的物面分辨率。标准件图像的直线段边缘定位方法与待测零件的定位方法相同。通过边缘检测提取出各个层面的边缘线，把标准件的平面图像分割成若干区域，每个区域可以看作是立体标准件的一个景深层面在平面图像上的投影区域，由此建立了平面图像与三维标准件之间的对应关系。

设机械零件共有n个不同景深层面，平面图像中的区域A_i对应标准件上的第i层，第i层中两条平行边缘直线a和b之间的垂直距离是L_i。已知标准件上距离L_i的实际长度为D_i(mm)，利用边缘检测的结果，对A_i区域的边缘直线a和b进行识别定位，再利用检测到的A_i区域边缘直线a和b的相对距离，计算出L_i在图像中的像素长度P_i(pixel)，求出零件第i层的物面分辨率B_i：

B_i＝D_i/P_i，i＝0，1，...n

其中，B_i的单位是mm/pixel。

利用B_i这组物面分辨率，可以对机械零件上位于不同景深层面的几何尺寸进行分层测量。由待测几何尺寸在平面图像中的区域来判断所对应的景深层面。假设某待测直线位于第i层景深层面，检测出该直线在图像中的像素尺寸P_i，j(pixel)，再由景深级别来确定选用相应的标定值B_i(mm/pixel)，则待测直线的实际尺寸D_i，j(mm)为：

D_i，j＝P_i，j×B_i

求出零件的形状数据、关键的尺寸参数后，再通过与标准参数进行比较分析，可以获得零件的质量数据。

本发明基于单摄像机采集的图像，提出的亚像素级分层检测方法计算简便，对生产线的工作环境要求不高，能满足高速生产线的实时性需要。通过实验分析，对大约1cm的物体进行测量，精度可以达到0.01mm，满足绝大多数机械零件加工质量的检测要求。

Claims (4)

1.一种具有景深零件加工质量的亚像素级图像检测方法，其特征在于，使用单摄像机采集图像，通过景深差异分割图像实现对零件加工质量的实时测量，所述方法包括：

1)对机器视觉系统进行分层标定；

2)对原始图像进行插值运算，通过粗精两步法实现零件边缘的精确定位；

3)利用建立的图像各层面与零件各层面映射关系，计算具有景深零件的形状、关键尺寸参数，通过比较分析获得质量数据。

2.根据权利要求1所述的方法，其特征在于，所述的分层标定是利用单摄像机采集一个标准件的图像数据，根据图像各个层面的投影区域到对应标准件各个层面的映射关系，实现对机器视觉系统的分层标定。

3.根据权利要求1所述的方法，其特征在于，所述的对原始图像进行插值运算，通过粗精两步法实现零件边缘的精确定位是，假设要在坐标为(x，y)的点插值新的图像像素，该点(x，y)处灰度值为f(x，y)，已知其左上、左下、右上、右下4个点为Q₁₁、Q₁₂、Q₂₁、Q₂₂，它们的像素灰度值分别为f(Q₁₁)、f(Q₁₂)、f(Q₂₁)、f(Q₂₂)。对(x，y)周围的四个点Q₁₁、Q₁₂、Q₂₁、Q₂₂，用排序的办法求出其中灰度值最大和最小两个点的灰度值f(Q_max)和f(Q_min)，选择阈值T，当|f(Q_max)-f(Q_min)|≥T时，采用传统的双线性插值算法进行运算；当|f(Q_max)-f(Q_min)|<T时，按照就近原则，将(x，y)点的非整数坐标四舍五入得到整数点坐标值(x，y)，(x，y)必定是Q₁₁、Q₁₂、Q₂₁、Q₂₂中的某点坐标，表示为点Q_αβ，则有f(x，y)＝f(Q_αβ)；

采用Robert边缘检测算子检测物体的粗边缘，检测到像素级的粗边缘后，利用Hough变换定位直线段边缘位置，获取各个景深层面在平面图像上投影区域的直线段边缘位置，精度达到像素级，利用查表法对Hough变换计算过程进行了优化，表中存放的数据是四舍五入取整后的相应角度余弦值和正弦值与坐标的乘积，做Hough变换时，直接在表中检索到公式ρ＝xcosθ+ysinθ中的xcosθ和ysinθ值，利用基于图像灰度矩的算法将直线段边缘线上像素点的定位精度精确到亚像素级，再对得到的离散点集利用最小二乘直线拟合法进行直线拟合处理，实现边缘线的精确定位。

4.根据权利要求1所述的方法，其特征在于，所述的计算具有景深零件的形状、关键尺寸参数，通过比较分析获得质量数据包括：利用标准件n个景深层面各自所对应的物面分辨率B_i(i＝0，1，...n)对机械零件上位于不同景深层面的几何尺寸进行分层测量，由待测几何尺寸在平面图像中的区域来判断所对应的景深层面，假设某待测直线位于第i层景深层面，检测出该直线在图像中的像素尺寸P_i，j(pixel)，再由景深级别来确定选用相应的标定值Bi(mm/pixel)，则待测直线的实际尺寸D_i，j(mm)为：

D_i，j＝P_i，j×B_i

求出零件的形状数据、关键的尺寸参数后，再通过与标准参数进行比较分析，获得零件的质量数据。

Images