CN101776437B - 带有光路调整的嵌入式机器视觉亚像素标定方法 - Google Patents

Abstract

本发明提出了一种带有光路调整的嵌入式机器视觉亚像素标定技术，是在线视觉测量的可调整光路的标定技术。标定过程采用的主要技术包括：光路调整技术包括防光强饱和与物镜面平行调整技术；利用空间矩亚像素角点提取技术；基于理想网格的亚像素视觉标定技术。本发明克服了传统测量技术的缺陷，在生产线上对相机进行高精度与高稳定的标定，能够自动的在生产线上使用标定技术进行视觉测量，最终对产品的质量进行合格检测。由于采用基于工程化思想设计算法，本发明具有精度高、速度快、对生产环境质量要求低，实时性高的优点，能够很好的满足工业生产的需要，对实际工业生产中产品的视觉测量有重要的意义。

Description

带有光路调整的嵌入式机器视觉亚像素标定方法 

技术领域

本发明涉及一种嵌入式机器视觉光路调整与亚像素标定方法，具体是指一种用于在线视觉测量的可调整光路的标定方法。 

背景技术

视觉测量技术具有速度快、精度高、非接触、自动化程度高等优势，该技术近年来在非接触测量领域发挥越来越大的作用。视觉测量不仅包含机器视觉的一般内容，如视觉感知、图像处理、图像分析和模式识别等，同时也有测量领域的特殊性，如空间几何尺寸的精确检测、定位和识别等。视觉测量不但可以替代很多人工工作，提高生产自动化水平，提高监测精度，更是很多常规测量方法无法实现时的有效解决途径。 

视觉测量大都采用高倍测量光学镜头及图像处理的亚像素技术，实现对物体边缘精密提取；另外，用数字图像处理技术可以实现对摄像系统高精度的标定和误差修正，这些都为高精度的视觉测量提供坚实的基础。 

视觉标定在视觉测量系统中是非常关键且重要的环节，其视觉标定结果的精度及算法的稳定性与实时性，直接影响到工业生产过程中测量的精度，以至最后影响到产品的质量检测结果。视觉标定技术在许多机器视觉领域得到了广泛应用，如三维重构、导航、视觉监控、大型复杂曲面的三维检测、大型工件平行度和垂直度测量、机械零件的自动识别与几何测量、字符识别、汽车牌照识别、医学图像分析、飞船或者导弹三维姿态测量、未来外星车导航等。 

要实现视觉测量的高精度、快速性和高度自动化，就必须在降低运算量的基础上，对拍摄的图像进行高精度的标定。视觉领域经典标定算法，如张正友和Tsai的两步法标定虽然可以标定出相机的内外参数，但要求连续拍摄几幅不在同一平面的图像，实际操作困难，并且计算过程比较复杂；于起峰的基于理想网格的平面视觉标定思想虽然运算量小、精度高，但对于精确角点提取、精确中心网格确定难度大，没有具体的标定实现方法，也没有实际应用案例。在视觉标定研究的发展过程中，针对标定的前期工作，如光源光强、物镜面平行的分析和研究非常少，并且有关光路调整系统还没有具体应用在视觉标定中，更没有应用到实际的工业生产中。 

针对二维视觉测量无需确定测量系统的光心位置和光轴方位等外部参数，本发明只获得视觉系统的畸变系数和比例系数。在深入研究探讨和大量实验的基础上，本发明的视觉标定技术具有运算量小、精度高、操作简单、实时性高，不需要高标准的生产环境。在标定前使用光路调整系统对相机的镜头以及光源进行校正，使得标定过程的稳定性以及精度有很大的提高。 

本发明的视觉标定分为光路调整系统和基于亚像素的视觉标定技术。其中，光路调整系统包括防光强饱和与物镜面平行调整。视觉标定过程中，X型靶标的角点提取精度是至关重要的。由于光源变化时，边缘的信息也会随着改变， 当光强饱和时，边缘的部分信息将会丢失，从而导致角点提取的结果不准确，所以防止光强饱和能够提高X型靶标的角点提取的精度。视觉标定过程中，物镜面平行调整能够防止物面与相机的镜头所在的平面之间的夹角造成的误差。因此，在二维视觉测量平面的标定过程中，光路调整系统在大大减少标定时间的基础上，实现高精度的标定，并有效的提高了视觉测量精度，对实际视觉测量有重要的意义。 

发明内容

本发明的目的在克服上述视觉测量的困难之处，提出一种精度高、速度快、稳定性好、实时性强、方法简单、计算量小、带有光路调整的嵌入式机器视觉亚像素标定方法。 

按照本发明提供的技术方案，带有光路调整的嵌入式机器视觉亚像素标定方法如下： 

首先，将具有高精度的X型靶标放置于待测工件所在的平面上，然后对相机镜头进行粗调； 

第二步，连接嵌入式机器视觉的检测装置，在线实时拍摄图像，在PC机上进行图像的实时显示； 

第三步，防光强饱和调整：调节光源的亮度，并观察实时显示界面的光照强度状态图；光照强度状态图显示分为：红、绿、橙；红色，说明光强饱和，需要降低光强；绿色，说明光强适合，只需微调；橙色，说明光强偏弱，需要提高光强；在光强状态图显示绿色的前提下，微调光源至适合标定和测量的状态； 

第四步，物镜面平行调整：根据操作界面实时显示，微调镜头，使得物面与镜面达到平行状态；反复的调整第三步与第四步，使得满足光源强度与物镜面平行的要求； 

第五步，视觉标定：利用Harris算子、空间矩的方法进行X型靶标亚像素角点提取，然后利用图像中心角点的畸变最小的原理，提取图像中心的角点拟合理想网格，通过视觉系统的畸变模型公式计算畸变参数与比例系数。 

所述防光强饱和调整的方法，用于防止光源饱和，从而导致角点与边缘信息的丢失，包括以下步骤： 

(3.1)、在线实时采集X靶标图像，对X型靶标图像求取相应的直方图，并动态的显示； 

(3.2)、统计X型靶标图像的灰度最大值。判断光强是否处于饱和状态：如果图像灰度最大值等于255，则说明光强处于饱和的状态； 

(3.3)、如果光强处于饱和状态，并且用户选择了允许部分饱和，设定一个允许部分饱和度百分比值1％。计算图像上的饱和点的个数与整个图像点的个数之比，大于饱和度百分比值，则光强状态图显示红色，向下位机发出请求，减小光强；否则光强状态图显示绿色，满足标定的光强的需要。如果用户没有选择允许部分饱和，则光强状态图显示红色，必需调整光源； 

(3.4)、如果光强不处于饱和状态，设定理想灰度值f_ideal为227像素以及波动范围δ为27像素，则图像灰度值在[200，254]之间，图像的光强状态图显示绿色，说明光强满足需求；灰度值小于200像素，则光强状态图显示橙色，提示用户此时光强太弱，适当提高光强； 

(3.5)、在光强状态图处于绿色状态下，微量的调整光强，使得图像状态处于最佳。 

所述物镜面平行调整的方法，用于防止由于两个平面之间的夹角造成的误差，包括以下步骤： 

(4.1)、调整相机的镜头，使得镜头位置与X型靶标平行，然后再对镜头进行微调； 

(4.2)、在200*300像素的区域内，根据Harris算子提取X型靶标图像的像素级角点；在像素级角点的基础上，利用空间矩和直线拟合的方法提取X型靶标图像的亚像素的角点； 

(4.4)、提取图像中心的区域网格四个角点的亚像素级坐标，这四个点包含中心点坐标(320，240)； 

(4.5)、以所述图像中心的区域网格为中心，扩展成3×3的九个网格区域； 

(4.6)、计算所述九个网格区域的第一行的三个区域的面积之和Area_Up，第三行的三个区域的面积之和Area_Down；计算九个网格区域的第一列的三个区域的面积之和Area_Left，第三列的三个区域的面积之和Area_Right； 

(4.7)、计算Area_Up与Area_Down，Area_Left与Area_Right之差分别为diff_UD、diff_LR；如果diff_UD、diff_LR差值的绝对值都是小于正阈值Threshold，显示区域的中心则显示绿色，说明此时物镜面达到平行； 

(4.8)、如果diff_UD大于正阈值Threshold，则说明相机镜头上偏；如果diff_UD小于负阈值Threshold，则说明相机镜头下偏，否则，说明相机镜头没有上下偏的趋势；记录相机镜头上下偏移情况； 

(4.9)、判断diff_LR的值，分为以下的三种情况：diff_LR的绝对值小于正阈值Threshold，说明相机镜头不存在左右偏的情况；diff_LR大于正阈值Threshold，说明相机镜头存在左偏；diff_LR小于负阈值Threshold，说明相机镜头存在右偏；记录相机镜头左右偏移的情况； 

(4.10)、根据步骤4.8与4.9记录相机镜头的偏向，判断相机镜头的偏移：如果镜头不存在左右偏移，则根据步骤4.8得出相机镜头上下偏移；如果镜头不存在上下偏移，则根据步骤4.9得出摄像机镜头左右偏移；如果相机镜头存在上下偏移与左右偏移，由镜头上偏与左偏得到相机镜头存在左上偏移，由镜头上偏与右偏得到相机镜头存在右上偏移，由镜头下偏与左偏得到相机镜头存在左下偏移，由镜头下偏与右偏得到相机镜头存在右下偏移；根据界面的提示，调整相机的镜头，直到物镜面平行为至，调整结束。 

所述视觉标定的方法包括以下步骤： 

(5.1)、在光路调整达到理想状态条件下，进行视觉标定； 

(5.2)、提取X型靶标图像的亚像素角点：利用Harris算子提取X型靶标图像像素级的角点，然后基于空间矩亚像素边缘提取与最小二乘拟合的方法， 进行角点的亚像素提取； 

(5.3)、提取精确地理想网格：利用图像中心的畸变很小的原理，提取图像的中心区域中一个方格的四个顶点，并将这个区域扩展成3×3的的九个网格；对九个区域每个方格的四个顶点进行拟合理想网格系数，得出九组理想网格系数；根据每组的理想网格的系数分别拟合理想网格，并计算理想网格方格的长和宽之差diff，记录diff最小值所在方格的四个顶点拟合出的理想网格系数；根据记录理想网格系数以及理想网格的公式，求取整个图像的理想网格点； 

(5.4)、根据畸变模型公式，利用对应的理想网格点与实际提取亚像素的角点坐标之间的差值，拟合畸变模型的系数； 

(5.5)、将图像提取的实际角点通过畸变模型进行校正，然后根据空间的两点之间的空间距离与经过畸变模型校正后的图像的角点中两点之间的像素距离的比值，得到图像距离与实际距离之间的比例系数； 

(5.6)、记录比例系数与畸变模型的系数，利用这些参数进行视觉测量。 

所述进行亚像素角点提取的方法，采用Harris算子与空间矩相结合，将空间矩的亚像素边缘提取方法结合角点的特征来提取X靶标的亚像素角点，包括以下步骤： 

(5.2.1)、利用Harris算子提取X型靶标图像像素级的角点：首先对相机采集的图片进行预处理，将选定的区域进行二值化操作，并用垂直和水平方向的一阶梯度算子找出边界点；另外，通过对边界扩充的方法避免漏检角点的情况，边界扩充即在梯度算子找到的边界基础上，将找到的边界点周围8个点全部列为边界点； 

(5.2.2)、提取角点以后，首先获得X型靶标倾斜角度，即X型靶标的水平直线的倾斜角度，利用在同一行上的角点水平直线上的截距相等，在同一列上的角点垂直直线上的截距相等的原理，将角点按相应的行和列进行存储； 

(5.2.3)、计算出亚像素角点：根据每一个像素级角点分别往上下左右四个方向扩充成以像素级角点为中心的7×7的区域，找出该区域与四条边界相交的四个像素边缘点；以这四个边缘点为起点，分别以远离像素级角点的方向，向上、下、左、右四个方向依次寻找出该方向上的十个边缘点，这些边缘点组合成四条像素级别的边缘直线；每个角点都有四条像素边缘直线； 

将找到的边缘点进行空间距方法计算，找出各点对应的亚像素位置：使用的亚像素方法为二阶模型的空间距方法，将各点的亚像素位置按垂直和水平方向存入相应的数组中；将每条边找到的亚像素级边缘点进行最小二乘拟合，并求出四条直线的两个交点，即左边和上边的交点，右边和下边的交点，求取到两个亚像素位置的角点之后，再取这两点的平均值作为亚像素角点。所述带有光路调整的嵌入式机器视觉亚像素标定技术，只需要获得视觉系统的比例系数和畸变系数，无需确定视觉系统的光心位置、焦距、旋转矩阵与平移矩阵。 

本发明视觉标定与已有技术相比具有以下优点：本发明视觉标定是视觉测量系统中非常关键重要的环节，克服了传统的测量技术中测量精度低、速度慢、操作方法困难的缺点。本发明使用光路调整系统包括防光强饱和与物镜面平行 调整，改善X型靶标图像质量，提高了视觉标定的精度与稳定性，克服了其他的标定方法对环境的高标准的要求；相比其他的方法，利用高精度的空间矩亚像素角点提取方法，较大的提高了标定的精度；利用图像中心的九个网格中畸变量最小的方格的四个顶点拟合精确理想网格，能够确保该网格最接近光轴位置，提高标定精度，更好的满足工业需求；另外，本发明算法量小，计算出视觉系统的畸变系数与比例系数，方便后续测量的使用。该技术还具有操作简单、实时反馈调整结果的优点，指导用户进行调整，具有很强的实用性。 

附图说明

图1为带有光路调整的亚像素标定技术的总流程图。 

图2为防光强饱和调整方法的流程图。 

图3为上位机用于实时显示的光强状态图。 

图4为物镜面平行调整方法的流程图。 

图5为判断物镜面平行的九个区域面积显示图。 

图6为镜头调整方向实时显示图。 

具体实施方式

为了降低工业环境对标定的影响，提高标定的精度，本发明开发一种视觉标定技术。该标定技术算法代码量小、运算速度快、精度高、实时性强、稳定性好，能够改善传统测量的弊端、降低成本，提高生产速度。 

本发明针对光强的变化和物镜面的平行度对角点提取精度和畸变模型的拟合精度的影响，提出一种适应性强的光路调整系统，包括防光强饱和与物镜面平行调整。防光强饱和调整，是为了防止由于X型靶标图像的光强饱和，导致边缘信息的丢失与角点提取不准确；物镜面平行调整，能够防止物面与相机的镜头所在的平面之间的夹角造成的误差。本发明提出高精度空间矩的方法进行X型靶标的角点亚像素的提取。X型靶标的角点亚像素的提取，是为了提高角点的精度与稳定性，提高视觉标定的精度。本发明提出了一种精确的中心网格确定方法。该方法首先搜索图像中心附近畸变量最小的网格，并对该理想网格进行拟合参数求取。确保该网格最接近光轴位置，从而提高标定精度。 

下面结合附图和实施例对本发明作进一步说明。 

本发明光路调整系统中防光强饱和是通过采用判断图像像素灰度值是否等于255。由于在标定的时候，光源不能保证拍摄的图像亮度完全均匀，因此，如果有部分像素点的灰度值出现饱和现象(灰度值为255)，则会影响标定过程中的角点的亚像素提取。为此，在实际视觉标定和测量过程中，本发明通过判断灰度值为255的个数来提醒用户光强是否饱和，同时光强图曲线会实时的反映出图像的直方图曲线，而且会将整幅图的灰度最大值实时反馈给用户，用户可以根据提示对光源进行相应的调整。 

本发明光路调整系统中物镜面平行调整的原理：利用小孔成像的原理，当相机镜头发生偏移时候，靠近镜头一侧，线段的长度变长；远离镜头的一侧，线段的长度变短。本发明取图像中心的3×3的九个区域，如图6所示，将区域沿着X靶标网格相互垂直的两个方向分别分为三个区域，比较第一个与最后一 个区域的面积，当面积大于阈值，则说明相机镜头出现偏斜，需要调整。如图4所示为物镜面平行调整的过程。 

本发明X型靶标图像角点的提取是基于Harris算子与空间矩亚像素边缘提取相结合的方法。在Harris算子提取的像素级角点基础上，提取X型靶标所有角点。在角点附近利用空间矩找到亚像素的边缘，利用两条亚像素的边缘相交求取亚像素的角点。这种提取亚像素的方法，精度高，算法稳定。很好解决了视觉标定角点精度达不到要求，造成视觉标定的精度达不到工业产品的需求。 

本发明X型靶标理想网格的精确拟合是基于图像中心附近图像畸变量最小的原理。采用图像中心区域的九个网格中畸变量最小的网格的四个顶点来拟合理想网格系数的方法，获得准确的理想网格，使得视觉标定的精度更高。 

如图1所示，本发明的工作过程具体说明如下： 

首先，将具有高精度的X型靶标放置于待测工件所在的平面，然后对相机镜头进行粗调。 

第二步，连接嵌入式机器视觉的检测装置，在线实时拍摄图像，在PC机上进行图像的实时显示。 

所述检测装置由图像采集、图像存储、图像处理以及通信四个模块组成，其中图像采集模块主要由CCD相机和FPGA组成，SDRAM和FLASH分别用于存储图像和系统配置信息，DM642负责对采集到的图片进行实时处理，通信模块则主要由100M的以太网接口构成。 

第三步，如图2所示，防光强饱和调整。调节光源的亮度，并观察实时显示界面的光照强度状态图。光照强度状态图显示分为：红、绿、橙。红色，说明光强饱和，需要降低光强；绿色，说明光强适合，只需微调；橙色，说明光强偏弱，需要提高光强。在光强状态图显示绿色的前提下，微调光源至适合标定和测量的状态。 

第四步，如图4所示，物镜面平行调整。在光强调整适当基础上，根据操作界面实时显示，微调镜头，使得物面与镜面达到平行状态。 

第五步，视觉标定。利用Harris算子、空间矩的方法进行X型靶标亚像素角点提取，然后利用图像中心角点的畸变最小的原理，提取图像中心的角点拟合理想网格，通过视觉系统的畸变模型公式计算畸变参数与比例系数。 

如图2所示，所述光路调整中防光强饱和调整的方法，是用于防止光源饱和，从而导致角点与边缘信息的丢失。步骤如下所示： 

(3.1)、在线实时采集X靶标图像。对X型靶标图像求取相应的直方图，并动态的显示，图3为上位机用于显示的光强状态图。 

(3.2)、统计X型靶标图像的灰度最大值。判断光强是否处于饱和状态。如果图像灰度最大值等于255，则说明光强处于饱和的状态。 

(3.3)、如果光强处于饱和状态，并且用户选择了允许部分饱和，设定一个允许部分饱和度百分比值1％。计算图像上的饱和点的个数与整个图像点的个数之比，大于饱和度百分比值，则光强状态图显示红色，向下位机发出请求，减小光强；否则光强状态图显示绿色，满足标定的光强的需要。如果用户没有选 择允许部分饱和，则光强状态图显示红色，必需调整光源。 

(3.4)、如果光强不处于饱和状态，设定理想灰度值f_ideal为227像素以及波动范围δ为27像素，则图像灰度值在[200，254]之间，图像的光强状态图显示绿色，说明光强满足需求；灰度值小于200像素，则光强状态图显示橙色，提示用户此时光强太弱，适当提高光强。 

(3.5)、在光强状态图处于绿色状态下，微量的调整光强，使得图像状态处于最佳。 

如图4所示，所述光路调整中物镜面平行调整的方法，能够防止物面与相机镜头所在的平面之间的夹角造成的误差，提高标定的精度与稳定性。步骤如下所示： 

(4.1)、调整相机镜头，使得镜头位置大致与X型靶标保持平行，然后再进行微调。 

(4.2)、在200*300像素的区域内，根据Harris算子提取X型靶标图像的像素级角点；在像素级角点的基础上，利用空间矩和直线拟合的方法提取X型靶标图像的亚像素的角点。 

(4.4)、提取图像中心的区域网格四个角点的亚像素级坐标，这四个点包含中心点坐标(320，240)，因为靠近图像的中心，图像的畸变比较小，可以忽略不计。 

(4.5)、以步骤4.4所述的中心区域为中心，扩展成3×3的九个网格区域。 

(4.6)、计算九个区域的第一行的三个区域的面积之和Area_Up，第三行的三个区域的面积之和Area_Down；计算这九个区域的第一列的三个区域的面积之和Area_Left，第三列的三个区域的面积之和Area_Right。如图5所示，判断物镜面平行的九个区域面积显示图。 

(4.7)、计算Area_Up与Area_Down，Area_Left与Area_Right之差分别为diff_UD、diff_LR。如果diff_UD、diff_LR差值的绝对值都是小于正阈值Threshold，显示区域的中心则显示绿色，说明此时物镜面达到平行。 

Threshold确定：在不同的焦距下，当物镜面平行时拍摄得到若干幅的图片，分析相对面积差值，实验发现，阈值和焦距之间存在类似指数的关系。在1mm对应10pixel的焦距条件下，调试平台，得到3.5像素的平方是判断光轴与物体表面垂直的最佳阈值。焦距和阈值存在下面的关系： 

Threshold＝(1/a)*(a^(d/20))*3.5 

其中：d是在不同焦距下拍摄得到方格对应的像素边长，a是指数的底数，确定为4。 

(4.8)、如果diff_UD大于正阈值Threshold，则说明相机镜头上偏；如果diff_UD小于负阈值Threshold，则说明相机镜头下偏；否则，说明相机镜头没有上下偏的趋势。记录相机镜头上下偏移的情况。图6为微调镜头时调整方向实时显示图。 

(4.9)、判断diff_LR的值，分为以下的三种情况：首先diff_LR的绝对值小于正阈值Threshold，说明相机镜头不存在左右偏的情况；其次，diff_LR大于 正阈值Threshold，说明相机镜头存在左偏；其次，diff_LR小于负阈值Threshold，说明相机镜头存在右偏。记录相机镜头左右偏移的情况。 

(4.10)、根据步骤4.8与4.9记录相机镜头的偏向，判断相机镜头的偏移：如果镜头不存在左右偏移，则根据步骤4.8得出相机镜头上下偏移；如果镜头不存在上下偏移，则根据步骤4.9得出相机镜头左右偏移；如果相机镜头存在上下偏移与左右偏移，由镜头上偏与左偏得到相机镜头存在左上偏移，由镜头上偏与右偏得到相机镜头存在右上偏移，由镜头下偏与左偏得到相机镜头存在左下偏移，由镜头下偏与右偏得到相机镜头存在右下偏移。根据界面的提示，调整相机的镜头，直到物镜面平行为至，调整结束。 

所述视觉标定方法，利用空间矩的方法进行亚像素角点提取，并且此高精度的标定用于二维的视觉测量不需要知道视觉测量系统的光心位置和光轴方位等外部参数，只要获得视觉系统的比例系数和畸变模型系数的场合。具体步骤如下：(5.1)、在光路调整达到理想状态条件下，进行视觉标定； 

(5.2)、提取X型靶标图像的角点。该技术是利用Harris算子提取X型靶标图像像素级的角点，然后基于空间矩亚像素边缘提取与最小二乘拟合的方法，进行角点的亚像素提取； 

(5.3)、提取精确的理想网格。利用图像中心的畸变很小的原理，提取图像的中心区域中一个方格的四个顶点，并将这个区域扩展成3×3的的九个网格。对九个区域每个方格的四个顶点进行拟合理想网格系数，得出九组理想网格系数。根据每组的理想网格的系数分别拟合理想网格，并计算理想网格方格的长和宽之差diff，记录diff最小值所在方格的四个顶点拟合出的理想网格系数。根据记录理想网格系数以及理想网格的公式，求取整个图像的理想网格点。 

(5.4)、根据畸变模型公式，利用对应的理想网格点与实际提取亚像素的角点坐标之间的差值，拟合畸变模型的系数； 

(5.5)、将图像提取的实际角点通过畸变模型进行校正，然后根据空间的两点之间的空间距离(mm为单位)与经过畸变模型校正后的图像的角点中两点之间的像素距离的比值，得到图像距离(以像素为单位)与实际距离(以毫米为单位)之间的比例系数； 

(5.6)、记录比例系数与畸变模型的系数，利用这些参数进行视觉测量。 

视觉标定过程中角点亚像素提取是整个过程的重点，是视觉标定精度提高的关键。角点提取的步骤如下： 

(5.2.1)、边界提取。因为角点位于X型靶标两条边缘的交点附近，为了降低运算量，本发明通过将搜索范围从整个图像缩小到所有边缘的方法，来减少算法的运算量。将选定的区域进行二值化操作，并用垂直和水平方向的一阶梯度算子找出边界点，本发明中用到的水平算子为[-1 1]，垂直算子则为水平算子的转置。另外，考虑到提取的边缘存在一定的误差，可能导致实际的角点不在找到的边界上，因此通过对边界扩充的方法避免漏检角点的情况。扩充边界即在梯度算子找到的边界基础上，将找到的边界点周围8个点全部列为边界点。 

(5.2.2)、对于区域中扩充后的边界点，求取其对应水平方向、垂直方向的 梯度Ix和Iy，本发明中选用的梯度模板为[-2 -1 0 1 2]和[-2；-1；0；1；2]，选取的高斯模板的σ＝2，窗口大小为7×7。 

(5.2.3)、根据(5-2-1)计算出边界点的矩阵M： 

$M=\underset{x,y}{\mathrm{\Σ}}G(x,y)\left[\begin{array}{c}{I^2}_X,I_x{I}_y\\ I_x{I}_y,{I^2}_y\end{array}\right]---(5-2-1)$

其中，I² _X＝I_x*I_x，I² _y＝I_y*I_y，G(x，y)为高斯窗口。 

(5.2.4)、计算每个点的兴趣值。角点判断准则：假设λ₁，λ₂为式(5-2-1)中矩阵M的两个特征值，当这λ₁，λ₂都很小时，表示这个点位于平坦区域；当λ ₁，λ₂一个很大，另一个很小时，表示这个点位于边缘上；当λ₁，λ₂都很大时，表示这个点为角点。实际计算中，并不需要直接求出矩阵M的特征值，可以通过式(5-2-2)判断其是否为角点： 

R＝det(M)-k*(trace(M))²             (5-2-2) 

式中：det(M)——矩阵M的秩，det(M)＝λ₁*λ₂

Trace——矩阵M的迹，trace＝λ₁+λ₂； 

k——常数，本发明中取0.06. 

计算出来的R的值越大，表明该点越趋于是角点。当R大于零且较大时，对应于角点；当R的值较大但小于零时，对应于边缘区域；如果|R|较小时，对应于图像的平坦区域。 

(5.2.5)、确定像素级的角点。用3×3的模板搜索阈值大于0.01Rmax且是局部极大值的像素点，即可判定该像素点为角点。 

(5.2.6)、计算出亚像素角点。根据每一个像素级角点分别往上下左右四个方向扩充成以像素级角点为中心的7×7的区域，找出该区域与四条边界相交的四个像素边缘点。下列为以这四个边缘点为起点，分别以远离像素级别角点的方向，向上、下、左、右四个方向依次寻找十个边缘点，这些边缘点组合成四条像素级别的边缘直线。每个角点都有四条像素边缘直线。 

将找到的边缘点进行空间距方法计算，找出各点对应的亚像素位置。此处使用的亚像素方法为二阶模型的空间距方法，将各点的亚像素位置按垂直和水平方向存入相应的数组中。 

将每条边找到的亚像素级点进行最小二乘拟合，并求出四条直线的两个交点，即左边和上边的交点，右边和下边的交点。求取到两个亚像素位置的角点之后，再取这两点的平均值作为亚像素角点。 

本发明是提出一种亚像素空间矩的方法对X型靶标的亚像素角点的提取。根据上述的方法能够很有效的提取角点的亚像素坐标，精度能够0.1像素级。 

(5.3)具体步骤如下：提取图像的中心区域中一个方格的四个顶点，并将这个区域扩展成3×3的的九个网格。对九个区域每个方格的四个顶点进行拟合理想网格系数，得出九组理想网格系数。根据每组的理想网格的系数分别拟合理想网格，并计算理想网格方格的长和宽之差diff，记录diff最小值所在方格的四个顶点拟合出的理想网格系数。 

理想网格系数拟合的过程：理想网格四个亚像素的顶点，取左上角一点对应的i，j坐标为(0，0)，将此点作为i-j坐标系的原点。基于i-j坐标系的基础上，其他的亚像素角点的i，j坐标是，由原点的行数增加n(减少n)行，则j增加n(减少n)；如果原点的列数增加n(减少n)列，则i增加1(减少1)。 

网格的其他三点的i，j坐标分别为(0，1)、(1，0)、(1，1)。将四个点的亚像素角点坐标和对应的i，j坐标分别代入到方程(5-3-1)中： 

$\left\{\begin{array}{c}u=-\mathrm{kv}+b_0+\mathrm{i\Δu}\\ v=\mathrm{ku}+c_0+\mathrm{j\Δv}\end{array}\right.---(5-3-1)$

其中，u和v分别为各点对应的角点亚像素坐标，k、b₀、c₀、Δu和Δv为理想网格模型所需拟合的五个参数，i、j是对应的i-j坐标系的坐标。 

根据记录最精确的理想网格系数，利用上述的公式(5-3-1)计算整个图像理想网格点的坐标(u′，v′)。 

(5.4)具体步骤如下：计算理想网格角点(u′，v′)后，按照畸变模型公式(5-4-1)与(5-4-2)所示： 

$\left\{\begin{array}{c}{\mathrm{\δ}}_u(u,v)=a_0+a_{1}u+a_{2}v+a_3{u}^2+a_4\mathrm{uv}+a_5{v}^2+a_6{u}^3+a_7{u}^{2}v+a_8{\mathrm{uv}}^2+a_9{v}^3\\ {\mathrm{\δ}}_v(u,v)=b_0+b_{1}u+b_{2}v+b_3{u}^2+b_4\mathrm{uv}+b_5{v}^2+b_6{u}^3+b_7{u}^{2}v+b_8{\mathrm{uv}}^2+b_9{v}^3\end{array}\right.---(5-4-1)$

$\left\{\begin{array}{c}{\mathrm{\δ}}_u(u,v)=u^{\′}-u\\ {\mathrm{\δ}}_v(u,v)=v^{\′}-v\end{array}\right.---(5-4-2)$

公式中(u’，v’)为理想网格角点的坐标，(u，v)为实际角点的坐标。利用提取的角点亚像素坐标与求出角点理想坐标之间的差值，拟合出畸变模型系数。 

(5.5)具体步骤如下：通过畸变模型校正得到理想坐标点。(u’，v’)为理想角点的坐标，(u，v)为实际角点的坐标，利用(5-5-1)公式，通过畸变模型校正后的理想点的坐标： 

$\left\{\begin{array}{c}{u}^{\′}=u+{\mathrm{\δ}}_u\\ v^{\′}=v+\mathrm{\δ}\end{array}\right.---(5-5-1)$

利用(5-5-2)公式，计算一个像素所代表的实际的空间长度： 

Ratio＝D(世界)/d(理想)          (5-5-2) 

根据提取的亚像素角点校正后，利用空间中对应角点间的距离与校正角点间的距离之比，求得比例系数。其中D为世界坐标中两点之间的空间距离，d为矫正后的两点间的像素距离。 

经过上述的五个步骤，对带有光路调整的嵌入式机器视觉亚像素标定技术，做了全面而详细的论述。本发明提出先进的光路调整系统，包括防光强饱和与物镜面平行调整；提出高精度空间矩的方法进行X型靶标的角点亚像素的提取；采用精确的中心网格确定法拟合理想网格。上述的分析来看，使用该视觉标定技术的测量能够达到精度高、速度快、操作简单，并且其对生产环境要求低。带有光路调整的嵌入式机器视觉亚像素标定技术基于实际工程的思想的算法，该算法满足工业上的实时性以及精度要求。本发明已经应用于嵌入式机器视觉测控一体机与PC机组态界面软件下产品的在线视觉测量。 

Claims (3)

1.带有光路调整的嵌入式机器视觉亚像素标定方法，其特征是：

首先，将具有高精度的X型靶标放置于待测工件所在的平面上，然后对相机镜头进行粗调；

第二步，连接嵌入式机器视觉的检测装置，在线实时拍摄图像，在PC机上进行图像的实时显示；

第三步，防光强饱和调整：调节光源的亮度，并观察实时显示界面的光照强度状态图；光照强度状态图显示分为：红、绿、橙；红色，说明光强饱和，需要降低光强；绿色，说明光强适合，只需微调；橙色，说明光强偏弱，需要提高光强；在光强状态图显示绿色的前提下，微调光源至适合标定和测量的状态；

第四步，物镜面平行调整：根据操作界面实时显示，微调镜头，使得物面与镜面达到平行状态；反复的调整第三步与第四步，使得满足光源强度与物镜面平行的要求；

第五步，视觉标定：利用Harris算子、空间矩的方法进行X型靶标亚像素角点提取，然后利用图像中心角点的畸变最小的原理，提取图像中心的角点拟合理想网格，通过视觉系统的畸变模型公式计算畸变参数与比例系数；所述视觉标定的方法包括以下步骤：

(5.1)、在光路调整达到理想状态条件下，进行视觉标定；

(5.2)、提取X型靶标图像的亚像素角点：利用Harris算子提取X型靶标图像像素级的角点，然后基于空间矩亚像素边缘提取与最小二乘拟合的方法，进行角点的亚像素提取；

(5.3)、提取精确地理想网格：利用图像中心的畸变很小的原理，提取图像的中心区域中一个方格的四个顶点，并将这个区域扩展成3×3的的九个网格；对九个区域每个方格的四个顶点进行拟合理想网格系数，得出九组理想网格系数；根据每组的理想网格的系数分别拟合理想网格，并计算理想网格方格的长和宽之差diff，记录diff最小值所在方格的四个顶点拟合出的理想网格系数；根据记录理想网格系数以及理想网格的公式，求取整个图像的理想网格点；

(5.4)、根据畸变模型公式，利用对应的理想网格点与实际提取亚像素的角点坐标之间的差值，拟合畸变模型的系数；

(5.5)、将图像提取的实际角点通过畸变模型进行校正，然后根据空间的两点之间的空间距离与经过畸变模型校正后的图像的角点中两点之间的像素距离的比值，得到图像距离与实际距离之间的比例系数；

(5.6)、记录比例系数与畸变模型的系数，利用这些参数进行视觉测量；

所述进行亚像素角点提取的方法步骤如下：

(5.2.1)、边界提取：通过将搜索范围从整个图像缩小到所有边缘的方法，来减少算法的运算量；将选定的区域进行二值化操作，并用垂直和水平方向的一阶梯度算子找出边界点，用到的水平算子为[-11]，垂直算子则为水平算子的转置；通过对边界扩充的方法避免漏检角点的情况，扩充边界即在梯度算子找到的边界基础上，将找到的边界点周围8个点全部列为边界点；

(5.2.2)、对于区域中扩充后的边界点，求取其对应水平方向、垂直方向的梯度Ix和Iy，选用的梯度模板为[-2-1012]和[-2；-1；0；1；2]，选取的高斯模板的σ＝2，窗口大小为7×7；

(5.2.3)、根据下式计算出边界点的矩阵M：

$M=\underset{x,y}{\mathrm{\Σ}}G(x,y)\left[\begin{array}{c}{I^2}_X,I_x{I}_y\\ I_x{I}_y,{I^2}_y\end{array}\right]---(5-2-1)$

其中，I² _X＝I_x×I_x，I² _y＝I_y×I_y，G(x，y)为高斯窗口；

(5.2.4)、计算每个点的兴趣值：角点判断准则为，假设λ₁，λ₂为式5-2-1中矩阵M的两个特征值，当这λ₁，λ₂都很小时，表示这个点位于平坦区域；当λ₁，λ₂一个很大，另一个很小时，表示这个点位于边缘上；当λ₁，λ₂都很大时，表示这个点为角点；实际计算中，并不需要直接求出矩阵M的特征值，通过下式判断其是否为角点：

R＝det(M)-k*(trace(M))²

式中：det(M)——矩阵M的秩，det(M)＝λ₁×λ₂；

Trace——矩阵M的迹，trace＝λ₁+λ₂；

k——常数0.06；

计算出来的R的值越大，表明该点越趋于是角点；当R大于零且较大时，对应于角点；当R的值较大但小于零时，对应于边缘区域；如果|R|较小时，对应于图像的平坦区域；

(5.2.5)、确定像素级的角点：用3×3的模板搜索阈值大于0.01Rmax且是局部极大值的像素点，即可判定该像素点为角点；

(5.2.6)、计算出亚像素角点：根据每一个像素级角点分别往上下左右四个方向扩充成以像素级角点为中心的7×7的区域，找出该区域与四条边界相交的四个像素边缘点；以这四个边缘点为起点，分别以远离像素级别角点的方向，向上、下、左、右四个方向依次寻找十个边缘点，这些边缘点组合成四条像素级别的边缘直线；每个角点都有四条像素边缘直线；

将找到的边缘点进行空间距方法计算，找出各点对应的亚像素位置：使用的亚像素方法为二阶模型的空间距方法，将各点的亚像素位置按垂直和水平方向存入相应的数组中；

将每条边找到的亚像素级点进行最小二乘拟合，并求出四条直线的两个交点，即左边和上边的交点，右边和下边的交点；求取到两个亚像素位置的角点之后，再取这两点的平均值作为亚像素角点。

2.如权利要求1所述的带有光路调整的嵌入式机器视觉亚像素标定方法，其特征是所述防光强饱和调整的方法，用于防止光源饱和，从而导致角点与边缘信息的丢失，包括以下步骤：

(3.1)、在线实时采集X靶标图像：对X型靶标图像求取相应的直方图，并动态的显示；

(3.2)、统计X型靶标图像的灰度最大值，判断光强是否处于饱和状态，如果图像灰度最大值等于255，则说明光强处于饱和的状态；

(3.3)、如果光强处于饱和状态，并且用户选择了允许部分饱和，设定一个允许部分饱和度百分比值1％，计算图像上的饱和点的个数与整个图像点的个数之比，大于饱和度百分比值，则光强状态图显示红色，向下位机发出请求，减小光强；否则光强状态图显示绿色，满足标定的光强的需要，如果用户没有选择允许部分饱和，则光强状态图显示红色，必需调整光源；

(3.4)、如果光强不处于饱和状态，设定理想灰度值f_ideal为227像素以及波动范围δ为27像素，则图像灰度值在[200，254]之间，图像的光强状态图显示绿色，说明光强满足需求；灰度值小于200像素，则光强状态图显示橙色，提示用户此时光强太弱，提高光强；

(3.5)、在光强状态图处于绿色状态下，微量的调整光强，使得图像状态处于最佳。

3.如权利要求1所述的带有光路调整的嵌入式机器视觉亚像素标定方法，其特征是所述物镜面平行调整的方法，用于防止由于两个平面之间的夹角造成的误差，包括以下步骤：

(4.1)、调整相机的镜头，使得镜头位置与X型靶标平行，然后再对镜头进行微调；

(4.2)、在200*300像素的区域内，根据Harris算子提取X型靶标图像的像素级角点；在像素级角点的基础上，利用空间矩和直线拟合的方法提取X型靶标图像的亚像素的角点；

(4.4)、提取图像中心的区域网格四个角点的亚像素级坐标，这四个点包含中心点坐标(320，240)；

(4.5)、以所述图像中心的区域网格为中心，扩展成3×3的九个网格区域；

(4.6)、计算所述九个网格区域的第一行的三个区域的面积之和Area_Up，第三行的三个区域的面积之和Area_Down；并计算九个网格区域的第一列的三个区域的面积之和Area_Left，第三列的三个区域的面积之和Area_Right；

(4.7)、计算Area_Up与Area_Down，Area_Left与Area_Right之差分别为diff_UD、diff_LR；如果diff_UD、diff_LR差值的绝对值都是小于正阈值Threshold，显示区域的中心则显示绿色，说明此时物镜面达到平行；在1mm对应10pixel的焦距条件下，Threshold＝(1/a)*(a^(d/20))*3.5；其中：d是在不同焦距下拍摄得到方格对应的像素边长，a＝4；

(4.8)、如果diff_UD大于正阈值Threshold，则说明相机镜头上偏；如果diff_UD小于负阈值Threshold，则说明相机镜头下偏，否则，说明相机镜头没有上下偏的趋势；记录相机镜头上下偏移情况；

(4.9)、判断diff_LR的值，分为以下的三种情况：diff_LR的绝对值小于正阈值Threshold，说明相机镜头不存在左右偏的情况；diff_LR大于正阈值Threshold，说明相机镜头存在左偏；diff_LR小于负阈值Threshold，说明相机镜头存在右偏；记录相机镜头左右偏移的情况；

(4.10)、根据步骤4.8与4.9记录相机镜头的偏向，判断相机镜头的偏移：如果镜头不存在左右偏移，则根据步骤4.8得出相机镜头上下偏移；如果镜头不存在上下偏移，则根据步骤4.9得出摄像机镜头左右偏移；如果相机镜头存在上下偏移与左右偏移，由镜头上偏与左偏得到相机镜头存在左上偏移，由镜头上偏与右偏得到相机镜头存在右上偏移，由镜头下偏与左偏得到相机镜头存在左下偏移，由镜头下偏与右偏得到相机镜头存在右下偏移；根据界面的提示，调整相机的镜头，直到物镜面平行为至，调整结束。

Images