CN106556606B - 基于机器视觉的大型机械产品总成件的在线质量控制方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的大型机械产品总成件的在线质量控制方法，其特征是：首先，通过路径规划确定大型机械产品总成件检测面上各检测点的检测次序并根据检测的顺序获取各检测点的图像；然后根据实时采集的检测环境信息计算环境对图像质量的影响程度值，并利用影响程度值对滤波函数的初始截止频率进行修正，使图像滤波处理的过程能够有效适应检测环境的变化；最后根据检测类型的差异分别利用提取的检测目标角点和几何中心点对目标进行检测，提高检测的速度。本发明能够减小复杂检测环境对图像质量的干扰，克服大型机械加工产品总成件检测面积较大和检测过程计算量大的困难，实现对大型机械加工产品总成件的在线质量控制。

Description

基于机器视觉的大型机械产品总成件的在线质量控制方法

技术领域

本方法属于先进制造技术领域，具体的说是一种基于机器视觉的大型机械产品总成件在线质量控制方法。

背景技术

近年来，机器视觉技术飞速发展，其应用的领域也越来越广泛，包括交通监控领域、医药领域、军事领域等；机器视觉技术在产品质量检测过程中起着重要的作用；对于小型产品的检测过程，机器视觉检测的位置比较固定，而且可以通过暗箱等手段控制检测环境对检测结果的影响；但是对大型机械产品总成件的检测，由于检测对象体积庞大，检测的目标位置分布广泛，使检测过程怎样有序进行成为阻碍视觉技术在企业应用的重要问题；另一方面由于总成件裸露在复杂的环境中使得检测的结果极大受到环境的影响，当车间环境变化很大时，机器视觉检测的结果与实际情况差距很大，甚至无法对产品质量进行检测，这严重影响了企业生产计划的进行；对于大型机械产品总成件的质量检测过程来说，要想创造一个良好的机器视觉检测环境是很困难的，因此如何设计一个能够有效适应周围环境变化，容错性强的机器视觉系统成为一个亟待解决的问题；另外，视觉检测目标识别过程会涉及到大量计算，计算过程的复杂性会很大程度上影响视觉检测的速度，不断减小检测过程中的计算量是视觉检测的一个重要目标。

发明内容

本方法为克服现有技术存在的不足之处，提供一种适用于基于机器视觉的大型机械加工产品总成件的在线质量控制方法，以期能够减小复杂检测环境对采集图像质量的干扰，克服大型机械加工产品总成件检测面积较大和检测过程计算量大的问题，从而实现对大型机械加工产品总成件的在线质量控制。

为实现上述目的，本发明采用的技术方案如下：

本发明一种基于机器视觉的大型机械产品总成件的在线质量控制方法，是应用于由大型机械产品总成件、机器人、环境检测仪和计算机系统所组成的在线质量检测环境中，所述计算机系统中存储有所述大型机械加工产品总成件的所有检测面上所有检测点位置以及工件尺寸信息，假设所述大型机械加工产品总成件包含n个检测面，第i个检测面上包含有m_i个检测点，且采集的第i个检测面上的第j个检测点图像的尺寸为M×N，1≤i≤n，其特点是按如下步骤进行：

步骤1、根据所述第i个检测面上包含的m_i个检测点位置以及工件尺寸信息，建立包含m_i个检测点以及各点之间距离参数的第i个检测面上的网络模型；

步骤2、确定第i个检测面上检测的起始点，并根据所述第i个检测面上的网络模型利用动态规划方法计算所述机器人上的机器手仅且一次运动到每个检测点并返回到所述起始点的检测次序作为第i个检测面上的最优路径并保存；

步骤3、所述机器人采集第i个检测面上的第j个检测点图像并发送给所述计算机系统；同时，所述环境检测仪实时获取所述在线质量检测环境中的温湿度、光照度、灰尘浓度并发送给所述计算机系统；

步骤4、所述计算机系统根据所述温湿度、光照度、灰尘浓度，利用式(1)获得复杂环境对图像质量的影响程度I：

I＝ω₁+ω₂+ω₃+ω₄ (1)

式(1)中，ω₁表示所述温度对图像质量的影响程度，并由环境中的温度变化确定；ω₂表示所述湿度对图像质量的影响程度，并由环境中湿度变化确定；ω₃表示所述灰尘浓度对图像质量的影响程度，并由环境中的灰尘浓度确定；ω₄表示光照度对图像质量的影响程度，并由生产现场的光照强度确定；

步骤5、利用所述影响程度I通过式(2)对低通滤波器的初始截断频率D₀进行修正，再利用修正后的截断频率确定的低通滤波器的滤波函数，对图像进行滤波处理，得到不含噪声的第j个检测点图像；

步骤6、利用双峰法对所述第j个检测点图像进行分割，得到第j个检测点图像的背景和待测目标；

步骤7、利用SUSAN角点检测算法找出所述待测目标的角点并在所述第j个检测点图像上进行标记，再根据所述待测目标计算所述待测目标的几何中心点并也在所述第j个检测点图像上进行标记，得到标记后的第j个检测点图像作为机器视觉检测图像匹配的模板；

步骤8、在线质量控制过程中，所述机器人采集待测总成件上第i个检测面的第j个检测点图像作为待测图像并发送给所述计算机系统；同时，所述环境检测仪实时获取所述在线质量检测环境中的温湿度、光照度、灰尘浓度并发送给所述计算机系统；

步骤9、重复步骤4-步骤6的处理方法，得到所述待测图像的背景和待测目标；

步骤10、提取所述待测图像的待测目标的角点和几何中心点，并将所提取的所述待测图像的待测目标的角点与所述模板的角点进行对比，得到所述待测图像的待测目标形状的匹配度；将所述提取的所述待测图像的待测目标的几何中心点位置与所述模板的几何中心点位置进行对比，得到所述待测图像的待测目标位置的匹配度；根据所述提取的所述待测图像的待测目标的几何中心点数量，确定所述待测图像的待测目标的数量；通过测量所述提取的所述待测图像的待测目标的任意两个角点之间的距离，确定所述待测图像的待测目标的尺寸，从而实现对所述待测图像上第i个检测面的第j个检测点的在线质量控制；

步骤11、将j+1赋值给j，并返回步骤3-步骤10，直到j＝m_i为止，从而实现所述待测图像上第i个检测面的在线质量控制；

步骤12、将i+1赋值给i，并返回步骤2-步骤11，直到i＝n为止，从而实现所述待测图像上所有检测面的在线质量控制。

本发明所述的基于机器视觉的大型机械产品总成件的在线质量控制方法的特点也在于，所述步骤4中的温度对图像质量的影响程度ω₁，湿度对图像质量的影响程度ω₂，所述灰尘浓度对图像质量的影响程度ω₃，光照度对图像质量的影响程度ω₄是由式(3)获得：

式(3)中，a₁表示所述环境检测仪实时获取的温度值，a₂表示所述环境检测仪实时获取的湿度值，a₃表示所述环境检测仪实时获取的光照度值，a₄表示所述环境检测仪实时获取的灰尘浓度值；b₁、b₂、b₃、b₄分别表示温度、湿度、光照度和灰尘浓度的转换因子，且b₁和b₃≥0，b₂和b₄＞0。

与已有技术相比，本发明的有益效果体现在：

1、本发明采用路径规划方法分区域获取大型件检测面待测目标的图像，能够有效解决视觉检测技术在对大型总成件进行检测时视场范围不足的问题，使视觉检测技术的应用不受被测物体积的影响；另外分区域获取检测面上待测目标的图像能够减小相机与检测目标之间的距离，从而降低了大视场范围检测环境下对相机精度的要求；

2、针对大型机械加工产品总成件在裸露的工业生产环境下受到各种复杂检测环境干扰的问题，本发明将复杂的检测环境因素考虑到图像处理过程，根据计算的检测环境对图像质量的影响程度I对所确定的低通滤波器的滤波函数的初始截止频率进行修正，使不同检测环境下图像滤波处理的程度不同，提高了机器视觉检测对环境的适应性和视觉检测系统的容错性，使裸露在复杂工业环境中的总成件也能利用视觉技术进行在线质量控制；

3、本发明根据目标检测类型的差异，分别利用提取的待测图像中待测目标的角点和几何中心点对待测目标的数量、尺寸、位置、形状进行检测，将对目标数量和位置的检测简化为对检测目标几何中心点的检测，利用角点的匹配程度和任意两个角点之间的距离对目标形状和尺寸进行检测，降低了检测过程的计算量，提高了检测的速度；

附图说明

图1为本方法的复杂环境图像预处理算法流程图；

图2为本方法的以角点和几何中心点为特征的模板示意图；

图3为本方法的基于机器视觉的大型机械加工产品总成件在线质量控制应用场景图；

图标标号：1大型机械加工产品总成件；2机器人；3计算机系统；4检测路径；5视觉传感器；6相机；7环境检测仪；8信息传输装置；9图像采集卡。

具体实施方式

参见图3，实施基于机器视觉的大型机械加工产品总成件在线质量控制包括有大型机械加工产品总成件1，大型机械加工产品总成件1被安置在固定位置，计算机系统3中存储有大型机械加工产品总成件1的所有检测面上所有检测点位置以及工件尺寸信息，假设大型机械加工产品总成件1包含n个检测面，第i个检测面上包含有m_i个检测点，1≤i≤n，且采集的第i个检测面上的第j个检测点图像的尺寸为M×N；机器人2能够在大型机械加工产品总成件1周围进行轨道式运动，分别到达大型机械加工产品总成件1的n个检测面，并且机器人2上的机器手能按照规划的检测路径4进行移动；机器人2上的机器手顶端安装的视觉传感器5不断观测检测范围内的目标信息，当机器人2上的机器手到达第i个检测面上第m_i个检测目标位置时，视觉传感器5触发相机6采集第i个检测面上第m_i个检测目标的图像，并将采集的图像信息及时传输给计算机系统3，同时，环境检测仪7将此时检测到的检测环境信息也传输给计算机系统3，计算机系统3按照目标图像采集时的检测环境对目标图像进行处理，并从处理后的图像中提取检测目标的几何中心点和检测点对目标的数量、位置、尺寸、形状进行检测；在线控制还需要的相应的硬件设备包括信息传输装置8、图像采集卡9并且还需要为相机6配置符合检测要求的镜头；根据工厂检测环境、检测精度以及检测距离的要求参见表1、表2、表3中的参数值配置相应的环境检测仪7、相机6和相机6上的镜头，使环境检测仪7、相机6和相机6上的镜头能够适应大型机械加工产品总成件1的视觉检测要求。

表1多参数环境检测仪

检测参数	检测范围	工作的温度	检测精度	检测方法
					光照度	10～10000Lux	-20～50℃	<7％
温度	-20～50℃	-20～50℃	±0.5℃
					湿度	0～95％RH	-20～50℃	±3％RH
pm2.5	0～500ug/m3	-20～50℃	﹤±15μg/m3+10％读数	光学散射方式

表2相机参数

表3镜头参数

检测过程按照如下步骤进行以实现对大型机械加工产品总成件的在线质量控制：

步骤1、根据大型机械产品总成件1的第i个检测面上包含的m_i个检测点位置以及工件尺寸信息，建立包含m_i个检测点以及各点之间距离参数的第i个检测面上的网络模型；

步骤2、确定第i个检测面上检测的起始点，并根据大型机械产品总成件1第i个检测面上的网络模型利用动态规划方法计算机器人2上的机器手仅且一次运动到每个检测点并返回到起始点的检测次序作为第i个检测面上的最优路径并保存；

步骤3、机器人2采集第i个检测面上的第j个检测点图像并发送给计算机系统3；同时，环境检测仪8实时获取所述在线质量检测环境中的温湿度、光照度、灰尘浓度并发送给计算机系统3；

步骤4、所述计算机系统3根据所述温湿度、光照度、灰尘浓度，利用式(1)获得复杂环境对图像质量的影响程度I：

I＝ω₁+ω₂+ω₃+ω₄ (1)

式(1)中，ω₁表示温度对图像质量的影响程度，并由环境中温度变化强度确定；ω₂表示湿度对图像质量的影响程度，并由环境中湿度变化确定；ω₃表示灰尘浓度对图像质量的影响程度，并由环境中灰尘浓度确定；ω₄表示光照度对图像质量的影响程度，并由生产现场的光照强度确定，通过将检测环境中各种干扰因素值转化为对图像质量的影响程度值，能够将复杂环境的影响进行有效描述并将其融合到图像处理过程；

步骤5、利用所述影响程度I通过式(2)对低通滤波器的初始截断频率D₀的值进行修正，再利用修正后的截断频率确定如式(3)所示的低通滤波器的滤波函数，并利用由修正后的截断频率所确定的滤波函数对图像进行滤波处理，得到不含噪声的第j个检测点图像；

本实施例中利用巴特沃斯低通滤波器作为图像滤波处理的低通滤波器，其滤波函数为公式(3)，其中u和v为频域变量，分别对应第i个检测面上的第j个检测点图像中任意一点(x,y)，D(u,v)为点(u,v)到频率平面原点的距离，且(u＝0,1,2,...,M-1；v＝0,1,2,...,N-1)，为了在有效去除图像噪声的同时保护好图像中检测目标的边缘，取D₀＝80，n＝1；

图像处理的流程如图1所示，根据采集第i个检测面上的第j个检测点图像时环境检测仪7检测到的检测环境信息确定检测环境对图像质量的影响程度I的值，然后利用I对所确定的巴特沃斯低通滤波器的滤波函数的初始截止频率进行修正，确定第i个检测面上的第j个检测点图像滤波处理的滤波函数，并利用傅里叶变换对图像进行滤波处理，得到处理后的标准图像；

根据第i个检测面上的第j个检测点图像采集时检测环境的变化确定图像滤波处理的截止频率能够使图像信息不被滤除，提高滤波处理的准确性；巴特沃斯低通滤波器作为目前广泛应用的低通滤波器，其是具有最大平坦幅度响应的低通滤波器，在线性相位、衰减斜率以及加载特性3个方面具有特性均衡的优点；另外在具体实施过程中还可以根据实际情况选择理想低通滤波器、切比雪夫低通滤波器以及高斯滤波器等，利用这些滤波器的图像处理过程也是通过式(2)修正所选择的滤波器的滤波函数的截止频率并利用修正后的滤波函数对图像进行滤波处理；

步骤6、利用双峰法对所述第j个检测点图像进行分割，得到第j个检测点图像的背景和待测目标；

步骤7、利用SUSAN角点检测算法找出待测目标的角点并在第j个检测点图像上进行标记，再根据待测目标计算待测目标的几何中心点并也在第j个检测点图像上进行标记，得到图2所示的标记后的第j个检测点图像作为机器视觉检测图像匹配的模板；

步骤8、在线质量控制过程中，机器人2采集待测总成件上第i个检测面的第j个检测点图像作为待测图像并发送给计算机系统3；同时，环境检测仪8实时获取在线质量检测环境中的温湿度、光照度、灰尘浓度并发送给计算机系统3；

步骤9、重复步骤4-步骤6的处理方法，得到待测图像的背景和待测目标；

步骤10、提取待测图像的待测目标的角点和几何中心点，并将所提取的待测图像的待测目标的角点与模板的角点进行对比，得到待测图像的待测目标形状的匹配度；将提取的待测图像的待测目标的几何中心点位置与模板的几何中心点位置进行对比，得到待测图像的待测目标位置的匹配度；根据提取的待测图像的待测目标的几何中心点数量，确定待测图像的待测目标的数量；通过测量提取的待测图像的待测目标的任意两个角点之间的距离，确定待测图像的待测目标的尺寸，从而实现对待测图像上第i个检测面的第j个检测点的在线质量控制；利用待测图像上待测目标的几何中心点和角点分别对其进行位置、数量以及形状、尺寸检测能够减小检测的计算量，提高检测的速度；

步骤11、将j+1赋值给j，并返回步骤3-步骤10，直到j＝m_i为止，从而实现待测图像上第i个检测面的在线质量控制；

步骤12、将i+1赋值给i，并返回步骤2-步骤11，直到i＝n为止，从而实现待测图像上所有检测面的在线质量控制。

具体实施中，步骤4中的温度对图像质量的影响程度ω₁，湿度对图像质量的影响程度ω₂，灰尘浓度对图像质量的影响程度ω₃，光照度对图像质量的影响程度ω₄是由式(4)获得：

式(4)中，a₁表示环境检测仪实时获取的温度值，a₂表示环境检测仪实时获取的湿度值，a₃表示环境检测仪实时获取的光照度值，a₄表示环境检测仪实时获取的灰尘浓度值；b₁、b₂、b₃、b₄分别表示温度、湿度、光照度和灰尘浓度的转换因子，且b₁和b₃≥0，b₂和b₄＞0；根据工厂环境及检测设备的检测要求设定大型机械产品总成件1图像采集时检测环境最适宜的温度和光照度值分别为a₁₀和a₃₀；当检测环境中温度a₁的值小于a₁₀时，此时由温度引起的检测环境对采集图像质量的干扰很小甚至可以忽略，即此时b₁的值为0，当检测环境中光照强度的值等于a₃₀时，此时的光照度最适合进行图像采集，因此可取b₃的值为0；通过式(4)能够将复杂的检测环境信息转化为对图像质量影响程度的参数信息，使环境信息能够量化为可以使用的参数值，并将这些参数运用到图像处理过程，使图像处理过程能够有效适应检测环境的变化。

综上所述，本方法利用路径规划得到总成件检测面上各检测点的检测次序，并根据得到的检测次序依次采集各检测点的图像，解决了视觉检测技术在大型总成件检测应用方面检测范围不足的问题；运用提出的复杂环境中温湿度、灰尘浓度、光照度对图像质量影响程度的确定方法，由计算的检测环境影响因素对所确定的低通滤波器的滤波函数的初始截止频率进行修正并利用修正后的截止频率确定滤波函数对图像进行处理，使图像的处理过程能够有效适应检测环境的变化；根据目标检测类型的差异分别利用目标的几何中心点和角点对目标的数量、位置、尺寸、形状进行检测，减小了视觉检测过程中计算量。

Claims (2)

1.一种基于机器视觉的大型机械产品总成件的在线质量控制方法，是应用于由大型机械产品总成件(1)、机器人(2)、环境检测仪和计算机系统(3)所组成的在线质量检测环境中，所述计算机系统(3)中存储有所述大型机械加工产品总成件(1)的所有检测面上所有检测点位置以及工件尺寸信息，假设所述大型机械加工产品总成件(1)包含n个检测面，第i个检测面上包含有m_i个检测点，且采集的第i个检测面上的第j个检测点图像的尺寸为M×N，1≤i≤n，其特征是按如下步骤进行：

步骤1、根据所述第i个检测面上包含的m_i个检测点位置以及工件尺寸信息，建立包含m_i个检测点以及各点之间距离参数的第i个检测面上的网络模型；

步骤2、确定第i个检测面上检测的起始点，并根据所述第i个检测面上的网络模型利用动态规划方法计算所述机器人(2)上的机器手仅且一次运动到每个检测点并返回到所述起始点的检测次序作为第i个检测面上的最优路径并保存；

步骤3、所述机器人(2)采集第i个检测面上的第j个检测点图像并发送给所述计算机系统(3)；同时，所述环境检测仪实时获取所述在线质量检测环境中的温湿度、光照度、灰尘浓度并发送给所述计算机系统(3)；

步骤4、所述计算机系统(3)根据所述温湿度、光照度、灰尘浓度，利用式(1)获得复杂环境对图像质量的影响程度I：

I＝ω₁+ω₂+ω₃+ω₄ (1)

式(1)中，ω₁表示所述温度对图像质量的影响程度，并由环境中的温度变化确定；ω₂表示所述湿度对图像质量的影响程度，并由环境中湿度变化确定；ω₃表示所述灰尘浓度对图像质量的影响程度，并由环境中的灰尘浓度确定；ω₄表示光照度对图像质量的影响程度，并由生产现场的光照强度确定；

步骤5、利用所述影响程度I通过式(2)对低通滤波器的初始截断频率D₀进行修正，再利用修正后的截断频率确定的低通滤波器的滤波函数，对图像进行滤波处理，得到不含噪声的第j个检测点图像；

步骤6、利用双峰法对所述第j个检测点图像进行分割，得到第j个检测点图像的背景和待测目标；

步骤7、利用SUSAN角点检测算法找出所述待测目标的角点并在所述第j个检测点图像上进行标记，再根据所述待测目标计算所述待测目标的几何中心点并也在所述第j个检测点图像上进行标记，得到标记后的第j个检测点图像作为机器视觉检测图像匹配的模板；

步骤8、在线质量控制过程中，所述机器人(2)采集待测总成件上第i个检测面的第j个检测点图像作为待测图像并发送给所述计算机系统(3)；同时，所述环境检测仪实时获取所述在线质量检测环境中的温湿度、光照度、灰尘浓度并发送给所述计算机系统(3)；

步骤9、重复步骤4-步骤6的处理方法，得到所述待测图像的背景和待测目标；

步骤10、提取所述待测图像的待测目标的角点和几何中心点，并将所提取的所述待测图像的待测目标的角点与所述模板的角点进行对比，得到所述待测图像的待测目标形状的匹配度；将所述提取的所述待测图像的待测目标的几何中心点位置与所述模板的几何中心点位置进行对比，得到所述待测图像的待测目标位置的匹配度；根据所述提取的所述待测图像的待测目标的几何中心点数量，确定所述待测图像的待测目标的数量；通过测量所述提取的所述待测图像的待测目标的任意两个角点之间的距离，确定所述待测图像的待测目标的尺寸，从而实现对所述待测图像上第i个检测面的第j个检测点的在线质量控制；

步骤11、将j+1赋值给j，并返回步骤3-步骤10，直到j＝m_i为止，从而实现所述待测图像上第i个检测面的在线质量控制；

步骤12、将i+1赋值给i，并返回步骤2-步骤11，直到i＝n为止，从而实现所述待测图像上所有检测面的在线质量控制。

2.根据权利要求1所述的基于机器视觉的大型机械产品总成件的在线质量控制方法，其特征是，所述步骤4中的温度对图像质量的影响程度ω₁，湿度对图像质量的影响程度ω₂，所述灰尘浓度对图像质量的影响程度ω₃，光照度对图像质量的影响程度ω₄是由式(3)获得：

式(3)中，a₁表示所述环境检测仪实时获取的温度值，a₂表示所述环境检测仪实时获取的湿度值，a₃表示所述环境检测仪实时获取的光照度值，a₄表示所述环境检测仪实时获取的灰尘浓度值；b₁、b₂、b₃、b₄分别表示温度、湿度、光照度和灰尘浓度的转换因子，且b₁和b₃≥0，b₂和b₄＞0。