CN112465047B - 基于先验模型的工业图像视觉识别方法 - Google Patents

Abstract

本发明的基于先验模型的工业图像视觉识别方法涉及一种图像检测方法，目的是为了克服现有汽车仪表LED指示灯检测算法只适用于特定仪表，以及无法适应光照变化外部干扰的问题，具体步骤如下：步骤一、将测试图像与模板图像进行配准；步骤二、截取测试图像上的测试图像感兴趣区域；步骤三、分别对模板图像和测试图像进行模糊重构得到模糊模板图像和重构测试图像；步骤四、得到相似性度量图像；步骤五、得到开操作图像；步骤六、对开操作图像进行二值化操作，获得多个连通域；获取最大面积的连通域的最小外接矩形，判断该最小外接矩形的面积是否大于预设的判断阈值T_area，若是，则待检测LED指示灯存在缺陷。

Description

基于先验模型的工业图像视觉识别方法

技术领域

本发明涉及一种图像检测方法，具体涉及用于通过图像检测汽车仪表盘LED指示灯缺陷的方法。

背景技术

汽车仪表为车辆重要设备，随生产力日益增强，人们对汽车需求量越来越高，相应的给汽车仪表生产行业带来了巨大挑战。大量的汽车仪表LED指示灯缺陷检测需求需要消耗大量人力，且人为检测受人主观因素影响、受人疲惫程度影响，且大大增加检测成本，效率不高。

因此基于计算机视觉的方法应运而生，很好的解决了人工检测的弱点，众多仪表LED指示灯缺陷检测算法被提出并应用，但是现有的仪表LED指示灯缺陷检测算法主要有如下问题：

1、算法通用性不强，常常只适用于特定仪表，不适宜推广；

2、算法鲁棒性通常不高，无法适应光照变化外部干扰。

发明内容

本发明的目的是为了克服现有汽车仪表LED指示灯检测算法只适用于特定仪表，以及无法适应光照变化外部干扰的问题，提供了一种基于先验模型的工业图像视觉识别方法。

本发明的基于先验模型的工业图像视觉识别方法，方法具体步骤如下：

步骤一、将测试图像与模板图像进行配准；

模板图像上包括至少一个模板图像感兴趣区域；模板图像感兴趣区域与模板图像中各待检测LED指示灯的位置对应；

步骤二、通过模板图像感兴趣区域截取测试图像上的测试图像感兴趣区域；测试图像感兴趣区域与测试图像中各待检测LED指示灯的位置对应；

步骤三、通过模板图像感兴趣区域获得第一模糊重构亮度值区间，并通过该第一模糊重构亮度值区间和第一模糊函数对模板图像进行模糊重构得到模糊模板图像；

通过测试图像感兴趣区域获得第二模糊重构亮度值区间，并通过该第二模糊重构亮度值区间和第二模糊函数对测试图像进行重构得到重构测试图像；

步骤四、对模糊模板图像中的模板感兴趣区域和重构测试图像中的测试图像感兴趣区域进行相似性度量得到相似性度量图像；

步骤五、对相似性度量图像进行形态学腐蚀处理再进行形态学膨胀处理，得到开操作图像；

步骤六、利用二值化阈值T对开操作图像进行二值化操作，获得多个连通域；选取多个连通域中最大面积的连通域，获取该最大面积的连通域的最小外接矩形，判断该最小外接矩形的面积是否大于预设的判断阈值T_area，若是，则确定测试图像感兴趣区域所对应的待检测LED指示灯存在缺陷。

进一步地，其特征在于，步骤三中，通过模板图像感兴趣区域获得第一模糊重构亮度值区间的具体方法如下：

步骤三一一、对模板图像感兴趣区域灰度化后二值化，获得模板二值图像；

步骤三一二、从模板二值图像中选取亮度高的像素点集，提取模板二值图像的颜色分布直方图作为第一颜色分布直方图；

步骤三一三、使用最小二乘方法拟合第一颜色分布直方图的高斯分布，设置置信度α∈(0,1)，求得高斯分布区间(α,1-α)对应的亮度值区间(a,c)即为第一模糊重构亮度值区间，a、c分别为第一模糊重构亮度值区间的边界值，且c＞a。

进一步地，步骤三中的第一模糊函数为：

其中，b＝(a+c)/2，m表示模板图像中像素点的亮度，S(m；a,b,c)对应于m在模糊模板图像的值。

进一步地，步骤三中，通过测试图像感兴趣区域获得第二模糊重构亮度值区间的具体方法如下：

步骤三二一、对测试图像感兴趣区域灰度化后二值化，获得测试二值图像；

步骤三二二、从测试二值图像中选取亮度高的像素点集，提取测试二值图像的颜色分布直方图作为第二颜色分布直方图；

步骤三二三、使用最小二乘方法拟合第二颜色分布直方图的高斯分布，设置置信度β∈(0，1)，求得高斯分布区间(β，1-β)对应的亮度值区间(a′,c′)即为第二模糊重构亮度值区间，a'、c'分别为第二模糊重构亮度值区间的边界值，且c'＞a'。

进一步地，步骤三中的第二模糊函数为：

其中，b′＝(a′+c′)/2，n表示模板图像中像素点的亮度，S(n；a′,b′,c′)对应于n在重构测试图像中的值。

进一步地，步骤四中，使用L₂,L_∞范数对模糊模板图像中的模板感兴趣区域和重构测试图像中的测试图像感兴趣区域进行相似性度量，

其中，S(i,j)表示模糊模板图像中的模板感兴趣区域和重构测试图像中的测试图像感兴趣区域的相似度，k_i,j表示重构测试图像在坐标(i,j)处的颜色向量，t_i,j表示模糊模板图像在坐标(i,j)处的颜色向量，Relu(x)函数为max(0,x)函数，(i,j)为重构测试图像或模糊模板图像中的任意坐标值。

进一步地，步骤五中，对相似性度量图像进行形态学腐蚀处理和形态学膨胀处理所使用的掩膜核是宽度为e_w、长度为e_h的椭圆。

进一步地，步骤一中，还包括获得包括模板图像感兴趣区域的模板图像的方法，方法具体如下：

步骤一一、采集汽车仪表不同状态的多张仪表图像作为初始的模板图像；多张初始的模板图像均包括待检测LED指示灯；

步骤一二、对多张初始的模板图像进行配准后得到配准图像，并将配准后的模板图像映射到同一直角坐标系下；

步骤一三、在配准图像中的设置r_n个模板图像感兴趣区域，并获得r_n个模板图像感兴趣区域的参数；配准图像中的r_n个模板图像感兴趣区域分别与配准图像中的待检测LED指示灯位置对应；

模板图像感兴趣区域的参数包括宽度r_w、高度r_h和起始坐标

k∈[1,2,...,r_n]，其中r_n为模板图像感兴趣区域的数量；

步骤一四、根据r_n个模板图像感兴趣区域的参数，在各模板图像上选取r_n个模板图像感兴趣区域。

进一步地，步骤一二中，对多张初始的模板图像进行配准的具体方法如下：

步骤一二一、将初始的模板图像转为灰度图像；

步骤一二二、使用定向快速旋转描述ORB(Oriented Fast and Rotated Brief)特征点检测算法对两张灰度图像进行特征点检测及描述，并提取特征点描述子中相似度最高的N对点；

步骤一二三、使用随机抽样一致算法RANSAC(Random Sample Consensus)将N对点中的误匹配点对进行剔除，获取两张灰度图像间的映射矩阵，从而完成对应的初始的模板图像配准；

步骤一二四、更换灰度图像，重复执行步骤一二一至步骤一二三，直至所有初始的模板图像配准。

进一步地，步骤一一中、采集汽车仪表不同状态的多张仪表图像，是在暗室中进行采集。

本发明的有益效果是：

本发明的基于先验模型的工业图像视觉识别方法步骤简单，利于程序复现，且给实际调试过程带来了方便。对仪表类型适应性强，利于应用于各类仪表。鲁棒性强，对光照、噪声等不敏感；具有较低的算法复杂度，计算负担低。

附图说明

图1为本发明的基于先验模型的工业图像视觉识别方法的流程图。

具体实施方式

具体实施方式一，本实施方式的基于先验模型的工业图像视觉识别方法：该方法通过采集若干模板图像，并通过配准方法将模板图像映射到同一坐标系下。在此坐标系下设置矩形感兴趣区域(region of interest，ROI)，从而获得各LED指示灯所在位置。在线检测时通过测试图像与模板图像配准，获得透视矩阵，实现测试图像的映射，使用预设定的ROI获取测试图像中LED指示灯的位置。使用相似性度量方法及形态学操作，获取ROI内逐像素点的相似程度。最后使用二值化方法及面积选择判断待检测LED指示灯是否存在缺陷，具体如下：

步骤1、预先读取LED指示灯模板图像：使用相机于暗室获取仪表若干图像，这些图像分别含有需要检测的LED指示灯。计算这些图像的行数为N_x，列数为N_y；其中，于暗室获取仪表的若干图像是指仪表在不同的工作状态下亮起不同LED指示灯的图像，所有图像的总和包括所有LED指示灯亮起的状态；

步骤2、模板图像配准：对步骤1采集的图像进行配准，使得各模板图像对齐。

步骤3、设置配准图像LED指示灯的矩形ROI：设定LED指示灯图像的ROI的宽度r_w、高度r_h、起始坐标

k∈[1,2,...,r_n]，其中r_n为ROI区域个数。根据ROI选取的这些参数，在各模板图像选取LED图形的r_n个ROI；本实施例中r_n＝1；

其中，(x,y)为模板图像的任一坐标值；

步骤4、测试图像与模板图像配准：将测试图像与任一模板图像配准，获取两者变换矩阵，从而实现测试图像与模板图像的对齐；

步骤5、对齐的测试图像ROI获取：使用步骤3设置的r_n个矩形ROI，截取测试图像ROI；

步骤6、ROI图像二值化：对模板图像的各ROI图像灰度化，后使用最大类间方差方法二值化，从而获得r_n个模板图像ROI的二值图像，从二值图像中选取亮度高的像素点集，提取二值区域颜色分布直方图，使用最小二乘方法拟合高斯分布，设置置信度α＝0.05，求得高斯分布区间(α,1-α)对应的亮度值区间(a,c)，使用(a,c)及模糊函数构造模糊模板图像；

其中b＝(a+c)/2，S(m；a,b,c)表示模板图像中亮度为m的像素点，对应于模糊模板图像的值，从而实现模板图像重构。同理使用此方法测试图像同样可以实现模糊重构，进而获得重构测试图像，设置置信度β＝0.05；

步骤7、ROI图像相似性度量：对模糊模板图像各ROI与重构测试图像中对应的ROI进行相似性度量，在步骤6的二值化图像像素点位置，即获取各ROI内逐像素点的相似程度；

步骤8、相似度图像形态学操作：对相似性度量图像先做形态学腐蚀，掩膜核为宽度e_w、长度e_h的椭圆。而后对形态学腐蚀后的相似性度量图像做形态学膨胀，得到开操作图像(对图像先做形态学腐蚀后做形态学膨胀的操作称之为开操作)，掩膜核同样为宽度e_w、长度e_h的椭圆；本实施例中可以e_w＝7、e_h＝7；

步骤9、检测结果：对步骤8获得开操作图像使用阈值T做二值化操作，获得若干连通域。选取其中最大面积连通域，获取其最小外接矩形，设置阈值T_area，如果外接矩形大于T_area则判断存在缺陷；本实施例中阈值T＝15，阈值T_area＝40；

其中，步骤4的配准方法首先将模板图像及待测图像转为灰度图像，而后使用ORB特征点检测算法，对两幅图像进行特征点检测及描述，提取特征点描述子中相似度最高的50对点。使用RANSAC算法，获取待检测图像到模板图像的映射矩阵，从而实现测试图像到模板图像的配准。

其中，步骤7的相似性度量方法，使用L₂,L_∞范数求取：

其中k_i,j表示重构测试图像在坐标(i,j)的颜色向量，t_i,j表示模糊模板图像在坐标(i,j)的颜色向量。其中Relu(x)函数为max(0,x)函数。S(i,j)表示模糊模板图像中的模板感兴趣区域和重构测试图像中的测试图像感兴趣区域的相似度，利用该相似度值生成相似性度量图像。

本实施例的算法可精准完成汽车仪表LED指示灯缺陷检测任务，且此算法简单易行，易编写，鲁棒性强，适用于工业现场复杂环境。

以上所述仅为本发明的实施例之一而已，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明权利要求保护的范围之内。

Claims (6)

1.基于先验模型的工业图像视觉识别方法，其特征在于，所述方法具体步骤如下：

步骤一、将测试图像与模板图像进行配准；

所述模板图像上包括至少一个模板图像感兴趣区域；所述模板图像感兴趣区域与模板图像中各待检测LED指示灯的位置对应；

步骤二、通过模板图像感兴趣区域截取测试图像上的测试图像感兴趣区域；所述测试图像感兴趣区域与测试图像中各待检测LED指示灯的位置对应；

步骤三、通过模板图像感兴趣区域获得第一模糊重构亮度值区间，并通过该第一模糊重构亮度值区间和第一模糊函数对模板图像进行模糊重构得到模糊模板图像；

通过测试图像感兴趣区域获得第二模糊重构亮度值区间，并通过该第二模糊重构亮度值区间和第二模糊函数对测试图像进行重构得到重构测试图像；

步骤四、对模糊模板图像中的模板感兴趣区域和重构测试图像中的测试图像感兴趣区域进行相似性度量得到相似性度量图像；

步骤五、对所述相似性度量图像进行形态学腐蚀处理再进行形态学膨胀处理，得到开操作图像；

步骤六、利用二值化阈值T对开操作图像进行二值化操作，获得多个连通域；选取多个连通域中最大面积的连通域，获取该最大面积的连通域的最小外接矩形，判断该最小外接矩形的面积是否大于预设的判断阈值T_area，若是，则确定所述测试图像感兴趣区域所对应的待检测LED指示灯存在缺陷；

通过模板图像感兴趣区域获得第一模糊重构亮度值区间的具体方法如下：

步骤三一一、对模板图像感兴趣区域灰度化后二值化，获得模板二值图像；

步骤三一二、从模板二值图像中选取亮度高的像素点集，提取模板二值图像的颜色分布直方图作为第一颜色分布直方图；

步骤三一三、使用最小二乘方法拟合第一颜色分布直方图的高斯分布，设置置信度α∈(0,1)，求得高斯分布区间(α,1-α)对应的亮度值区间(a,c)即为第一模糊重构亮度值区间，a、c分别为第一模糊重构亮度值区间的边界值，且c＞a；

步骤三中的第一模糊函数为：

其中，b＝(a+c)/2，m表示模板图像中像素点的亮度，S(m；a,b,c)对应于m在模糊模板图像的值；

通过测试图像感兴趣区域获得第二模糊重构亮度值区间的具体方法如下：

步骤三二一、对测试图像感兴趣区域灰度化后二值化，获得测试二值图像；

步骤三二二、从测试二值图像中选取亮度高的像素点集，提取测试二值图像的颜色分布直方图作为第二颜色分布直方图；

步骤三二三、使用最小二乘方法拟合第二颜色分布直方图的高斯分布，设置置信度β∈(0，1)，求得高斯分布区间(β，1-β)对应的亮度值区间(a′,c′)即为第二模糊重构亮度值区间，a'、c'分别为第二模糊重构亮度值区间的边界值，且c'＞a'；

步骤三中的第二模糊函数为：

其中，b′＝(a′+c′)/2，n表示模板图像中像素点的亮度，S(n；a′,b′,c′)对应于n在重构测试图像中的值。

2.根据权利要求1所述的基于先验模型的工业图像视觉识别方法，其特征在于，步骤四中，使用L₂,L_∞范数对模糊模板图像中的模板感兴趣区域和重构测试图像中的测试图像感兴趣区域进行相似性度量，

其中，S(i,j)表示模糊模板图像中的模板感兴趣区域和重构测试图像中的测试图像感兴趣区域的相似度，k_i,j表示重构测试图像在坐标(i,j)处的颜色向量，t_i,j表示模糊模板图像在坐标(i,j)处的颜色向量，Relu(x)函数为max(0,x)函数，(i,j)为重构测试图像或模糊模板图像中的任意坐标值。

3.根据权利要求2所述的基于先验模型的工业图像视觉识别方法，其特征在于，步骤五中，对相似性度量图像进行形态学腐蚀处理和形态学膨胀处理所使用的掩膜核是宽度为e_w、长度为e_h的椭圆。

4.根据权利要求3所述的基于先验模型的工业图像视觉识别方法，其特征在于，步骤一中，还包括获得包括模板图像感兴趣区域的模板图像的方法，所述方法具体如下：

步骤一一、采集汽车仪表不同状态的多张仪表图像作为初始的模板图像；所述多张初始的模板图像均包括待检测LED指示灯；

步骤一二、对多张初始的模板图像进行配准后得到配准图像，并将配准后的模板图像映射到同一直角坐标系下；

步骤一三、在配准图像中的设置r_n个模板图像感兴趣区域，并获得r_n个模板图像感兴趣区域的参数；配准图像中的r_n个模板图像感兴趣区域分别与配准图像中的待检测LED指示灯位置对应；

模板图像感兴趣区域的参数包括宽度r_w、高度r_h和起始坐标

其中r_n为模板图像感兴趣区域的数量；

步骤一四、根据r_n个模板图像感兴趣区域的参数，在各模板图像上选取r_n个模板图像感兴趣区域。

5.根据权利要求4所述的基于先验模型的工业图像视觉识别方法，其特征在于，步骤一二中，对多张初始的模板图像进行配准的具体方法如下：

步骤一二一、将初始的模板图像转为灰度图像；

步骤一二二、使用定向快速旋转描述ORB特征点检测算法对两张灰度图像进行特征点检测及描述，并提取特征点描述子中相似度最高的N对点；

步骤一二三、使用随机抽样一致算法RANSAC将N对点中的误匹配点对进行剔除，获取两张灰度图像间的映射矩阵，从而完成对应的初始的模板图像配准；

步骤一二四、更换灰度图像，重复执行步骤一二一至步骤一二三，直至所有初始的模板图像配准。

6.根据权利要求5所述的基于先验模型的工业图像视觉识别方法，其特征在于，步骤一一中、采集汽车仪表不同状态的多张仪表图像，是在暗室中进行采集。

Images