CN112508084B - 复杂工业环境下基于模糊相似性度量的机器视觉检测方法 - Google Patents

复杂工业环境下基于模糊相似性度量的机器视觉检测方法 Download PDF

Info

Publication number
CN112508084B
CN112508084B CN202011402766.4A CN202011402766A CN112508084B CN 112508084 B CN112508084 B CN 112508084B CN 202011402766 A CN202011402766 A CN 202011402766A CN 112508084 B CN112508084 B CN 112508084B
Authority
CN
China
Prior art keywords
pointer
image
center
instrument
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011402766.4A
Other languages
English (en)
Other versions
CN112508084A (zh
Inventor
高会军
张珈玮
于金泳
于兴虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Intelligent Equipment Research Institute Co ltd
Original Assignee
Ningbo Intelligent Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Intelligent Equipment Research Institute Co ltd filed Critical Ningbo Intelligent Equipment Research Institute Co ltd
Priority to CN202011402766.4A priority Critical patent/CN112508084B/zh
Publication of CN112508084A publication Critical patent/CN112508084A/zh
Application granted granted Critical
Publication of CN112508084B publication Critical patent/CN112508084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

复杂工业环境下基于模糊相似性度量的机器视觉检测方法，属于机器视觉检测技术领域，本发明为解决现有基于机器视觉检测的仪表检测方法算法复杂、程序复现困难以及通用性差的问题。该机器视觉检测方法用于对汽车仪表进行检测，它包括：每类仪表构建一个唯一的知识模型；将待测图像和S1构建知识模型的过程中获取的模板图像进行在线检测配准；对待测图像和模板图像进行相似性度量，获取相似性度量图像；对S3获取的相似性度量图像进行指针提取；对S4获取的指针位置进行指针定位，获取待测图像的指针位置；根据指针位置计算获取仪表检测结果。本发明用于对汽车仪表进行检测。

Description

复杂工业环境下基于模糊相似性度量的机器视觉检测方法
技术领域
本发明涉及一种复杂工业环境下基于模糊相似性度量的机器视觉检测方法，属于机器视觉检测技术领域。
背景技术
汽车仪表为车辆的重要设备，随着生产力的日益增强，人们对汽车的需求量越来越高，相应的给汽车仪表生产行业带来了巨大挑战。大量的汽车仪表检测需求需要消耗大量人力，且人为检测受人主观因素影响、受人疲惫程度影响，不但增加检测成本，效率不高，检测准确率也不高。因此基于机器视觉的检测方法应运而生。
机器视觉检测的方法能够很好地解决人工检测的弱点，因此，众多仪表检测算法被提出并应用，但现有基于机器视觉检测的仪表检测算法主要有如下问题：
(1)、算法过于复杂，不简洁，给程序复现、调试带来了困难；
(2)、算法通用性不强，通常只适用于特定仪表，不适宜推广；
(3)、算法鲁棒性通常不高，无法适应光照变化外部干扰；
(4)、算法复杂度较高，有较大计算负担，不能满足实时检测要求。
发明内容
本发明目的是为了解决现有基于机器视觉检测的仪表检测方法算法复杂、程序复现困难以及通用性差的问题，提供了一种复杂工业环境下基于模糊相似性度量的机器视觉检测方法。
本发明所述复杂工业环境下基于模糊相似性度量的机器视觉检测方法，该机器视觉检测方法用于对汽车仪表进行检测，它包括：
S1、每类仪表构建一个唯一的知识模型；
S2、将待测图像和S1构建知识模型的过程中获取的模板图像进行在线检测配准；
S3、对待测图像和模板图像进行相似性度量，获取相似性度量图像；
S4、对S3获取的相似性度量图像进行指针提取；
S5、对S4获取的指针位置进行指针定位，获取待测图像的指针位置；
S6、根据指针位置计算获取仪表检测结果。
优选的，S1所述每类仪表构建一个唯一的知识模型的方法包括：
S1-1、通过相机采集仪表在暗室环境下的三幅图像，所述三幅图像的指针位置均不同；上位机读取相机获取的三幅图像，分别计算三幅图像的行数Nx和列数Ny；
S1-2、设定感兴趣区域ROI的参数，所述参数包括：宽度rw、高度rh、起始坐标(xin,yin)和区域个数rn，根据设定的参数在待测图像上选取rn个感兴趣区域ROI；
S1-3、将获取的三幅图像的所有像素点做相似度测量，计算三幅图像各对应像素点的欧式距离，每个像素点获得三个欧式距离，三个欧式距离分别对应三对图像，选取欧式距离的最小值，获得该欧式距离对应的两幅图像，对获得的两幅图像在此像素点的位置取均值，作为模板图像该位置的值，根据所有位置的值获取模板图像；
S1-4、将S1-1采集的三幅图像分别与S1-3获取的模板图像做差获取差分图像，将差分图像中的感兴趣区域ROI转化为灰度图像，然后使用最大类间方差方法获得灰度图像的阈值，根据阈值获得二值图像；
对二值图像进行形态学闭操作；
提取其中最大连通区域作为指针区域；
S1-5、提取指针区域轮廓，计算最小外接矩形，获得外接矩形的长rectl和宽rectw，采用霍夫直线检测获取长度大于max(rectl，rectw)/4的直线；
选取霍夫空间中的最大极值点作为指针区域一侧边缘直线l+，根据极值点从大到小搜索指针区域另一侧边缘直线，将最小外接矩形的中心坐标代入指针方程，第一个与l+异号的直线被判断为另一侧边缘直线l-；
通过计算l+和l-的角度均值和交点，获取指针直线l，将指针直线l作为指针位置；
S1-6、将获得的三条指针直线两两相交，获得三个交点，对三个交点取平均值，获得指针旋转中心(rx，ry)；
对获得的三个指针位置的像素点在HSV颜色模型的值取平均值
Figure GDA0002932143200000021
将该平均值作为仪表指针颜色的先验知识；
根据获取的指针位置获取仪表指针形状的先验知识；
S1-7、标定粗略坐标位置
Figure GDA0002932143200000022
i∈{1,…,nscale}，nscale表示刻度个数，i表示第i个刻度，刻度的搜索半径是rad；
根据刻度中心点和搜索半径获取搜索圆，对搜索圆区域做灰度化，然后使用最大类间方差方法获得连通域，将连通域的中心作为刻度中心
Figure GDA0002932143200000031
对刻度中心进行最小二乘法计算，获取搜索圆的中心(xcenter，ycenter)和半径radscale；
S1-8、将S1-3获取的模板图像作为背景模板、S1-6获取的指针旋转中心、仪表指针颜色的先验知识、仪表指针形状的先验知识、S1-7获取的刻度中心、搜索圆的中心和半径作为仪表先验知识，以仪表先验知识构成仪表知识模型，并将所述仪表知识模型存储在数据库中。
优选的，S2所述将待测图像和S1构建知识模型的过程中获取的模板图像进行在线检测配准的方法包括：
S2-1、将待测图像和S1构建知识模型的过程中获取的和模板图像分别转化为灰度图像；
S2-2、采用ORB特征点检测算法对两幅灰度图像进行特征点检测和描述，提取特征点描述中相似度最高的五十对点；
S2-3、采用RANSAC算法计算获取待测图像到模板图像的映射矩阵，完成在线检测配准。
优选的，S3所述对待测图像和模板图像进行相似性度量的方法包括：
S3-1、将待测图像和模板图像分别转化为HSV图像；
S3-2、采用S1-6获取的仪表指针颜色的先验知识搜索两幅HSV图像同时满足H分量在区间
Figure GDA0002932143200000032
S分量在区间
Figure GDA0002932143200000033
V分量在区间
Figure GDA0002932143200000034
的像素点；
其中：ξ∈[0,1]表示需要手动调节的参数，
Figure GDA0002932143200000035
分别表示指针的像素点在HSV颜色模型对应的三个分量的平均值；
S3-3、对S3-2获取的所有像素点所在的位置进行相似性度量。
优选的，所述相似性度量的结果为：待测图像与模板图像在各像素点的三分量差分结果最大值，表示为
Figure GDA0002932143200000036
其中，
Figure GDA0002932143200000037
表示待测图像在像素点(x,y)的H分量，
Figure GDA0002932143200000038
表示待测图像在像素点(x,y)的S分量，
Figure GDA0002932143200000039
表示待测图像在像素点(x,y)的V分量，
Figure GDA00029321432000000310
表示模板图像在像素点(x,y)的H分量，
Figure GDA00029321432000000311
表示模板图像在像素点(x,y)的S分量，
Figure GDA00029321432000000312
表示模板图像在像素点(x,y)的V分量。
优选的，S4所述对S3获取的相似性度量图像进行指针提取的方法包括：
S4-1、对S3获取的相似性度量图像使用最大类间方差法计算获得阈值，通过阈值将相似性度量图像二值化，获取二值图像；
S4-2、对S4-1获取的二值图像进行形态学闭操作，获取更新的二值图像；
S4-3、在S4-2获取的更新的二值图像中选取最大连通域作为指针位置，完成相似度图像的指针提取。
优选的，S5所述对S4获取的指针位置进行指针定位，获取待测图像的指针位置的方法包括：
S5-1、提取S4-3获取的指针位置的区域轮廓，计算最小外接矩形，获得外接矩形的长rectl和宽rectw，使用霍夫直线检测获取长度大于max(rectl，rectw)/4的直线；
S5-2、选取霍夫空间中的最大极值点作为指针区域一侧边缘直线
Figure GDA0002932143200000041
根据极值点从大到小搜索指针区域另一侧边缘直线，将最小外接矩形的中心坐标代入指针方程，第一个与
Figure GDA0002932143200000042
异号的直线被判断为另一侧边缘直线
Figure GDA0002932143200000043
S5-3、通过计算
Figure GDA0002932143200000044
和
Figure GDA0002932143200000045
的角度均值和交点，获取指针直线
Figure GDA0002932143200000046
将指针直线
Figure GDA0002932143200000047
作为待测图像的指针位置。
优选的，S6所述根据指针位置计算获取仪表检测结果的方法包括：
S6-1、根据S1获取的待测图像的指针位置获取指针旋转中心(rx，ry)和刻度中心
Figure GDA0002932143200000048
绘出以(xcenter，ycenter)为圆心、以radscale为半径的圆；
S6-2、计算指针直线
Figure GDA0002932143200000049
与S6-1获取的圆的交点(xinter，yinter)；
S6-3、根据指针旋转中心(rx，ry)和S6-2获取的交点(xinter，yinter)获取直线lpointer；
S6-4、根据刻度中心
Figure GDA00029321432000000410
和指针旋转中心(rx，ry)计算各刻度所在的直线
Figure GDA00029321432000000411
S6-5、选取直线
Figure GDA00029321432000000412
与直线lpointer角度最接近的两条直线，获取两条直线的位置N1和N2，分别计算直线lpointer与选取的两条直线的夹角θ1和θ2；
S6-6、获取仪表检测结果(θ1N2+θ2N1)/(θ1+θ2)。
优选的，S1-3所述计算三幅待测图像各对应像素点的欧式距离的方法为：
Figure GDA0002932143200000051
其中，
Figure GDA0002932143200000052
分别表示第t幅图像在像素点(x,y)位置的对应通道值；
Figure GDA0002932143200000053
分别表示第k幅图像在像素点(x,y)位置的对应通道值。
本发明提出的复杂工业环境下基于模糊相似性度量的机器视觉检测方法，用于对汽车仪表进行检测。首先构建一个每类仪表的唯一的知识模型，在检测过程中，依据知识模型完成指针的检测，具有如下优点：
(1)、本发明提出的基于机器视觉检测的仪表检测方法步骤简单，有利于程序复现，便于实际调试；
(2)、本发明提出的基于机器视觉检测的仪表检测方法计算过程复杂度较低，计算负担小，能够实时检测瓦楞纸数量；
(3)、本发明提出的基于机器视觉检测的仪表检测方法适用于各类仪表，对仪表类型的适应性强；
(4)、本发明提出的基于机器视觉检测的仪表检测方法鲁棒性强，对光照和噪声等不敏感。
附图说明
图1是本发明所述复杂工业环境下基于模糊相似性度量的机器视觉检测方法的流程框图；
图2是本发明所述复杂工业环境下基于模糊相似性度量的机器视觉检测方法的检测过程中汽车仪表示意图；
图3是本发明所述构建知识模型过程中仪表示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
具体实施方式一：下面结合图1和图2说明本实施方式，本实施方式所述复杂工业环境下基于模糊相似性度量的机器视觉检测方法，该机器视觉检测方法用于对汽车仪表进行检测，它包括：
S1、每类仪表构建一个唯一的知识模型；
S2、将待测图像和S1构建知识模型的过程中获取的模板图像进行在线检测配准；
S3、对待测图像和模板图像进行相似性度量，获取相似性度量图像；
S4、对S3获取的相似性度量图像进行指针提取；
S5、对S4获取的指针位置进行指针定位，获取待测图像的指针位置；
S6、根据指针位置计算获取仪表检测结果。
具体实施方式二：下面结合图3说明本实施方式，本实施方式对实施方式一作进一步说明，S1所述每类仪表构建一个唯一的知识模型的方法包括：
S1-1、通过相机采集仪表在暗室环境下的三幅图像，所述三幅图像的指针位置均不同；上位机读取相机获取的三幅图像，分别计算三幅图像的行数Nx和列数Ny；
S1-2、设定感兴趣区域ROI的参数，所述参数包括：宽度rw、高度rh、起始坐标(xin,yin)和区域个数rn，根据设定的参数在待测图像上选取rn个感兴趣区域ROI；
S1-3、将获取的三幅图像的所有像素点做相似度测量，计算三幅图像各对应像素点的欧式距离，每个像素点获得三个欧式距离，三个欧式距离分别对应三对图像，选取欧式距离的最小值，获得该欧式距离对应的两幅图像，对获得的两幅图像在此像素点的位置取均值，作为模板图像该位置的值，根据所有位置的值获取模板图像；
S1-4、将S1-1采集的三幅图像分别与S1-3获取的模板图像做差获取差分图像，将差分图像中的感兴趣区域ROI转化为灰度图像，然后使用最大类间方差方法获得灰度图像的阈值，根据阈值获得二值图像；
对二值图像进行形态学闭操作；
提取其中最大连通区域作为指针区域；
S1-5、提取指针区域轮廓，计算最小外接矩形，获得外接矩形的长rectl和宽rectw，采用霍夫直线检测获取长度大于max(rectl，rectw)/4的直线；
选取霍夫空间中的最大极值点作为指针区域一侧边缘直线l+，根据极值点从大到小搜索指针区域另一侧边缘直线，将最小外接矩形的中心坐标代入指针方程，第一个与l+异号的直线被判断为另一侧边缘直线l-；
通过计算l+和l-的角度均值和交点，获取指针直线l，将指针直线l作为指针位置；
S1-6、将获得的三条指针直线两两相交，获得三个交点，对三个交点取平均值，获得指针旋转中心(rx，ry)；
对获得的三个指针位置的像素点在HSV颜色模型的值取平均值
Figure GDA0002932143200000071
将该平均值作为仪表指针颜色的先验知识；
根据获取的指针位置获取仪表指针形状的先验知识；
S1-7、标定粗略坐标位置
Figure GDA0002932143200000072
i∈{1,…,nscale}，nscale表示刻度个数，i表示第i个刻度，刻度的搜索半径是rad；
根据刻度中心点和搜索半径获取搜索圆，对搜索圆区域做灰度化，然后使用最大类间方差方法获得连通域，将连通域的中心作为刻度中心
Figure GDA0002932143200000073
对刻度中心进行最小二乘法计算，获取搜索圆的中心(xcenter，ycenter)和半径radscale；
S1-8、将S1-3获取的模板图像作为背景模板、S1-6获取的指针旋转中心、仪表指针颜色的先验知识、仪表指针形状的先验知识、S1-7获取的刻度中心、搜索圆的中心和半径作为仪表先验知识，以仪表先验知识构成仪表知识模型，并将所述仪表知识模型存储在数据库中。
本实施方式中，S1-1中采用相机在暗室环境下获取仪表的三幅图像。
本实施方式中，S1-4所述对二值图像做形态学闭操作的掩膜核为：宽度为ew、长度为ek的椭圆。
本实施方式中，S1-4中将小于0像素点的差分图像置0。
具体实施方式三：本实施方式对实施方式二作进一步说明，S2所述将待测图像和S1构建知识模型的过程中获取的模板图像进行在线检测配准的方法包括：
S2-1、将待测图像和S1构建知识模型的过程中获取的和模板图像分别转化为灰度图像；
S2-2、采用ORB特征点检测算法对两幅灰度图像进行特征点检测和描述，提取特征点描述中相似度最高的五十对点；
S2-3、采用RANSAC算法计算获取待测图像到模板图像的映射矩阵，完成在线检测配准。
本实施方式中，所述ORB特征点检测算法，ORB是Oriented Fast and RotatedBrief的简称，可以用来对图像中的关键点快速创建特征向量，这些特征向量可以用来识别图像中的对象。ORB的特点是速度超快，而且在一定程度上不受噪点和图像变换的影响，例如旋转和缩放变换等。
进一步的，S3所述对待测图像和模板图像进行相似性度量的方法包括：
S3-1、将待测图像和模板图像分别转化为HSV图像；
S3-2、采用S1-6获取的仪表指针颜色的先验知识搜索两幅HSV图像同时满足H分量在区间
Figure GDA0002932143200000081
S分量在区间
Figure GDA0002932143200000082
V分量在区间
Figure GDA0002932143200000083
的像素点；
其中：ξ∈[0,1]表示需要手动调节的参数，
Figure GDA0002932143200000084
分别表示指针的像素点在HSV颜色模型对应的三个分量的平均值；
S3-3、对S3-2获取的所有像素点所在的位置进行相似性度量。
本实施方式中，HSV(Hue Saturation Value)是根据颜色的直观特性创建的一种颜色空间，也称六角锥体模型(Hexcone Model)。
再进一步的，所述相似性度量的结果为：待测图像与模板图像在各像素点的三分量差分结果最大值，表示为
Figure GDA0002932143200000085
其中，
Figure GDA0002932143200000086
表示待测图像在像素点(x,y)的H分量，
Figure GDA0002932143200000087
表示待测图像在像素点(x,y)的S分量，
Figure GDA0002932143200000088
表示待测图像在像素点(x,y)的V分量，
Figure GDA0002932143200000089
表示模板图像在像素点(x,y)的H分量，
Figure GDA00029321432000000810
表示模板图像在像素点(x,y)的S分量，
Figure GDA00029321432000000811
表示模板图像在像素点(x,y)的V分量。
再进一步的，S4所述对S3获取的相似性度量图像进行指针提取的方法包括：
S4-1、对S3获取的相似性度量图像使用最大类间方差法计算获得阈值，通过阈值将相似性度量图像二值化，获取二值图像；
S4-2、对S4-1获取的二值图像进行形态学闭操作，获取更新的二值图像；
S4-3、在S4-2获取的更新的二值图像中选取最大连通域作为指针位置，完成相似度图像的指针提取。
本实施方式中，S4-2所述对二值图像做形态学闭操作的掩膜核为：宽度为ew、长度为ek的椭圆。
再进一步的，S5所述对S4获取的指针位置进行指针定位，获取待测图像的指针位置的方法包括：
S5-1、提取S4-3获取的指针位置的区域轮廓，计算最小外接矩形，获得外接矩形的长rectl和宽rectw，使用霍夫直线检测获取长度大于max(rectl，rectw)/4的直线；
S5-2、选取霍夫空间中的最大极值点作为指针区域一侧边缘直线
Figure GDA0002932143200000091
根据极值点从大到小搜索指针区域另一侧边缘直线，将最小外接矩形的中心坐标代入指针方程，第一个与
Figure GDA0002932143200000092
异号的直线被判断为另一侧边缘直线
Figure GDA0002932143200000093
S5-3、通过计算
Figure GDA0002932143200000094
和
Figure GDA0002932143200000095
的角度均值和交点，获取指针直线
Figure GDA0002932143200000096
将指针直线
Figure GDA0002932143200000097
作为待测图像的指针位置。
再进一步的，S6所述根据指针位置计算获取仪表检测结果的方法包括：
S6-1、根据S1获取的待测图像的指针位置获取指针旋转中心(rx，ry)和刻度中心
Figure GDA0002932143200000098
绘出以(xcenter，ycenter)为圆心、以radscale为半径的圆；
S6-2、计算指针直线
Figure GDA0002932143200000099
与S6-1获取的圆的交点(xinter，yinter)；
S6-3、根据指针旋转中心(rx，ry)和S6-2获取的交点(xinter，yinter)获取直线lpointer；
S6-4、根据刻度中心
Figure GDA00029321432000000910
和指针旋转中心(rx，ry)计算各刻度所在的直线
Figure GDA00029321432000000911
S6-5、选取直线
Figure GDA00029321432000000912
与直线lpointer角度最接近的两条直线，获取两条直线的位置N1和N2，分别计算直线lpointer与选取的两条直线的夹角θ1和θ2；
S6-6、获取仪表检测结果(θ1N2+θ2N1)/(θ1+θ2)。
再进一步的，S1-3所述计算三幅待测图像各对应像素点的欧式距离的方法为：
Figure GDA0002932143200000101
其中，
Figure GDA0002932143200000102
分别表示第t幅图像在像素点(x,y)位置的对应通道值；
Figure GDA0002932143200000103
分别表示第k幅图像在像素点(x,y)位置的对应通道值。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (5)

1.复杂工业环境下基于模糊相似性度量的机器视觉检测方法，其特征在于，该机器视觉检测方法用于对汽车仪表进行检测，它包括：
S1、每类仪表构建一个唯一的知识模型；
S2、将待测图像和S1构建知识模型的过程中获取的模板图像进行在线检测配准；
S3、对待测图像和模板图像进行相似性度量，获取相似性度量图像；
S4、对S3获取的相似性度量图像进行指针提取；
S5、对S4获取的指针位置进行指针定位，获取待测图像的指针位置；
S6、根据指针位置计算获取仪表检测结果；
S1所述每类仪表构建一个唯一的知识模型的方法包括：
S1-1、通过相机采集仪表在暗室环境下的三幅图像，所述三幅图像的指针位置均不同；上位机读取相机获取的三幅图像，分别计算三幅图像的行数Nx和列数Ny；
S1-2、设定感兴趣区域ROI的参数，所述参数包括：宽度rw、高度rh、起始坐标(xin,yin)和区域个数rn，根据设定的参数在待测图像上选取rn个感兴趣区域ROI；
S1-3、将获取的三幅图像的所有像素点做相似度测量，计算三幅图像各对应像素点的欧式距离，每个像素点获得三个欧式距离，三个欧式距离分别对应三对图像，选取欧式距离的最小值，获得该欧式距离对应的两幅图像，对获得的两幅图像在此像素点的位置取均值，作为模板图像该位置的值，根据所有位置的值获取模板图像；
S1-4、将S1-1采集的三幅图像分别与S1-3获取的模板图像做差获取差分图像，将差分图像中的感兴趣区域ROI转化为灰度图像，然后使用最大类间方差方法获得灰度图像的阈值，根据阈值获得二值图像；
对二值图像进行形态学闭操作；
提取其中最大连通区域作为指针区域；
S1-5、提取指针区域轮廓，计算最小外接矩形，获得外接矩形的长rectl和宽rectw，采用霍夫直线检测获取长度大于max(rectl，rectw)/4的直线；
选取霍夫空间中的最大极值点作为指针区域一侧边缘直线l+，根据极值点从大到小搜索指针区域另一侧边缘直线，将最小外接矩形的中心坐标代入指针方程，第一个与l+异号的直线被判断为另一侧边缘直线l-；
通过计算l+和l-的角度均值和交点，获取指针直线l，将指针直线l作为指针位置；
S1-6、将获得的三条指针直线两两相交，获得三个交点，对三个交点取平均值，获得指针旋转中心(rx，ry)；
对获得的三个指针位置的像素点在HSV颜色模型的值取平均值
Figure FDA0003556768410000021
将该平均值作为仪表指针颜色的先验知识；
根据获取的指针位置获取仪表指针形状的先验知识；
S1-7、标定粗略坐标位置
Figure FDA0003556768410000022
nscale表示刻度个数，i表示第i个刻度，刻度的搜索半径是rad；
根据刻度中心点和搜索半径获取搜索圆，对搜索圆区域做灰度化，然后使用最大类间方差方法获得连通域，将连通域的中心作为刻度中心
Figure FDA0003556768410000023
对刻度中心进行最小二乘法计算，获取搜索圆的中心(xcenter，ycenter)和半径radscale；
S1-8、将S1-3获取的模板图像作为背景模板、S1-6获取的指针旋转中心、仪表指针颜色的先验知识、仪表指针形状的先验知识、S1-7获取的刻度中心、搜索圆的中心和半径作为仪表先验知识，以仪表先验知识构成仪表知识模型，并将所述仪表知识模型存储在数据库中；
S2所述将待测图像和S1构建知识模型的过程中获取的模板图像进行在线检测配准的方法包括：
S2-1、将待测图像和S1构建知识模型的过程中获取的和模板图像分别转化为灰度图像；
S2-2、采用ORB特征点检测算法对两幅灰度图像进行特征点检测和描述，提取特征点描述中相似度最高的五十对点；
S2-3、采用RANSAC算法计算获取待测图像到模板图像的映射矩阵，完成在线检测配准；
S3所述对待测图像和模板图像进行相似性度量的方法包括：
S3-1、将待测图像和模板图像分别转化为HSV图像；
S3-2、采用S1-6获取的仪表指针颜色的先验知识搜索两幅HSV图像同时满足H分量在区间
Figure FDA0003556768410000024
S分量在区间
Figure FDA0003556768410000025
V分量在区间
Figure FDA0003556768410000026
的像素点；
其中：ξ∈[0,1]表示需要手动调节的参数，
Figure FDA0003556768410000031
分别表示指针的像素点在HSV颜色模型对应的三个分量的平均值；
S3-3、对S3-2获取的所有像素点所在的位置进行相似性度量；
所述相似性度量的结果为：待测图像与模板图像在各像素点的三分量差分结果最大值，表示为
Figure FDA0003556768410000032
其中，
Figure FDA0003556768410000033
表示待测图像在像素点(x,y)的H分量，
Figure FDA0003556768410000034
表示待测图像在像素点(x,y)的S分量，
Figure FDA0003556768410000035
表示待测图像在像素点(x,y)的V分量，
Figure FDA0003556768410000036
表示模板图像在像素点(x,y)的H分量，
Figure FDA0003556768410000037
表示模板图像在像素点(x,y)的S分量，
Figure FDA0003556768410000038
表示模板图像在像素点(x,y)的V分量。
2.根据权利要求1所述的复杂工业环境下基于模糊相似性度量的机器视觉检测方法，其特征在于，S4所述对S3获取的相似性度量图像进行指针提取的方法包括：
S4-1、对S3获取的相似性度量图像使用最大类间方差法计算获得阈值，通过阈值将相似性度量图像二值化，获取二值图像；
S4-2、对S4-1获取的二值图像进行形态学闭操作，获取更新的二值图像；
S4-3、在S4-2获取的更新的二值图像中选取最大连通域作为指针位置，完成相似度图像的指针提取。
3.根据权利要求2所述的复杂工业环境下基于模糊相似性度量的机器视觉检测方法，其特征在于，S5所述对S4获取的指针位置进行指针定位，获取待测图像的指针位置的方法包括：
S5-1、提取S4-3获取的指针位置的区域轮廓，计算最小外接矩形，获得外接矩形的长rectl和宽rectw，使用霍夫直线检测获取长度大于max(rectl，rectw)/4的直线；
S5-2、选取霍夫空间中的最大极值点作为指针区域一侧边缘直线
Figure FDA0003556768410000039
根据极值点从大到小搜索指针区域另一侧边缘直线，将最小外接矩形的中心坐标代入指针方程，第一个与
Figure FDA00035567684100000310
异号的直线被判断为另一侧边缘直线
Figure FDA00035567684100000311
S5-3、通过计算
Figure FDA00035567684100000312
和
Figure FDA00035567684100000313
的角度均值和交点，获取指针直线
Figure FDA00035567684100000314
将指针直线
Figure FDA00035567684100000315
作为待测图像的指针位置。
4.根据权利要求3所述的复杂工业环境下基于模糊相似性度量的机器视觉检测方法，其特征在于，S6所述根据指针位置计算获取仪表检测结果的方法包括：
S6-1、根据S1获取的待测图像的指针位置获取指针旋转中心(rx，ry)和刻度中心
Figure FDA0003556768410000041
绘出以(xcenter，ycenter)为圆心、以radscale为半径的圆；
S6-2、计算指针直线
Figure FDA0003556768410000042
与S6-1获取的圆的交点(xinter，yinter)；
S6-3、根据指针旋转中心(rx，ry)和S6-2获取的交点(xinter，yinter)获取直线lpointer；
S6-4、根据刻度中心
Figure FDA0003556768410000043
和指针旋转中心(rx，ry)计算各刻度所在的直线
Figure FDA0003556768410000044
S6-5、选取直线
Figure FDA0003556768410000045
与直线lpointer角度最接近的两条直线，获取两条直线的位置N1和N2，分别计算直线lpointer与选取的两条直线的夹角θ1和θ2；
S6-6、获取仪表检测结果(θ1N2+θ2N1)/(θ1+θ2)。
5.根据权利要求1所述的复杂工业环境下基于模糊相似性度量的机器视觉检测方法，其特征在于，S1-3所述计算三幅待测图像各对应像素点的欧式距离的方法为：
Figure FDA0003556768410000046
其中，
Figure FDA0003556768410000047
分别表示第t幅图像在像素点(x,y)位置的对应通道值；
Figure FDA0003556768410000048
分别表示第k幅图像在像素点(x,y)位置的对应通道值。
CN202011402766.4A 2020-12-04 2020-12-04 复杂工业环境下基于模糊相似性度量的机器视觉检测方法 Active CN112508084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011402766.4A CN112508084B (zh) 2020-12-04 2020-12-04 复杂工业环境下基于模糊相似性度量的机器视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011402766.4A CN112508084B (zh) 2020-12-04 2020-12-04 复杂工业环境下基于模糊相似性度量的机器视觉检测方法

Publications (2)

Publication Number Publication Date
CN112508084A CN112508084A (zh) 2021-03-16
CN112508084B true CN112508084B (zh) 2022-05-03

Family

ID=74969857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011402766.4A Active CN112508084B (zh) 2020-12-04 2020-12-04 复杂工业环境下基于模糊相似性度量的机器视觉检测方法

Country Status (1)

Country Link
CN (1) CN112508084B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385440B (zh) * 2023-06-05 2023-08-11 山东聚宁机械有限公司 一种弧形刀片视觉检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103528617A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种座舱仪表自动识别和检测方法及装置
CN104751187A (zh) * 2015-04-14 2015-07-01 山西科达自控股份有限公司 抄表图像自动识别方法
CN106682674A (zh) * 2016-12-23 2017-05-17 浙江大学 一种基于智能巡检机器人的指针式仪表自动读数方法
CN107145890A (zh) * 2017-05-02 2017-09-08 南通大学 一种远距离多视角环境下的指针式仪表盘自动读数方法
CN108009535A (zh) * 2017-11-21 2018-05-08 武汉中元华电科技股份有限公司 一种基于机器视觉的单指针仪表读数方法
CN108121985A (zh) * 2017-11-21 2018-06-05 武汉中元华电科技股份有限公司 一种基于机器视觉的双指针仪表读数方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180013523A (ko) * 2016-07-29 2018-02-07 삼성전자주식회사 이미지의 유사도에 기초하여 이미지들을 연속적으로 표시하는 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103528617A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种座舱仪表自动识别和检测方法及装置
CN104751187A (zh) * 2015-04-14 2015-07-01 山西科达自控股份有限公司 抄表图像自动识别方法
CN106682674A (zh) * 2016-12-23 2017-05-17 浙江大学 一种基于智能巡检机器人的指针式仪表自动读数方法
CN107145890A (zh) * 2017-05-02 2017-09-08 南通大学 一种远距离多视角环境下的指针式仪表盘自动读数方法
CN108009535A (zh) * 2017-11-21 2018-05-08 武汉中元华电科技股份有限公司 一种基于机器视觉的单指针仪表读数方法
CN108121985A (zh) * 2017-11-21 2018-06-05 武汉中元华电科技股份有限公司 一种基于机器视觉的双指针仪表读数方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的指针式仪表示数识别方法研究;童伟圆，葛一粟，杨程光，金一鸣，高飞;《计算机测量与控制》;20180331;第162-166页 *
改进ORB和Hough变换的指针式仪表识读方法;高建龙，郭亮，吕耀宇，吴清文，母德强;《计算机工程与应用》;20181231;第252-258页 *
跨摄像头运动目标检测与识别;梅江元，司玉林，高会军;《自动化技术与应用》;20111130;第43-46页 *

Also Published As

Publication number Publication date
CN112508084A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
CN105913093B (zh) 一种用于文字识别处理的模板匹配方法
CN111028213A (zh) 图像缺陷检测方法、装置、电子设备及存储介质
CN111414934A (zh) 一种基于Faster R-CNN和U-Net的指针式仪表读数自动识别方法
CN114549835B (zh) 一种基于深度学习的指针式仪表矫正识别方法及装置
CN108960237B (zh) 一种指针式油位计读数识别方法
CN110706293B (zh) 基于surf特征匹配的电子元器件定位和检测方法
CN109284718B (zh) 面向巡检机器人的变视角多仪表同时识别方法
CN112330678B (zh) 产品边缘缺陷检测方法
CN111223133A (zh) 一种异源图像的配准方法
CN110097596A (zh) 一种基于opencv的目标检测系统
CN107145890A (zh) 一种远距离多视角环境下的指针式仪表盘自动读数方法
CN112613429A (zh) 一种基于机器视觉适用于多视角图像指针式仪表读数方法
CN113340909B (zh) 一种基于机器视觉的胶线缺陷检测方法
CN114627080B (zh) 基于计算机视觉的车辆冲压配件缺陷检测方法
CN110260818B (zh) 一种基于双目视觉的电子连接器鲁棒检测方法
CN112233116A (zh) 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法
CN112508084B (zh) 复杂工业环境下基于模糊相似性度量的机器视觉检测方法
Liu et al. Enhancement of contour smoothness by substitution of interpolated sub-pixel points for edge pixels
CN115272664A (zh) 仪表盘示数展示方法、装置、电子设备和存储介质
Wankhede et al. A low cost surface strain measurement system using image processing for sheet metal forming applications
CN111539951B (zh) 一种陶瓷砂轮头轮廓尺寸视觉检测方法
Zhang et al. Automobile instrument detection using prior information and fuzzy sets
Li et al. AdaHC: Adaptive hedge horizontal cross-section center detection algorithm
CN112465047B (zh) 基于先验模型的工业图像视觉识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant