CN110378376A - 一种基于机器视觉的加油口目标识别定位方法 - Google Patents
一种基于机器视觉的加油口目标识别定位方法 Download PDFInfo
- Publication number
- CN110378376A CN110378376A CN201910507058.8A CN201910507058A CN110378376A CN 110378376 A CN110378376 A CN 110378376A CN 201910507058 A CN201910507058 A CN 201910507058A CN 110378376 A CN110378376 A CN 110378376A
- Authority
- CN
- China
- Prior art keywords
- image
- template
- pixel
- gray
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的加油口目标识别定位方法。该方法首先通过加油位相机获取待加油车辆车牌信息,进而得到保存的车辆加油口高度、油箱盖模板信息;然后机器人末端移动到加油口高度,末端相机采集图像;然后对图像进行灰度化、灰度均衡化、直方图均衡规定化预处理;其次对预处理后的图像进行边缘提取,通过设定连通域面积阈值筛选虚假噪声轮廓,设定外接圆半径阈值筛选车体轮廓干扰,实现对环境光干扰下汽车侧面真实边缘特征的准确提取;最后采用基于金字塔分层搜索策略的形状模板匹配方法对油箱盖边缘特征进行快速准确识别。本发明实现了对各种光线、阴影影响下的车辆加油口目标快速准确地识别,满足加油机器人工作的需要。
Description
技术领域
本发明属于工业机器人应用和计算机视觉技术领域,具体涉及一种基于机器视觉的加油口目标识别定位方法。
背景技术
加油机器人系统要实现对随机停靠车辆自动加油工作,需要基于传感器对目标加油车辆的油箱口进行识别与定位,并基于对车辆油箱盖的识别定位信息引导机器人运动到期望加油位姿开展加油。在进行加油车辆油箱盖识别定位方面及基于视觉引导机器人定位方面,国内外的科研人员做了一些创新性的探索。
在加油车辆油箱盖识别定位方面:文献《Monocular,vision based,autonomousrefueling system》(Farag A,Dizdarevic E,Eid A,et al.,Applications of ComputerVision.IEEE,2002)搭建了基于单色单目视觉的加油机器人识别定位系统[9],通过机器人腕部相机识别汽车油箱盖上张贴的特定标志物进行识别定位。该方案在各种方位有较好定位准确性,定位位置误差为2mm,姿态误差为7°,定位用时40s,但张贴识别标志物在实际应用中不易被顾客接受;文献《An automated gas station attendant》(Tso S K,Fan K L,Zhang Y,et al.,IEEE International Conference on Technologies for PracticalRobot Applications.2008)开发了一种利用距离传感器与视觉传感器联合定位的加油机器人识别定位伺服控制系统,通过红外距离传感器水平扫描测量车辆停靠倾角,通过末端相机识别定位汽车油箱盖。该方案将距离传感器与视觉传感器配合使用,测量精度较高,识别速度较快;文献《Robotic fueling system》(Andrews M,Thompson C,Warner E,et al.,IEEE International Conference on Technologies for Practical RobotApplications.2008)设计了一款多种传感器信息融合的车辆油箱盖识别定位系统,通过激光距离传感器探测车辆位置,通过红外和超声传感器探测汽车姿态,通过末端的磁力传感器进行定位验证。该方法定位速度快,但识别定位不灵活,只能用于安装射频标签的车辆。
综上所述,现有研究不满足加油机器人实际工作中对加油口目标识别定位的智能性、实时性要求,有必要研究一种对目标适应性好、识别速度高、识别准确率高的加油口目标识别定位方法。
发明内容
为了解决背景技术中存在的上述技术问题,本发明提供了一种基于机器视觉的加油口目标识别定位方法,以满足加油机器人实际工作中的需要。
为达到上述目的,本发明采用如下的技术方案来实现:
一种基于机器视觉的加油口目标识别定位方法,包括以下步骤:
1)加油位相机获取待加油车辆的车牌信息,与客户订单信息进行匹配;
2)车牌信息匹配完成后,获取待加油车辆的加油口高度、油箱盖模板;
3)机器人末端移动到加油口高度,末端相机采集图像;
4)对采集的加油口原始图像依次进行灰度化、灰度均衡化以及直方图均衡规定化预处理,从而进行准确实时地识别定位;
5)对预处理后的图像进行边缘提取,通过设定连通域面积阈值筛选虚假噪声轮廓,设定外接圆半径阈值筛选车体轮廓干扰;
6)通过基于形状的模板匹配识别出感兴趣的油箱盖边缘轮廓。
本发明进一步的改进在于,步骤4)中,首先对采集的图像进行灰度化处理,彩色图像灰度化采用像素点三个颜色通道加权平均计算其灰度值,加权平均灰度化计算方法如下:
Gray=0.072169B+0.715160G+0.212671R (1)
式(1)中:B、G、R——各像素点三个颜色通道的等级量值;Gray——像素点对三通道颜色数据加权后的灰度值;
然后对图像进行灰度直方图均衡化处理降噪,对原灰度图像进行灰度直方图均衡化,图像的灰度均衡化表示为:
式(2)中:Sk——均衡化后灰度值;rk——图像像素原灰度值;k——图像灰度级数,;ni——像素级数为i的像素数;N——图像像素总数;
在经过灰度直方图均衡化后的图像,通过统计图像的灰度均值,并以规定的灰度均值为阈值对图像灰度进行阈值分割,并将包含反射光斑的高光噪声用规定灰度均值替代,从而实现对车体反射高光光斑的剔除,并保留目标油箱盖真实边缘轮廓。
本发明进一步的改进在于,k=255。
本发明进一步的改进在于,步骤5)中,以Sobel边缘检测方法进行圆角矩形加油盖目标的边缘轮廓检测。
本发明进一步的改进在于,步骤5)中,基于形状模板匹配的具体实现方法如下:
601)首先将指定车型期望加油工位上采集的油箱盖图像轮廓边缘特征作为标准模板,模板轮廓上的每个点特征都由点的像素坐标pi=(ri,ci)T以及该点与周围像素之间的梯度方向向量di=(ti,ui)T定义,其中i=1,2,3,…,n;模板形状轮廓点特征的梯度方向向量使用Sobel算子计算得到;
602)对加油末端相机中采集的汽车侧面目标图像预处理后,通过Sobel边缘检测算子计算获得目标图像中每个像素点q(r,c)的方向向量er,c=(vr,c,wr,c)T;
603)将步骤601)中的汽车油箱盖形状模板通过仿射变换,对标准模板进行旋转和缩放,从而获得含有旋转的模板和含有平移的模板,仿射变换模板的像素坐标pi'通过pi'=Api来计算获取,仿射变换后像素点pi'方向向量通过di'=(A-1)Tdi计算得到,上式中的A为仿射变换中的旋转分量对应的旋转矩阵;
604)在末端相机获取的汽车侧面图像中的某一点处,进行模板匹配相似度计算,即将标准模板及仿射变换后获得的变形模板依次与目标图像进行相似度计算;将模板中形状轮廓的各个点的方向向量与图像中相应点的方向向量进行点积计算,并对所有模板与目标像素点方向向量点积之和作为匹配相似度度量值,即
对模板像素点和目标像素点的方向向量进行归一化处理,归一化形状模板匹配的相似度计算如下:
式(5)中,pi=(ri,ci)T表示模板像素点,di=(ti,ui)T,i=1,2,...,n表示模板像素点相应的方向向量,p′i=Api表示模板仿射变换后的像素点,d′i=Adi表示相应的方向向量,A为二阶标准旋转矩阵,q=(r,c)T表示汽车侧面图像像素点,er,c=(vr,c,wr,c)T表示汽车侧面图像像素点的方向向量;
归一化的形状模板匹配相似度算法将返回一个在0到1之间的匹配相似度,如果目标像素特征与形状模板像素特征完全匹配,则相似度为1,若部分匹配,则相似度小于1,若完全不匹配,则相似度接近于0;在目标物体受遮挡的情况下,如果目标特征一半特征被遮挡,而另一半特征能够完全匹配,则匹配的相似度接近0.5。
本发明具有如下有益的技术效果:
1、本发明提供的一种基于机器视觉的加油口目标识别定位方法,针对汽车侧面图像存在环境反射光斑干扰的特点,设计了一种直方图均衡规定化方法。对原灰度图像进行灰度直方图均衡化,明显提高目标轮廓与光斑噪声间对比度。对灰度直方图均衡化后的图像统计其灰度均值,并以规定的灰度均值为阈值对图像灰度进行阈值分割,将包含反射光斑的高光噪声用规定灰度均值替代,实现了对车体反射高光光斑的剔除,并保留了目标油箱盖真实边缘轮廓,实现了环境光干扰下汽车侧面真实边缘特征的准确提取。
2、本发明提供的一种基于机器视觉的加油口目标识别定位方法,采用基于金字塔分层搜索策略的形状模板匹配方法,通过将模板图像中像素点的方向向量与通过预处理获取边缘特征的目标图像中相应点的方向向量计算点积并求和作为匹配相似度的度量值,当相似度大于设定的阈值,则认为匹配到目标,该方法对特征轮廓缺陷具有较强适应能力,且能够应对目标图像特征的旋转、缩放等仿射变换,匹配灵活性较强。同时设计了金字塔分层搜索策略加快形状模板匹配速度,通过对图像和模板进行多次二次抽样构建图像金字塔,再采用指定的图像匹配方法从金字塔的最高层依次向底层搜索,直至在初始目标图像中搜索到指定形状,实现了对加油口目标的快速准确识别。
附图说明
图1为加油口视觉识别系统示意图;
图2为图像灰度均衡化对比效果图,其中图2(a)为原灰度图,图2(b)为原灰度直方图,图2(c)为灰度均衡化图,图2(d)为灰度均衡化直方图;
图3为直方图均衡规定化消除光斑效果对比图,其中图3(a)为原灰度图,图3(b)为灰度均衡规定化效果图;
图4为汽车油箱盖水平中心线对应图像灰度值及其水平方向灰度梯度示意图,其中图4(a)为汽车油箱盖中心水平线,图4(b)为油箱盖中心线像素灰度值,图4(c)为油箱盖中心线灰度变化率;
图5为加油口图像Sobel边缘检测效果;
图6为直方图阈值分割与特征提取示意图,其中图6(a)为灰度直方图阈值分割图,图6(b)为特征筛选结果,图6(c)为提取出的油箱盖轮廓;
图7为加油口模板匹配流程示意图;
图8为加油口模板匹配及坐标输出示意图;其中图8(a)为边缘特征分割筛选图,图8(b)为形状匹配图,图8(c)为获取油箱盖中心坐标图;
图9为本发明一种基于机器视觉的加油口目标识别定位方法的流程图。
具体实施方式
为使本发明的目的、技术方案和特点更加清楚明白,以下结合参考附图,对本发明进一步详细说明。
如图1和图9所示,本发明提供的一种基于机器视觉的加油口目标识别定位方法,包括以下步骤:
1)加油位相机1获取待加油车辆的车牌信息,与客户订单信息进行匹配;
2)车牌信息匹配完成后,获取待加油车辆的加油口高度、油箱盖模板;
3)机器人末端移动到加油口高度,末端相机2采集图像;汽车油箱盖表面颜色与车身总体颜色一致,无法通过颜色特征识别,但是油箱盖与车身边缘也边缘缝隙凹槽,可以用于特征提取;各种车型油箱盖边缘形状各异,无法统一识别,但是形状有限,可以建立形状模板进行油箱盖特征识别;由于加油机器人工作的加油站处于室外环境,易受阳光,阴影等影响,使油箱盖边缘特征的提取变得比较困难,因此需要采用降噪措施降低光照干扰。
4)对图像进行灰度化、灰度均衡化、直方图均衡规定化等预处理,去除光线等干扰,减小计算量;
5)对预处理后的图像进行边缘提取,通过设定连通域面积阈值筛选虚假噪声轮廓,设定外接圆半径阈值筛选车体轮廓干扰;
6)最后通过基于形状的模板匹配识别出感兴趣的油箱盖边缘轮廓。
步骤4)中,首先对采集的图像进行灰度化处理。图像灰度化预处理的目的是减少原始图像中无关的颜色信息,提升图像数据处理速度。在汽车油箱盖特征识别过程中,主要利用图像轮廓边缘特征,无需图像颜色特征,因此首先对目标图像进行灰度化处理。彩色图像灰度化通常采用像素点三个颜色通道加权平均计算其灰度值,加权平均灰度化计算方法如下:
Gray=0.072169B+0.715160G+0.212671R (1)
式(1)中:B、G、R——各像素点三个颜色通道的等级量值;Gray——像素点对三通道颜色数据加权后的灰度值。
然后对图像进行灰度直方图均衡化处理降噪。由于车辆表面反射光斑影响,使汽车侧面产生许多虚假轮廓,干扰油箱盖轮廓特征提取。因此,需要采取有效的方式减少环境反射光斑噪声对油箱盖边缘轮廓特征的影响。通过对存在反光干扰的汽车噪声图像分析可知,基于油箱盖边缘缝隙轮廓始终为低灰度,而干扰光斑多呈现为高灰度,在灰度空间中,实际轮廓与干扰光斑容易得到分离,为提高反射光斑消除效果,对原灰度图像进行灰度直方图均衡化,图像的灰度均衡化可表示为:
式(2)中:Sk——均衡化后灰度值;rk——图像像素原灰度值;k——图像灰度级数,取k=255;ni——像素级数为i的像素数;N——图像像素总数。
通过对原图均衡化,明显提高目标轮廓与光斑噪声间对比度,灰度均衡化效果如附图2所示。
在经过灰度直方图均衡化后的图像,通过统计图像的灰度均值,并以规定的灰度均值为阈值对图像灰度进行阈值分割,并将包含反射光斑的高光噪声用规定灰度均值替代,从而实现对车体反射高光光斑的剔除,并保留目标油箱盖真实边缘轮廓,其效果如附图3所示。
步骤5)中,从处理效果对比可以看出,原反射的干扰光斑被明显消除。将原灰度图与灰度均衡规定化后的图分别进行油箱盖特征识别,识别正确率得到了明显提高。因此,通过灰度均衡规定化消除环境反射高光光斑干扰能够显著提升油箱盖识别准确率。具体来说,通过对原图灰度均衡规定化降噪处理后,环境反射高光光斑干扰对图像特征的影响明显降低,突出了目标特征,但是,低亮度反射干扰依然存在,要进行特征的识别,需要通过边缘检测从含有低亮度反射光斑干扰的边缘中筛选出目标油箱盖轮廓。图像边缘表征了图像的局部不连续性,是特征识别的主要依据。图像边缘特征通常有阶跃状、斜坡状和屋顶状等体现形式。图像的边缘检测本质上是通过算法提取出可能为边缘的像素点,一系列可能的边缘像素点集合组成可能边缘特征。图像边缘特征可以从图像灰度的变化剧烈程度即图像灰度变化率来衡量。
在汽车侧面图像的油箱盖轮廓附近,图像的像素灰度出现急剧变化,边缘灰度梯度的绝对幅值较高。因此,图像的边缘特征可以通过模板算子对图像进行卷积运算从而计算图像的差分获得。常用的图像边缘检测算子有Roberts边缘检测算子、Sobel边缘检测算子、Prewitt边缘检测算子、Robinson边缘检测算子等。针对油箱盖边缘检测,基于Sobel边缘检测方法得到的边缘能够对水平与垂直方向上的边缘具有良好的检测效果且对其他方向上的边缘检测不敏感,Sobel边缘检测算法更加适合本发明的油箱盖边缘检测。本发明研究的油箱盖特征的图像边缘主要由规则边缘组成,噪声边缘则分布在各个方向且不规则,因此,为能够准确获取目标油箱盖边缘且降低对噪声边缘的检测,本发明以Sobel边缘检测方法进行圆角矩形加油盖目标的边缘轮廓检测。
在获取滤波及边缘提取的图像后,由于低光反射噪声影响,边缘图像中混有大量噪声边缘,需要通过对边缘图像的灰度直方图进行边缘的阈值分割提取目标边缘信息。通过灰度直方图双阈值分割法,可以获取汽车油箱侧基于Sobel边缘检测提取的边缘图像的灰度值在设定阈值区间的边缘,但是这些边缘包含了低光反射噪声产生的虚假轮廓及车体其他轮廓等,需要进一步滤除虚假噪声轮廓,减少虚假轮廓对油箱盖特征识别的干扰。从阈值分割图像中可以看出,由于车体为曲面,反射光线噪声所产生的虚假边缘呈现零碎特征,而车体实际轮廓边缘呈连续性,可以通过对相连的边缘轮廓求联通域进行轮廓区域分割,并设定联通域的最少像素面积阈值,对噪声轮廓进行筛选。
通过轮廓面积筛选能够去掉大多数反射光线噪声的轮廓,但是对于车体连续轮廓无法有效去除,对于车体轮廓的干扰,通过求取剩余边缘的外接圆,根据外接圆的半径进行筛选。
步骤6)中,基于形状的模板匹配对特征轮廓缺陷具有较强适应能力,且能够应对目标图像特征的旋转、缩放等仿射变换,匹配灵活性较强。但是,由于基于形状的模板匹配对模板进行了仿射变换,并用每一个仿射变换的模板对目标进行匹配,因此,在整个汽车侧面图像中进行油箱盖边缘形状模板匹配相似度计算是非常耗时,为了减少模板匹配的计算量,提高末端视觉系统中目标识别的实时性,可利用图像金字塔进行分层搜索加快形状模板匹配速度。
图像金字塔分层搜索策略是指在图像搜索空间中,对图像和模板进行多次二次抽样构建图像金字塔,再采用指定的图像匹配方法从金字塔的最高层依次向底层搜索,直至在初始目标图像中搜索到指定形状。在从高层向底层搜索过程中,通过直接将当前层匹配到的图像特征点坐标乘以2,映射到下一层图像相应坐标,从而进行下一层的搜索匹配,考虑到图像抽样导致的上层图像分辨率低于下层图像,从而引起下层图像中匹配位置不确定性,通常在下一层搜索区域周围取指定的邻域(如5×5邻域等)适当扩大下一层的搜索区域,然后在下一层的目标小区域内进行匹配计算,依次从上层向下层匹配目标直至在最底层原图像中匹配到目标特征,完成基于图像金字塔的分层搜索。
在基于形状的模板匹配算法中,主要使用高斯金字塔方法,即对图像进行抽样缩小的图像变换方法,层级越高,图像越小,分辨率越低。高斯图像金字塔的第i+1层构造方法如下:
(1)采用指定的高斯卷积核对第i层图像进行高斯平滑;
(2)去平滑后的第i层图像的所有偶数行和偶数列,构成第i+1层图像。
通过以上步骤对输入的原始图像不断迭代即可构造出完整的图像金字塔。图像金字塔的每一层像素点数是其下一层图像像素点数的四分之一,模板和目标图像匹配点数均减少1/4,每一层比其下一层的模板匹配速度快16倍,因此图像金字塔分层搜索策略能够有效提高基于形状的模板匹配速度。但是由于图像金字塔层数越高,抽样丢失的原始图像信息越多,如果图像金字塔层数过高,可能导致无法在最高层识别到目标图像,如果金字塔层数过低,则会导致目标匹配的时间增加,一般图像金字塔设置在4层左右较为合适。
本发明进行油箱盖特征的形状模板匹配的流程如附图7所示,对于汽车油箱盖目标特征识别,处于加油站室外环境的汽车侧面图像因为环境光照变化影响以及汽车油漆反光等干扰,无法通过具有全局稳定性的图像矩特征或者图像灰度纹理特征等全局特征进行油箱盖识别。而油箱盖边缘凹槽缝隙具有稳定轮廓,且受光照变化及漆面反射光干扰影响比较小,图像特征较为稳定。其次,市面车辆油箱盖轮廓形状主要有圆角矩形、圆形、椭圆形、圆角菱形等几种形状。因此,本文针对油箱盖边缘特征,采用基于形状的模板匹配方法对汽车油箱盖图像特征进行识别。基于形状模板匹配的一般流程是:
601)首先将指定车型期望加油工位上采集的油箱盖图像轮廓边缘特征作为标准模板,模板轮廓上的每个点特征都由点的像素坐标pi=(ri,ci)T以及该点与周围像素之间的梯度方向向量di=(ti,ui)T定义,其中i=1,2,3,…,n;模板形状轮廓点特征的梯度方向向量使用Sobel算子计算得到。
602)对加油末端相机中采集的汽车侧面目标图像,经过前几小节中所述的图像预处理方法,通过Sobel边缘检测算子计算获得目标图像中每个像素点q(r,c)的方向向量er,c=(vr,c,wr,c)T。
603)将步骤601)中的汽车油箱盖形状模板通过仿射变换,对标准模板进行旋转和缩放,从而获得含有旋转的模板和含有平移的模板,仿射变换模板的像素坐标p′i通过p′i=Api来计算获取,仿射变换后像素点p′i方向向量通过d′i=(A-1)Tdi计算得到,上式中的A为仿射变换中的旋转分量对应的旋转矩阵。
604)在末端相机获取的汽车侧面图像中的某一点处,进行模板匹配相似度计算,即将标准模板及仿射变换后获得的变形模板依次与目标图像进行相似度计算。即将模板中形状轮廓的各个点的方向向量与图像中相应点的方向向量进行点积计算,并对所有模板与目标像素点方向向量点积之和作为匹配相似度度量值,即
为了减少外界环境光照引起的模板匹配相似度度量值的差异,提高基于形状模板匹配的计算结果一致性,对模板像素点和目标像素点的方向向量进行归一化处理,归一化形状模板匹配的相似度计算如下:
式(5)中,pi=(ri,ci)T表示模板像素点,di=(ti,ui)T,i=1,2,...,n表示模板像素点相应的方向向量,pi'=Api表示模板仿射变换后的像素点,di'=Adi表示相应的方向向量,A为二阶标准旋转矩阵。q=(r,c)T表示汽车侧面图像像素点,er,c=(vr,c,wr,c)T表示汽车侧面图像像素点的方向向量。
归一化的形状模板匹配相似度算法将返回一个在0到1之间的匹配相似度,如果目标像素特征与形状模板像素特征完全匹配,则相似度为1,若部分匹配,则相似度小于1,若完全不匹配,则相似度接近于0。在目标物体受遮挡的情况下,如果目标特征一半特征被遮挡,而另一半特征能够完全匹配,则匹配的相似度接近0.5。综上分析,可以基于实际环境中油箱盖目标图像特征的完整性及轮廓清晰度确定匹配度阈值,高于指定阈值,则认为匹配到了目标,低于指定阈值,则认为没有匹配到目标。
通过上述基于归一化的形状模板匹配算法原理可以看出,基于形状的模板匹配对特征轮廓缺陷具有较强适应能力,且能够应对目标图像特征的旋转、缩放等仿射变换,匹配灵活性较强。但是,由于基于形状的模板匹配对模板进行了仿射变换,并用每一个仿射变换的模板对目标进行匹配,因此,在整个汽车侧面图像中进行油箱盖边缘形状模板匹配相似度计算是非常耗时,为了减少模板匹配的计算量,提高末端视觉系统中目标识别的实时性,利用图像金字塔进行分层搜索加快形状模板匹配速度。
根据表1所示的加油口目标识别率与识别时间,可以明显地看到针对浅色车体或者哑光车体,其受环境反光影响小,能够保证100%特征识别率;对于深色强反光车体,其受反光干扰严重,且深色车体与油箱盖边缘缝隙亮度相近,动态识别时,部分图像中油箱盖目标边缘缝隙轮廓在去高光噪声时被破坏,从而引起个别目标不能识别情况,在该种情况影响下,强反光车体油箱盖目标识别率也高于92%,识别速度最慢为16.56ms。
表1
Claims (5)
1.一种基于机器视觉的加油口目标识别定位方法,其特征在于,包括以下步骤:
1)加油位相机获取待加油车辆的车牌信息,与客户订单信息进行匹配;
2)车牌信息匹配完成后,获取待加油车辆的加油口高度、油箱盖模板;
3)机器人末端移动到加油口高度,末端相机采集图像;
4)对采集的加油口原始图像依次进行灰度化、灰度均衡化以及直方图均衡规定化预处理,从而进行准确实时地识别定位;
5)对预处理后的图像进行边缘提取,通过设定连通域面积阈值筛选虚假噪声轮廓,设定外接圆半径阈值筛选车体轮廓干扰;
6)通过基于形状的模板匹配识别出感兴趣的油箱盖边缘轮廓。
2.根据权利要求1所述的一种基于机器视觉的加油口目标识别定位方法,其特征在于,步骤4)中,首先对采集的图像进行灰度化处理,彩色图像灰度化采用像素点三个颜色通道加权平均计算其灰度值,加权平均灰度化计算方法如下:
Gray=0.072169B+0.715160G+0.212671R(1)
式(1)中:B、G、R——各像素点三个颜色通道的等级量值;Gray——像素点对三通道颜色数据加权后的灰度值;
然后对图像进行灰度直方图均衡化处理降噪,对原灰度图像进行灰度直方图均衡化,图像的灰度均衡化表示为:
式(2)中:Sk——均衡化后灰度值;rk——图像像素原灰度值;k——图像灰度级数,;ni——像素级数为i的像素数;N——图像像素总数;
在经过灰度直方图均衡化后的图像,通过统计图像的灰度均值,并以规定的灰度均值为阈值对图像灰度进行阈值分割,并将包含反射光斑的高光噪声用规定灰度均值替代,从而实现对车体反射高光光斑的剔除,并保留目标油箱盖真实边缘轮廓。
3.根据权利要求2所述的一种基于机器视觉的加油口目标识别定位方法,其特征在于,k=255。
4.根据权利要求2所述的一种基于机器视觉的加油口目标识别定位方法,其特征在于,步骤5)中,以Sobel边缘检测方法进行圆角矩形加油盖目标的边缘轮廓检测。
5.根据权利要求4所述的一种基于机器视觉的加油口目标识别定位方法,其特征在于,步骤5)中,基于形状模板匹配的具体实现方法如下:
601)首先将指定车型期望加油工位上采集的油箱盖图像轮廓边缘特征作为标准模板,模板轮廓上的每个点特征都由点的像素坐标pi=(ri,ci)T以及该点与周围像素之间的梯度方向向量di=(ti,ui)T定义,其中i=1,2,3,…,n;模板形状轮廓点特征的梯度方向向量使用Sobel算子计算得到;
602)对加油末端相机中采集的汽车侧面目标图像预处理后,通过Sobel边缘检测算子计算获得目标图像中每个像素点q(r,c)的方向向量er,c=(vr,c,wr,c)T;
603)将步骤601)中的汽车油箱盖形状模板通过仿射变换,对标准模板进行旋转和缩放,从而获得含有旋转的模板和含有平移的模板,仿射变换模板的像素坐标p’i通过p’i=Api来计算获取,仿射变换后像素点p’i方向向量通过d’i=(A-1)Tdi计算得到,上式中的A为仿射变换中的旋转分量对应的旋转矩阵;
604)在末端相机获取的汽车侧面图像中的某一点处,进行模板匹配相似度计算,即将标准模板及仿射变换后获得的变形模板依次与目标图像进行相似度计算;将模板中形状轮廓的各个点的方向向量与图像中相应点的方向向量进行点积计算,并对所有模板与目标像素点方向向量点积之和作为匹配相似度度量值,即
对模板像素点和目标像素点的方向向量进行归一化处理,归一化形状模板匹配的相似度计算如下:
式(5)中,pi=(ri,ci)T表示模板像素点,di=(ti,ui)T,i=1,2,...,n表示模板像素点相应的方向向量,p’i=Api表示模板仿射变换后的像素点,d’i=Adi表示相应的方向向量,A为二阶标准旋转矩阵,q=(r,c)T表示汽车侧面图像像素点,er,c=(vr,c,wr,c)T表示汽车侧面图像像素点的方向向量;
归一化的形状模板匹配相似度算法将返回一个在0到1之间的匹配相似度,如果目标像素特征与形状模板像素特征完全匹配,则相似度为1,若部分匹配,则相似度小于1,若完全不匹配,则相似度接近于0;在目标物体受遮挡的情况下,如果目标特征一半特征被遮挡,而另一半特征能够完全匹配,则匹配的相似度接近0.5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507058.8A CN110378376A (zh) | 2019-06-12 | 2019-06-12 | 一种基于机器视觉的加油口目标识别定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507058.8A CN110378376A (zh) | 2019-06-12 | 2019-06-12 | 一种基于机器视觉的加油口目标识别定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110378376A true CN110378376A (zh) | 2019-10-25 |
Family
ID=68250165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910507058.8A Pending CN110378376A (zh) | 2019-06-12 | 2019-06-12 | 一种基于机器视觉的加油口目标识别定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378376A (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110775929A (zh) * | 2019-11-08 | 2020-02-11 | 樊俊利 | 加油枪漏油状态监测平台、方法及存储介质 |
CN111222510A (zh) * | 2020-03-13 | 2020-06-02 | 中冶长天国际工程有限责任公司 | 一种烧结机的台车箅条图像摄取方法及系统 |
CN111259896A (zh) * | 2020-03-13 | 2020-06-09 | 中冶长天国际工程有限责任公司 | 一种烧结机及其台车箅条图像摄取装置 |
CN111340830A (zh) * | 2020-03-13 | 2020-06-26 | 中冶长天国际工程有限责任公司 | 一种烧结机的台车箅条总数检测方法及系统 |
CN111476712A (zh) * | 2020-03-13 | 2020-07-31 | 中冶长天国际工程有限责任公司 | 一种烧结机的台车箅条图像的摄取及检测方法、系统 |
CN111559732A (zh) * | 2020-04-28 | 2020-08-21 | 哈工大机器人(中山)有限公司 | 一种基于2d视觉的汽车油箱位置和角度识别方法及系统 |
CN111640104A (zh) * | 2020-05-29 | 2020-09-08 | 研祥智慧物联科技有限公司 | 一种螺钉装配的视觉检测方法 |
CN112045681A (zh) * | 2020-09-02 | 2020-12-08 | 苏州三仲信息科技有限公司 | 获取安装孔位置的方法和安装牌照的方法、对应的装置 |
CN112085709A (zh) * | 2020-08-19 | 2020-12-15 | 浙江华睿科技有限公司 | 一种图像对比方法及设备 |
CN112591703A (zh) * | 2021-03-04 | 2021-04-02 | 江苏苏宁银行股份有限公司 | 一种基于视频识别ai算法的数字油站系统 |
CN112777555A (zh) * | 2021-03-23 | 2021-05-11 | 江苏华谊广告设备科技有限公司 | 一种智能加油装置及方法 |
CN112975979A (zh) * | 2021-03-08 | 2021-06-18 | 三峡大学 | 基于人工智能的瓷砖美缝机器人及控制方法 |
CN113086931A (zh) * | 2021-03-12 | 2021-07-09 | 宋阳 | 一种基于加油机和etc物联识别加油支付方法 |
CN113139626A (zh) * | 2021-06-21 | 2021-07-20 | 浙江华睿科技有限公司 | 模板匹配方法、装置、电子设备及计算机可读存储介质 |
CN113159103A (zh) * | 2021-02-24 | 2021-07-23 | 广东拓斯达科技股份有限公司 | 图像匹配方法、装置、电子设备以及存储介质 |
CN113588330A (zh) * | 2021-06-29 | 2021-11-02 | 中国电力科学研究院有限公司 | 一种运行变压器的取油方法 |
CN114359597A (zh) * | 2021-11-26 | 2022-04-15 | 西安交通大学 | 一种基于视觉的油箱内盖识别及位姿参数感知方法 |
CN114359598A (zh) * | 2021-11-26 | 2022-04-15 | 西安交通大学 | 一种基于区域对比差分的自适应汽车油箱外盖识别方法 |
CN114359391A (zh) * | 2022-01-10 | 2022-04-15 | 北京雷神博峰信息技术有限责任公司 | 一种基于几何建模的汽车燃油加注口空间定位方法 |
CN114398978A (zh) * | 2022-01-13 | 2022-04-26 | 深圳市腾盛精密装备股份有限公司 | 一种模板匹配方法、装置、存储介质以及电子设备 |
CN116228890A (zh) * | 2023-05-05 | 2023-06-06 | 深圳市拓普泰克技术股份有限公司 | 一种基于加油设备的智能控制系统 |
CN116965765A (zh) * | 2023-08-01 | 2023-10-31 | 西安交通大学医学院第二附属医院 | 基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
CN117057377A (zh) * | 2023-10-11 | 2023-11-14 | 青岛冠成软件有限公司 | 码的识别匹配方法 |
CN117058357A (zh) * | 2023-10-11 | 2023-11-14 | 中车城市交通规划设计研究院有限公司 | 基于视觉辅助的转向架落车对位校正方法 |
CN117115487A (zh) * | 2023-10-23 | 2023-11-24 | 睿励科学仪器(上海)有限公司 | 模板匹配方法、模板匹配系统及存储介质 |
CN117268551A (zh) * | 2023-11-21 | 2023-12-22 | 广州科易光电技术有限公司 | 发油台的车辆检测方法及装置、设备、存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050152604A1 (en) * | 2004-01-09 | 2005-07-14 | Nucore Technology Inc. | Template matching method and target image area extraction apparatus |
CN103559704A (zh) * | 2013-10-09 | 2014-02-05 | 哈尔滨工程大学 | 一种铁路油罐车罐口视觉定位方法 |
CN103679169A (zh) * | 2012-09-10 | 2014-03-26 | 华为技术有限公司 | 图像特征的提取方法及装置 |
-
2019
- 2019-06-12 CN CN201910507058.8A patent/CN110378376A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050152604A1 (en) * | 2004-01-09 | 2005-07-14 | Nucore Technology Inc. | Template matching method and target image area extraction apparatus |
CN103679169A (zh) * | 2012-09-10 | 2014-03-26 | 华为技术有限公司 | 图像特征的提取方法及装置 |
CN103559704A (zh) * | 2013-10-09 | 2014-02-05 | 哈尔滨工程大学 | 一种铁路油罐车罐口视觉定位方法 |
Non-Patent Citations (1)
Title |
---|
李永敬等: "基于形状模板匹配的冲压件外形缺陷检测算法研究", 《广州大学学报(自然科学版)》 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110775929A (zh) * | 2019-11-08 | 2020-02-11 | 樊俊利 | 加油枪漏油状态监测平台、方法及存储介质 |
CN110775929B (zh) * | 2019-11-08 | 2020-11-10 | 丽水新贝蕾科技有限公司 | 加油枪漏油状态监测平台、方法及存储介质 |
CN111222510A (zh) * | 2020-03-13 | 2020-06-02 | 中冶长天国际工程有限责任公司 | 一种烧结机的台车箅条图像摄取方法及系统 |
CN111259896A (zh) * | 2020-03-13 | 2020-06-09 | 中冶长天国际工程有限责任公司 | 一种烧结机及其台车箅条图像摄取装置 |
CN111340830A (zh) * | 2020-03-13 | 2020-06-26 | 中冶长天国际工程有限责任公司 | 一种烧结机的台车箅条总数检测方法及系统 |
CN111476712A (zh) * | 2020-03-13 | 2020-07-31 | 中冶长天国际工程有限责任公司 | 一种烧结机的台车箅条图像的摄取及检测方法、系统 |
CN111222510B (zh) * | 2020-03-13 | 2024-03-15 | 中冶长天国际工程有限责任公司 | 一种烧结机的台车箅条图像摄取方法及系统 |
CN111476712B (zh) * | 2020-03-13 | 2024-03-15 | 中冶长天国际工程有限责任公司 | 一种烧结机的台车箅条图像的摄取及检测方法、系统 |
CN111559732A (zh) * | 2020-04-28 | 2020-08-21 | 哈工大机器人(中山)有限公司 | 一种基于2d视觉的汽车油箱位置和角度识别方法及系统 |
CN111640104A (zh) * | 2020-05-29 | 2020-09-08 | 研祥智慧物联科技有限公司 | 一种螺钉装配的视觉检测方法 |
CN111640104B (zh) * | 2020-05-29 | 2023-11-24 | 研祥智慧物联科技有限公司 | 一种螺钉装配的视觉检测方法 |
CN112085709B (zh) * | 2020-08-19 | 2024-03-22 | 浙江华睿科技股份有限公司 | 一种图像对比方法及设备 |
CN112085709A (zh) * | 2020-08-19 | 2020-12-15 | 浙江华睿科技有限公司 | 一种图像对比方法及设备 |
CN112045681A (zh) * | 2020-09-02 | 2020-12-08 | 苏州三仲信息科技有限公司 | 获取安装孔位置的方法和安装牌照的方法、对应的装置 |
CN113159103B (zh) * | 2021-02-24 | 2023-12-05 | 广东拓斯达科技股份有限公司 | 图像匹配方法、装置、电子设备以及存储介质 |
CN113159103A (zh) * | 2021-02-24 | 2021-07-23 | 广东拓斯达科技股份有限公司 | 图像匹配方法、装置、电子设备以及存储介质 |
CN112591703A (zh) * | 2021-03-04 | 2021-04-02 | 江苏苏宁银行股份有限公司 | 一种基于视频识别ai算法的数字油站系统 |
CN112975979A (zh) * | 2021-03-08 | 2021-06-18 | 三峡大学 | 基于人工智能的瓷砖美缝机器人及控制方法 |
CN113086931A (zh) * | 2021-03-12 | 2021-07-09 | 宋阳 | 一种基于加油机和etc物联识别加油支付方法 |
CN112777555A (zh) * | 2021-03-23 | 2021-05-11 | 江苏华谊广告设备科技有限公司 | 一种智能加油装置及方法 |
CN113139626B (zh) * | 2021-06-21 | 2021-10-15 | 浙江华睿科技股份有限公司 | 模板匹配方法、装置、电子设备及计算机可读存储介质 |
CN113139626A (zh) * | 2021-06-21 | 2021-07-20 | 浙江华睿科技有限公司 | 模板匹配方法、装置、电子设备及计算机可读存储介质 |
CN113588330B (zh) * | 2021-06-29 | 2024-03-22 | 中国电力科学研究院有限公司 | 一种运行变压器的取油方法 |
CN113588330A (zh) * | 2021-06-29 | 2021-11-02 | 中国电力科学研究院有限公司 | 一种运行变压器的取油方法 |
CN114359598A (zh) * | 2021-11-26 | 2022-04-15 | 西安交通大学 | 一种基于区域对比差分的自适应汽车油箱外盖识别方法 |
CN114359597A (zh) * | 2021-11-26 | 2022-04-15 | 西安交通大学 | 一种基于视觉的油箱内盖识别及位姿参数感知方法 |
CN114359598B (zh) * | 2021-11-26 | 2023-09-12 | 西安交通大学 | 一种基于区域对比差分的自适应汽车油箱外盖识别方法 |
CN114359597B (zh) * | 2021-11-26 | 2023-09-12 | 西安交通大学 | 一种基于视觉的油箱内盖识别及位姿参数感知方法 |
CN114359391A (zh) * | 2022-01-10 | 2022-04-15 | 北京雷神博峰信息技术有限责任公司 | 一种基于几何建模的汽车燃油加注口空间定位方法 |
CN114398978A (zh) * | 2022-01-13 | 2022-04-26 | 深圳市腾盛精密装备股份有限公司 | 一种模板匹配方法、装置、存储介质以及电子设备 |
CN114398978B (zh) * | 2022-01-13 | 2022-10-11 | 深圳市腾盛精密装备股份有限公司 | 一种模板匹配方法、装置、存储介质以及电子设备 |
CN116228890B (zh) * | 2023-05-05 | 2023-08-11 | 深圳市拓普泰克技术股份有限公司 | 一种基于加油设备的智能控制系统 |
CN116228890A (zh) * | 2023-05-05 | 2023-06-06 | 深圳市拓普泰克技术股份有限公司 | 一种基于加油设备的智能控制系统 |
CN116965765A (zh) * | 2023-08-01 | 2023-10-31 | 西安交通大学医学院第二附属医院 | 基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
CN116965765B (zh) * | 2023-08-01 | 2024-03-08 | 西安交通大学医学院第二附属医院 | 基于目标检测算法的早期胃癌内镜实时辅助检测系统 |
CN117057377B (zh) * | 2023-10-11 | 2024-01-12 | 青岛冠成软件有限公司 | 码的识别匹配方法 |
CN117058357B (zh) * | 2023-10-11 | 2024-01-23 | 中车城市交通规划设计研究院有限公司 | 基于视觉辅助的转向架落车对位校正方法 |
CN117058357A (zh) * | 2023-10-11 | 2023-11-14 | 中车城市交通规划设计研究院有限公司 | 基于视觉辅助的转向架落车对位校正方法 |
CN117057377A (zh) * | 2023-10-11 | 2023-11-14 | 青岛冠成软件有限公司 | 码的识别匹配方法 |
CN117115487B (zh) * | 2023-10-23 | 2024-03-08 | 睿励科学仪器(上海)有限公司 | 模板匹配方法、模板匹配系统及存储介质 |
CN117115487A (zh) * | 2023-10-23 | 2023-11-24 | 睿励科学仪器(上海)有限公司 | 模板匹配方法、模板匹配系统及存储介质 |
CN117268551A (zh) * | 2023-11-21 | 2023-12-22 | 广州科易光电技术有限公司 | 发油台的车辆检测方法及装置、设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378376A (zh) | 一种基于机器视觉的加油口目标识别定位方法 | |
CN108805904B (zh) | 一种基于卫星序列图像的运动舰船检测与跟踪方法 | |
CN108875911A (zh) | 一种泊车位检测方法 | |
CN104392212B (zh) | 一种基于视觉的道路信息检测及前方车辆识别方法 | |
CN101609504B (zh) | 一种红外图像海面目标检测识别定位方法 | |
CN103714541B (zh) | 一种利用山体轮廓区域约束识别定位建筑物的方法 | |
CN102654902B (zh) | 基于轮廓向量特征的嵌入式实时图像匹配方法 | |
CN106909902B (zh) | 一种基于改进的层次化显著模型的遥感目标检测方法 | |
CN108596165B (zh) | 基于无人机低空航拍图像的道路交通标线检测方法及系统 | |
CN109784344A (zh) | 一种用于地平面标识识别的图像非目标滤除方法 | |
CN110647850A (zh) | 一种基于逆透视原理的车道偏移自动测量方法 | |
CN109101924A (zh) | 一种基于机器学习的路面交通标志识别方法 | |
CN109255776A (zh) | 一种输电线路开口销缺损自动识别方法 | |
CN105373135A (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
CN104318258A (zh) | 一种基于时域模糊和卡尔曼滤波器的车道线检测方法 | |
CN112099046B (zh) | 基于多值体素模型的机载lidar三维平面检测方法 | |
CN106778551A (zh) | 一种高速路段及城市道路车道线识别方法 | |
CN112396612B (zh) | 一种矢量信息辅助的遥感影像道路信息自动提取方法 | |
CN115331119B (zh) | 一种固体废弃物识别方法 | |
CN110378957A (zh) | 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统 | |
CN115482195A (zh) | 一种基于三维点云的列车部件变形检测方法 | |
CN112907626A (zh) | 基于卫星超时相数据多源信息的运动目标提取方法 | |
CN106709523B (zh) | 一种基于s-hog特征的光学遥感图像船识别方法 | |
CN115082508A (zh) | 一种海洋浮标生产质量检测方法 | |
CN105740828B (zh) | 一种基于快速标记连通的停止线检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191025 |