CN112734750B - 罐盖视觉检测与定位方法及系统、介质、装置 - Google Patents

罐盖视觉检测与定位方法及系统、介质、装置 Download PDF

Info

Publication number
CN112734750B
CN112734750B CN202110099251.XA CN202110099251A CN112734750B CN 112734750 B CN112734750 B CN 112734750B CN 202110099251 A CN202110099251 A CN 202110099251A CN 112734750 B CN112734750 B CN 112734750B
Authority
CN
China
Prior art keywords
tank cover
center
contour
module
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110099251.XA
Other languages
English (en)
Other versions
CN112734750A (zh
Inventor
陈卫东
高昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202110099251.XA priority Critical patent/CN112734750B/zh
Publication of CN112734750A publication Critical patent/CN112734750A/zh
Application granted granted Critical
Publication of CN112734750B publication Critical patent/CN112734750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种罐盖视觉检测与定位方法，包括如下步骤：目标识别步骤：针对罐盖图像进行模板匹配，获取感兴趣区域；初步定位步骤：对于获取到的感兴趣区域进行轮廓匹配正六边形模板，缩小检测区域；精确定位步骤：根据罐盖中心的灰度特性进行阈值分割，提取中心孔作为罐盖中心；位姿解算步骤：根据标定的位姿关系解算出罐盖中心在世界坐标系下的二维坐标，并将其与高度传感器得到的数据融合，得到罐盖中心在世界坐标系下的三维坐标。本发明通过预先存储不同光照度下的模板，避免复杂的算法，同时又能满足不同环境下的检测需求，解决了光照条件对检测的影响，并通过模板匹配和轮廓匹配两种不同方法两次缩小了检测范围，确保能更准确地检测罐盖中心。

Description

罐盖视觉检测与定位方法及系统、介质、装置
技术领域
本发明涉及罐车检测和定位技术领域，具体地，涉及一种罐盖视觉检测与定位方法及系统、介质、装置。
背景技术
在铁水运输与预处理、炼钢、精炼及连铸工艺及作业过程中，鱼雷罐车加盖作业是处理铁水至关重要的环节。在传统流程中，这一操作大多由人工操作机械臂抓取罐盖，并放置于罐车罐口上，难度极大，且对操作员有一定的危险性。因此，在极端恶劣环境(高温、粉尘及飞溅等)下鱼雷罐车加盖作业过程中存在的诸多问题。
经过检索，专利文献CN101003280A公开了一种鱼雷罐车定位及车号检测方法和装置，该方法通过非接触感应鱼雷罐体目标的温度从而实现铁水鱼雷罐车定位。该方法需要在鱼雷罐车罐口上安装两个非接触式热金属检测器，这对于安装精度以及设备的性能有较高要求；同时，该方法依据温差检测的原理，金属探测器离鱼雷罐车罐口不能太远，会对作业有一定的影响。
专利文献CN110378957A公开了一种面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统，该系统使用了滑动窗口匹配的方式，并没有进一步缩小检测区域，容易受到环境的干扰；另一方面，识别椭圆特征进行罐盖和罐口的定位，需要设置自适应参数以满足不同光照条件下的需求，在椭圆特征提取过程中，要求特征提取准确，在复杂的环境中鲁棒性不高，容易产生比较大的误差。为了准确提取特征，对安装方式做出了很多要求，对于不同环境的适应能力不足。
因此，亟需开发一种能够通过视觉传感器识别罐盖，控制机械臂进行抓取的方法去保障炼钢作业过程中工人的安全，提高作业自动化程度和作业精度。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种适用于罐车的罐盖视觉检测与定位方法及系统、介质、装置。目的在于保障炼钢作业过程中工人的安全，提高作业自动化程度和作业精度。
根据本发明提供的一种罐盖视觉检测与定位方法，包括如下步骤：
目标识别步骤：针对罐盖图像进行模板匹配，获取感兴趣区域；
初步定位步骤：对于获取到的感兴趣区域进行轮廓匹配模板，缩小检测区域；
精确定位步骤：根据罐盖中心的灰度特性进行阈值分割，提取中心孔作为罐盖中心；
位姿解算步骤：根据标定的位姿关系解算出罐盖中心在世界坐标系下的二维坐标，并将其与通过高度信息及尺度变换得到的数据融合，得到罐盖中心在世界坐标系下的三维坐标。
优选地，目标识别步骤包括：
模板存储步骤：在作业区域内，拍摄多张不同光照情况下罐盖图像存储作为模板；
模板匹配步骤：将存储的模板在待检测图像内遍历，依次按照顺序进行比较，选择匹配度最高的区域作为感兴趣区域。
优选地，初步定位步骤包括：
图像预处理步骤：对感兴趣区域进行高斯滤波去除噪声，选择合适的阈值对感兴趣区域进行二值化；
提取轮廓步骤：使用Canny边缘检测算子在感兴趣区域内进行轮廓的提取；
轮廓筛选步骤：根据罐盖在图像中的尺寸，设置轮廓长度和面积最小值，去除产生干扰的轮廓；
轮廓匹配步骤：利用事先存储的轮廓匹配模板对每个轮廓进行匹配，选择匹配度最高的轮廓，提取罐盖中心金属板的特定轮廓。
优选地，精确定位步骤包括：
划定检测区域步骤：以提取到的特定轮廓中心为圆心，提取周围200*200像素的区域，缩小检测区域；
阈值分割步骤：利用罐盖中心孔的灰度特性，设置阈值，对新的检测区域进行阈值分割，得到罐盖中心孔的轮廓；
中心孔拟合步骤：对得到的中心孔轮廓进行最小外接圆拟合，并提取外接圆形的中心作为罐盖中心。
优选地，位姿解算步骤包括：
二维坐标解算步骤：根据已经标定的机械臂与相机的位姿关系，通过图像坐标系下罐盖中心的坐标解算出在世界坐标系下罐盖中心的平面二维坐标；
三维坐标解算步骤：通过记录的相机距离地面的高度信息，利用图像中罐盖尺度的变化，得到罐盖中心在世界坐标系下的高度坐标，将高度坐标与通过位姿关系解算得到的平面二维坐标融合，得到罐盖中心在世界坐标系下的三维坐标。
根据本发明提供的一种罐盖视觉检测与定位系统，包括：
目标识别模块：针对罐盖图像进行模板匹配，获取感兴趣区域；
初步定位模块：对于获取到的感兴趣区域进行轮廓匹配正六边形模板，缩小检测区域；
精确定位模块：根据罐盖中心的灰度特性进行阈值分割，提取中心孔作为罐盖中心；
位姿解算模块：根据标定的位姿关系解算出罐盖中心在世界坐标系下的二维坐标，并将其与高度传感器得到的数据融合，得到罐盖中心在世界坐标系下的三维坐标。
优选地，目标识别模板包括模板存储模块和模板匹配模块，其中，模板存储模块在作业区域内，拍摄多张不同光照情况下罐盖图像存储作为模板；模板匹配模块将存储的模板在待检测图像内遍历，依次按照顺序进行比较，选择匹配度最高的区域作为感兴趣区域；
初步定位模块包括图像预处理模块、提取轮廓模块、轮廓筛选模块和轮廓匹配模块，其中，图像预处理模块对感兴趣区域进行高斯滤波去除噪声，选择合适的阈值对感兴趣区域进行二值化；提取轮廓模块使用Canny边缘检测算子在感兴趣区域内进行轮廓的提取；轮廓筛选模块根据罐盖在图像中的尺寸，设置轮廓长度和面积最小值，去除产生干扰的轮廓；轮廓匹配模块利用事先存储的轮廓匹配模板对每个轮廓进行匹配，选择匹配度最高的轮廓，提取罐盖中心金属板的特定轮廓。
优选地，精确定位模块包括划定检测区域模块、阈值分割步骤模块和中心孔拟合模块，其中，划定检测区域模块以提取到的特定轮廓中心为圆心，提取周围200*200像素的区域，缩小检测区域；阈值分割模块利用罐盖中心孔的灰度特性，设置阈值，对新的检测区域进行阈值分割，得到罐盖中心孔的轮廓；中心孔拟合模块对得到的中心孔轮廓进行最小外接圆拟合，并提取外接圆形的中心作为罐盖中心；
位姿解算模块包括三维坐标解算模块和三维坐标解算模块，其中，二维坐标解算模块根据已经标定的机械臂与相机的位姿关系，通过图像坐标系下罐盖中心的坐标解算出在世界坐标系下罐盖中心的平面二维坐标；三维坐标解算模块通过记录的相机距离地面的高度信息，利用图像中罐盖尺度的变化，得到罐盖中心在世界坐标系下的高度坐标，将高度坐标与通过位姿关系解算得到的平面二维坐标融合，得到罐盖中心在世界坐标系下的三维坐标。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时实现上述方法的步骤。
根据本发明提供的一种罐盖视觉检测与定位装置，包括上述的罐盖视觉检测与定位系统或者存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过预先存储不同光照度下的模板，避免了复杂的算法，同时又能满足不同环境下的检测需求，解决的光照条件对检测的影响。
2、本发明仅通过视觉传感器同时充分利用罐盖的尺度信息完成罐盖的检测和定位，不需要复杂的机械设计和安装过程。
3、本发明分别通过模板匹配和轮廓匹配两种不同方法两次缩小了检测范围，这确保能在复杂恶劣的炼钢作业环境中更好地排除干扰，更准确地检测罐盖中心。
4、本发明充分利用了罐盖的几何特征和灰度特性，提高了检测的鲁棒性和准确度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中罐车罐盖识别与定位流程图；
图2为本发明中罐车罐盖的结构示意图；
图3为本发明中罐车罐盖识别与定位示意图。
图中：
Figure BDA0002915095730000041
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供了一种罐盖视觉检测与定位方法，包括如下步骤：
目标识别步骤：针对罐盖图像进行模板匹配，获取感兴趣区域；
初步定位步骤：对于获取到的感兴趣区域进行轮廓匹配模板，缩小检测区域；
精确定位步骤：根据罐盖中心的灰度特性进行阈值分割，提取中心孔作为罐盖中心；
位姿解算步骤：根据标定的位姿关系解算出罐盖中心在世界坐标系下的二维坐标，并将其与高度传感器得到的数据融合，得到罐盖中心在世界坐标系下的三维坐标。
进一步来说，目标识别步骤包括：
模板存储步骤：在作业区域内，拍摄多张不同光照情况下罐盖图像存储作为模板。也就是说，在作业区域内，拍摄20张不同光照情况下罐盖图像存储为模板。该步骤避免了复杂的算法，同时又能满足不同环境下的检测需求，解决的光线对检测的影响。如图3所示，视觉传感器4安装在距离地面3.7米高的位置，其拍摄的每张图像大小为2440*2048像素。因此，每张罐盖图像都会包含较多除罐盖外的周围物体。应按照图2模板框选范围1的虚线从原始图像中框选出罐盖区域存储为模板，虚线框越贴近罐盖，进行模板匹配步骤时能够得到更准确的感兴趣区域。
模板匹配步骤：将存储的模板在待检测图像内遍历，依次按照顺序进行比较，选择匹配度最高的区域作为感兴趣区域。具体表现为针对1张待检测的罐盖图像，将20张模板分别在待检测图像内遍历。每张模板在待检测图像内按照从左到右从上到下的顺序进行比较，选择匹配度最高的区域作为感兴趣区域。将提取到的20个感兴趣区域按照匹配度进行排序，将匹配度最高的1个作为最终的感兴趣区域Irgb。
更进一步来说，初步定位步骤包括：
图像预处理步骤：对感兴趣区域进行高斯滤波去除噪声，选择合适的阈值对感兴趣区域进行二值化。具体包括以下步骤：
第一，将三通道RGB感兴趣区域Irgb转换为灰度图像Ig。
第二，将灰度图像Ig输入滤波器，选择5*5的卷积核对感兴趣区域进行高斯滤波，针对每一个像素点，将该点邻域内的像素点根据其灰度值按照不同的权重计算和，作为该像素点的灰度值。
第三，根据作业现场的环境，对得到的灰度图像Ig选择自适应阈值进行二值化，得到二值图像Ib。
提取轮廓步骤：使用Canny边缘检测算子在感兴趣区域内进行轮廓的提取；提取到的轮廓记为C1、C2、C3…Ct。
轮廓筛选步骤：根据罐盖在图像中的尺寸，设置轮廓长度和面积最小值，去除产生干扰的轮廓。具体操作为：设置轮廓长度和面积最小值分别为100，500。对C1、C2、C3…Ct分别计算其轮廓长度和面积为L1、L2、L3…Lt,A1、A2、A3…At，对于第i个轮廓进行判断Li<100&&Ai<500，如果满足条件，则将轮廓i剔除。此步骤可有效剔除轮廓提取过程中得到的可能产生干扰的轮廓。
轮廓匹配步骤：用事先存储的正六边形模板对每个轮廓进行匹配，选择匹配度最高的轮廓，提取罐盖中心正六边形金属板。此步骤目的在于缩小检测区域，确保中心孔提取过程中不受周围环境干扰，确保检测准确性。具体步骤包括：
第一，对正六边形模板计算其Hu矩，共计算7阶，记为
Figure BDA0002915095730000061
第二，对每个轮廓Ck，计算其Hu矩，共计算7阶，记为
Figure BDA0002915095730000062
第三，对每个轮廓Ck，记
Figure BDA0002915095730000063
计算
Figure BDA0002915095730000064
第四，对每个轮廓进行匹配，将valuek，k＝1,2,…进行排序，最小值对应的轮廓即为匹配到的罐盖正六边形金属板轮廓Ctarget，对应图1罐盖正六边形金属板2。
第五，计算轮廓Ctarget的几何中心，作为初步定位得到的罐盖中心坐标Center1。
继续进一步来说，精确定位步骤包括：
划定检测区域步骤：以提取到的正六边形中心Center1为圆心，提取周围200*200像素的区域S，缩小检测区域。
阈值分割步骤：利用罐盖中心孔的灰度特性，设置阈值，对新的检测区域进行阈值分割，得到罐盖中心孔的轮廓。在本具体实施例中，罐盖中心孔灰度值为整个罐盖区域最低，设置阈值为10，对区域S进行阈值分割，由于当前区域已经没有其他可能的干扰，该阈值分割满足鲁棒性的要求。进一步的，再次通过Canny算子提取轮廓，可以准确地得到罐盖中心孔的轮廓，对应图2罐盖中心孔3。
中心孔拟合步骤：对得到的中心孔轮廓进行最小外接圆拟合，并提取外接圆形的中心作为罐盖中心Center2。
再进一步来说，位姿解算步骤包括：
二维坐标解算步骤：根据已经标定的机械臂与相机的位姿关系，通过图像坐标系下罐盖中心的坐标Center2解算出在世界坐标系下罐盖中心的平面二维坐标(X,Y)；
三维坐标解算步骤：图3中多层罐盖5按照次序摆放，因此其在图像中的尺度会按照规律变化。记录相机距离地面的高度H，利用图像中罐盖尺度的变化，借助相似原理得到罐盖中心在世界坐标系下的高度坐标Z，将该坐标与通过位姿关系解算得到的平面二维坐标融合，得到罐盖中心在世界坐标系下的三维坐标(X,Y,Z)。
本发明还提供了一种罐盖视觉检测与定位系统，包括：目标识别模块：针对罐盖图像进行模板匹配，获取感兴趣区域；初步定位模块：对于获取到的感兴趣区域进行轮廓匹配正六边形模板，缩小检测区域；精确定位模块：根据罐盖中心的灰度特性进行阈值分割，提取中心孔作为罐盖中心；位姿解算模块：根据标定的位姿关系解算出罐盖中心在世界坐标系下的二维坐标，并将其与高度传感器得到的数据融合，得到罐盖中心在世界坐标系下的三维坐标。
本发明目的在于保障炼钢作业过程中工人的安全，提高作业自动化程度和作业精度。本发明的创新之一在于在罐盖识别和检测阶段仅使用了视觉传感器，不借助其他外部传感器，在完成标定的情况下，不需要负责且特定的安装方式。另一方面，本发明通过模板匹配和形状匹配逐步缩小检测范围，充分利用了罐盖的几何特征，排除了周围环境的干扰，能够试用于复杂的环境。最后，在检测中心孔的过程中，充分利用了中心孔的灰度特性进行了阈值分割，使得轮廓地提取更加简单和准确。
本发明的变化例，作进一步说明。
基于上述实施例，本发明中的轮廓匹配的方式并不仅包含正六边形，可以根据罐盖的实际形式而变化；中心孔的提取也并不仅限于正六边形轮廓中心200*200像素的范围内。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种罐盖视觉检测与定位方法，其特征在于，包括如下步骤：
目标识别步骤：针对罐盖图像进行模板匹配，获取感兴趣区域；
初步定位步骤：对于获取到的感兴趣区域进行轮廓匹配模板，缩小检测区域；
精确定位步骤：根据罐盖中心的灰度特性进行阈值分割，提取中心孔作为罐盖中心；
位姿解算步骤：根据标定的位姿关系解算出罐盖中心在世界坐标系下的二维坐标，并将其与高度传感器得到的数据融合，得到罐盖中心在世界坐标系下的三维坐标；
模板存储步骤：在作业区域内，拍摄多张不同光照情况下罐盖图像存储作为模板；
模板匹配步骤：将存储的模板在待检测图像内遍历，依次按照顺序进行比较，选择匹配度最高的区域作为感兴趣区域；
图像预处理步骤：对感兴趣区域进行高斯滤波去除噪声，选择合适的阈值对感兴趣区域进行二值化；
提取轮廓步骤：使用Canny边缘检测算子在感兴趣区域内进行轮廓的提取；
轮廓筛选步骤：根据罐盖在图像中的尺寸，设置轮廓长度和面积最小值，去除产生干扰的轮廓；
轮廓匹配步骤：利用事先存储的轮廓匹配模板对每个轮廓进行匹配，选择匹配度最高的轮廓，提取罐盖中心金属板的特定轮廓；
图像预处理步骤具体包括以下步骤：
第一，将三通道RGB感兴趣区域Irgb转换为灰度图像Ig；
第二，将灰度图像Ig输入滤波器，选择5*5的卷积核对感兴趣区域进行高斯滤波，针对每一个像素点，将该点邻域内的像素点根据其灰度值按照不同的权重计算和，作为该像素点的灰度值；
第三，对得到的灰度图像Ig选择自适应阈值进行二值化，得到二值图像Ib；
轮廓匹配步骤具体步骤包括：
第一，对正六边形模板计算其Hu矩，记为
Figure FDA0003891012790000011
第二，对每个轮廓Ck，计算其Hu矩，记为
Figure FDA0003891012790000012
第三，对每个轮廓Ck，记
Figure FDA0003891012790000013
计算
Figure FDA0003891012790000014
第四，对每个轮廓进行匹配，将valuek，k＝1,2,…进行排序，最小值对应的轮廓即为匹配到的罐盖正六边形金属板轮廓Ctarget；
第五，计算轮廓Ctarget的几何中心，作为初步定位得到的罐盖中心坐标Center1；
所述精确定位步骤包括：
划定检测区域步骤：以提取到的特定轮廓中心为圆心，提取周围200*200像素的区域，缩小检测区域；
阈值分割步骤：利用罐盖中心孔的灰度特性，设置阈值，对新的检测区域进行阈值分割，得到罐盖中心孔的轮廓；
中心孔拟合步骤：对得到的中心孔轮廓进行最小外接圆拟合，并提取外接圆形的中心作为罐盖中心。
2.根据权利要求1所述的罐盖视觉检测与定位方法，其特征在于，所述位姿解算步骤包括：
二维坐标解算步骤：根据已经标定的机械臂与相机的位姿关系，通过图像坐标系下罐盖中心的坐标解算出在世界坐标系下罐盖中心的平面二维坐标；
三维坐标解算步骤：通过记录的相机距离地面的高度信息，利用图像中罐盖尺度的变化，得到罐盖中心在世界坐标系下的高度坐标，将高度坐标与通过位姿关系解算得到的平面二维坐标融合，得到罐盖中心在世界坐标系下的三维坐标。
3.一种罐盖视觉检测与定位系统，其特征在于，包括：
目标识别模块：针对罐盖图像进行模板匹配，获取感兴趣区域；
初步定位模块：对于获取到的感兴趣区域进行轮廓匹配正六边形模板，缩小检测区域；
精确定位模块：根据罐盖中心的灰度特性进行阈值分割，提取中心孔作为罐盖中心；
位姿解算模块：根据标定的位姿关系解算出罐盖中心在世界坐标系下的二维坐标，并将其与高度传感器得到的数据融合，得到罐盖中心在世界坐标系下的三维坐标；
所述目标识别模板包括模板存储模块和模板匹配模块，所述模板存储模块在作业区域内，拍摄多张不同光照情况下罐盖图像存储作为模板；所述模板匹配模块将存储的模板在待检测图像内遍历，依次按照顺序进行比较，选择匹配度最高的区域作为感兴趣区域；
所述初步定位模块包括图像预处理模块、提取轮廓模块、轮廓筛选模块和轮廓匹配模块，所述图像预处理模块对感兴趣区域进行高斯滤波去除噪声，选择合适的阈值对感兴趣区域进行二值化；所述提取轮廓模块使用Canny边缘检测算子在感兴趣区域内进行轮廓的提取；所述轮廓筛选模块根据罐盖在图像中的尺寸，设置轮廓长度和面积最小值，去除产生干扰的轮廓；所述轮廓匹配模块利用事先存储的轮廓匹配模板对每个轮廓进行匹配，选择匹配度最高的轮廓，提取罐盖中心金属板的特定轮廓；
图像预处理模块具体采用以下步骤：
第一，将三通道RGB感兴趣区域Irgb转换为灰度图像Ig；
第二，将灰度图像Ig输入滤波器，选择5*5的卷积核对感兴趣区域进行高斯滤波，针对每一个像素点，将该点邻域内的像素点根据其灰度值按照不同的权重计算和，作为该像素点的灰度值；
第三，对得到的灰度图像Ig选择自适应阈值进行二值化，得到二值图像Ib；
轮廓匹配步骤具体步骤包括：
第一，对正六边形模板计算其Hu矩，记为
Figure FDA0003891012790000031
第二，对每个轮廓Ck，计算其Hu矩，记为
Figure FDA0003891012790000032
第三，对每个轮廓Ck，记
Figure FDA0003891012790000033
计算
Figure FDA0003891012790000034
第四，对每个轮廓进行匹配，将valuek，k＝1,2,…进行排序，最小值对应的轮廓即为匹配到的罐盖正六边形金属板轮廓Ctarget；
第五，计算轮廓Ctarget的几何中心，作为初步定位得到的罐盖中心坐标Center1；
所述精确定位模块包括；
所述划定检测区域模块：以提取到的特定轮廓中心为圆心，提取周围200*200像素的区域，缩小检测区域；
所述阈值分割模块：利用罐盖中心孔的灰度特性，设置阈值，对新的检测区域进行阈值分割，得到罐盖中心孔的轮廓；
所述中心孔拟合模块：对得到的中心孔轮廓进行最小外接圆拟合，并提取外接圆形的中心作为罐盖中心。
4.根据权利要求3所述的罐盖视觉检测与定位系统，其特征在于，所述位姿解算模块包括二维坐标解算模块和三维坐标解算模块，所述二维坐标解算模块根据已经标定的机械臂与相机的位姿关系，通过图像坐标系下罐盖中心的坐标解算出在世界坐标系下罐盖中心的平面二维坐标；所述三维坐标解算模块通过记录的相机距离地面的高度信息，利用图像中罐盖尺度的变化，得到罐盖中心在世界坐标系下的高度坐标，将高度坐标与通过位姿关系解算得到的平面二维坐标融合，得到罐盖中心在世界坐标系下的三维坐标。
5.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。
6.一种罐盖视觉检测与定位装置，其特征在于，包括权利要求3所述的罐盖视觉检测与定位系统或者权利要求5所述的存储有计算机程序的计算机可读存储介质。
CN202110099251.XA 2021-01-25 2021-01-25 罐盖视觉检测与定位方法及系统、介质、装置 Active CN112734750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110099251.XA CN112734750B (zh) 2021-01-25 2021-01-25 罐盖视觉检测与定位方法及系统、介质、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110099251.XA CN112734750B (zh) 2021-01-25 2021-01-25 罐盖视觉检测与定位方法及系统、介质、装置

Publications (2)

Publication Number Publication Date
CN112734750A CN112734750A (zh) 2021-04-30
CN112734750B true CN112734750B (zh) 2022-12-13

Family

ID=75595321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110099251.XA Active CN112734750B (zh) 2021-01-25 2021-01-25 罐盖视觉检测与定位方法及系统、介质、装置

Country Status (1)

Country Link
CN (1) CN112734750B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359597B (zh) * 2021-11-26 2023-09-12 西安交通大学 一种基于视觉的油箱内盖识别及位姿参数感知方法
CN114398978B (zh) * 2022-01-13 2022-10-11 深圳市腾盛精密装备股份有限公司 一种模板匹配方法、装置、存储介质以及电子设备
CN117132655B (zh) * 2023-10-25 2024-01-26 江苏金旺智能科技有限公司 基于机器视觉的灌装桶口位置测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389179A (zh) * 2018-01-15 2018-08-10 湖南大学 一种基于机器视觉的罐盖表面缺陷检测方法
CN110766726A (zh) * 2019-10-17 2020-02-07 重庆大学 复杂背景下的大钟料罐容器移动目标视觉定位与动态跟踪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014174851A (ja) * 2013-03-11 2014-09-22 Japan Display Inc タッチセンサ装置、表示装置、及び電子機器
CN110378957B (zh) * 2019-06-05 2021-08-10 上海交通大学 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统
CN111833435A (zh) * 2020-06-28 2020-10-27 江苏大学 无人机近地遥感成熟作物密度高通量测量方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389179A (zh) * 2018-01-15 2018-08-10 湖南大学 一种基于机器视觉的罐盖表面缺陷检测方法
CN110766726A (zh) * 2019-10-17 2020-02-07 重庆大学 复杂背景下的大钟料罐容器移动目标视觉定位与动态跟踪方法

Also Published As

Publication number Publication date
CN112734750A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112734750B (zh) 罐盖视觉检测与定位方法及系统、介质、装置
Jiang et al. HDCB-Net: A neural network with the hybrid dilated convolution for pixel-level crack detection on concrete bridges
CN111292305B (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN109141232B (zh) 一种基于机器视觉的盘类铸件在线检测方法
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN108827969B (zh) 金属零件表面缺陷检测与识别方法及装置
CN110569837B (zh) 优化损伤检测结果的方法及装置
Li et al. Automatic crack detection and measurement of concrete structure using convolutional encoder-decoder network
CN111709417B (zh) 一种矿车车牌识别方法
CN111862037A (zh) 基于机器视觉的精密孔类零件几何特征检测方法及系统
CN110378957B (zh) 面向冶金作业的鱼雷罐车视觉识别与定位方法及其系统
US11747284B2 (en) Apparatus for optimizing inspection of exterior of target object and method thereof
CN111767780B (zh) 一种ai与视觉结合的智能集卡定位方法和系统
CN106501272B (zh) 机器视觉焊锡定位检测系统
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
Antar et al. Automatic number plate recognition of Saudi license car plates
CN114998192B (zh) 基于深度学习的缺陷检测方法、装置、设备和存储介质
CN113705564B (zh) 一种指针式仪表识别读数方法
CN110910363A (zh) 基于机器视觉和深度学习的虚焊检测方法、系统及介质
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
TW201601119A (zh) 物件辨識與定位方法
CN117333467A (zh) 基于图像处理的玻璃瓶瓶身瑕疵识别检测方法及系统
Chianese et al. Influence of image noise on crack detection performance of deep convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant