CN115937203A - 一种基于模板匹配的视觉检测方法、装置、设备及介质 - Google Patents

一种基于模板匹配的视觉检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN115937203A
CN115937203A CN202310025356.XA CN202310025356A CN115937203A CN 115937203 A CN115937203 A CN 115937203A CN 202310025356 A CN202310025356 A CN 202310025356A CN 115937203 A CN115937203 A CN 115937203A
Authority
CN
China
Prior art keywords
sample
detected
profile
image
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310025356.XA
Other languages
English (en)
Other versions
CN115937203B (zh
Inventor
任鹏
何兵
靳展
安汝峤
林欢
齐海兵
张峰
陈静
孙泽梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Visual Intelligence Innovation Center Co ltd
Original Assignee
Zhejiang Smart Video Security Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Smart Video Security Innovation Center Co Ltd filed Critical Zhejiang Smart Video Security Innovation Center Co Ltd
Priority to CN202310025356.XA priority Critical patent/CN115937203B/zh
Publication of CN115937203A publication Critical patent/CN115937203A/zh
Application granted granted Critical
Publication of CN115937203B publication Critical patent/CN115937203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种基于模板匹配的视觉检测方法、装置、设备及介质。所述方法包括:创建仿真环境,将待检测样件的三维模型导入VTK中,并配置仿真环境中的相机参数;获取仿真环境中待检测样件的三维模型在相机视角下对应的二维图像,将二维图像作为二维模板图像,并基于待检测样件的二维模板图像得到模板全局特征轮廓图;对待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;将模板全局特征轮廓图配准待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。本申请所述方法视觉检测效率高,检测质量高。

Description

一种基于模板匹配的视觉检测方法、装置、设备及介质
技术领域
本申请涉及计算机视觉技术领域,更为具体来说,本申请涉及一种基于模板匹配的视觉检测方法、装置、设备及介质。
背景技术
目前,全世界的制造业都在迅速朝着数字化、智能化发展,智能制造对提升制造业的竞争力起到举足轻重的作用。智能制造、推广精益生产的最终目标是高效地生产产品,实现短交期、高质量和高效率,提高企业的竞争力。伴随着产品质量需求的提高,传统的人工检测无法满足高强度,高精度,高合格率,标准化等检测需求。尺寸在生产过程中是最基本也最重要的控制要素之一,尺寸测量要素、测量的方法、测量精度、测量标准、测量设备、测量工具工装、测量环境、测量人员、测量频次、测量成本是在产品策划或试生产时必须要考虑的,所以智能制造行业需要研发或引进更加先进的检测技术。
随着视觉技术的发展,出现了非接触式的测量方法。通过传感器成像,运用图像处理和机器学习技术对工件进行尺寸测量和缺陷检测。但是受到加工工艺与材质的影响,且工件的表面粗糙度和纹理等信息不同,加上外部环境光和其他噪声的干扰,基于视觉的测量方法非常依赖于工件的边缘信息。然而,视觉传感器得到图像在提取工件边缘时,往往得到不规则的、离散的、封闭或开放的区域,导致基于边缘的尺寸检测方法适应性较差。
发明内容
基于上述技术问题,本发明旨在通过获取模板全局特征轮廓图,通过模板全局特征轮廓图配准待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格,以解决基于边缘的尺寸检测方法适应性较差的问题。
本发明第一方面提供了一种基于模板匹配的视觉检测方法,所述方法包括:
获取待检测样件,并绘制所述待检测样件的三维模型;
创建仿真环境,将所述待检测样件的三维模型导入 VTK 中,并根据实际工况配置仿真环境中的相机参数;
获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图;
对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;
将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。
在本发明的一些实施例中,所述对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图,包括:
将采集的图像转换为灰度图像;
将所述灰度图像依次进行二值化处理、高斯滤波处理、形态学处理;
对处理后图像采用 canny 算子提取感兴趣边缘区域,并将所述感兴趣区域作为特征轮廓图;
对所述特征轮廓图进行拟合,得到拟合特征轮廓图。
在本发明的一些实施例中,所述对所述特征轮廓图进行拟合,得到拟合特征轮廓图,包括:
针对具有圆形特征的工件,对所述特征轮廓图中的点做坐标变换,将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,并对所述曲线轮廓的特征进行分类;
采用距离最小二乘法对所述分类后的轮廓上的点进行拟合,得到拟合特征轮廓图。
在本发明的一些实施例中,所述将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,并对所述曲线轮廓的特征进行分类,包括:
将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,提取所述曲线轮廓的形心纵坐标;
基于欧氏空间距离,并根据所述曲线轮廓的形心纵坐标对所述曲线轮廓进行分类。
在本发明的一些实施例中,所述将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格,包括:
将所述模板全局特征轮廓图映射到所述待检测样件的拟合特征轮廓图进行配准,得到基准轮廓;
根据所述基准轮廓对所述拟合特征轮廓图进行区域分割或对待检测样件进行尺寸测量,并基于所述区域分割结果或尺寸测量结果确定所述待检测样件是否合格。
在本发明的一些实施例中,基于所述区域分割结果确定所述待检测样件是否合格,包括:
根据所述区域分割结果提取检测轮廓;
对比所述检测轮廓与所述基准轮廓间对应像素的差值,若所述差值在预设误差范围内,则判定所述待检测样件合格,否则判定所述待检测样件不合格。
在本发明的一些实施例中,所述基于所述待检测样件的二维模板图像得到模板全局特征轮廓图,包括:
采用opencv算法提取所述待检测样件的二维模板图像的特征圆轮廓;
基于坐标变换获取所述特征圆轮廓不同半径上的离散点;
基于两个离散点间距离,根据离散点纵坐标进行分类得到全局圆周的各圆半径,并将所述全局圆周对应的图像作为第一特征轮廓图;
根据所述特征圆轮廓的三维尺寸和其对应的像素尺寸计算缩放比率;
根据所述缩放比率缩放所述第一特征轮廓图,得到模板全局特征轮廓图。
本发明第二方面提供了一种基于模板匹配的视觉检测装置,所述装置包括:
获取模块,被配置为获取待检测样件,并绘制所述待检测样件的三维模型;
仿真模块,被配置为将所述待检测样件的三维模型导入 VTK 中,并根据实际工况配置仿真环境中的相机参数;
全局模块,被配置为获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图;
拟合模块,被配置为对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;
配准模块,被配置为将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。
本发明第三方面提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行各实施例中的所述方法。
本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现各实施例中的所述方法。
本申请实施例中提供的技术方案,至少具有如下技术效果或优点:
本申请创建仿真环境,将待检测样件的三维模型导入 VTK 中,并根据实际工况配置仿真环境中的相机参数,获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图,对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图,将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格,解决了基于边缘的尺寸检测方法适应性较差的问题,视觉检测效率高,检测质量高,同时避免了接触式检测带来的二次划伤等情况的产生。与传统视觉方式相比,基于模板匹配方式实现的区域分割,可以有效避免离散点的局部拟合和小特征提取困难的问题,因为现有局部拟合方式主要是提取部分数据,可能造成局部拟合,得到检测结果不准。特别是对于小特征,通过物理相机得到的样件图像,可能受到光照、聚焦平面等因素的影响,造成小特征处图像模糊、边缘分界不明显、难提取或者无法提取特征等情况。而本申请由于计算了每个圆周上的所有点集构成的离散点,基于两个离散点间距离,且根据离散点纵坐标进行分类得到全局圆周的各圆半径,实现了全局拟合得到全局特征轮廓图,通过全局特征轮廓图配准目标工件的拟合特征轮廓图能克服上述问题,使检测更为精准。不仅如此,与深度学习或神经网络相比,避免了数据训练过程和求解指标一致性要求的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
通过阅读下文优选实施方式的详细描述,各种其它的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本申请一示例性实施例中的基于模板匹配的视觉检测方法步骤示意图;
图2示出了本申请一示例性实施例中的待检测样件的实物图、视觉采集图像、边缘图像;
图3示出了本申请一示例性实施例中待检测样件的三维模型图、三维模型图导入VTK中的显示效果图、模板轮廓图;
图4示出了本申请一示例性实施例中模板轮廓图展开示意图;
图5示出了本申请一示例性实施例中提取所述感兴趣边缘区域的局部过程示意图;
图6示出了本申请一示例性实施例中一种将工件环形轮廓展开后示意图;
图7示出了本申请一示例性实施例中一种将工件环形轮廓展开后图形中提取轮廓信息的示意图;
图8示出了本申请一示例性实施例中一种局部拟合示意图;
图9示出了本申请一示例性实施例中一种基于最小二乘法得到拟合特征轮廓图示意图;
图10示出了本申请一示例性实施例中一种模板匹配示意图;
图11示出了本申请一示例性实施例中模板匹配后的区域分割示意图;
图12示出了本申请一示例性实施例中另一种基于模板匹配的视觉检测方法流程图;
图13示出了本申请一示例性实施例所提供的基于模板匹配的视觉检测装置结构示意图;
图14示出了本申请一示例性实施例所提供的一种计算机设备的结构示意图。
具体实施方式
以下,将参照附图来描述本申请的实施例。但是应该理解的是,这些描述只是示例性的,而并非要限制本申请的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本申请的概念。对于本领域技术人员来说显而易见的是,本申请可以无需一个或多个这些细节而得以实施。在其它的例子中,为了避免与本申请发生混淆,对于本领域公知的一些技术特征未进行描述。
应予以注意的是,这里所使用的术语仅是为了描述具体实施例,而非意图限制根据本申请的示例性实施例。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式。此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或附加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在,将参照附图更详细地描述根据本申请的示例性实施例。然而,这些示例性实施例可以多种不同的形式来实施,并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的,其中为了清楚表达的目的,可能放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
下面结合说明书附图1-附图14给出几个实施例来描述根据本申请的示例性实施方式。需要注意的是,下述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
尺寸在生产过程中是最基本也是最重要的控制要素之一,尺寸测量要素、测量的方法、测量精度、测量标准、测量设备、测量工具工装、测量环境、测量人员、测量频次、测量成本等等是在产品策划或试生产时的时候必须要考虑的,所以智能制造行业需要研发或引进更加先进的检测技术。但是尺寸测量和缺陷检测都是重复性工作,传统人工检测工作强度高,检测精度低,效率低。并且传统检测方式多为接触式检测,容易对工件造成二次划伤。
随着视觉技术的发展,出现了非接触式的测量方法。通过传感器成像,运用图像处理和机器学习技术对工件进行尺寸测量和缺陷检测。但是受到加工工艺与材质的影响,且工件的表面粗糙度和纹理等信息不同,加上外部环境光和其他噪声的干扰,基于视觉的测量方法非常依赖于工件的边缘信息。然而,视觉传感器得到图像在提取工件边缘时,往往得到不规则的、离散的、封闭或开放的区域,导致基于边缘的尺寸检测方法适应性较差。
因此,在本申请一些示例性实施例中,提供了一种基于模板匹配的视觉检测方法,如图1所示,所述方法包括:
S1、获取待检测样件,并绘制所述待检测样件的三维模型;
S2、创建仿真环境,将所述待检测样件的三维模型导入 VTK 中,并根据实际工况配置仿真环境中的相机参数;
S3、获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图;
S4、对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;
S5、将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。
如图2所示,图2中的(a)表示所述待检测样件的实物图,图2中的(b)为所述待检测样件的图像即视觉采集图像,图2中的(c)为所述待检测样件的特征轮廓图即边缘图像。将模板全局特征轮廓图配准待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格,解决了基于边缘的尺寸检测方法适应性较差的问题,视觉检测效率高,检测质量高,同时避免了接触式检测带来的二次划伤等情况的产生。与传统视觉方式相比,基于模板匹配方式实现的区域分割,可以有效避免离散点的局部拟合和小特征提取困难的问题;与深度学习或神经网络相比,避免了数据训练过程和求解指标一致性要求的问题。
在一种优选的实现方式中,基于所述待检测样件的三维模型创建所述待检测样件的二维模板图像,包括:根据二维加工图纸绘制所述待检测样件的三维模型;在VTK软件系统中创建仿真相机环境,将所述待检测样件的三维模型导入所述仿真相机环境,其中,所述仿真相机环境包含有预设参数配置;获取所述仿真相机环境下的所述待检测样件的三维模型对应的二维图像,将所述二维图像作为二维模板图像。VTK全称为Visualization ToolKit,是一个开源的免费软件系统,主要用于三维计算机图形学、图像处理和可视化。VTK是在面向对象原理的基础上设计和实现的,它的内核是用C++构建的,包含有大约250,000行代码,2000多个类,还包含有几个转换界面,因此也可以自由的通过Java,Tcl/Tk和Python各种语言使用VTK。具体实施时,在 VTK 软件系统中创建仿真相机模型,并设置相机位置、焦点、朝向、投影方向、投影方法、视角、裁剪平面等参数,将三维模型导入 VTK软件系统中,并根据实际工况设置仿真环境下工件位置,获取仿真环境中相机视角下三维模型的二维图像,将该图像作为模板图像。在此需要说明的是,模板图像可以是在多组中选出最佳的一组。
如图3所示,图3中的(a)表示所述待检测样件的三维模型图,图3中的(b)将三维模型导入VTK中的显示效果图,图3中的(c)为模板轮廓图,还不是模板全局特征轮廓图。图3中的(c)之模板轮廓图中显示出多个圆环,将其展开或者说抻平如图4所示。在另一种优选的实现方式中,采用opencv的HoughCircles 算法提取所述待检测样件的二维模板图像的特征圆轮廓;基于坐标变换获取所述特征圆轮廓不同半径上的离散点;基于两个离散点间距离,根据离散点纵坐标进行分类得到全局圆周的各圆半径,并将所述全局圆周对应的图像作为第一特征轮廓图;根据所述特征圆轮廓的三维尺寸和其对应的像素尺寸计算缩放比率;根据所述缩放比率缩放所述第一特征轮廓图,得到模板全局特征轮廓图。
再具体地,通过特征圆轮廓,得到圆心坐标和半径再通过极坐标转直角坐标,如图4所示,将圆环图像展开成矩形图像,并将对应的像素值进行映射,如公式(1)所示:
其中,为拟合圆半径,为圆心角,为横坐标值,为纵坐标值。优选地,从二值化的展开图像中随机选取 n 列数据,根据位置的像素值统计出不同半径上的离散点。由两点间距离对上述离散点的纵坐标进行分类,得到理想模型的各圆半径,如公式(2)所示:
其中,表示不同尺寸的圆半径,为随机选取 n 列数据的纵坐标值,为起始点数据的纵坐标值。换言之,基于两个离散点间距离,根据离散点纵坐标进行分类得到全局圆周的各圆半径,并将所述全局圆周数据恢复成圆环轮廓,得到第一特征轮廓图。
然后根据模板所求解的特征的三维尺寸和其对应的像素尺寸,求解像素 /物距的比值,如公式(3)所示:
优选地,采用量块来处理。量块是一种无刻度的标准端面量具,在同一检测工位下获取标准量块图像,可确定像素与物理尺寸间的关系。记录标准量块的实际尺寸以及像素尺寸,并根据公式(4)求解出样图的像素与物距的转换关系
这样后续操作就可以根据模板的比例系数与样图的比例系数确定如公式(5)所示的图像间的缩放系数
根据上述公式计算的缩放比率,缩放所述第一特征轮廓图,得到模板全局特征轮廓图以供在后续进行模板匹配时使用。
在一种优选的实施方式中,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图,包括:将采集的图像转换为灰度图像;将所述灰度图像依次进行二值化处理、高斯滤波处理、形态学处理;对处理后图像采用 canny 算子提取感兴趣边缘区域,并将所述感兴趣区域作为特征轮廓图;对所述特征轮廓图进行拟合,得到拟合特征轮廓图。
在本申请的一些实施例中,如图5所示,将采集的图像(图5中的(a))转换为灰度图像,将所述灰度图像依次进行二值化处理、高斯滤波处理、形态学处理;对处理后图像(图5中的(b))采用 canny 算子提取感兴趣边缘区域,并将所述感兴趣区域(图5中的(c))作为特征轮廓图。其中,将工件环形轮廓展开后如图6所示,展开后提取轮廓信息如图7所示。
在一种优选的实施方式中,参考图8和图9,针对具有圆形特征的工件,对所述特征轮廓图中的点做坐标变换,将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,并对所述曲线轮廓的特征进行分类;采用距离最小二乘法对所述分类后的轮廓上的点进行拟合,得到拟合特征轮廓图。图8示出了局部拟合结果,而图9则示意出了拟合特征轮廓图。
在一种具体的实施方式中,将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,并对所述曲线轮廓的特征进行分类,包括:将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,提取所述曲线轮廓的形心纵坐标;基于欧氏空间距离,并根据所述曲线轮廓的形心纵坐标对所述曲线轮廓进行分类。用 canny 算子提取感兴趣边缘区域即边缘信息,提取到轮廓的形心纵坐标 y 值,根据公式(6)、公式(7)可以按照欧氏空间距离对轮廓进行分类。
其中,为封闭区域的面积。根据极坐标转直角坐标,将数据恢复成圆环轮廓,采用最小二乘法进行拟合,该算法是使所有点到圆上的距离最小,这样拟合的结果不会向杂点的位置偏移,从而最小化拟合误差。作为可变换的实现方式,还可以采用梯度下降法来优化,使计算更为收敛。
在另一种具体的实施方式中,如图10所示,将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格,包括:将所述模板全局特征轮廓图映射到所述待检测样件的拟合特征轮廓图进行配准,得到基准轮廓;根据所述基准轮廓对所述拟合特征轮廓图进行区域分割或对待检测样件进行尺寸测量,并基于所述区域分割结果或尺寸测量结果确定所述待检测样件是否合格。基于所述区域分割结果确定所述待检测样件是否合格时,如图11所示,根据所述区域分割结果提取检测轮廓;对比所述检测轮廓与所述基准轮廓间对应像素的差值,若所述差值在预设误差范围内,则判定所述待检测样件合格,否则判定所述待检测样件不合格。
再如图10所示,将模板映射到样图中并进行配准,配准后的轮廓即为基准轮廓,如公式(8)所示:
其中,为匹配结果矩阵,为模板图像矩阵,为原图像矩阵。
接下来再如图10所示,根据基准轮廓对样图进行区域分割,并提取检测尺寸所在的区域,根据加工误差计算像素误差(见公式(9))
对比样图求解到的检测轮廓与基准轮廓间对应像素的差值与像素误差的大小,即可得到该尺寸加工是否合格。与传统视觉方式相比,基于模板匹配方式实现的区域分割,可以有效避免离散点的局部拟合和小特征提取困难的问题,因为现有局部拟合方式主要是提取部分数据,可能造成局部拟合,得到检测结果不准。特别是对于小特征,通过物理相机得到的样件图像,可能受到光照、聚焦平面等因素的影响,造成小特征处图像模糊、边缘分界不明显、难提取或者无法提取特征等情况。而本申请由于计算了每个圆周上的所有点集构成的离散点,基于两个离散点间距离,且根据离散点纵坐标进行分类得到全局圆周的各圆半径,实现了全局拟合得到全局特征轮廓图,通过全局特征轮廓图配准目标工件的拟合特征轮廓图能克服上述问题,使检测更为精准。不仅如此,与深度学习或神经网络相比,避免了数据训练过程和求解指标一致性要求的问题。
在本申请其它一些实施例中还提供了一种基于模板匹配的视觉检测方法,如图12所示,根据待检测样件的加工图纸绘制三维模型,将三维模型导入VTK并获取轮廓信息,在VTK中进行相关的参数设置,如相机模型,根据工况完善VTK仿真环境获取其相机模型视角下的轮廓图。但该轮廓图需要按相应的缩放比率进行缩放再作为模板图像即各实施例中的全局特征轮廓图。再如图12所示,根据解决方案搭建实验平台,通过相机采集工件图像,再对图像处理获取工件轮廓信息,然后基于距离最小二乘法拟合轮廓以提取待检测样件的主特征。最后进行模板映射与配准,即将全局特征轮廓图映射到待检测样件的拟合特征轮廓图,基于模板匹配的区域分割与特征提取进行尺寸检测,确定待检测样件的尺寸误差是否在预设阈值范围,若在则确定其为合格样件。通过模板匹配的检测方法解决了基于边缘的尺寸检测方法适应性较差的问题,视觉检测效率高,检测质量高,同时避免了接触式检测带来的二次划伤等情况的产生。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
在本申请一些示例性实施例中,还提供了一种基于模板匹配的视觉检测装置,执行各实施例中所述的基于模板匹配的视觉检测方法,如图13所示,所述装置包括:
获取模块1301,被配置为获取待检测样件,并绘制所述待检测样件的三维模型;
仿真模块1302,被配置为将所述待检测样件的三维模型导入 VTK 中,并根据实际工况配置仿真环境中的相机参数;
全局模块1303,被配置为获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图;
拟合模块1304,被配置为对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;
配准模块1305,被配置为将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
还需要强调的是,本申请实施例中提供的系统可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
下面请参考图14,其示出了本申请的一些实施方式所提供的一种计算机设备的示意图。如图14所示,所述计算机设备2包括:处理器200,存储器201,总线202和通信接口203,所述处理器200、通信接口203和存储器201通过总线202连接;所述存储器201中存储有可在所述处理器200上运行的计算机程序,所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的基于模板匹配的视觉检测方法,所述方法包括:获取待检测样件,并绘制所述待检测样件的三维模型;创建仿真环境,将所述待检测样件的三维模型导入VTK 中,并根据实际工况配置仿真环境中的相机参数;获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图;对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。
其中,存储器201可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其它网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器201用于存储程序,所述处理器200在接收到执行指令后,执行所述程序,前述本申请实施例任一实施方式揭示的所述基于模板匹配的视觉检测方法可以应用于处理器200中,或者由处理器200实现。
处理器200可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201,处理器200读取存储器201中的信息,结合其硬件完成上述基于模板匹配的视觉检测方法。
本申请实施方式还提供一种与前述实施方式所提供的基于模板匹配的视觉检测方法对应的计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的基于模板匹配的视觉检测方法,所述方法包括:获取待检测样件,并绘制所述待检测样件的三维模型;创建仿真环境,将所述待检测样件的三维模型导入 VTK 中,并根据实际工况配置仿真环境中的相机参数;获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图;对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。
另外,所述计算机可读存储介质的例子还可以包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其它类型的随机存取存储器(RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其它光学、磁性存储介质,在此不再一一赘述。
本申请实施方式还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现前述任意实施方式所提供的基于模板匹配的视觉检测方法的步骤。
需要说明的是:在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
本领域那些技术人员可以理解,本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于模板匹配的视觉检测方法,其特征在于,所述方法包括:
获取待检测样件,并绘制所述待检测样件的三维模型;
创建仿真环境,将所述待检测样件的三维模型导入 VTK 中,并根据实际工况配置仿真环境中的相机参数;
获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图;
对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;
将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。
2.根据权利要求1所述的基于模板匹配的视觉检测方法,其特征在于,所述对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图,包括:
将采集的图像转换为灰度图像;
将所述灰度图像依次进行二值化处理、高斯滤波处理、形态学处理;
对处理后图像采用 canny 算子提取感兴趣边缘区域,并将所述感兴趣区域作为特征轮廓图;
对所述特征轮廓图进行拟合,得到拟合特征轮廓图。
3.根据权利要求2所述的基于模板匹配的视觉检测方法,其特征在于,所述对所述特征轮廓图进行拟合,得到拟合特征轮廓图,包括:
针对具有圆形特征的工件,对所述特征轮廓图中的点做坐标变换,将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,并对所述曲线轮廓的特征进行分类;
采用距离最小二乘法对所述分类后的轮廓上的点进行拟合,得到拟合特征轮廓图。
4.根据权利要求3所述的基于模板匹配的视觉检测方法,其特征在于,所述将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,并对所述曲线轮廓的特征进行分类,包括:
将圆周曲线展开得到纵坐标具有不同高度值的曲线轮廓,提取所述曲线轮廓的形心纵坐标;
基于欧氏空间距离,并根据所述曲线轮廓的形心纵坐标对所述曲线轮廓进行分类。
5.根据权利要求1所述的基于模板匹配的视觉检测方法,其特征在于,所述将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格,包括:
将所述模板全局特征轮廓图映射到所述待检测样件的拟合特征轮廓图进行配准,得到基准轮廓;
根据所述基准轮廓对所述拟合特征轮廓图进行区域分割或对待检测样件进行尺寸测量,并基于所述区域分割结果或尺寸测量结果确定所述待检测样件是否合格。
6.根据权利要求5所述的基于模板匹配的视觉检测方法,其特征在于,基于所述区域分割结果确定所述待检测样件是否合格,包括:
根据所述区域分割结果提取检测轮廓;
对比所述检测轮廓与所述基准轮廓间对应像素的差值,若所述差值在预设误差范围内,则判定所述待检测样件合格,否则判定所述待检测样件不合格。
7.根据权利要求1所述的基于模板匹配的视觉检测方法,其特征在于,所述基于所述待检测样件的二维模板图像得到模板全局特征轮廓图,包括:
采用opencv算法提取所述待检测样件的二维模板图像的特征圆轮廓;
基于坐标变换获取所述特征圆轮廓不同半径上的离散点;
基于两个离散点间距离,根据离散点纵坐标进行分类得到全局圆周的各圆半径,并将所述全局圆周对应的图像作为第一特征轮廓图;
根据所述特征圆轮廓的三维尺寸和其对应的像素尺寸计算缩放比率;
根据所述缩放比率缩放所述第一特征轮廓图,得到模板全局特征轮廓图。
8.一种基于模板匹配的视觉检测装置,其特征在于,所述装置包括:
获取模块,被配置为获取待检测样件,并绘制所述待检测样件的三维模型;
仿真模块,被配置为将所述待检测样件的三维模型导入 VTK 中,并根据实际工况配置仿真环境中的相机参数;
全局模块,被配置为获取所述仿真环境中所述待检测样件的三维模型在相机视角下对应的二维图像,将所述二维图像作为二维模板图像,并基于所述待检测样件的二维模板图像得到模板全局特征轮廓图;
拟合模块,被配置为对所述待检测样件进行图像采集,对采集的图像进行处理并提取特征轮廓图,并对特征轮廓图进行拟合,得到拟合特征轮廓图;
配准模块,被配置为将所述模板全局特征轮廓图配准所述待检测样件的拟合特征轮廓图,根据配准结果进行图像区域分割或对待检测样件进行尺寸测量,以判断所述待检测样件是否合格。
9.一种计算机设备,包括存储器和处理器,其特征在于,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行如权利要求1-7任一所述方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7任一所述方法。
CN202310025356.XA 2023-01-09 2023-01-09 一种基于模板匹配的视觉检测方法、装置、设备及介质 Active CN115937203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310025356.XA CN115937203B (zh) 2023-01-09 2023-01-09 一种基于模板匹配的视觉检测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310025356.XA CN115937203B (zh) 2023-01-09 2023-01-09 一种基于模板匹配的视觉检测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115937203A true CN115937203A (zh) 2023-04-07
CN115937203B CN115937203B (zh) 2023-07-04

Family

ID=86552634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310025356.XA Active CN115937203B (zh) 2023-01-09 2023-01-09 一种基于模板匹配的视觉检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115937203B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205923A (zh) * 2023-05-06 2023-06-02 威海锐鑫丰金属科技有限公司 基于x-ray的汽车轮毂内部缺陷无损检测方法
CN116592776A (zh) * 2023-07-19 2023-08-15 浙江视觉智能创新中心有限公司 一种基于三维点云的管径尺寸检测方法、装置及电子设备
CN116958515A (zh) * 2023-09-20 2023-10-27 苏州凌云光工业智能技术有限公司 工件轮廓的拟合定位方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196370A (zh) * 2013-04-01 2013-07-10 北京理工大学 一种导管接头空间位姿参数的测量方法和装置
US20170178402A1 (en) * 2015-12-22 2017-06-22 Beihang University Line guided three-dimensional model reshaping method
WO2019090487A1 (zh) * 2017-11-07 2019-05-16 大连理工大学 数控机床高动态大范围任意轮廓误差单目六维测量方法
CN111260797A (zh) * 2020-01-10 2020-06-09 西南交通大学 一种受电弓图像的三维模板自动匹配方法
CN111998774A (zh) * 2020-08-12 2020-11-27 中车青岛四方机车车辆股份有限公司 一种零部件形位尺寸的快速检测方法
CN114693633A (zh) * 2022-03-28 2022-07-01 深圳市深视智能科技有限公司 一种焊接缺陷检测方法、装置以及检测系统
CN115409966A (zh) * 2022-08-17 2022-11-29 东南大学 一种从二维矢量图纸自动重建桁架结构三维点云的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196370A (zh) * 2013-04-01 2013-07-10 北京理工大学 一种导管接头空间位姿参数的测量方法和装置
US20170178402A1 (en) * 2015-12-22 2017-06-22 Beihang University Line guided three-dimensional model reshaping method
WO2019090487A1 (zh) * 2017-11-07 2019-05-16 大连理工大学 数控机床高动态大范围任意轮廓误差单目六维测量方法
CN111260797A (zh) * 2020-01-10 2020-06-09 西南交通大学 一种受电弓图像的三维模板自动匹配方法
CN111998774A (zh) * 2020-08-12 2020-11-27 中车青岛四方机车车辆股份有限公司 一种零部件形位尺寸的快速检测方法
CN114693633A (zh) * 2022-03-28 2022-07-01 深圳市深视智能科技有限公司 一种焊接缺陷检测方法、装置以及检测系统
CN115409966A (zh) * 2022-08-17 2022-11-29 东南大学 一种从二维矢量图纸自动重建桁架结构三维点云的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘巍 等: "基于双目视觉的数控机床动态轮廓误差三维测量方法", 机械工程学报, vol. 55, no. 10 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205923A (zh) * 2023-05-06 2023-06-02 威海锐鑫丰金属科技有限公司 基于x-ray的汽车轮毂内部缺陷无损检测方法
CN116592776A (zh) * 2023-07-19 2023-08-15 浙江视觉智能创新中心有限公司 一种基于三维点云的管径尺寸检测方法、装置及电子设备
CN116592776B (zh) * 2023-07-19 2023-12-01 浙江视觉智能创新中心有限公司 一种基于三维点云的管径尺寸检测方法、装置及电子设备
CN116958515A (zh) * 2023-09-20 2023-10-27 苏州凌云光工业智能技术有限公司 工件轮廓的拟合定位方法、装置及存储介质
CN116958515B (zh) * 2023-09-20 2023-12-22 苏州凌云光工业智能技术有限公司 工件轮廓的拟合定位方法、装置及存储介质

Also Published As

Publication number Publication date
CN115937203B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN110826416B (zh) 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN115937203B (zh) 一种基于模板匹配的视觉检测方法、装置、设备及介质
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN107341802B (zh) 一种基于曲率与灰度复合的角点亚像素定位方法
Peng et al. Computer vision algorithm for measurement and inspection of O-rings
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN114549835B (zh) 一种基于深度学习的指针式仪表矫正识别方法及装置
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN107957246B (zh) 基于双目视觉的传送带上物体几何尺寸测量方法
CN112348787A (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN110956100A (zh) 一种高精度地图生成方法、装置、电子设备和存储介质
CN114240845B (zh) 一种应用于切削工件的光切法表面粗糙度测量方法
CN110570442A (zh) 一种复杂背景下轮廓检测方法、终端设备及存储介质
CN110648323B (zh) 一种缺陷检测分类系统及其方法
CN112345534B (zh) 一种基于视觉的泡罩板中颗粒的缺陷检测方法及系统
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN113237889A (zh) 一种多尺度的陶瓷检测方法及系统
CN113688846A (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
CN113705564B (zh) 一种指针式仪表识别读数方法
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN110276759B (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN114926415A (zh) 一种基于pcnn与深度学习的钢轨表面检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 311215 unit 1, building 1, area C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Visual Intelligence Innovation Center Co.,Ltd.

Address before: 311215 unit 1, building 1, area C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Patentee before: Zhejiang smart video security Innovation Center Co.,Ltd.

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230407

Assignee: Institute of Information Technology, Zhejiang Peking University

Assignor: Zhejiang Visual Intelligence Innovation Center Co.,Ltd.

Contract record no.: X2024330000024

Denomination of invention: A visual detection method, device, equipment, and medium based on template matching

Granted publication date: 20230704

License type: Common License

Record date: 20240401