CN115272258A - 基于机器视觉的金属圆柱面缺陷检测方法、系统和介质 - Google Patents
基于机器视觉的金属圆柱面缺陷检测方法、系统和介质 Download PDFInfo
- Publication number
- CN115272258A CN115272258A CN202210930169.1A CN202210930169A CN115272258A CN 115272258 A CN115272258 A CN 115272258A CN 202210930169 A CN202210930169 A CN 202210930169A CN 115272258 A CN115272258 A CN 115272258A
- Authority
- CN
- China
- Prior art keywords
- image
- cylindrical surface
- metal cylindrical
- machine vision
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 133
- 239000002184 metal Substances 0.000 title claims abstract description 133
- 230000007547 defect Effects 0.000 title claims abstract description 107
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 96
- 239000013598 vector Substances 0.000 claims abstract description 71
- 238000005286 illumination Methods 0.000 claims abstract description 47
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 14
- 238000012876 topography Methods 0.000 claims description 9
- 238000002310 reflectometry Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000005498 polishing Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 22
- 230000008569 process Effects 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 229910052744 lithium Inorganic materials 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Abstract
本发明公开了一种基于机器视觉的金属圆柱面缺陷检测方法、系统和介质，其中方法包括步骤：获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合图像；利用语义分割模型对融合图像进行缺陷检测。本发明提取图像中的漫反射分量，提高了表面法向量的计算精度；简化了表面法向量的计算过程，提高了计算速度；利用表面法向量计算待测物体的表面形貌信息，突出了凹凸性缺陷与正常表面的差异性，提高了金属圆柱面缺陷的检测精度。
Description
技术领域
本发明涉及视觉检测技术领域，尤其是涉及一种基于机器视觉的金属 圆柱面缺陷检测方法、系统和介质。
背景技术
随着图像处理技术的发展，机器视觉检测技术非接触、高精度、安全 可靠的特点使其逐渐取代人工检测方法并在工业生产中广泛应用，成为了 实现生产自动化和智能化的有效方法。在圆柱形金属工件的质量检测过程 中，圆柱面的表面缺陷检测是必不可少的环节，如VVT发动机转子的外径 面和锂电池的圆周面等。这些圆柱面的划伤、凹坑和凸起等缺陷的尺寸较 小，难以检测，且表面深度存在明显变化，这些凹凸性缺陷检测困难。
发明内容
本发明的目的在于克服上述技术不足，提出一种基于机器视觉的金属 圆柱面缺陷检测方法、系统和介质，解决现有技术中圆柱面的划伤、凹坑 和凸起等缺陷的尺寸较小难以检测的技术问题。
为达到上述技术目的，第一方面，本发明的技术方案提供一种基于机 器视觉的金属圆柱面缺陷检测方法，包括以下步骤：
获取金属圆柱面的正常照明图像和多角度光图像；
采用导向滤波方法提取所述多角度光图像中的漫反射分量；
根据所述漫反射分量结合先验方位角计算得到所述多角度光图像的表 面法向量，并根据所述表面法向量重构所述金属圆柱面的表面形貌信息；
将所述金属圆柱面的正常照明图像和所述表面形貌信息进行融合得到 融合图像；
利用语义分割模型对所述融合图像进行缺陷检测。
与现有技术相比，本发明的有益效果包括：
本发明提供的一种基于机器视觉的金属圆柱面缺陷检测方法，拥有很 好的检测速度，并且拥有良好的重复性，避免了人工检测带来的人为误差； 本申请利用导向滤波和Retinex提取图像中的漫反射分量，提高了表面法 向量的计算精度；结合先验知识简化了表面法向量的计算过程，提高了计 算速度；利用表面法向量计算待测物体的表面形貌信息，突出了凹凸性缺 陷与正常表面的差异性，提高了金属圆柱面缺陷的检测精度。
根据本发明的一些实施例，所述采用导向滤波方法提取所述多角度光 图像中的漫反射分量，包括步骤：
将所述多角度光图像分为反射图像和亮度图像；
根据所述多角度光图像、所述亮度图像和导向滤波卷积核计算得到所 述反射图像的漫反射分量。
根据本发明的一些实施例，所述获取金属圆柱面的正常照明图像和多 角度光图像，包括步骤：
使用光源在所述金属圆柱面进行打光，使用线扫相机对所述金属圆柱 面的不同角度进行扫描拍摄，得到多角度、不同照明条件下的金属圆柱面 图像；
对所述金属圆柱面图像的线扫图像数据按照采集顺序进行拆分，重组 为所述多角度光图像。
根据本发明的一些实施例，使用线扫相机对所述金属圆柱面的不同角 度进行扫描拍摄，包括步骤：
使用线扫相机对所述金属圆柱面等角度间距进行扫描拍摄。
根据本发明的一些实施例，根据所述漫反射分量结合先验方位角计算 得到所述多角度光图像的表面法向量，包括步骤：
根据所述漫反射分量计算得到抑制光源影响后的图像像素值，获取光 源方向向量；
根据所述抑制光源影响后的图像像素值和所述光源方向向量计算得到 所述多角度光图像的表面法向量。
根据本发明的一些实施例，所述金属圆柱面的表面形貌信息包括：
表面高度图和表面反射率图。
根据本发明的一些实施例，将所述金属圆柱面的正常照明图像和所述 表面形貌信息进行融合得到融合图像，包括步骤：
在一幅三通道的图像的每个通道分别放入所述金属圆柱面的正常照明 图像、所述表面高度图和所述表面反射率图，得到所述融合图像。
根据本发明的一些实施例，利用语义分割模型对所述融合图像进行缺 陷检测，包括步骤：
利用语义分割模型提取融合图像中的缺陷区域，结合连通域分析提取 所述金属圆柱面的缺陷信息。
第二方面，本发明提供了一种基于机器视觉的金属圆柱面缺陷检测系 统，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任 意一项所述的基于机器视觉的金属圆柱面缺陷检测方法。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读 存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机 执行如第一方面中任意一项所述的基于机器视觉的金属圆柱面缺陷检测方 法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面 的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描 述中将变得明显和容易理解，其中摘要附图要与说明书附图的其中一幅完 全一致：
图1为本发明一个实施例提供的基于机器视觉的金属圆柱面缺陷检测 方法的流程图；
图2为本发明另一个实施例提供的基于机器视觉的金属圆柱面缺陷检 测方法的线扫数据及其拆分重组后的多角度光图像；
图3为本发明另一个实施例提供的基于机器视觉的金属圆柱面缺陷检 测方法的重构的表面形貌高度对比图；
图4为本发明另一个实施例提供的基于机器视觉的金属圆柱面缺陷检 测方法的金属圆柱面缺陷的表面形貌特征图；
图5为本发明另一个实施例提供的基于机器视觉的金属圆柱面缺陷检 测方法的部分检测结果样本图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图 及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图 中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分， 或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述 附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于 描述特定的顺序或先后次序。
本发明提供了一种基于机器视觉的金属圆柱面缺陷检测方法，利用导 向滤波和Retinex提取图像中的漫反射分量，提高了表面法向量的计算精 度；结合先验知识简化了表面法向量的计算过程，提高了计算速度；利用 表面法向量计算待测物体的表面形貌信息，突出了凹凸性缺陷与正常表面 的差异性，提高了金属圆柱面缺陷的检测精度。
下面结合附图，对本发明实施例作进一步阐述。
参照图1，图1为本发明一个实施例提供的基于机器视觉的金属圆柱面 缺陷检测方法的流程图；基于机器视觉的金属圆柱面缺陷检测方法包括但 是不仅限于以下步骤：
步骤S110，获取金属圆柱面的正常照明图像和多角度光图像；
步骤S120，采用导向滤波方法提取多角度光图像中的漫反射分量；
步骤S130，根据漫反射分量结合先验方位角计算得到多角度光图像的 表面法向量，并根据表面法向量重构金属圆柱面的表面形貌信息；
步骤S140，将金属圆柱面的正常照明图像和表面形貌信息进行融合得 到融合图像；
步骤S150，利用语义分割模型对融合图像进行缺陷检测。
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。
本实施例提供的基于机器视觉的金属圆柱面缺陷检测方法，利用导向 滤波和Retinex提取图像中的漫反射分量，提高了表面法向量的计算精度； 结合先验知识简化了表面法向量的计算过程，提高了计算速度；利用表面 法向量计算待测物体的表面形貌信息，突出了凹凸性缺陷与正常表面的差 异性，提高了金属圆柱面缺陷的检测精度。本申请拥有很好的检测速度， 并且拥有良好的重复性，避免了人工检测带来的人为误差
参照图2至图5，图2为本发明另一个实施例提供的基于机器视觉的金 属圆柱面缺陷检测方法的线扫数据及其拆分重组后的多角度光图像；图3 为本发明另一个实施例提供的基于机器视觉的金属圆柱面缺陷检测方法的 重构的表面形貌高度对比图；图4为本发明另一个实施例提供的基于机器 视觉的金属圆柱面缺陷检测方法的金属圆柱面缺陷的表面形貌特征图；图5 为本发明另一个实施例提供的基于机器视觉的金属圆柱面缺陷检测方法的 部分检测结果样本图像。
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。
基于机器视觉的金属圆柱面缺陷检测方法包括步骤：通过相机、光源、 镜头和旋转机械装置获取不同照明条件下的圆柱面图像；
对线扫图像数据按照采集顺序进行拆分，重组为多角度光图像；
采用基于改进光度立体的金属圆柱面缺陷检测方法对圆周面图像进行 缺陷检测，包括：
Step1.采用导向滤波和Retinex提取图像中的漫反射分量；利用 Retinex理论指出的物体颜色具有恒常性的特点，将一幅给定的图像S(x,y) 分解为反射图像R(x,y)和亮度图像L(x,y)，亮度图像决定了图像中像素值能达 到的动态范围，反映了镜面反射量对图像灰度值影响，应加以估计并去除， 反射图像描述了光度立体计算所需的漫反射属性。
式中，*表示卷积；F(x,y)表示大尺寸的导向滤波卷积核。
Step2.结合先验方位角快速计算表面法向量；线扫相机每次曝光仅采 集图像的一行数据，整体图像的照明条件类似于平行光，记光源照射光线 的俯角为θ，方位角记为
单位化的光源方向向量可表示为
使用n＝[p,q,-1]对表面法向量进行描述，Ic表示抑制 光源影响后的图像像素值：
利用本文设计的硬件系统中光源分别从0°、90°、180°、270°的大 致方位角进行照明的先验知识，利用正弦值和余弦值在这些特殊角度时均 远大于对方的特性。选取两组照明方向相对的图像进行后续计算。光源位 置1和3、2和4呈对向关系；Is表示提取的镜面分量图像。利用所有子式 的和作为基数进一步推导图像灰度值与表面法向量的关系：
Step3.利用表面法向量重构表面形貌；将待测物体的表面高度描述为 方程z＝f(x,y)，则物体表面法向量可表示为
结合前述小 节计算出的表面法向量，建立了表面法向量到物体表面高度的关系，利用 积分方式对整个图像空间进行计算从而获得待测目标的形貌。
Step4.将正常照明图像与表面形貌信息融合；使用表面高度信息归一 化后形成的高度图描述物体表面大范围的高度变化，使用表面法向量取模 计算出的反射率图描述表面物体表面的凹凸程度，在一幅三通道的图像的 每个通道分别放入正常照明图像、表面高度图和表面反射率图，形成融合 图像。
Step5.利用语义分割等模型进行缺陷检测；将融合图像作为缺陷检测 的依据，使用语义分割模型提取图像中的缺陷区域，结合连通域分析即可 判断金属圆柱面有无缺陷。
平台采用的图像采集系统，主要设备包括：LA-CC-04K05B型线扫相机、 VS-L5028-M42型光学镜头和带漫反射板的高亮频闪分区光源。线扫相机使 用触发采集模式配合编码器信号均匀采集圆柱面图像；设置分区光源的发 光区域形成多角度的照射条件。使用本文提出的缺陷检测方法采集数据进 行处理与分析并获得最终检测结果。
基于上述检测平台，选择圆柱形锂电池作为测试对象，使用4096× 14400的分辨率采集30节电池圆柱面图像。分别统计本文优化算法与传统 光度立体方法的计算耗时，结果表明，使用传统方法的平均耗时为302ms， 而本文方法的平均耗时为211ms。本文优化方法能够有效提升计算速度。
使用平均角度误差作为物体表面法向量计算准确性的评估标准，衡量 本文优化方法计算出的表面法向量与实际物体的表面法向量之间的差距， 计算公式为：
式中，N为像素点个数；n本文方法计算出的表面法向量；nR为物体实 际的表面法向量，通过高精度设备采集生成。
比较直接计算、修正光强后计算和使用本文优化方法计算的表面法向 量准确性，结果如图5所示。结果表明，直接使用采集到的图像数据进行 计算无法获得良好的表面法向量，意味着后续计算出的表面形貌信息与真 实物体存在巨大差距；考虑光源强度分布不均匀并进行抑制对计算结果的 准确性提升具有一定帮助，然而，仅考虑光强不均的影响未能达到与本文 优化方法相似的准确度，影响法向量计算准确性的因素除了光强分布的不均匀还包括镜面反射的干扰。本文优化方法计算出的法向量平均角度误差 均低于其他方法，这说明本文方法能够在线扫的多角度光图像中较好的提 取出漫反射分量，从而取得较好的计算结果，这为后续检测提供了可靠的 保障。
采集正常照明图像和多角度光图像并标注缺陷区域，随机裁切为分辨 率320*320像素的子图制作训练与测试数据集，随机选取其中的3329份样 本训练RCF模型，剩余的458份样本用作测试。训练RCF模型作为提取缺 陷区域的方法，微调模型输出以适应待识别的缺陷类别数量，分别提取正 常照明图像的缺陷区域和添加了表面形貌信息图像的缺陷区域，将像素准 确率和召回率作为评价指标，结果如表1所示。
表1缺陷提取精度对比
像素准确率代表模型输出结果中真正缺陷像素数在总像素数中的占比； 像素召回率代表模型输出结果中真正缺陷像素数在输出像素数中的占比。 试验结果表明，使用本文方法能够有效增加各类缺陷的可区分性，使用表 面形貌信息协助提取划伤、凹坑和凸起等凹凸性缺陷的召回率均高于仅使 用二维图像的效果，检测出的缺陷类型也更加准确。比较提取出的缺陷区 域如图5所示，使用二维图像提取的划伤和凸起缺陷不完整且容易受到表 面纹理的干扰，本文方法提取出的缺陷区域更加完整且提取出的非缺陷区 域较少。
在针对柱状锂电池缺陷检测的实际应用中，使用本文方法计算出的表 面形貌信息结合Faster RCNN目标检测模型对256个合格品和307个不良 品的圆柱面进行缺陷检测，试验结果如表2所示，表面缺陷检出率可达97.39％ 且过检率仅1.56％，能够满足实际使用需要。
表2缺陷检测结果
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。采用导向滤波方法提 取多角度光图像中的漫反射分量，包括步骤：将多角度光图像分为反射图 像和亮度图像；根据多角度光图像、亮度图像和导向滤波卷积核计算得到 反射图像的漫反射分量。
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。
获取金属圆柱面的正常照明图像和多角度光图像，包括步骤：使用光 源在金属圆柱面进行打光，使用线扫相机对金属圆柱面的不同角度进行扫 描拍摄，得到多角度、不同照明条件下的金属圆柱面图像；对金属圆柱面 图像的线扫图像数据按照采集顺序进行拆分，重组为多角度光图像。
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。
获取金属圆柱面的正常照明图像和多角度光图像，包括步骤：使用光 源在金属圆柱面进行打光，使用线扫相机对金属圆柱面的不同角度进行扫 描拍摄，得到多角度、不同照明条件下的金属圆柱面图像；对金属圆柱面 图像的线扫图像数据按照采集顺序进行拆分，重组为多角度光图像。使用 线扫相机对金属圆柱面的不同角度进行扫描拍摄，包括步骤：使用线扫相 机对金属圆柱面等角度间距进行扫描拍摄。
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。
根据漫反射分量结合先验方位角计算得到多角度光图像的表面法向量， 包括步骤：根据漫反射分量计算得到抑制光源影响后的图像像素值，获取 光源方向向量；根据抑制光源影响后的图像像素值和光源方向向量计算得 到多角度光图像的表面法向量。
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。金属圆柱面的表面形 貌信息包括：表面高度图和表面反射率图。
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。
根据漫反射分量结合先验方位角计算得到多角度光图像的表面法向量， 包括步骤：根据漫反射分量计算得到抑制光源影响后的图像像素值，获取 光源方向向量；根据抑制光源影响后的图像像素值和光源方向向量计算得 到多角度光图像的表面法向量。将金属圆柱面的正常照明图像和表面形貌 信息进行融合得到融合图像，包括步骤：在一幅三通道的图像的每个通道 分别放入金属圆柱面的正常照明图像、表面高度图和表面反射率图，得到 融合图像。
在一实施例中，基于机器视觉的金属圆柱面缺陷检测方法包括步骤： 获取金属圆柱面的正常照明图像和多角度光图像；采用导向滤波方法提取 多角度光图像中的漫反射分量；根据漫反射分量结合先验方位角计算得到 多角度光图像的表面法向量，并根据表面法向量重构金属圆柱面的表面形 貌信息；将金属圆柱面的正常照明图像和表面形貌信息进行融合得到融合 图像；利用语义分割模型对融合图像进行缺陷检测。利用语义分割模型对 融合图像进行缺陷检测，包括步骤：利用语义分割模型提取融合图像中的 缺陷区域，结合连通域分析提取金属圆柱面的缺陷信息。
本发明还提供了一种基于机器视觉的金属圆柱面缺陷检测系统，包括： 存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处 理器执行计算机程序时实现如上述的基于机器视觉的金属圆柱面缺陷检测 方法。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件 程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存 取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存 器件或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相 对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处 理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的 单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也 可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全 部模块来实现本实施例方案的目的。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计 算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个 处理器或控制器执行，例如，被上述终端实施例中的一个处理器执行，可 使得上述处理器执行上述实施例中的基于机器视觉的金属圆柱面缺陷检测 方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步 骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件 或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器 或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如 专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介 质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介 质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存 储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何 方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机 存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、 数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置，或者可以用于存储期望的信息并且可以被计算机访问的任何其他 的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机 可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制 数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上 述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作 出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要 求所限定的范围内。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。 任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包 含在本发明权利要求的保护范围内。
Claims (10)
1.一种基于机器视觉的金属圆柱面缺陷检测方法，其特征在于，包括以下步骤：
获取金属圆柱面的正常照明图像和多角度光图像；
采用导向滤波方法提取所述多角度光图像中的漫反射分量；
根据所述漫反射分量结合先验方位角计算得到所述多角度光图像的表面法向量，并根据所述表面法向量重构所述金属圆柱面的表面形貌信息；
将所述金属圆柱面的正常照明图像和所述表面形貌信息进行融合得到融合图像；
利用语义分割模型对所述融合图像进行缺陷检测。
2.根据权利要求1所述的一种基于机器视觉的金属圆柱面缺陷检测方法，其特征在于，所述采用导向滤波方法提取所述多角度光图像中的漫反射分量，包括步骤：
将所述多角度光图像分为反射图像和亮度图像；
根据所述多角度光图像、所述亮度图像和导向滤波卷积核计算得到所述反射图像的漫反射分量。
3.根据权利要求1所述的一种基于机器视觉的金属圆柱面缺陷检测方法，其特征在于，所述获取金属圆柱面的正常照明图像和多角度光图像，包括步骤：
使用光源在所述金属圆柱面进行打光，使用线扫相机对所述金属圆柱面的不同角度进行扫描拍摄，得到多角度、不同照明条件下的金属圆柱面图像；
对所述金属圆柱面图像的线扫图像数据按照采集顺序进行拆分，重组为所述多角度光图像。
4.根据权利要求3所述的一种基于机器视觉的金属圆柱面缺陷检测方法，其特征在于，使用线扫相机对所述金属圆柱面的不同角度进行扫描拍摄，包括步骤：
使用线扫相机对所述金属圆柱面等角度间距进行扫描拍摄。
5.根据权利要求1所述的一种基于机器视觉的金属圆柱面缺陷检测方法，其特征在于，根据所述漫反射分量结合先验方位角计算得到所述多角度光图像的表面法向量，包括步骤：
根据所述漫反射分量计算得到抑制光源影响后的图像像素值，获取光源方向向量；
根据所述抑制光源影响后的图像像素值和所述光源方向向量计算得到所述多角度光图像的表面法向量。
6.根据权利要求1或5所述的一种基于机器视觉的金属圆柱面缺陷检测方法，其特征在于，所述金属圆柱面的表面形貌信息包括：
表面高度图和表面反射率图。
7.根据权利要求6所述的一种基于机器视觉的金属圆柱面缺陷检测方法，其特征在于，将所述金属圆柱面的正常照明图像和所述表面形貌信息进行融合得到融合图像，包括步骤：
在一幅三通道的图像的每个通道分别放入所述金属圆柱面的正常照明图像、所述表面高度图和所述表面反射率图，得到所述融合图像。
8.根据权利要求1所述的一种基于机器视觉的金属圆柱面缺陷检测方法，其特征在于，利用语义分割模型对所述融合图像进行缺陷检测，包括步骤：
利用语义分割模型提取融合图像中的缺陷区域，结合连通域分析提取所述金属圆柱面的缺陷信息。
9.一种基于机器视觉的金属圆柱面缺陷检测系统，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的基于机器视觉的金属圆柱面缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至8中任意一项所述的基于机器视觉的金属圆柱面缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210930169.1A CN115272258A (zh) | 2022-08-03 | 2022-08-03 | 基于机器视觉的金属圆柱面缺陷检测方法、系统和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210930169.1A CN115272258A (zh) | 2022-08-03 | 2022-08-03 | 基于机器视觉的金属圆柱面缺陷检测方法、系统和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272258A true CN115272258A (zh) | 2022-11-01 |
Family
ID=83749456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210930169.1A Pending CN115272258A (zh) | 2022-08-03 | 2022-08-03 | 基于机器视觉的金属圆柱面缺陷检测方法、系统和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272258A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115980059A (zh) * | 2022-12-21 | 2023-04-18 | 中科慧远视觉技术(北京)有限公司 | 表面缺陷检测系统及其检测方法、装置、设备、存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140092307A1 (en) * | 2012-09-28 | 2014-04-03 | Hitachi Consumer Electronics Co., Ltd. | Image processing apparatus |
| CN110308153A (zh) * | 2019-08-03 | 2019-10-08 | 广西师范大学 | 基于单目立体视觉的金属工件缺陷检测方法、系统、存储介质、以及装置 |
| CN111444921A (zh) * | 2020-03-25 | 2020-07-24 | 浙江华睿科技有限公司 | 划痕缺陷检测方法、装置、计算设备和存储介质 |
| CN112669318A (zh) * | 2021-03-17 | 2021-04-16 | 上海飞机制造有限公司 | 表面缺陷检测方法、装置、设备及存储介质 |
| CN112734756A (zh) * | 2021-03-29 | 2021-04-30 | 惠州高视科技有限公司 | 基于光度立体视觉的检测方法及系统 |
| CN114581433A (zh) * | 2022-03-22 | 2022-06-03 | 中国工程物理研究院流体物理研究所 | 一种获取金属球腔内表面形貌检测图像的方法及系统 |
-
2022
- 2022-08-03 CN CN202210930169.1A patent/CN115272258A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140092307A1 (en) * | 2012-09-28 | 2014-04-03 | Hitachi Consumer Electronics Co., Ltd. | Image processing apparatus |
| CN110308153A (zh) * | 2019-08-03 | 2019-10-08 | 广西师范大学 | 基于单目立体视觉的金属工件缺陷检测方法、系统、存储介质、以及装置 |
| CN111444921A (zh) * | 2020-03-25 | 2020-07-24 | 浙江华睿科技有限公司 | 划痕缺陷检测方法、装置、计算设备和存储介质 |
| CN112669318A (zh) * | 2021-03-17 | 2021-04-16 | 上海飞机制造有限公司 | 表面缺陷检测方法、装置、设备及存储介质 |
| CN112734756A (zh) * | 2021-03-29 | 2021-04-30 | 惠州高视科技有限公司 | 基于光度立体视觉的检测方法及系统 |
| CN114581433A (zh) * | 2022-03-22 | 2022-06-03 | 中国工程物理研究院流体物理研究所 | 一种获取金属球腔内表面形貌检测图像的方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115980059A (zh) * | 2022-12-21 | 2023-04-18 | 中科慧远视觉技术(北京)有限公司 | 表面缺陷检测系统及其检测方法、装置、设备、存储介质 |
| CN115980059B (zh) * | 2022-12-21 | 2023-12-15 | 中科慧远视觉技术（洛阳）有限公司 | 表面缺陷检测系统及其检测方法、装置、设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871895B (zh) | 电路板的缺陷检测方法和装置 | |
| US9109974B2 (en) | Tire shape inspection method and tire shape inspection apparatus | |
| CN108520514B (zh) | 基于计算机视觉的印刷电路板电子元器一致性检测方法 | |
| CN113239930B (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| US20140307941A1 (en) | Analysis of the digital image of the external surface of a tyre and processing of false measurement points | |
| CN111583114B (zh) | 一种管道螺纹自动测量装置及测量方法 | |
| CN108257171A (zh) | 基于光视觉的汽车雷达装配孔径检测方法 | |
| CN110517265A (zh) | 一种产品表面缺陷的检测方法、装置及存储介质 | |
| WO2022105676A1 (zh) | 一种工件平面磨损的测量方法和系统 | |
| CN109283182A (zh) | 一种电池焊点缺陷的检测方法、装置及系统 | |
| CN115077425A (zh) | 一种基于结构光三维视觉的产品检测设备及方法 | |
| CN110426395B (zh) | 一种太阳能el电池硅片表面检测方法及装置 | |
| CN115272258A (zh) | 基于机器视觉的金属圆柱面缺陷检测方法、系统和介质 | |
| CN107271445B (zh) | 一种缺陷检测方法及装置 | |
| CN105023018A (zh) | 一种喷码检测方法及系统 | |
| CN115170804A (zh) | 基于深度学习的表面缺陷检测方法、装置、系统和介质 | |
| Bhamare et al. | Quality Inspection of Tire using Deep Learning based Computer Vision | |
| CN113888477A (zh) | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 | |
| CN113567451A (zh) | 一种电缆线缺陷检测以及直径测量方法 | |
| CN105572133A (zh) | 瑕疵检测方法及其装置 | |
| CN116681677A (zh) | 一种锂电池缺陷检测方法、装置及系统 | |
| CN110441315B (zh) | 电子部件测试设备和方法 | |
| CN113267506A (zh) | 木板ai视觉缺陷检测装置、方法、设备及介质 | |
| CN111504608B (zh) | 辉度均匀检测系统及辉度均匀检测方法 | |
| Ali et al. | Vision based measurement system for gear profile |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230731 Address after: 214000 No. 6, Huayun Road, Huazhuang street, Wuxi Economic Development Zone, Jiangsu Province Applicant after: Jiangsu Jumu Technology Co.,Ltd. Address before: 214000 18th floor, No.8, financial 2nd Street, Binhu District, Wuxi City, Jiangsu Province Applicant before: WUXI JIUXIAO TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right |