CN117876364A - 基于图像识别的金属棒材缺陷检测方法及系统 - Google Patents
基于图像识别的金属棒材缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN117876364A CN117876364A CN202410269265.5A CN202410269265A CN117876364A CN 117876364 A CN117876364 A CN 117876364A CN 202410269265 A CN202410269265 A CN 202410269265A CN 117876364 A CN117876364 A CN 117876364A
- Authority
- CN
- China
- Prior art keywords
- highlight
- real
- metal bar
- image
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 170
- 229910052751 metal Inorganic materials 0.000 title claims abstract description 169
- 239000002184 metal Substances 0.000 title claims abstract description 169
- 230000007547 defect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000013450 outlier detection Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims description 61
- 238000010586 diagram Methods 0.000 claims description 24
- 230000005856 abnormality Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 7
- 229910001069 Ti alloy Inorganic materials 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 229910001257 Nb alloy Inorganic materials 0.000 description 2
- 229910001362 Ta alloys Inorganic materials 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请涉及图像处理技术领域，尤其涉及一种基于图像识别的金属棒材缺陷检测方法及系统，方法包括：将待测金属棒材以设定步长绕轴线进行多次旋转，并在每次旋转后采集实时图像；构建每帧实时图像中高亮像素点和非高亮像素点的特征描述子；对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到各实时图像的高亮检测结果；基于相邻实时图像之间的重叠区域拼接所有高亮检测结果，得到第一检测结果；依据所有实时图像中非高亮像素点的特征描述子得到第二检测结果；依据第一检测结果和第二检测结果得到待测金属棒材的缺陷检测结果。通过本申请的技术方案，能够提高金属棒材缺陷检测结果的准确性。
Description
技术领域
本申请一般地涉及图像处理技术领域，尤其涉及一种基于图像识别的金属棒材缺陷检测方法及系统。
背景技术
金属棒材是指金属材质的呈直棒状的简单断面型材，如钛合金棒材、铌合金棒材和钽合金棒材等等；金属棒材广泛应用于航空航天、冶金、化工、化纤等领域，金属棒材的加工质量直接影响到金属棒材在各个领域的使用安全，因此，金属棒材的缺陷检测是生产加工过程中不可或缺的环节。
目前，公开号为CN116309570A的专利申请文件公开了一种钛合金棒材质量检测方法及系统，其中的方法包括：获取待检测钛合金棒材的灰度图像；对于灰度图像上的每个窗口区域，提取准边缘点和边缘点；根据窗口区域中心点灰度值与背景值的差异、窗口区域的信息熵、边缘点占准边缘点的数量比例获取对应窗口区域中心点的噪声程度；进而获取每个像素点进行高斯滤波时的基础标准差；利用修正系数获取缺陷像素点的自适应标准差；其他像素点的基础标准差为对应的自适应标准差；利用像素点的自适应标准差完成对应的高斯滤波得到去噪图像，根据去噪图像进行质量检测。
然而，上述方法虽然能够获取钛合金棒材的缺陷检测结果，然而，忽略了金属棒材对光线的反射作用，采集到的灰度图像中会同时出现高亮区域和非高亮区域，干扰灰度图像中的缺陷特征，进而导致金属棒材的缺陷检测结果不准确。
发明内容
为了解决上述技术问题，本申请提供了一种基于图像识别的金属棒材缺陷检测方法及系统，能够避免高亮区域和非高亮区域对缺陷特征的干扰，提高金属棒材缺陷检测结果的准确性。
本申请第一方面，提供了一种基于图像识别的金属棒材缺陷检测方法，所述方法包括：将待测金属棒材以设定步长绕轴线进行多次旋转，并在每次旋转后采集所述待测金属棒材的实时图像，且相邻两帧实时图像之间存在重叠区域；对于任意一帧实时图像，获取所述实时图像中的高亮像素点和非高亮像素点，并构建所述高亮像素点和所述非高亮像素点的特征描述子；对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的高亮检测结果，所述高亮检测结果包括对应实时图像中所有高亮像素点的异常程度；基于相邻两帧实时图像之间的重叠区域拼接所有实时图像的高亮检测结果，得到所述待测金属棒材的第一检测结果，所述第一检测结果包括所述待测金属棒材表面所有位置点的高亮异常程度；对所有实时图像中非高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的非高亮检测结果，并拼接所有实时图像的非高亮检测结果，得到所述待测金属棒材的第二检测结果，其中所述非高亮检测结果包括对应实时图像中所有非高亮像素点的异常程度，所述第二检测结果包括所述待测金属棒材表面所有位置点的非高亮异常程度；基于所述第一检测结果和所述第二检测结果计算所述待测金属棒材的缺陷面积，得到所述待测金属棒材的缺陷检测结果。
在一个实施例中，所述将待测金属棒材以设定步长绕轴线进行多次旋转之前，所述方法还包括：采集所述待测金属棒材的初始图像，获取所述初始图像的亮度通道图；利用最大类间方差法对所述亮度通道图进行阈值分割，得到所述初始图像的高亮区域和非高亮区域；获取所述高亮区域的外接矩形，将所述外接矩形垂直于所述待测金属棒材轴线方向上的边长作为最大旋转距离；基于所述最大旋转距离确定最大旋转角度，所述设定步长小于或等于所述最大旋转角度。
在一个实施例中，所述初始图像为RGB图像，获取所述初始图像的亮度通道图包括：将所述初始图像转换至HLS颜色空间，所述HLS颜色空间包括色相通道图、饱和度通道图和亮度通道图，所述亮度通道图与所述初始图像的大小相等。
在一个实施例中，所述将待测金属棒材以设定步长绕轴线进行多次旋转包括：将所述待测金属棒材沿设定方向以所述设定步长进行一次旋转，所述设定方向为顺时针方向或逆时针方向；间隔预设时长，将所述待测金属棒材沿所述设定方向以所述设定步长再次进行旋转，所述预设时长大于等于图像采集设备的帧率的倒数；执行多次旋转，直至旋转次数和所述设定步长的乘积大于360时停止。
在一个实施例中，构建所述高亮像素点和所述非高亮像素点的特征描述子包括：对于一个高亮像素点，获取所述高亮像素点的邻域范围，并将所述邻域范围内的高亮像素点作为邻接高亮点，所述邻域范围为以所述高亮像素点为中心点的预设尺寸的矩形区域；基于所述邻接高亮点和所述高亮像素点在所述实时图像中的像素值计算所述高亮像素点的邻域差异度，所述邻域差异度满足关系式：
，其中，/>为所有邻接高亮点的数量，/>为第/>个邻接高亮点的像素值，/>为所述高亮像素点的像素值，/>为所述高亮像素点的邻域差异度；基于所述高亮像素点的像素值和所述邻域差异度构建所述高亮像素点的特征描述子；对于任意一个非高亮像素点，获取所述非高亮像素点的邻接非高亮点，基于所述邻接非高亮点和所述非高亮像素点在所述实时图像中的像素值计算所述非高亮像素点的邻域差异度，以构建所述非高亮像素点的特征描述子。
在一个实施例中，所述对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的高亮检测结果包括：利用异常点检测算法对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每一个高亮像素点的异常程度，其中所述异常点检测算法为LOF算法；对于一帧实时图像，将所述实时图像中所有高亮像素点的数值置为对应的异常程度，将所有非高亮像素点的数值置为0，得到所述实时图像的高亮检测结果。
在一个实施例中，所述基于相邻两帧实时图像之间的重叠区域拼接所有实时图像的高亮检测结果，得到所述待测金属棒材的第一检测结果包括：将任意一帧实时图像作为起始实时图像，将所述起始实时图像的下一帧相邻实时图像作为邻接实时图像；基于重叠区域拼接所述起始实时图像和所述邻接实时图像的高亮检测结果以获取拼接结果，所述拼接结果包括所述起始实时图像和所述邻接实时图像中所述待测金属棒材表面位置点的高亮异常程度；将所述拼接结果作为更新后的起始实时图像，依次对所有实时图像的高亮检测结果进行拼接，直至遍历所有实时图像后，得到第一检测结果。
在一个实施例中，所述拼接结果满足关系式：
其中，为所述拼接结果中位置点/>的高亮异常程度，/>和/>分别代表所述起始实时图像和下一帧相邻实时图像，/>为所述起始实时图像的高亮检测结果中位置点/>对应的异常程度，/>为下一帧相邻实时图像的高亮检测结果中位置点/>对应的异常程度。
在一个实施例中，基于所述第一检测结果和所述第二检测结果计算所述待测金属棒材的缺陷面积，得到所述待测金属棒材的缺陷检测结果包括：对于所述待测金属棒材表面的任意位置点，将高亮异常程度和非高亮异常程度中的最大值作为所述位置点的缺陷概率；响应于所述缺陷概率大于设定阈值，将所述位置点标记为缺陷点；统计所述待测金属棒材表面的所有缺陷点，并计算所有缺陷点在所述待测金属棒材表面中的占比；响应于所述占比大于预设比例，所述待测金属棒材的缺陷检测结果为存在缺陷；响应于所述占比不大于所述预设比例，所述待测金属棒材的缺陷检测结果为不存在缺陷。
本申请第二方面，还提供了一种基于图像识别的金属棒材缺陷检测系统，包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据本申请第一方面所述的一种基于图像识别的金属棒材缺陷检测方法。
本申请的技术方案具有以下有益技术效果：
通过本申请提供的技术方案，将待测金属棒材以设定步长绕轴线进行多次旋转，并在每次旋转后采集待测金属棒材的实时图像，获取每帧实时图像中高亮像素点和非高亮像素点的特征描述子，并利用异常点检测算法获取每帧实时图像的高亮检测结果和非高亮检测结果；进一步地，基于重叠区域拼接所有实时图像的高亮检测结果以获取第一检测结果，该第一检测结果包括待测金属棒材表面所有位置点在高亮状态下的高亮异常程度；基于重叠区域拼接所有实时图像的非高亮检测结果以获取第二检测结果，该第二检测结果包括待测金属棒材表面所有位置点在非高亮状态下的非高亮异常程度，综合不同光照亮度状态下的异常程度，准确获取待测金属棒材表面的缺陷点，进而得到准确的缺陷检测结果。
进一步地，基于重叠区域拼接所有实时图像的高亮检测结果以获取第一检测结果的过程中，对于重叠区域处待测金属棒材表面的位置点，将不同实时图像（一帧实时图像对应一种光照角度）对应高亮检测结果中异常程度的最大值作为该位置点的高亮异常程度，第一检测结果中高亮状态下的高亮异常程度综合考虑了不同光照角度下待测金属棒材表面的图像特征，提高了缺陷检测结果的准确性。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是根据本申请实施例的基于图像识别的金属棒材缺陷检测方法的流程图；
图2是根据本申请实施例的检测平台的示意图；
图3是根据本申请实施例的实时图像中高亮区域和非高亮区域的示意图；
图4是根据本申请实施例的相邻两帧实时图像之间的重叠区域的示意图；
图5是根据本申请实施例的基于图像识别的金属棒材缺陷检测系统的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当本申请的权利要求、说明书及附图使用术语“第一”、“第二”等时，其仅是用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
根据本申请的第一方面，本申请提供了一种基于图像识别的金属棒材缺陷检测方法，用于对金属棒材的表面缺陷进行检测，所述金属棒材包括但不限于钛合金棒材、铌合金棒材和钽合金棒材。
图1是根据本申请实施例的基于图像识别的金属棒材缺陷检测方法的流程图。如图1所示，所述基于图像识别的金属棒材缺陷检测方法100包括步骤S101至S106，以下详细说明。
S101，将待测金属棒材以设定步长绕轴线进行多次旋转，并在每次旋转后采集所述待测金属棒材的实时图像，且相邻两帧实时图像之间存在重叠区域。
在一个实施例中，为了实现待测金属棒材的缺陷检测，需要搭建检测平台，请参见图2，是根据本申请实施例的检测平台的示意图。检测平台200包括光源201、图像采集设备202和旋转驱动设备203，所述旋转驱动设备203用于夹持待测金属棒材，并驱动所述待测金属棒材绕轴线做旋转运动，光源201和图像采集设备202部署在所述旋转驱动设备上方，用于采集待测金属棒材的实时图像。其中，所述图像采集设备202为相机或具有摄像功能的手机，所述旋转驱动设备203为驱动电机。
可以理解地，由于金属棒材表面光滑，光源发出的光线会在金属棒材表面发生折射，当金属棒材表面一个位置点折射的光线被图像采集设备接收后，实时图像中会在该位置点呈高亮状态，因此，待测金属棒材的实时图像中会同时存在高亮区域和非高亮区域。请参见图3，是根据本申请实施例的实时图像中高亮区域和非高亮区域的示意图，高亮区域和非高亮区域可视为不同光照亮度下金属棒材的表面图像，能够表征不同光照亮度下金属棒材的表面特征。
为了采集到待测金属棒材所有的表面信息，可固定光源和图像采集设备的位置，通过旋转待测金属棒材，以调整待测金属棒材与图像采集设备和光源的相对位置，进而采集待测金属棒材表面所有位置点的图像信息。所述将待测金属棒材以设定步长绕轴线进行多次旋转之前，需要确定旋转过程中的设定步长。
具体地，所述将待测金属棒材以设定步长绕轴线进行多次旋转之前，所述方法还包括：采集所述待测金属棒材的初始图像，获取所述初始图像的亮度通道图；利用最大类间方差法对所述亮度通道图进行阈值分割，得到所述初始图像的高亮区域和非高亮区域；获取所述高亮区域的外接矩形，将所述外接矩形垂直于所述待测金属棒材轴线方向上的边长作为最大旋转距离；基于所述最大旋转距离确定最大旋转角度，所述设定步长小于或等于所述最大旋转角度。
其中，所述初始图像为RGB图像，获取所述初始图像的亮度通道图包括：将所述初始图像转换至HLS颜色空间，所述HLS颜色空间包括色相通道图、饱和度通道图和亮度通道图，所述亮度通道图与所述初始图像的大小相等。其中，在HLS颜色空间中，H代表色相，L代表亮度，S代表饱和度。
其中，由于检测平台中光源和图像采集设备的位置固定不变，故旋转驱动设备带动待测金属棒材旋转1度，实时图像中待测金属棒材的转动距离也是固定的，进而可基于所述最大旋转距离确定最大旋转角度，所述最大旋转角度为最大旋转距离与/>的比值。
可以理解地，设定步长为一个角度值，设定步长小于或等于最大旋转角度，可在保证相邻两帧实时图像之间存在重叠区域的基础上，保证相邻两帧实时图像中的高亮区域存在重叠区域，如此，通过多次旋转待测金属棒材并拼接所有实时图像中的高亮区域，拼接后的高亮区域可覆盖待测金属棒材表面的所有位置点，进而确保后续待测金属棒材的第一检测结果中包括待测金属棒材表面所有位置点在高亮状态下的检测结果。
在一个实施例中，确定设定步长之后，即可控制待测金属棒材绕轴线进行多次旋转，并在每次旋转后采集所述待测金属棒材的实时图像；所述设定步长的取值确保相邻两帧实时图像之间存在重叠区域，且重叠区域的大小与所述设定步长有关。
需要说明的是，请参见图4，是根据本申请实施例的相邻两帧实时图像之间的重叠区域的示意图，相邻两帧实时图像之间的重叠区域对应金属棒材表面的相同位置点，重叠区域在两帧实时图像中的像素值可视为相同位置点在不同光照角度下金属棒材的表面特征，即一帧实时图像对应一种光照角度。比如，金属棒材表面上的为实时图像1和实时图像2重叠区域中的一个位置点，该位置点在实时图像1中的像素值能够反映金属棒材在实时图像1对应旋转角度（由于光源和图像采集设备的位置固定，故不同的旋转角度对应不同的光照角度）下的表面特征，该位置点在实时图像2中的像素值能够反映金属棒材在实时图像2对应旋转角度下的表面特征。如此，借助相邻两帧实时图像之间的重叠区域采集不同光照角度下的金属棒材的表面特征，进而提高金属棒材缺陷检测的准确性。
具体地，所述将待测金属棒材以设定步长绕轴线进行多次旋转包括：将所述待测金属棒材沿设定方向以所述设定步长进行一次旋转，所述设定方向为顺时针方向或逆时针方向；间隔预设时长，将所述待测金属棒材沿所述设定方向以所述设定步长再次进行旋转，所述预设时长大于等于图像采集设备的帧率的倒数；执行多次旋转，直至旋转次数和所述设定步长的乘积大于360时停止。
可以理解地，当旋转次数和设定步长的乘积大于360时，表示待测金属棒材已经旋转一周，采集到的多帧实时图像能够覆盖待测金属棒材表面的所有位置点。
S102，对于任意一帧实时图像，获取所述实时图像中的高亮像素点和非高亮像素点，并构建所述高亮像素点和所述非高亮像素点的特征描述子。
在一个实施例中，一次旋转对应一帧实时图像，对于任意一帧实时图像，获取该实时图像中的高亮区域和非高亮区域，高亮区域内的像素点为所述实时图像中的高亮像素点，非高亮区域内的像素点为所述实时图像中的非高亮像素点。
其中，“获取该实时图像中的高亮区域和非高亮区域”的过程与步骤S101中“得到所述初始图像的高亮区域和非高亮区域”的过程相同，在此不再赘述。
在一个实施例中，构建所述高亮像素点和所述非高亮像素点的特征描述子包括：对于一个高亮像素点，获取所述高亮像素点的邻域范围，并将所述邻域范围内的高亮像素点作为邻接高亮点，所述邻域范围为以所述高亮像素点为中心点的预设尺寸的矩形区域；基于所述邻接高亮点和所述高亮像素点在所述实时图像中的像素值计算所述高亮像素点的邻域差异度，所述邻域差异度满足关系式：
，其中，/>为所有邻接高亮点的数量，/>为第/>个邻接高亮点的像素值，/>为所述高亮像素点的像素值，/>为所述高亮像素点的邻域差异度；基于所述高亮像素点的像素值和所述邻域差异度构建所述高亮像素点的特征描述子；对于任意一个非高亮像素点，获取所述非高亮像素点的邻接非高亮点，基于所述邻接非高亮点和所述非高亮像素点在所述实时图像中的像素值计算所述非高亮像素点的邻域差异度，以构建所述非高亮像素点的特征描述子。
其中，所述邻域范围为以所述高亮像素点为中心点的3×3的矩形区域；高亮像素点的特征描述子为一个二维向量，用于表征该高亮像素点的像素值特征和邻域内的差异特征；同理，非高亮像素点也为一个二维向量。
如此，得到每一帧实时图像中所有高亮像素点的特征描述子，以及所有非高亮像素点的特征描述子。
S103，对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的高亮检测结果，所述高亮检测结果包括对应实时图像中所有高亮像素点的异常程度。
在一个实施例中，在正常生产加工的过程中，金属棒材上存在缺陷的位置点是少数情况，因此，当一个高亮像素点为缺陷时，该高亮像素点的特征描述子与其他高亮像素点的特征描述子之间存在较大差异，也即是说，如果将所有实时图像中高亮像素点的特征描述子作为一个特征描述子集合，则该高亮像素点的特征描述子相对于该特征描述子集合而言，可视为一个异常点。
具体地，所述对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的高亮检测结果包括：利用异常点检测算法对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每一个高亮像素点的异常程度，其中所述异常点检测算法为LOF算法；对于一帧实时图像，将所述实时图像中所有高亮像素点的数值置为对应的异常程度，将所有非高亮像素点的数值置为0，得到所述实时图像的高亮检测结果。
其中，LOF算法（Local Outlier Factor）为一种基于密度的异常点检测算法，为本领域技术人员的公知技术，在此不再赘述。
一帧实时图像包括高亮像素点和非高亮像素点，该实时图像的高亮检测结果中高亮像素点的数值为对应的异常程度，非高亮像素点的数值为0。
如此，将所有实时图像中的高亮像素点作为一个整体，并利用异常点检测算法计算各高亮像素点的异常程度，进而得到每一帧实时图像的高亮检测结果。
S104，基于相邻两帧实时图像之间的重叠区域拼接所有实时图像的高亮检测结果，得到所述待测金属棒材的第一检测结果，所述第一检测结果包括待测金属棒材表面所有位置点的高亮异常程度。
在一个实施例中，所述基于相邻两帧实时图像之间的重叠区域拼接所有实时图像的高亮检测结果，得到所述待测金属棒材的第一检测结果包括：将任意一帧实时图像作为起始实时图像，将所述起始实时图像的下一帧相邻实时图像作为邻接实时图像；基于重叠区域拼接所述起始实时图像和所述邻接实时图像的高亮检测结果以获取拼接结果，所述拼接结果包括所述起始实时图像和所述邻接实时图像中所述待测金属棒材表面位置点的高亮异常程度；将所述拼接结果作为更新后的起始实时图像，依次对所有实时图像的高亮检测结果进行拼接，直至遍历所有实时图像后，得到第一检测结果，所述第一检测结果包括所述待测金属棒材表面所有位置点的高亮异常程度。
在一个实施例中，所述拼接结果满足关系式：
其中，为所述拼接结果中位置点/>的高亮异常程度，/>和/>分别代表所述起始实时图像和下一帧相邻实时图像，/>为所述起始实时图像的高亮检测结果中位置点/>对应的异常程度，/>为下一帧相邻实时图像的高亮检测结果中位置点/>对应的异常程度。
其中，对于待测金属棒材表面的一个位置点，当满足/>时，表示该位置点仅存在起始实时图像/>中；当满足/>时，表示该位置点存在起始实时图像/>和下一帧相邻实时图像/>的重叠区域；当满足时，表示该位置点仅存在下一帧相邻实时图像/>中。
需要说明的是，重叠区域中的一个位置点对应两个异常程度，这两个异常程度可视为不同的光照角度下的异常程度，由于缺陷特征在不同光照角度下的明显程度不同，将不同的光照角度下异常程度的最大值作为拼接结果中位置点的高亮异常程度，可提高缺陷检测结果的准确性。
如此，借助相邻两帧实时图像之间的重叠区域对所有实时图像的高亮检测结果进行拼接，得到待测金属棒材的第一检测结果，该第一检测结果包括待测金属棒材表面所有位置点的高亮异常程度；且对于重叠区域处的位置点，将不同实时图像（对应不同光照角度）对应高亮检测结果中异常程度的最大值作为该位置点的高亮异常程度，提高缺陷检测结果的准确性。
S105，对所有实时图像中非高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的非高亮检测结果，并拼接所有实时图像的非高亮检测结果，得到所述待测金属棒材的第二检测结果，其中所述非高亮检测结果包括对应实时图像中所有非高亮像素点的异常程度，所述第二检测结果包括待测金属棒材表面所有位置点的非高亮异常程度。
在一个实施例中，一帧实时图像包括高亮像素点和非高亮像素点，该实时图像的非高亮检测结果中非高亮像素点的数值为对应的异常程度，高亮像素点的数值为0。非高亮像素点异常程度的获取方法与步骤S103中高亮像素点异常程度的获取方法相同，在此不再赘述。
在一个实施例中，“拼接所有实时图像的非高亮检测结果，得到所述待测金属棒材的第二检测结果”的过程与“基于相邻两帧实时图像之间的重叠区域拼接所有实时图像的高亮检测结果，得到所述待测金属棒材的第一检测结果”的过程相同，在此不再赘述。所述第二检测结果包括待测金属棒材表面所有位置点的非高亮异常程度。
如此，借助相邻两帧实时图像的重叠区域对所有实时图像的非高亮检测结果进行拼接，得到待测金属棒材的第二检测结果，该第二检测结果包括待测金属棒材表面所有位置点的非高亮异常程度；且对于重叠区域处的位置点，将不同实时图像（对应不同光照角度）的非高亮检测结果中异常程度的最大值作为该位置点的非高亮异常程度，提高缺陷检测结果的准确性。
S106，基于所述第一检测结果和所述第二检测结果计算所述待测金属棒材的缺陷面积，得到所述待测金属棒材的缺陷检测结果。
在一个实施例中，所述第一检测结果为高亮状态下，融合不同光照角度得到的待测金属棒材表面所有位置点的高亮异常程度；所述第二检测结果为非高亮状态下，融合不同光照角度得到的待测金属棒材表面所有位置点的非高亮异常程度；结合第一检测结果和第二检测结果可准确判断待测金属棒材表面所有位置点是否为缺陷点。
具体地，基于所述第一检测结果和所述第二检测结果计算所述待测金属棒材的缺陷面积，得到所述待测金属棒材的缺陷检测结果包括：对于所述待测金属棒材表面的任意位置点，将高亮异常程度和非高亮异常程度中的最大值作为所述位置点的缺陷概率；响应于所述缺陷概率大于设定阈值，将所述位置点标记为缺陷点；统计所述待测金属棒材表面的所有缺陷点，并计算所有缺陷点在所述待测金属棒材表面中的占比；响应于所述占比大于预设比例，所述待测金属棒材的缺陷检测结果为存在缺陷；响应于所述占比不大于所述预设比例，所述待测金属棒材的缺陷检测结果为不存在缺陷。其中，所述设定阈值的取值为0.6，所述预设比例为0.01。
如此，在待测金属棒材以设定步长绕轴线进行多次旋转后，即可采集到待测金属棒材表面所有位置点在高亮状态下的高亮异常程度，以及在非高亮状态下的非高亮异常程度，综合不同亮度条件下的异常程度准确获取待测金属棒材的缺陷检测结果。
以上通过具体实施例介绍了本申请的基于图像识别的金属棒材缺陷检测方法的技术原理和实施细节。通过本申请提供的技术方案，将待测金属棒材以设定步长绕轴线进行多次旋转，并在每次旋转后采集所述待测金属棒材的实时图像，获取每帧实时图像中高亮像素点和非高亮像素点的特征描述子，并利用异常点检测算法获取每帧实时图像的高亮检测结果和非高亮检测结果；进一步地，基于重叠区域拼接所有实时图像的高亮检测结果以获取第一检测结果，该第一检测结果包括待测金属棒材表面所有位置点在高亮状态下的高亮异常程度；基于重叠区域拼接所有实时图像的非高亮检测结果以获取第二检测结果，该第二检测结果包括待测金属棒材表面所有位置点在非高亮状态下的非高亮异常程度，综合不同光照亮度状态下的异常程度，准确获取待测金属棒材表面的缺陷点，进而得到准确的缺陷检测结果。
根据本申请的第二方面，本申请还提供了一种基于图像识别的金属棒材缺陷检测系统。图5是根据本申请实施例的基于图像识别的金属棒材缺陷检测系统的框图。如图5所示，所述系统50包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据本申请第一方面所述的一种基于图像识别的金属棒材缺陷检测方法。所述系统还包括通信总线和通信接口等本领域技术人员熟知的其他组件，其设置和功能为本领域中已知，因此在此不再赘述。
在本申请中，前述的存储器可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。例如，计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive RandomAccess Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random-Access Memory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本申请描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于图像识别的金属棒材缺陷检测方法，其特征在于，所述方法包括：
将待测金属棒材以设定步长绕轴线进行多次旋转，并在每次旋转后采集所述待测金属棒材的实时图像，且相邻两帧实时图像之间存在重叠区域；
对于任意一帧实时图像，获取所述实时图像中的高亮像素点和非高亮像素点，并构建所述高亮像素点和所述非高亮像素点的特征描述子；
对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的高亮检测结果，所述高亮检测结果包括对应实时图像中所有高亮像素点的异常程度；
基于相邻两帧实时图像之间的重叠区域拼接所有实时图像的高亮检测结果，得到所述待测金属棒材的第一检测结果，所述第一检测结果包括所述待测金属棒材表面所有位置点的高亮异常程度；
对所有实时图像中非高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的非高亮检测结果，并拼接所有实时图像的非高亮检测结果，得到所述待测金属棒材的第二检测结果，其中所述非高亮检测结果包括对应实时图像中所有非高亮像素点的异常程度，所述第二检测结果包括所述待测金属棒材表面所有位置点的非高亮异常程度；
基于所述第一检测结果和所述第二检测结果计算所述待测金属棒材的缺陷面积，得到所述待测金属棒材的缺陷检测结果。
2.根据权利要求1所述的一种基于图像识别的金属棒材缺陷检测方法，其特征在于，所述将待测金属棒材以设定步长绕轴线进行多次旋转之前，所述方法还包括：
采集所述待测金属棒材的初始图像，获取所述初始图像的亮度通道图；
利用最大类间方差法对所述亮度通道图进行阈值分割，得到所述初始图像的高亮区域和非高亮区域；
获取所述高亮区域的外接矩形，将所述外接矩形垂直于所述待测金属棒材轴线方向上的边长作为最大旋转距离；
基于所述最大旋转距离确定最大旋转角度，所述设定步长小于或等于所述最大旋转角度。
3.根据权利要求2所述的一种基于图像识别的金属棒材缺陷检测方法，其特征在于，所述初始图像为RGB图像，获取所述初始图像的亮度通道图包括：
将所述初始图像转换至HLS颜色空间，所述HLS颜色空间包括色相通道图、饱和度通道图和亮度通道图，所述亮度通道图与所述初始图像的大小相等。
4.根据权利要求2所述的一种基于图像识别的金属棒材缺陷检测方法，其特征在于，所述将待测金属棒材以设定步长绕轴线进行多次旋转包括：
将所述待测金属棒材沿设定方向以所述设定步长进行一次旋转，所述设定方向为顺时针方向或逆时针方向；
间隔预设时长，将所述待测金属棒材沿所述设定方向以所述设定步长再次进行旋转，所述预设时长大于等于图像采集设备的帧率的倒数；
执行多次旋转，直至旋转次数和所述设定步长的乘积大于360时停止。
5.根据权利要求1所述的一种基于图像识别的金属棒材缺陷检测方法，其特征在于，构建所述高亮像素点和所述非高亮像素点的特征描述子包括：
对于一个高亮像素点，获取所述高亮像素点的邻域范围，并将所述邻域范围内的高亮像素点作为邻接高亮点，所述邻域范围为以所述高亮像素点为中心点的预设尺寸的矩形区域；
基于所述邻接高亮点和所述高亮像素点在所述实时图像中的像素值计算所述高亮像素点的邻域差异度，所述邻域差异度满足关系式：
，其中，/>为所有邻接高亮点的数量，/>为第/>个邻接高亮点的像素值，/>为所述高亮像素点的像素值，/>为所述高亮像素点的邻域差异度；
基于所述高亮像素点的像素值和所述邻域差异度构建所述高亮像素点的特征描述子；
对于任意一个非高亮像素点，获取所述非高亮像素点的邻接非高亮点，基于所述邻接非高亮点和所述非高亮像素点在所述实时图像中的像素值计算所述非高亮像素点的邻域差异度，以构建所述非高亮像素点的特征描述子。
6.根据权利要求1所述的一种基于图像识别的金属棒材缺陷检测方法，其特征在于，所述对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每帧实时图像的高亮检测结果包括：
利用异常点检测算法对所有实时图像中高亮像素点的特征描述子进行异常点检测，得到每一个高亮像素点的异常程度，其中所述异常点检测算法为LOF算法；
对于一帧实时图像，将所述实时图像中所有高亮像素点的数值置为对应的异常程度，将所有非高亮像素点的数值置为0，得到所述实时图像的高亮检测结果。
7.根据权利要求1所述的一种基于图像识别的金属棒材缺陷检测方法，其特征在于，所述基于相邻两帧实时图像之间的重叠区域拼接所有实时图像的高亮检测结果，得到所述待测金属棒材的第一检测结果包括：
将任意一帧实时图像作为起始实时图像，将所述起始实时图像的下一帧相邻实时图像作为邻接实时图像；
基于重叠区域拼接所述起始实时图像和所述邻接实时图像的高亮检测结果以获取拼接结果，所述拼接结果包括所述起始实时图像和所述邻接实时图像中所述待测金属棒材表面位置点的高亮异常程度；
将所述拼接结果作为更新后的起始实时图像，依次对所有实时图像的高亮检测结果进行拼接，直至遍历所有实时图像后，得到第一检测结果。
8.根据权利要求7所述的一种基于图像识别的金属棒材缺陷检测方法，其特征在于，所述拼接结果满足关系式：
其中，为所述拼接结果中位置点/>的高亮异常程度，/>和/>分别代表所述起始实时图像和下一帧相邻实时图像，/>为所述起始实时图像的高亮检测结果中位置点/>对应的异常程度，/>为下一帧相邻实时图像的高亮检测结果中位置点/>对应的异常程度。
9.根据权利要求1所述的一种基于图像识别的金属棒材缺陷检测方法，其特征在于，基于所述第一检测结果和所述第二检测结果计算所述待测金属棒材的缺陷面积，得到所述待测金属棒材的缺陷检测结果包括：
对于所述待测金属棒材表面的任意位置点，将高亮异常程度和非高亮异常程度中的最大值作为所述位置点的缺陷概率；
响应于所述缺陷概率大于设定阈值，将所述位置点标记为缺陷点；
统计所述待测金属棒材表面的所有缺陷点，并计算所有缺陷点在所述待测金属棒材表面中的占比；
响应于所述占比大于预设比例，所述待测金属棒材的缺陷检测结果为存在缺陷；
响应于所述占比不大于所述预设比例，所述待测金属棒材的缺陷检测结果为不存在缺陷。
10.一种基于图像识别的金属棒材缺陷检测系统，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据权利要求1至9中任一项所述的一种基于图像识别的金属棒材缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410269265.5A CN117876364A (zh) | 2024-03-11 | 2024-03-11 | 基于图像识别的金属棒材缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410269265.5A CN117876364A (zh) | 2024-03-11 | 2024-03-11 | 基于图像识别的金属棒材缺陷检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117876364A true CN117876364A (zh) | 2024-04-12 |
Family
ID=90595089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410269265.5A Withdrawn CN117876364A (zh) | 2024-03-11 | 2024-03-11 | 基于图像识别的金属棒材缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117876364A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971670A (zh) * | 2021-12-23 | 2022-01-25 | 武汉市利隆捷精密螺丝制造有限公司 | 基于计算机视觉的螺纹缺陷分析方法及系统 |
| CN115222736A (zh) * | 2022-09-20 | 2022-10-21 | 南通佳晟宏机械配件有限公司 | 一种基于霍夫空间的钢管生产质量检测方法 |
| CN115294140A (zh) * | 2022-10-09 | 2022-11-04 | 南通永卓金属制品有限公司 | 一种五金零件缺陷检测方法及系统 |
| EP4213091A1 (en) * | 2022-01-14 | 2023-07-19 | Siemens Aktiengesellschaft | Physics-informed anomaly detection in formed metal parts |
| CN117169247A (zh) * | 2023-06-16 | 2023-12-05 | 佛山科学技术学院 | 一种基于机器视觉的金属表面缺陷多维度检测方法及系统 |
-
2024
- 2024-03-11 CN CN202410269265.5A patent/CN117876364A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971670A (zh) * | 2021-12-23 | 2022-01-25 | 武汉市利隆捷精密螺丝制造有限公司 | 基于计算机视觉的螺纹缺陷分析方法及系统 |
| EP4213091A1 (en) * | 2022-01-14 | 2023-07-19 | Siemens Aktiengesellschaft | Physics-informed anomaly detection in formed metal parts |
| CN115222736A (zh) * | 2022-09-20 | 2022-10-21 | 南通佳晟宏机械配件有限公司 | 一种基于霍夫空间的钢管生产质量检测方法 |
| CN115294140A (zh) * | 2022-10-09 | 2022-11-04 | 南通永卓金属制品有限公司 | 一种五金零件缺陷检测方法及系统 |
| CN117169247A (zh) * | 2023-06-16 | 2023-12-05 | 佛山科学技术学院 | 一种基于机器视觉的金属表面缺陷多维度检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108833785B (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
| JP7099509B2 (ja) | 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム | |
| US8532380B2 (en) | Methods and apparatuses for addressing chromatic abberations and purple fringing | |
| US20180181816A1 (en) | Handling Perspective Magnification in Optical Flow Proessing | |
| CN109753838A (zh) | 二维码识别方法、装置、计算机设备及存储介质 | |
| CN105205459B (zh) | 一种图像特征点类型的识别方法和装置 | |
| WO2009095422A2 (en) | Methods and apparatuses for addressing chromatic aberrations and purple fringing | |
| US9704253B2 (en) | Method for determining depth maps from stereo images with improved depth resolution in a range | |
| Lin et al. | Cylindrical panoramic image stitching method based on multi-cameras | |
| CN113781393B (zh) | 屏幕缺陷检测方法、装置、设备及存储介质 | |
| US20220270204A1 (en) | Image registration method, terminal, and computer storage medium | |
| CN114332349B (zh) | 一种双目结构光边缘重建方法、系统及存储介质 | |
| CN108876842A (zh) | 一种亚像素边缘角度的测量方法、系统、设备及存储介质 | |
| US11778327B2 (en) | Image reconstruction method and device | |
| CN113223176B (zh) | 多维度管道特征参数的获取方法和装置 | |
| CN118229970A (zh) | 一种基于边界线检测技术的格雷码二值化方法 | |
| CN117876364A (zh) | 基于图像识别的金属棒材缺陷检测方法及系统 | |
| CN112132142A (zh) | 文本区域确定方法、装置、计算机设备及存储介质 | |
| CN116452662A (zh) | 光纤中心的像素坐标提取方法、装置、电子设备 | |
| CN118314025A (zh) | 处理图像的方法、装置和电子设备 | |
| CN113255405B (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
| Athwale et al. | Darswin: Distortion aware radial swin transformer | |
| CN112770041A (zh) | 一种多个变焦镜头切换的图像处理方法、以及摄像机 | |
| CN113298869B (zh) | 距离测定方法、装置、计算机设备和存储介质 | |
| CN118379286B (zh) | 一种钛合金锻件的表面缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20240412 |
|
| WW01 | Invention patent application withdrawn after publication |