CN113487538A - 一种多目标分割缺陷检测方法、装置及其计算机存储介质 - Google Patents
一种多目标分割缺陷检测方法、装置及其计算机存储介质 Download PDFInfo
- Publication number
- CN113487538A CN113487538A CN202110636963.0A CN202110636963A CN113487538A CN 113487538 A CN113487538 A CN 113487538A CN 202110636963 A CN202110636963 A CN 202110636963A CN 113487538 A CN113487538 A CN 113487538A
- Authority
- CN
- China
- Prior art keywords
- image data
- pass filtering
- rectangular frame
- absolute value
- roi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 230000007547 defect Effects 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 82
- 238000001914 filtration Methods 0.000 claims abstract description 78
- 238000005520 cutting process Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000003708 edge detection Methods 0.000 claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000012946 outsourcing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 10
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 4
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种多目标分割缺陷检测方法及装置，包括：对图像数据进行灰度通道提取，得到灰度图像数据，进行边缘检测并拟合直线；根据上下左右直线提取内部区域，得到待检测ROI矩形框；将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图；对高通滤波图和低通滤波图进行求差，取绝对值，并与设定阈值进行比较得到一张与ROI矩形框同分辨率的二值图像数据；对二值图像数据进行Blob分析得到Blob特征；对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用训练器得到的目标分割模型文件进行识别，得到每个Blob内的精确目标类别和轮廓；对每个轮廓进行几何特征数学计算。
Description
【技术领域】
本发明属于工业产品检测的技术领域，具体是指一种多目标分割缺陷检测方法、装置及其计算机存储介质。
【背景技术】
工业产品缺陷检测领域中机器视觉系统主要分为两部分：由传统相机、镜头、光源、相机固定及运动机构构成图像采集单元，由PC主机和图像采集卡等构成图像处理单元的机器视觉检测系统。这种机器视觉具有较高的延展性和可塑性，可以针对不同的产品缺陷进行定制硬件和定制软件开发。
现有的技术中检测方法分两类，一类是纯深度学习目标检测和目标分割，这种方法无法获取到目标的精确特征参数，无法实时检测大分辨率图像，以及存在大分辨率训练模型耗时、耗大量算力的问题，即无法满足客户实时检测要求的问题；另一类是传统机器学习方式检测，其无法精确分类，需要专家模式来调节参数，且准确率无法稳定达到99％以上的识别率。
【发明内容】
本发明要解决的技术问题在于提供一种基于多目标定位和实时目标分割的工业产品缺陷智能检测方法、装置与计算机存储介质。
第一方面，本发明提供例如一种基于多目标定位和实时目标分割的工业产品缺陷智能检测方法，包括如下步骤：
步骤1：对图像数据进行灰度通道提取，得到灰度图像数据；
步骤2：对灰度图像数据进行上下左右区域的边缘检测并拟合直线；
步骤3：根据上下左右直线提取内部区域，得到待检测ROI矩形框；
步骤4：将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图；
步骤5：对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；
步骤6：对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
步骤7：识别步骤：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用训练器得到的目标分割模型文件进行识别，得到每个Blob内的精确目标类别和轮廓；
其中，所述训练器，包括如下步骤：
步骤a：对图像数据进行灰度通道提取，得到灰度图像数据；
步骤b：对灰度图像数据进行上下左右区域的边缘检测并拟合直线；
步骤c：根据上下左右直线提取内部区域，得到待检测ROI矩形框；
步骤d：将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图；
步骤e：对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；
步骤f：对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
步骤g：训练步骤：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用实时目标分割训练模型进行训练得到目标分割模型文件；
步骤8：对每个轮廓进行几何特征数学计算，得到目标的坐标序列、面积、周长和目标类别，进而对产品图像进行缺陷识别。
进一步地，所述步骤2和所述步骤b中的边缘检测，是采用Canny算法；所述步骤2和所述步骤b中的拟合直线算法，是采用HUBER损失算法。
进一步地，所述步骤4和所述步骤d中的高通滤波算法，是采用拉普拉斯算法；所述步骤4和所述步骤d中的低通滤波算法，是采用核为32的高斯模糊算法。
进一步地，所述步骤g中的所述实时目标分割训练模型，是将DeeplabV3plus中骨干网络替换为mobilenetV3，得到轻量级目标分割网络。
第二方面，本发明提供了一种基于多目标定位和实时目标分割的工业产品缺陷智能检测装置，用于实现如第一方面所述的方法，具体包括：
多目标定位模块：用于对图像数据进行灰度通道提取，得到灰度图像数据；对灰度图像数据进行上下左右区域的边缘检测并拟合直线，根据上下左右直线提取内部区域，得到待检测ROI矩形框；将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图，对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
多目标分割识别模块：用于识别目标类别和精确轮廓，具体包括：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用训练器模块得到的目标分割模型文件进行识别，得到每个Blob内的精确目标类别和轮廓；
其中，所述训练器模块，用于对图像数据进行灰度通道提取，得到灰度图像数据，对灰度图像数据进行上下左右区域的边缘检测并拟合直线，根据上下左右直线提取内部区域，得到待检测ROI矩形框，将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图，对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据，对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框，然后进行训练步骤：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用实时目标分割训练模型进行训练得到目标分割模型文件；
结果处理模块：用于对每个轮廓进行几何特征数学计算，得到目标的坐标序列、面积、周长和目标类别，进而对产品图像进行缺陷识别。
进一步地，所述多目标定位模块和所述训练器模块中的边缘检测，是采用Canny算法；所述多目标定位模块和所述训练器模块中的拟合直线算法，是采用HUBER损失算法。
进一步地，所述多目标定位模块和所述训练器模块中的高通滤波算法，是采用拉普拉斯算法；所述多目标定位模块和所述训练器模块中的低通滤波算法，是采用核为32的高斯模糊算法。
进一步地，所述训练器模块中的实时目标分割训练模型，是将DeeplabV3plus中骨干网络替换为mobilenetV3，得到轻量级目标分割网络。
第三方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。
本发明的优点在于：多目标定位和实时多目标分割结合的方式具有适合低成本规模化，高准确率和实时检测的优点；它解决了纯深度学习目标检测和目标分割无法实时检测大分辨率图像以及大分辨率训练模型耗时、耗大量算力的问题，即无法满足客户实时检测要求的问题；解决了传统机器学习方式无法精确分类，且准确率无法稳定达到99％以上的识别率的问题；这种相结合的方式解决了高速流水线对超大分辨率图像(譬如：8192×8192以上的分辨率)的检测要求。
【附图说明】
下面参照附图结合实施例对本发明作进一步的描述。
图1是本发明的实施例一方法的流程图。
图2是本发明的实施例一方法中训练器的流程图。
图3是本发明的实施例二装置的结构示意图。
图4是本发明的实施例二装置中的训练器模块的结构示意图。
图5是本发明的实施例三计算机可读存储介质的结构示意图。
【具体实施方式】
实施例一：
本实施例提供了一种多目标定位和实时目标分割的工业产品缺陷智能检测方法，具体操作时，首先，在X86PC终端打开本地硬盘上的图片文件获取到图像数据(也可以是从工业相机摄像头获取)，图像数据传输到PC终端的内存中，本实施例PC终端处理器为X86处理器处理内存中的图像数据；然后，X86处理器(处理器包括但不限于CPU，GPU，FPGA，ASIC处理器)对图像数据进行处理，如图1和图2所示，具体包括如下步骤：
步骤1：对图像数据进行灰度通道提取，得到灰度图像数据；
步骤2：对灰度图像数据进行上下左右区域的边缘检测并拟合直线，其中，所述边缘检测采用Canny算法，所述拟合直线算法采用HUBER损失算法；
步骤3：根据上下左右直线提取内部区域，得到待检测ROI矩形框；
步骤4：将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图，其中，所述高通滤波算法采用拉普拉斯算法，所述低通滤波算法采用核为32的高斯模糊算法；
步骤5：对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；
步骤6：对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
步骤7：识别步骤：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用训练器得到的目标分割模型文件进行识别，得到每个Blob内的精确目标类别和轮廓；
步骤8：对每个轮廓进行几何特征数学计算，得到目标的坐标序列、面积、周长和目标类别，进而对产品图像进行缺陷识别。
其中，所述步骤7中的训练器，包括如下步骤：
步骤a：对图像数据进行灰度通道提取，得到灰度图像数据；
步骤b：对灰度图像数据进行上下左右区域的边缘检测并拟合直线，其中，所述边缘检测采用Canny算法，所述拟合直线算法采用HUBER损失算法；
步骤c：根据上下左右直线提取内部区域，得到待检测ROI矩形框；
步骤d：将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图，其中，所述高通滤波算法采用拉普拉斯算法，所述低通滤波算法采用核为32的高斯模糊算法；
步骤e：对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；
步骤f：对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
步骤g：训练步骤：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用实时目标分割训练模型进行训练得到目标分割模型文件；其中，所述实时目标分割训练模型，是将DeeplabV3plus中骨干网络替换为mobilenetV3，得到轻量级目标分割网络。对精确检测结果进行处理，处理方式包括但不限于本地显示或网络发送给外部设备或串口发送给外部设备，外部设备包括但不限于PC终端或PLC。
基于同一发明构思，本发明申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二：
本发明提供了一种多目标定位和实时目标分割的工业产品缺陷智能检测装置，如图3和图4所示，包括：
多目标定位模块：用于对图像数据进行灰度通道提取，得到灰度图像数据；对灰度图像数据进行上下左右区域的边缘检测并拟合直线，其中，所述边缘检测采用Canny算法，所述拟合直线算法采用HUBER损失算法；根据上下左右直线提取内部区域，得到待检测ROI矩形框；将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图，其中，所述高通滤波算法采用拉普拉斯算法，所述低通滤波算法采用核为32的高斯模糊算法；对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
多目标分割识别模块：用于识别目标类别和精确轮廓，具体包括：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用训练器模块得到的目标分割模型文件进行识别，得到每个Blob内的精确目标类别和轮廓；其中，所述训练器模块，用于实现对图像数据进行灰度通道提取，得到灰度图像数据，对灰度图像数据进行上下左右区域的边缘检测并拟合直线，其中，所述边缘检测采用Canny算法，所述拟合直线算法采用HUBER损失算法，根据上下左右直线提取内部区域，得到待检测ROI矩形框；将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图，其中，所述高通滤波算法采用拉普拉斯算法，所述低通滤波算法采用核为32的高斯模糊算法，对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据，对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；然后对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用实时目标分割训练模型进行训练得到目标分割模型文件；其中，所述实时目标分割训练模型，是将DeeplabV3plus中骨干网络替换为mobilenetV3，得到轻量级目标分割网络；
结果处理模块：用于对每个轮廓进行几何特征数学计算，得到目标的坐标序列、面积、周长和目标类别，进而对产品图像进行缺陷识别。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的计算机可读存储介质，详见实施例三。
实施例三：
本发明提供了一种计算机可读存储介质，如图3所示，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述的方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施用例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种多目标分割缺陷检测方法，其特征在于：包括如下步骤：
步骤1：对图像数据进行灰度通道提取，得到灰度图像数据；
步骤2：对灰度图像数据进行上下左右区域的边缘检测并拟合直线；
步骤3：根据上下左右直线提取内部区域，得到待检测ROI矩形框；
步骤4：将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图；
步骤5：对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；
步骤6：对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
步骤7：识别步骤：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用训练器得到的目标分割模型文件进行识别，得到每个Blob内的精确目标类别和轮廓；
其中，所述训练器，包括如下步骤：
步骤a：对图像数据进行灰度通道提取，得到灰度图像数据；
步骤b：对灰度图像数据进行上下左右区域的边缘检测并拟合直线；
步骤c：根据上下左右直线提取内部区域，得到待检测ROI矩形框；
步骤d：将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图；
步骤e：对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；
步骤f：对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
步骤g：训练步骤：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用实时目标分割训练模型进行训练得到目标分割模型文件；
步骤8：对每个轮廓进行几何特征数学计算，得到目标的坐标序列、面积、周长和目标类别，进而对产品图像进行缺陷识别。
2.如权利要求1所述的一种多目标分割缺陷检测方法，其特征在于：所述步骤2和所述步骤b中的边缘检测，是采用Canny算法；所述步骤2和所述步骤b中的拟合直线算法，是采用HUBER损失算法。
3.如权利要求1所述的一种多目标分割缺陷检测方法，其特征在于：所述步骤4和所述步骤d中的高通滤波算法，是采用拉普拉斯算法；所述步骤4和所述步骤d中的低通滤波算法，是采用核为32的高斯模糊算法。
4.如权利要求1所述的一种多目标分割缺陷检测方法，其特征在于：所述步骤g中的所述实时目标分割训练模型，是将DeeplabV3plus中骨干网络替换为mobilenetV3，得到轻量级目标分割网络。
5.一种多目标分割缺陷检测装置，实现如权利要求1所述的一种工业产品缺陷智能检测方法，其特征在于：包括：
多目标定位模块：用于对图像数据进行灰度通道提取，得到灰度图像数据；对灰度图像数据进行上下左右区域的边缘检测并拟合直线，根据上下左右直线提取内部区域，得到待检测ROI矩形框；将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图，对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据；对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框；
多目标分割识别模块：用于识别目标类别和精确轮廓，具体包括：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用训练器模块得到的目标分割模型文件进行识别，得到每个Blob内的精确目标类别和轮廓；
其中，所述训练器模块，用于对图像数据进行灰度通道提取，得到灰度图像数据，对灰度图像数据进行上下左右区域的边缘检测并拟合直线，根据上下左右直线提取内部区域，得到待检测ROI矩形框，将待检测ROI矩形框的图像数据裁剪出来并分别使用高通滤波算法和低通滤波算法处理得到高通滤波图和低通滤波图，对所述高通滤波图和所述低通滤波图进行求差，取绝对值，并与设定阈值进行比较，大于阈值则为255，小于阈值则为0，得到一张与ROI矩形框同分辨率的二值图像数据，对二值图像数据进行Blob分析得到Blob特征：外包ROI矩形框，然后进行训练步骤：对每个Blob的外包ROI矩形框内的局部图像数据裁剪出来并用实时目标分割训练模型进行训练得到目标分割模型文件；
结果处理模块：用于对每个轮廓进行几何特征数学计算，得到目标的坐标序列、面积、周长和目标类别，进而对产品图像进行缺陷识别。
6.如权利要求5所述的一种多目标分割缺陷检测装置，其特征在于：所述多目标定位模块和所述训练器模块中的边缘检测，是采用Canny算法；所述多目标定位模块和所述训练器模块中的拟合直线算法，是采用HUBER损失算法。
7.如权利要求5所述的一种多目标分割缺陷检测装置，其特征在于：所述多目标定位模块和所述训练器模块中的高通滤波算法，是采用拉普拉斯算法；所述多目标定位模块和所述训练器模块中的低通滤波算法，是采用核为32的高斯模糊算法。
8.如权利要求1所述的一种多目标分割缺陷检测装置，其特征在于：所述训练器模块中的实时目标分割训练模型，是将DeeplabV3plus中骨干网络替换为mobilenetV3，得到轻量级目标分割网络。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4任一项所述的一种多目标分割缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110636963.0A CN113487538B (zh) | 2021-06-08 | 2021-06-08 | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110636963.0A CN113487538B (zh) | 2021-06-08 | 2021-06-08 | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487538A true CN113487538A (zh) | 2021-10-08 |
| CN113487538B CN113487538B (zh) | 2024-03-22 |
Family
ID=77934445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110636963.0A Active CN113487538B (zh) | 2021-06-08 | 2021-06-08 | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487538B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823924A (zh) * | 2023-08-24 | 2023-09-29 | 杭州百子尖科技股份有限公司 | 缺陷区域面积的确定方法、装置、电子设备以及存储介质 |
| CN117496130A (zh) * | 2023-11-22 | 2024-02-02 | 中国科学院空天信息创新研究院 | 基于上下文感知自训练的基础模型弱监督目标检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815819A (zh) * | 2017-01-24 | 2017-06-09 | 河南工业大学 | 多策略粮虫视觉检测方法 |
| US20190206043A1 (en) * | 2017-12-29 | 2019-07-04 | Huizhou China Star Optoelectronics Technology Co., Ltd. | Method and system for detection of in-panel mura based on hough transform and gaussian fitting |
| CN111046862A (zh) * | 2019-12-05 | 2020-04-21 | 北京嘉楠捷思信息技术有限公司 | 一种字符分割方法、装置以及计算机可读存储介质 |
| CN111474184A (zh) * | 2020-04-17 | 2020-07-31 | 河海大学常州校区 | 基于工业机器视觉的aoi字符缺陷检测方法和装置 |
| CN112184648A (zh) * | 2020-09-22 | 2021-01-05 | 苏州中科全象智能科技有限公司 | 一种基于深度学习的活塞表面缺陷检测方法及系统 |
-
2021
- 2021-06-08 CN CN202110636963.0A patent/CN113487538B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815819A (zh) * | 2017-01-24 | 2017-06-09 | 河南工业大学 | 多策略粮虫视觉检测方法 |
| US20190206043A1 (en) * | 2017-12-29 | 2019-07-04 | Huizhou China Star Optoelectronics Technology Co., Ltd. | Method and system for detection of in-panel mura based on hough transform and gaussian fitting |
| CN111046862A (zh) * | 2019-12-05 | 2020-04-21 | 北京嘉楠捷思信息技术有限公司 | 一种字符分割方法、装置以及计算机可读存储介质 |
| CN111474184A (zh) * | 2020-04-17 | 2020-07-31 | 河海大学常州校区 | 基于工业机器视觉的aoi字符缺陷检测方法和装置 |
| CN112184648A (zh) * | 2020-09-22 | 2021-01-05 | 苏州中科全象智能科技有限公司 | 一种基于深度学习的活塞表面缺陷检测方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823924A (zh) * | 2023-08-24 | 2023-09-29 | 杭州百子尖科技股份有限公司 | 缺陷区域面积的确定方法、装置、电子设备以及存储介质 |
| CN116823924B (zh) * | 2023-08-24 | 2023-12-12 | 杭州百子尖科技股份有限公司 | 缺陷区域面积的确定方法、装置、电子设备以及存储介质 |
| CN117496130A (zh) * | 2023-11-22 | 2024-02-02 | 中国科学院空天信息创新研究院 | 基于上下文感知自训练的基础模型弱监督目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487538B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN108305243B (zh) | 一种基于深度学习的磁瓦表面缺陷检测方法 | |
| CN111833306B (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN111582294A (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
| CN111445459A (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| Selvakumar et al. | The performance analysis of edge detection algorithms for image processing | |
| CN111652085A (zh) | 基于2d与3d特征结合的物体识别方法 | |
| CN111754538B (zh) | Usb表面缺陷检测的阈值分割方法 | |
| CN107153067A (zh) | 一种基于matlab的零件表面缺陷检测方法 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN109558877B (zh) | 基于kcf的海上目标跟踪算法 | |
| CN116777898A (zh) | 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法 | |
| CN113223037B (zh) | 一种面向大规模数据的无监督语义分割方法及系统 | |
| CN113487538B (zh) | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 | |
| CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
| CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
| CN116500052A (zh) | 一种食用油杂质视觉检测系统及其使用方法 | |
| CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 | |
| CN113780136B (zh) | 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备 | |
| CN112598646B (zh) | 电容缺陷检测方法、装置、电子设备及存储介质 | |
| CN110276260B (zh) | 一种基于深度摄像头的商品检测方法 | |
| Feng et al. | Liquid surface location of milk bottle based on digital image processing | |
| CN114723748B (zh) | 电机控制器的检测方法、装置、设备及存储介质 | |
| CN113240579A (zh) | 一种工业产品缺陷智能检测方法、装置及其计算机存储介质 | |
| CN117975175B (zh) | 一种基于机器视觉的塑料管道外观缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |