CN115496749A - 基于目标检测训练预处理的产品缺陷检测方法及系统 - Google Patents
基于目标检测训练预处理的产品缺陷检测方法及系统 Download PDFInfo
- Publication number
- CN115496749A CN115496749A CN202211417163.0A CN202211417163A CN115496749A CN 115496749 A CN115496749 A CN 115496749A CN 202211417163 A CN202211417163 A CN 202211417163A CN 115496749 A CN115496749 A CN 115496749A
- Authority
- CN
- China
- Prior art keywords
- cutting
- defect
- rectangle
- picture
- preprocessing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 213
- 238000007781 pre-processing Methods 0.000 title claims abstract description 105
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000012549 training Methods 0.000 title claims abstract description 57
- 238000005520 cutting process Methods 0.000 claims abstract description 201
- 238000007689 inspection Methods 0.000 claims abstract description 103
- 238000002372 labelling Methods 0.000 claims abstract description 91
- 238000003860 storage Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 20
- 230000002085 persistent effect Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 9
- 238000003908 quality control method Methods 0.000 claims description 7
- 238000004904 shortening Methods 0.000 claims description 7
- 102100027731 Endogenous retrovirus group K member 16 Rec protein Human genes 0.000 claims description 2
- 101000580913 Homo sapiens Endogenous retrovirus group K member 16 Rec protein Proteins 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于目标检测训练预处理的产品缺陷检测方法及系统，包括：获取原始质检图像集，并对原始质检图像集进行人工缺陷标注；异步批量加载原始质检图像，并基于相应的缺陷矩形标注的坐标点，生成缺陷图片集合；对缺陷图片集合进行切图预处理，并对预处理后的缺陷图片集合进行缺陷标注坐标点的刷新；利用预处理后的缺陷图片集合以及相应的缺陷矩形标注JSON信息训练产品缺陷检测模型，得到训练后的产品缺陷检测模型；获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型对缺陷进行检测。本发明通过对图像检测数据进行聚类切图、PR切图、扩倍切图等策略预处理，提高了数据集样本的多样性、复杂性以及提高模型针对缺陷检测的准确率。
Description
技术领域
本发明属于测量测试技术领域，具体涉及缺陷检测技术领域，尤其是基于目标检测训练预处理的产品缺陷检测方法及系统，更为具体地，涉及基于工业质检图像标注数据集的目标检测训练预处理方法及系统，可以应用于高端装备、新能源汽车的零部件制造过程中的背景技术质检环节。
背景技术
在工业目标检测领域，对包含缺陷的零件质检图片进行标注然后进行模型训练进行目标缺陷识别，在样本集少、数据获取效率低下、训练时长过长等问题下，缺少一个支持大部分场景下的质检图片数据集预处理的系统；
专利文献CN113793333B（申请号：202111344706.6）公开了一种应用于工业质检的缺陷图片生成方法及装置，方法包括：获取带缺陷的第一工件图集及无缺陷的第二工件图集；确定第一工件图集中的每个第一工件图对应的缺陷标注图；确定第二工件图集中的每个第二工件图的特征值；基于第一工件图、第二工件图、缺陷标注图和特征值，训练pix2pixHD网络；依据期望缺陷类型，从缺陷特征数据库中获取目标缺陷标注图；依据期望图片类型，从图片特征数据库中获取目标特征值；将目标缺陷标注图和目标特征值输入训练好的生成器，以生成目标缺陷图片。
本发明大大减少数据集准备工时，解决正负难样本挖掘问题，提高数据集样本的多样性、复杂性以及提高模型针对缺陷检测的准确率；提高产品质量、减少质检时间和人工成本。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于目标检测训练预处理的产品缺陷检测方法及系统。
根据本发明提供的一种基于目标检测训练预处理的产品缺陷检测方法，包括：
步骤1：获取原始质检图像集，并对原始质检图像集进行缺陷标注，得到缺陷图片集合；
步骤2：对所述缺陷图片集合进行切图，得到产品缺陷检测模型所需尺寸大小的新缺陷图片集合；
步骤3：利用所述新缺陷图片集合训练所述产品缺陷检测模型；
步骤4：获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型进行缺陷检测。
优选地，包括：
步骤S1：获取原始质检图像集，并对原始质检图像集进行人工缺陷标注，把缺陷矩形标注的坐标点记录在JSON文本文件中，将原始质检图像集以及JSON文本文件保存在Minio对象存储中；
步骤S2：异步批量加载原始质检图像，并基于相应的缺陷矩形标注的坐标点JSON文件中的数据，生成缺陷图片集合；
步骤S3：对缺陷图片集合进行切图预处理，生成新的产品缺陷检测模型所需尺寸大小的图片集合，并对预处理后的缺陷图片集合进行缺陷标注坐标点的刷新，每张缺陷图片生成新的缺陷矩形标注的坐标点记录的JSON文本文件，并持久化至Minio对象存储中；
步骤S4：利用预处理后的缺陷图片集合以及相应的缺陷矩形标注JSON信息训练产品缺陷检测模型，得到训练后的产品缺陷检测模型；
步骤S5：获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型对缺陷进行检测。
优选地，包括：根据Web端页面请求，基于保存在Minio对象存储中的待处理的质检图像以及标注信息获取相应待处理的质检图像、标注信息数据集，基于获取的质检图像、标注信息数据集加载数据集图片，对加载的数据集图片进行切图预处理；
所述Web端页面请求包括：质检图像、标注信息数据集编号、名称、存储在Minio对象存储上的绝对路径、预处理策略、正常倍数、漏失倍数、过杀倍数以及切图宽和高参数。
优选地，对加载的数据集图片根据预处理策略进行切图预处理；
所述预处理策略包括：聚类切图预处理策略、PR切图预处理策略或缺陷扩倍切图预处理策略；
所述聚类切图预处理策略是为缩短目标检测训练时间的切图策略；
所述PR切图预处理策略是为目标检测训练提高精确率和召回率的切图策略；
所述缺陷扩倍切图预处理策略是对不同生产材料缺陷图像进行扩倍切图的切图策略。
优选地，所述聚类切图预处理策略采用：
步骤S3.1：使用OpenCV框架将当前异步加载图片对应标注信息中的左上角坐标点和右下角坐标点生成标注矩形；
步骤S3.2：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
步骤S3.3：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
步骤S3.4：基于切图矩形将标注矩形集合进行双重循环遍历，得到一个或多个元素符合切图矩形大小的组合标注矩形集合；
步骤S3.5：遍历当前符合切图矩形大小的组合标注矩形集合，并进行居中切图，将切图后的图像写入Minio对象存储指定目录下。
优选地，所述PR切图预处理策略采用：
步骤S3.6：使用OpenCV框架将当前异步加载图片对应标注信息中的标注左上角坐标点和右下角坐标点生成标注矩形；
步骤S3.7：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
步骤S3.8：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
步骤S3.9：遍历标注矩形集合，并根据预设随机系数移动所述切图矩形进行切图，将切图后的图像写入Minio对象存储指定目录下。
优选地，所述缺陷扩倍切图预处理策略采用：当Web端页面请求中的预处理策略为PR切图预处理策略，并且正常倍数、漏失倍数或过杀倍数大于1时，进行扩倍切图操作，根据当前异步加载图片对应标注信息扩倍采用PR切图策略切图。
优选地，对已经切图后的图片的标注信息进行坐标点的刷新，并持久化到Minio对象存储中；在标注坐标点被刷新的同时，计算原图中其他未完全被切图矩形包含的标注矩形，并且与切图矩形交集IOU大于预设值的矩形的坐标点。
根据本发明提供的一种基于目标检测训练预处理的产品缺陷检测系统，包括：
模块1：获取原始质检图像集，并对原始质检图像集进行缺陷标注，得到缺陷图片集合；
模块2：对所述缺陷图片集合进行切图，得到产品缺陷检测模型所需尺寸大小的新缺陷图片集合；
模块3：利用所述新缺陷图片集合训练所述产品缺陷检测模型；
模块4：获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型进行缺陷检测。
优选地，包括：
模块M1：获取原始质检图像集，并对原始质检图像集进行人工缺陷标注，把缺陷矩形标注的坐标点记录在JSON文本文件中，将原始质检图像集以及JSON文本文件保存在Minio对象存储中；
模块M2：异步批量加载原始质检图像，并基于相应的缺陷矩形标注的坐标点JSON文件中的数据，生成缺陷图片集合；
模块M3：对缺陷图片集合进行切图预处理，生成新的产品缺陷检测模型所需尺寸大小的图片集合，并对预处理后的缺陷图片集合进行缺陷标注坐标点的刷新，每张缺陷图片生成新的缺陷矩形标注的坐标点记录的JSON文本文件，并持久化至Minio对象存储中；
模块M4：利用预处理后的缺陷图片集合以及相应的缺陷矩形标注JSON信息训练产品缺陷检测模型，得到训练后的产品缺陷检测模型；
模块M5：获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型对缺陷进行检测。
与现有技术相比，本发明具有如下的有益效果：
1、本发明降低了工业现场算法模型实施工程师的模型部署人工成本、时间成本以及减少质检机器集成步骤；
2、本发明通过对图像检测数据进行聚类切图、PR切图、扩倍切图等策略预处理，提高了数据集样本的多样性、复杂性以及提高模型针对缺陷检测的准确率；
3、基于本发明在工厂生产环节提高产品质量、减少质检时间和人工成本；
4、本发明通过对图像检测数据进行聚类切图策略可以节约模型训练时长；
5、基于本发明在对与少量工业零件质检图片数据集样本的情况下，可以通过扩倍切图实现对模型质检的正常训练。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于工业质检图像标注数据集的目标检测训练预处理方法流程图。
图2为聚类切图预处理流程图。
图3为聚类切图预处理示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种基于目标检测训练预处理的产品缺陷检测方法，包括：
步骤1：获取原始质检图像集，并对原始质检图像集进行缺陷标注，得到缺陷图片集合；
步骤2：对所述缺陷图片集合进行切图，得到产品缺陷检测模型所需尺寸大小的新缺陷图片集合；
步骤3：利用所述新缺陷图片集合训练所述产品缺陷检测模型；
步骤4：获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型进行缺陷检测。
其中，基于工业质检图像标注的目标检测训练预处理方法，包括：
步骤S1：获取待处理的质检图像，并对当前待处理的质检图像进行缺陷注标，将当前质检图像以及标注信息保存在S3（Minio对象存储）中；
步骤S2：根据Web端页面请求，基于保存在Minio对象存储中的待处理的质检图像以及标注信息获取相应待处理的质检图像、标注信息数据集，基于获取的质检图像、标注信息数据集加载数据集图片，获取数据集图片对应的标注JSON信息；其中，所述Web端页面请求包括：质检图像、标注信息数据集编号、名称、存储在Minio对象存储上的绝对路径、预处理策略、正常倍数、漏失倍数、过杀倍数以及切图宽和高参数。
具体地，所述步骤S2采用：基于质检图像、标注信息数据集异步分批次获取数据集图片对应的标注JSON信息；
将质检图像上的缺陷标注为矩形框，所述标注JSON信息包括每个矩形框相应地左上角坐标点和右下角坐标点。其中，一张质检图像上可以被标注多个缺陷框。
步骤S3：对加载的数据集图片进行预处理；
具体地，所述步骤S3采用：对加载的数据集图片根据预处理策略进行预处理；
所述预处理策略包括：聚类切图预处理策略、PR切图预处理策略或缺陷扩倍切图预处理策略；
所述聚类切图预处理策略是为缩短目标检测训练时间的切图策略；
所述PR切图预处理策略是为目标检测训练提高精确率和召回率的切图策略；
所述缺陷扩倍切图预处理策略是对不同生产材料缺陷图像进行扩倍切图的切图策略。
所述聚类切图预处理策略采用：
步骤S3.1：使用OpenCV框架将当前异步加载图片对应标注JSON信息中的左上角坐标点和右下角坐标点生成标注矩形；
步骤S3.2：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
步骤S3.3：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
步骤S3.4：基于切图矩形将标注矩形集合进行双重循环遍历，得到一个或多个元素符合切图矩形大小的组合标注矩形集合；
步骤S3.5：遍历当前符合切图矩形大小的组合标注矩形集合，并进行居中切图，将切图后的图像写入Minio对象存储指定目录下。
例如：如图3所示，聚类切图为一张质检图片中被标注了4个缺陷标注框，基于切图矩形对质检图片进行切图，遍历时采用第一层循环矩形和第二层循环矩形，每张新的质检图片内包括组合标注矩形集合，并基于聚合标注矩形集合利用切图矩阵进行居中切图，获得2张新的质检图片。
本策略缩短训练时间的原因就是，原本4个标注框正常情况下会被切出4张图片，现在仅2张图片或者有可能是1张图片，模型训练时间就减少了。
所述PR切图预处理策略采用：
步骤S3.6：使用OpenCV框架将当前异步加载图片对应标注JSON信息中的标注左上角坐标点和右下角坐标点生成标注矩形；
步骤S3.7：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
步骤S3.8：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
步骤S3.9：遍历标注矩形集合，并根据预设随机系数移动所述切图矩形进行切图，将切图后的图像写入Minio对象存储指定目录下。
PR切图是对图片具体的标注框进行切图，还是4个缺陷标注框，但是会切出4张图片，通过随机系数移动切图矩形进行切图，每张图片不仅会有当前的缺陷标注框也有可能包含其他缺陷框的部分。
其中，精准率、召回率是因为PR策略具体切图时，会根据随机偏移值对每张图片具体的缺陷框进行切图，具体的缺陷图像就不会被切全，用来提高模型对缺陷的精准率、召回率的一种策略。
所述缺陷扩倍切图预处理策略采用：当Web端页面请求中的预处理策略为PR切图预处理策略，并且正常倍数、漏失倍数或过杀倍数大于1时，进行扩倍切图操作，根据当前异步加载图片对应标注JSON信息扩倍采用PR切图策略切图。
所述正常倍数是对正常模型训练出的图片进行扩倍再次训练。
漏失倍数是对模型训练时漏检的图片进行扩倍再次训练。
过杀倍数是对模型训练出过杀的图片进行扩倍再次训练。
所述缺陷扩倍切图预处理策略为对原质检图像进行多次随机PR切图，每次切图产生的新图中的缺陷标注会与原图不一致，按照缺陷扩倍到3倍，也就是会变成3张图片。
步骤S4：对预处理后图片的标注JSON信息进行刷新，并持久化至Minio对象存储中。
具体地，所述步骤S4采用：
步骤S4.1：对已经切图后的图片的标注JSON信息进行坐标点的刷新，并持久化到Minio对象存储中；
具体地，将已经切图后的图片视为新的质检图片，基于新的质检图片中的缺陷标注更新原标注JSON信息。
步骤S4.2：在标注坐标点被刷新的同时，计算原图中其他未完全被切图矩形包含的标注矩形，并且与切图矩形交集IOU大于预设值的矩形的坐标点。
根据本发明提供的一种基于目标检测训练预处理的产品缺陷检测系统，包括：
模块1：获取原始质检图像集，并对原始质检图像集进行缺陷标注，得到缺陷图片集合；
模块2：对所述缺陷图片集合进行切图，得到产品缺陷检测模型所需尺寸大小的新缺陷图片集合；
模块3：利用所述新缺陷图片集合训练所述产品缺陷检测模型；
模块4：获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型进行缺陷检测。
其中，基于工业质检图像标注的目标检测训练预处理系统，包括：
模块M1：获取待处理的质检图像，并对当前待处理的质检图像进行缺陷注标，将当前质检图像以及标注信息保存在S3（Minio对象存储）中；
模块M2：根据Web端页面请求，基于保存在Minio对象存储中的待处理的质检图像以及标注信息获取相应待处理的质检图像、标注信息数据集，基于获取的质检图像、标注信息数据集加载数据集图片，获取数据集图片对应的标注JSON信息；其中，所述Web端页面请求包括：质检图像、标注信息数据集编号、名称、存储在Minio对象存储上的绝对路径、预处理策略、正常倍数、漏失倍数、过杀倍数以及切图宽和高参数。
具体地，所述模块M2采用：基于质检图像、标注信息数据集异步分批次获取数据集图片对应的标注JSON信息；
将质检图像上的缺陷标注为矩形框，所述标注JSON信息包括每个矩形框相应地左上角坐标点和右下角坐标点。其中，一张质检图像上可以被标注多个缺陷框。
模块M3：对加载的数据集图片进行预处理；
具体地，所述模块M3采用：对加载的数据集图片根据预处理策略进行预处理；
所述预处理策略包括：聚类切图预处理策略、PR切图预处理策略或缺陷扩倍切图预处理策略；
所述聚类切图预处理策略是为缩短目标检测训练时间的切图策略；
所述PR切图预处理策略是为目标检测训练提高精确率和召回率的切图策略；
所述缺陷扩倍切图预处理策略是对不同生产材料缺陷图像进行扩倍切图的切图策略。
所述聚类切图预处理策略采用：
模块M3.1：使用OpenCV框架将当前异步加载图片对应标注JSON信息中的左上角坐标点和右下角坐标点生成标注矩形；
模块M3.2：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
模块M3.3：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
模块M3.4：基于切图矩形将标注矩形集合进行双重循环遍历，得到一个或多个元素符合切图矩形大小的组合标注矩形集合；
模块M3.5：遍历当前符合切图矩形大小的组合标注矩形集合，并进行居中切图，将切图后的图像写入Minio对象存储指定目录下。
例如：如图3所示，聚类切图为一张质检图片中被标注了4个缺陷标注框，基于切图矩形对质检图片进行切图，遍历时采用第一层循环矩形和第二层循环矩形，每张新的质检图片内包括组合标注矩形集合，并基于聚合标注矩形集合利用切图矩阵进行居中切图，获得2张新的质检图片。
本策略缩短训练时间的原因就是，原本4个标注框正常情况下会被切出4张图片，现在仅2张图片或者有可能是1张图片，模型训练时间就减少了。
所述PR切图预处理策略采用：
模块M3.6：使用OpenCV框架将当前异步加载图片对应标注JSON信息中的标注左上角坐标点和右下角坐标点生成标注矩形；
模块M3.7：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
模块M3.8：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
模块M3.9：遍历标注矩形集合，并根据预设随机系数移动所述切图矩形进行切图，将切图后的图像写入Minio对象存储指定目录下。
PR切图是对图片具体的标注框进行切图，还是4个缺陷标注框，但是会切出4张图片，通过随机系数移动切图矩形进行切图，每张图片不仅会有当前的缺陷标注框也有可能包含其他缺陷框的部分。
其中，精准率、召回率是因为PR策略具体切图时，会根据随机偏移值对每张图片具体的缺陷框进行切图，具体的缺陷图像就不会被切全，用来提高模型对缺陷的精准率、召回率的一种策略。
所述缺陷扩倍切图预处理策略采用：当Web端页面请求中的预处理策略为PR切图预处理策略，并且正常倍数、漏失倍数或过杀倍数大于1时，进行扩倍切图操作，根据当前异步加载图片对应标注JSON信息扩倍采用PR切图策略切图。
所述正常倍数是对正常模型训练出的图片进行扩倍再次训练。
漏失倍数是对模型训练时漏检的图片进行扩倍再次训练。
过杀倍数是对模型训练出过杀的图片进行扩倍再次训练。
所述缺陷扩倍切图预处理策略为对原质检图像进行多次随机PR切图，每次切图产生的新图中的缺陷标注会与原图不一致，按照缺陷扩倍到3倍，也就是会变成3张图片。
模块M4：对预处理后图片的标注JSON信息进行刷新，并持久化至Minio对象存储中。
具体地，所述模块M4采用：
模块M4.1：对已经切图后的图片的标注JSON信息进行坐标点的刷新，并持久化到Minio对象存储中；
具体地，将已经切图后的图片视为新的质检图片，基于新的质检图片中的缺陷标注更新原标注JSON信息。
模块M4.2：在标注坐标点被刷新的同时，计算原图中其他未完全被切图矩形包含的标注矩形，并且与切图矩形交集IOU大于预设值的矩形的坐标点。
本发明完成一系列对工业质检图像标注数据集的目标检测训练预处理的实现，解决工业生产材料质检图像数据集样本的特征提取、图像处理以及补充数据集样本的多样性，减少工业现场算法模型实施工程师的人工成本、时间成本，质检机器系统集成时间、模型集成时间。实现工业企业生产材料质检环节的优化，提高产品质量、质检时间以及所需人工。
实施例2
实施例2是实施例1的优选例
根据本发明提供的一种基于工业质检图像标注数据集的目标检测训练预处理方法，如图1至2所示。包括质检图像数据集分布式加载处理、对标注图像进行聚类切图、对标注图像进行PR切图、对不同生产材料缺陷图像进行扩倍切图以及对图像切图后标注坐标点更新。
所述质检图像数据集分布式加载处理，包括如下步骤：
步骤1.1：从Web端页面body请求中获取所需要预处理的质检图像标注数据集相关参数，具体为：
在本发明客户端服务系统Web界面上，工业现场算法模型实施工程师会对质检图像数据集进行目标检测训练前的预处理操作，在操作时会把具体所需要的处理的数据集参数传递到本发明后端服务系统中，具体请求body包含质检图像标注数据集编号、名称、存储在S3上的绝对路径、切图策略(聚类切图、PR切图以及缺陷扩倍切图)、正常倍数、漏失倍数、过杀倍数以及切图宽和高等参数；
步骤1.2：获取质检图像标注数据集编号、名称、存储在S3上的path路径后，开始分布式加载图片进行处理，具体为：
通过客户端body请求参数中获取质检图像标注数据集名称和S3上的存储路径加载数据集图片，异步分批次通过质检图像标注数据集编号和当前图片名称获取图片对应的标注JSON信息;
所述对标注图像进行聚类切图，是为缩短目标检测训练时间的切图策略，包括如下步骤：
步骤2.1：使用OpenCV框架把当前异步加载图片的对应标注JSON信息中的所有标注左上角坐标点和右下角坐标点生成标注矩形集合。例如：一张质检图片会被标注人员标注一个或者多个缺陷矩形，S3存储不仅仅有图片信息也会有图片标注缺陷信息json文本，使用opencv根据每个缺陷矩形的左上角与右下角的坐标点可以得到缺陷矩形集合；
质检图像数据集的每张图片进行预处理时已经被人工标注，标注JSON信息中的Points包含左上角坐标点和右下角坐标点，使用OpenCV生成标注矩形集合；
步骤2.2：使用OpenCV框架对客户端 body 请求参数中切图宽和高生成切图矩形，把步骤2.1中所有标注生成的矩形双重循环遍历组合判断是否可以聚合矩形，具体为：
利用OpenCV框架，通过客户端body请求参数中获取切图宽和高生成切图矩形，异步加载图片对应标注JSON信息中的所有标注矩形集合进行双重循环遍历，遍历时采用当前第一层循环矩形和第二层循环内其他标注矩形进行组合，判断是否小于切图矩形，小于则继续组合遍历，大于则跳过当前矩形继续遍历，最终得到一个或多个元素符合切图矩形大小的组合标注矩形集合；
聚合切图就是把符合切图大小内的缺陷框都切出来，例如：1张图100*100大小，切图50*50,总共4个缺陷框，其中3个缺陷框可以被50*50这个切图参数覆盖，那么就会被切出来2张图，一张包含3个缺陷以及可能包含另外1个缺陷的部分，另外一张包含1个缺陷以及可能包含3个缺陷的框的部分，那么第一层循环就遍历所有缺陷框，第2个缺陷就是遍历除第1层的缺陷框的其他3个框，然后组合成一个矩形与切图矩形比较，如果符合切图大小就继续循环遍历，不符合就跳过当前的缺陷。
步骤2.3：在步骤2.2中得到符合切图矩形大小的矩形集合，遍历当前矩形集合然后居中切图，具体为：
当获取到符合切图矩形大小的矩形集合后，开始遍历矩形集合，使用OpenCV在对原始图片上进行切图；
其中：
原始图片大小为size；
当前矩形左上角坐标点为tl；
当前矩形右下角坐标点为br；
当前矩形宽rectWidth=tl.x–br.x；
当前矩形宽rectHeight=tl.y–br.y ;
客户端body请求参数中切图宽为width，
客户端body请求参数中切图高为height，
裁剪矩形x轴偏移量xOffset=(width-rectWidth)/2
裁剪矩形y轴偏移量yOffset=(height-rectHeight)/2
其中最终切图矩形Rect为：
targetWidth 默认为 width, 当 x + width > size.width 时，
int xBuffer = x + width - size.width;
x = x - xBuffer;
targetWidth = size.width - x;
targetHeight = 默认为height，当y + width > size.height时，
int yBuffer = y + width - size.height;
y = y - yBuffer;
targetHeight = size.height - y;
Rect = (x, y, targetWidth, targetHeight)
得出 Rect 后开始切图，并把切图后的图像写入 S3 指定目录下。
所述对标注图像进行PR切图，PR切图全称指 Precision Recall，是为目标检测训练提高精确率和召回率的切图策略，包括如下步骤：
步骤2.4：使用 OpenCV框架把当前异步加载图片的对应标注 JSON信息中的所有标注左上角坐标点和右下角坐标点生成标注矩形集合。
质检图像数据集的每张图片进行预处理时已经被人工标注，标注 JSON信息中的Points 包含左上角坐标点和右下角坐标点，使用OpenCV生成矩形集合；
步骤2.5：使用OpenCV框架对客户端 body 请求参数中切图宽和高生成切图矩形，遍历步骤2.4中标注矩形集合，然后根据随机系数0.25 ~ 0.75移动所述切图矩形进行切图，具体为：
利用OpenCV框架，通过客户端 body 请求参数中获取切图宽和高生成切图矩形，异步加载图片对应标注 JSON信息中的所有标注矩形集合进行遍历；
其中，
原始图片大小为 size；
当前矩形左上角坐标点为 tl ;
当前矩形右下角坐标点为 br ;
当前矩形宽 rectWidth = tl.x – br.x ;
当前矩形宽 rectHeight = tl.y – br.y ;
客户端 body 请求参数中切图宽为 width，
客户端 body 请求参数中切图高为 height，
裁剪矩形 x 轴偏移量 xOffset = width * 0.25 ～ width * 0.75 之间随机整数
裁剪矩形 y 轴偏移量 yOffset = height * 0.25 ～ height * 0.75 之间随机整数
其中最终切图矩形 Rect为：
targetWidth 默认为 width, 当 x + width > size.width 时，
int xBuffer = x + width - size.width;
x = x - xBuffer;
targetWidth = size.width - x;
targetHeight = 默认为height，当y + width > size.height时，
int yBuffer = y + width - size.height;
y = y - yBuffer;
targetHeight = size.height - y;
Rect = (x, y, targetWidth, targetHeight)
得出 Rect 后开始切图，并把切图后的图像写入 S3 指定目录下。
所述对不同生产材料缺陷图像进行扩倍切图，包括如下步骤：
步骤2.6：根据在客户端 body 请求参数中的正常倍数、漏失倍数、过杀倍数等参数对当前图片标注进行PR 切图策略切图；
当客户端body请求参数中的策略为 PR 切图，并且正常倍数、漏失倍数、过杀倍数等参数大于 1时，进行扩倍切图操作，根据当前异步加载图片对应标注 JSON信息中的 tag来分别扩倍采用PR 切图策略切图。
所述对图像切图后标注坐标点更新，包括如下步骤：
步骤3.1：对已经切图后的图片的标注 JSON 信息进行坐标点的刷新，并持久化到S3中。
循环遍历切图后的矩形集合，根据当前异步加载图片对应标注 JSON信息中的原始坐标点减去当前切图矩形的左上角坐标点，产生以当前切图矩形左上角坐标点为原点的新标注坐标点；
步骤3.2：在标注坐标点被刷新的同时，计算原图中其他未完全被切图矩形包含的标注矩形，并且与切图矩形交集 IOU 大于0.15 的矩形的坐标点。
为了在切图矩形中包含更多的缺陷可能的情况，同时也是为了数据集样本的多样性，需要把原图中其他未完全被切图矩形包含的标注矩形，并且与之交集 IOU 大于0.15的矩形的坐标点也要记录下来；
其中交集的矩形坐标点为：
rectA 指切图矩形，rectB 指原图中其他未完全被切图矩形包含的任意标注矩形；
tlx = max(rectA.x, rectB.x)；
tly = max(rectA.y, rectB.y)；
brx = min(rectA.x + rectA.width, rectB.x + rectB.width)；
bry = min(rectA.y + rectA.height, rectB.y + rectB. height)；
其中交集面积为：
width = max(0, brx - tlx)；
height = max(0, bry - tly)；
mixArea = width * height；
其中 IOU 计算公式为：
IOU = mixArea / rectB.area；
当 IOU 大于0.15时坐标也会同步骤3.1刷新坐标并被持久到 S3中。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于目标检测训练预处理的产品缺陷检测方法，其特征在于，包括：
步骤S1：获取原始质检图像集，并对原始质检图像集进行人工缺陷标注，把缺陷矩形标注的坐标点记录在JSON文本文件中，将原始质检图像集以及JSON文本文件保存在Minio对象存储中；
步骤S2：异步批量加载原始质检图像，并基于相应的缺陷矩形标注的坐标点JSON文件中的数据，生成缺陷图片集合；
步骤S3：对缺陷图片集合进行切图预处理，生成新的产品缺陷检测模型所需尺寸大小的图片集合，并对预处理后的缺陷图片集合进行缺陷标注坐标点的刷新，每张缺陷图片生成新的缺陷矩形标注的坐标点记录的JSON文本文件，并持久化至Minio对象存储中；
步骤S4：利用预处理后的缺陷图片集合以及相应的缺陷矩形标注JSON信息训练产品缺陷检测模型，得到训练后的产品缺陷检测模型；
步骤S5：获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型对缺陷进行检测。
2.根据权利要求1所述的基于目标检测训练预处理的产品缺陷检测方法，其特征在于，包括：根据Web端页面请求，基于保存在Minio对象存储中的待处理的质检图像以及标注信息获取相应待处理的质检图像、标注信息数据集，基于获取的质检图像、标注信息数据集加载数据集图片，对加载的数据集图片进行切图预处理；
所述Web端页面请求包括：质检图像、标注信息数据集编号、名称、存储在Minio对象存储上的绝对路径、预处理策略、正常倍数、漏失倍数、过杀倍数以及切图宽和高参数。
3.根据权利要求2所述的基于目标检测训练预处理的产品缺陷检测方法，其特征在于，对加载的数据集图片根据预处理策略进行切图预处理；
所述预处理策略包括：聚类切图预处理策略、PR切图预处理策略或缺陷扩倍切图预处理策略；
所述聚类切图预处理策略是为缩短目标检测训练时间的切图策略；
所述PR切图预处理策略是为目标检测训练提高精确率和召回率的切图策略；
所述缺陷扩倍切图预处理策略是对不同生产材料缺陷图像进行扩倍切图的切图策略。
4.根据权利要求3所述的基于目标检测训练预处理的产品缺陷检测方法，其特征在于，所述聚类切图预处理策略采用：
步骤S3.1：使用OpenCV框架将当前异步加载图片对应标注信息中的左上角坐标点和右下角坐标点生成标注矩形；
步骤S3.2：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
步骤S3.3：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
步骤S3.4：基于切图矩形将标注矩形集合进行双重循环遍历，得到一个或多个元素符合切图矩形大小的组合标注矩形集合；
步骤S3.5：遍历当前符合切图矩形大小的组合标注矩形集合，并进行居中切图，将切图后的图像写入Minio对象存储指定目录下。
5.根据权利要求3所述的基于目标检测训练预处理的产品缺陷检测方法，其特征在于，所述PR切图预处理策略采用：
步骤S3.6：使用OpenCV框架将当前异步加载图片对应标注信息中的标注左上角坐标点和右下角坐标点生成标注矩形；
步骤S3.7：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
步骤S3.8：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
步骤S3.9：遍历标注矩形集合，并根据预设随机系数移动所述切图矩形进行切图，将切图后的图像写入Minio对象存储指定目录下。
6.根据权利要求3所述的基于目标检测训练预处理的产品缺陷检测方法，其特征在于，所述缺陷扩倍切图预处理策略采用：当Web端页面请求中的预处理策略为PR切图预处理策略，并且正常倍数、漏失倍数或过杀倍数大于1时，进行扩倍切图操作，根据当前异步加载图片对应标注信息扩倍采用PR切图策略切图。
7.根据权利要求1所述的基于目标检测训练预处理的产品缺陷检测方法，其特征在于，对已经切图后的图片的标注信息进行坐标点的刷新，并持久化到Minio对象存储中；在标注坐标点被刷新的同时，计算原图中其他未完全被切图矩形包含的标注矩形，并且与切图矩形交集IOU大于预设值的矩形的坐标点。
8.一种基于目标检测训练预处理的产品缺陷检测系统，其特征在于，包括：
模块M1：获取原始质检图像集，并对原始质检图像集进行人工缺陷标注，把缺陷矩形标注的坐标点记录在JSON文本文件中，将原始质检图像集以及JSON文本文件保存在Minio对象存储中；
模块M2：异步批量加载原始质检图像，并基于相应的缺陷矩形标注的坐标点JSON文件中的数据，生成缺陷图片集合；
模块M3：对缺陷图片集合进行切图预处理，生成新的产品缺陷检测模型所需尺寸大小的图片集合，并对预处理后的缺陷图片集合进行缺陷标注坐标点的刷新，每张缺陷图片生成新的缺陷矩形标注的坐标点记录的JSON文本文件，并持久化至Minio对象存储中；
模块M4：利用预处理后的缺陷图片集合以及相应的缺陷矩形标注JSON信息训练产品缺陷检测模型，得到训练后的产品缺陷检测模型；
模块M5：获取待检测产品的质检图像，并利用训练后的产品缺陷检测模型对缺陷进行检测。
9.根据权利要求8所述的基于目标检测训练预处理的产品缺陷检测系统，其特征在于，包括：根据Web端页面请求，基于保存在Minio对象存储中的待处理的质检图像以及标注信息获取相应待处理的质检图像、标注信息数据集，基于获取的质检图像、标注信息数据集加载数据集图片，对加载的数据集图片进行切图预处理；
所述Web端页面请求包括：质检图像、标注信息数据集编号、名称、存储在Minio对象存储上的绝对路径、预处理策略、正常倍数、漏失倍数、过杀倍数以及切图宽和高参数。
10.根据权利要求9所述的基于目标检测训练预处理的产品缺陷检测系统，其特征在于，对加载的数据集图片根据预处理策略进行切图预处理；
所述预处理策略包括：聚类切图预处理策略、PR切图预处理策略或缺陷扩倍切图预处理策略；
所述聚类切图预处理策略是为缩短目标检测训练时间的切图策略；
所述PR切图预处理策略是为目标检测训练提高精确率和召回率的切图策略；
所述缺陷扩倍切图预处理策略是对不同生产材料缺陷图像进行扩倍切图的切图策略；
所述聚类切图预处理策略采用：
模块M3.1：使用OpenCV框架将当前异步加载图片对应标注信息中的左上角坐标点和右下角坐标点生成标注矩形；
模块M3.2：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
模块M3.3：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
模块M3.4：基于切图矩形将标注矩形集合进行双重循环遍历，得到一个或多个元素符合切图矩形大小的组合标注矩形集合；
模块M3.5：遍历当前符合切图矩形大小的组合标注矩形集合，并进行居中切图，将切图后的图像写入Minio对象存储指定目录下；
所述PR切图预处理策略采用：
模块M3.6：使用OpenCV框架将当前异步加载图片对应标注信息中的标注左上角坐标点和右下角坐标点生成标注矩形；
模块M3.7：所有的异步加载图片相对应的标注矩形形成标注矩形集合；
模块M3.8：利用OpenCV框架基于Web端页面请求中切图宽和高参数生成切图矩形；
模块M3.9：遍历标注矩形集合，并根据预设随机系数移动所述切图矩形进行切图，将切图后的图像写入Minio对象存储指定目录下；
所述缺陷扩倍切图预处理策略采用：当Web端页面请求中的预处理策略为PR切图预处理策略，并且正常倍数、漏失倍数或过杀倍数大于1时，进行扩倍切图操作，根据当前异步加载图片对应标注信息扩倍采用PR切图策略切图；
对已经切图后的图片的标注信息进行坐标点的刷新，并持久化到Minio对象存储中；在标注坐标点被刷新的同时，计算原图中其他未完全被切图矩形包含的标注矩形，并且与切图矩形交集IOU大于预设值的矩形的坐标点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211417163.0A CN115496749B (zh) | 2022-11-14 | 2022-11-14 | 基于目标检测训练预处理的产品缺陷检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211417163.0A CN115496749B (zh) | 2022-11-14 | 2022-11-14 | 基于目标检测训练预处理的产品缺陷检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115496749A true CN115496749A (zh) | 2022-12-20 |
| CN115496749B CN115496749B (zh) | 2023-01-31 |
Family
ID=85035306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211417163.0A Active CN115496749B (zh) | 2022-11-14 | 2022-11-14 | 基于目标检测训练预处理的产品缺陷检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115496749B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953404A (zh) * | 2023-03-14 | 2023-04-11 | 常州微亿智造科技有限公司 | 应用于工业质检的切图方法及装置 |
| CN117763355A (zh) * | 2023-12-21 | 2024-03-26 | 正泰集团研发中心(上海)有限公司 | 工业质检模型的迭代训练系统、方法及工业质检系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107790403A (zh) * | 2017-10-18 | 2018-03-13 | 四川长虹电器股份有限公司 | 一种财务票据的分拣系统及财务票据的分拣方法 |
| US20190065323A1 (en) * | 2017-08-25 | 2019-02-28 | Vmware, Inc. | Containerized application snapshots |
| US20190138235A1 (en) * | 2017-11-08 | 2019-05-09 | Robin Systems, Inc. | Allocating Storage Requirements In A Distributed Storage System |
| CN110287857A (zh) * | 2019-06-20 | 2019-09-27 | 厦门美图之家科技有限公司 | 一种特征点检测模型的训练方法 |
| CN111241892A (zh) * | 2018-11-29 | 2020-06-05 | 中科视语(北京)科技有限公司 | 一种基于多神经网络模型联合优化的人脸识别方法及系统 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
| CN111881476A (zh) * | 2020-07-28 | 2020-11-03 | 平安科技（深圳）有限公司 | 对象存储控制方法、装置、计算机设备及存储介质 |
| CN112104726A (zh) * | 2020-09-09 | 2020-12-18 | 上海微亿智造科技有限公司 | 一种工业物联网对象存储实时监测系统 |
| CN112579567A (zh) * | 2020-12-14 | 2021-03-30 | 常州微亿智造科技有限公司 | 一种基于MinIO工业质检文件分布式存储系统及方法 |
| CN112927247A (zh) * | 2021-03-08 | 2021-06-08 | 常州微亿智造科技有限公司 | 基于目标检测的切图方法、切图装置和存储介质 |
| CN113538375A (zh) * | 2021-07-15 | 2021-10-22 | 合肥工业大学 | 一种基于YOLOv5的PCB缺陷检测方法 |
| CN113793333A (zh) * | 2021-11-15 | 2021-12-14 | 常州微亿智造科技有限公司 | 应用于工业质检的缺陷图片生成方法及装置 |
| CN114119480A (zh) * | 2021-10-26 | 2022-03-01 | 北京临近空间飞行器系统工程研究所 | 一种基于深度学习的裂纹缺陷检测系统 |
| CN114140647A (zh) * | 2021-11-26 | 2022-03-04 | 蜂巢能源科技有限公司 | 电芯极组极片模糊图像识别的算法 |
| CN114817176A (zh) * | 2022-04-24 | 2022-07-29 | 福建财通信息科技有限公司 | 一种基于Nginx+MinIO+Redis的分布式文件存储系统及方法 |
| CN114860932A (zh) * | 2022-04-24 | 2022-08-05 | 福建财通信息科技有限公司 | 一种日志信息获取和监控方法 |
| CN114925337A (zh) * | 2022-05-18 | 2022-08-19 | 东软睿驰汽车技术(大连)有限公司 | 数据的标注方法、装置和电子设备 |
-
2022
- 2022-11-14 CN CN202211417163.0A patent/CN115496749B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190065323A1 (en) * | 2017-08-25 | 2019-02-28 | Vmware, Inc. | Containerized application snapshots |
| CN107790403A (zh) * | 2017-10-18 | 2018-03-13 | 四川长虹电器股份有限公司 | 一种财务票据的分拣系统及财务票据的分拣方法 |
| US20190138235A1 (en) * | 2017-11-08 | 2019-05-09 | Robin Systems, Inc. | Allocating Storage Requirements In A Distributed Storage System |
| CN111241892A (zh) * | 2018-11-29 | 2020-06-05 | 中科视语(北京)科技有限公司 | 一种基于多神经网络模型联合优化的人脸识别方法及系统 |
| CN110287857A (zh) * | 2019-06-20 | 2019-09-27 | 厦门美图之家科技有限公司 | 一种特征点检测模型的训练方法 |
| CN111881476A (zh) * | 2020-07-28 | 2020-11-03 | 平安科技（深圳）有限公司 | 对象存储控制方法、装置、计算机设备及存储介质 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
| CN112104726A (zh) * | 2020-09-09 | 2020-12-18 | 上海微亿智造科技有限公司 | 一种工业物联网对象存储实时监测系统 |
| CN112579567A (zh) * | 2020-12-14 | 2021-03-30 | 常州微亿智造科技有限公司 | 一种基于MinIO工业质检文件分布式存储系统及方法 |
| CN112927247A (zh) * | 2021-03-08 | 2021-06-08 | 常州微亿智造科技有限公司 | 基于目标检测的切图方法、切图装置和存储介质 |
| CN113538375A (zh) * | 2021-07-15 | 2021-10-22 | 合肥工业大学 | 一种基于YOLOv5的PCB缺陷检测方法 |
| CN114119480A (zh) * | 2021-10-26 | 2022-03-01 | 北京临近空间飞行器系统工程研究所 | 一种基于深度学习的裂纹缺陷检测系统 |
| CN113793333A (zh) * | 2021-11-15 | 2021-12-14 | 常州微亿智造科技有限公司 | 应用于工业质检的缺陷图片生成方法及装置 |
| CN114140647A (zh) * | 2021-11-26 | 2022-03-04 | 蜂巢能源科技有限公司 | 电芯极组极片模糊图像识别的算法 |
| CN114817176A (zh) * | 2022-04-24 | 2022-07-29 | 福建财通信息科技有限公司 | 一种基于Nginx+MinIO+Redis的分布式文件存储系统及方法 |
| CN114860932A (zh) * | 2022-04-24 | 2022-08-05 | 福建财通信息科技有限公司 | 一种日志信息获取和监控方法 |
| CN114925337A (zh) * | 2022-05-18 | 2022-08-19 | 东软睿驰汽车技术(大连)有限公司 | 数据的标注方法、装置和电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953404A (zh) * | 2023-03-14 | 2023-04-11 | 常州微亿智造科技有限公司 | 应用于工业质检的切图方法及装置 |
| CN117763355A (zh) * | 2023-12-21 | 2024-03-26 | 正泰集团研发中心(上海)有限公司 | 工业质检模型的迭代训练系统、方法及工业质检系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115496749B (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115496749B (zh) | 基于目标检测训练预处理的产品缺陷检测方法及系统 | |
| CN116052193B (zh) | Rpa界面动态表格的拾取和匹配方法及系统 | |
| CN115810005B (zh) | 基于并行计算的瓦楞纸箱缺陷检测加速方法、系统、设备及存储介质 | |
| CN116486759B (zh) | 一种标识显示智能调节方法、装置、设备及存储介质 | |
| CN113591645A (zh) | 一种基于区域卷积神经网络的电力设备红外图像识别方法 | |
| CN110909743A (zh) | 图书盘点方法及图书盘点系统 | |
| CN111598084A (zh) | 缺陷分割网络训练方法、装置、设备及可读存储介质 | |
| CN115146327A (zh) | 用于空调行业的cad文件辅助处理方法及系统 | |
| CN117557538A (zh) | Pcb表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN109657671A (zh) | 铭牌文字识别方法、装置、计算机设备和存储介质 | |
| CN117853778A (zh) | 一种基于改进的htc铸件dr图像缺陷识别方法 | |
| CN116167910B (zh) | 文本编辑方法、装置、计算机设备及计算机可读存储介质 | |
| CN112634286A (zh) | 图像的裁剪方法及装置 | |
| CN112861652A (zh) | 基于卷积神经网络的视频目标跟踪与分割方法及系统 | |
| CN116596903A (zh) | 缺陷识别方法、装置、电子设备及可读存储介质 | |
| Ashourpour et al. | Real-Time Defect and Object Detection in Assembly Line: A Case for In-Line Quality Inspection | |
| CN114399720B (zh) | 一种生产线上物品完整性检测方法及装置 | |
| CN116152169A (zh) | 基于改进YOLOv5s模型的印刷电路板缺陷检测方法 | |
| CN114677342A (zh) | 一种无监督缺陷检测方法 | |
| US11928808B2 (en) | Wafer detection method, device, apparatus, and storage medium | |
| CN115565000A (zh) | 一种基于目标检测的图像标注方法、系统、设备和介质 | |
| CN114663975A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN110489584B (zh) | 基于密集连接的MobileNets模型的图像分类方法及系统 | |
| CN114022723A (zh) | 一种用于神经网络训练的数据集生成方法和装置 | |
| CN113034432A (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |