CN112802016A - 基于深度学习的实时布匹缺陷检测方法及系统 - Google Patents

基于深度学习的实时布匹缺陷检测方法及系统 Download PDF

Info

Publication number
CN112802016A
CN112802016A CN202110334060.7A CN202110334060A CN112802016A CN 112802016 A CN112802016 A CN 112802016A CN 202110334060 A CN202110334060 A CN 202110334060A CN 112802016 A CN112802016 A CN 112802016A
Authority
CN
China
Prior art keywords
defect
cloth
real
image
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110334060.7A
Other languages
English (en)
Other versions
CN112802016B (zh
Inventor
张勇
颜庚潇
赵东宁
廉德亮
梁长垠
曾庆好
何钦煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110334060.7A priority Critical patent/CN112802016B/zh
Publication of CN112802016A publication Critical patent/CN112802016A/zh
Application granted granted Critical
Publication of CN112802016B publication Critical patent/CN112802016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种基于深度学习的实时布匹缺陷检测方法及系统，所述方法包括：步骤1：采集不同种类布匹缺陷图像，构建缺陷数据集；步骤2：先进行数据扩充，再使用生成对抗网络进行数据扩充；步骤3：对扩充后的缺陷数据集进行标注处理；步骤4：构建深度学习目标检测网络进行布匹缺陷检测；步骤5：训练布匹缺陷检测网络；步骤6：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。本发明能够省去人工设计特征，提高缺陷检测系统鲁棒性，且大幅提升检测性能，并且能够解放人力，进一步提高纺织业智能化程度。

Description

基于深度学习的实时布匹缺陷检测方法及系统
技术领域
本发明涉及布匹缺陷检测技术领域，尤其涉及一种基于深度学习的实时布匹缺陷检测方法及系统。
背景技术
在布匹生产中，布匹的质量是重中之重，不仅和人们的生活息息相关，还直接影响到产业发展，攸关企业生命。目前在纺织服装生产企业主要通过专业的布匹检验人员站在验布设备前，通过肉眼发现布面疵点再进行疵点的标记或者记录。但依靠人工验布存在很多问题——缺陷检出率低、招工难且人员成本高，并且验布员注意力无法持续维持，验布速度较慢，若验布时间过长，验布工会产生疲劳，检测效率就会大打折扣，很不稳定。因此利用计算机来帮助人类进行缺陷检测已经是大势所趋，人们将布匹图拍下来输入到计算机中，让计算机根据一些图像处理算法来进行缺陷检测，然而，传统图像处理一般都需要针对不同的场景来手工设计特征，因此鲁棒性不够，往往换一种场景，效果就会变差，检测速度也不理想，并且布匹缺陷种类往往较多，很难进行手工设计缺陷特征。
依靠深度学习进行缺陷检测能取得较好的检测效果，但其需要大量的数据样本作为基础，如果数据量不够，往往效果不是很理想，而在实际生产中，带缺陷的数据样本往往较少，无法给深度模型带来很好效果。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于深度学习的实时布匹缺陷检测方法及系统，以实现在保证检测精度的同时尽可能提高检测速度，提高自动布匹缺陷检测机器的工作效率以解放人力，提升纺织业的智能化程度。
为了解决上述技术问题，本发明实施例提出了一种基于深度学习的实时布匹缺陷检测方法，包括：
步骤1：采集不同种类布匹缺陷图像，构建缺陷数据集；
步骤2：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
步骤3：对扩充后的缺陷数据集进行标注处理；
步骤4：构建深度学习目标检测网络进行布匹缺陷检测；
步骤5：训练布匹缺陷检测网络；
步骤6：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
进一步地，步骤1中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
进一步地，步骤2中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))，生成对抗网络的优化公式为：
Figure BDA0002996552880000021
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure BDA0002996552880000022
表示期望，
Figure BDA0002996552880000023
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure BDA0002996552880000024
表示生成器G生成图像能够骗过判别器的期望。
进一步地，步骤4中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure BDA0002996552880000025
其中xi表示输入，yi表示输出，ai是(1,+∞)区间内的固定参数。
进一步地，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure BDA0002996552880000026
Figure BDA0002996552880000031
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi,yi,wi,hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure BDA0002996552880000032
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure BDA0002996552880000033
否则该值为0，
Figure BDA0002996552880000034
表示第i个网格的第j个anchor box不负责预测该目标的概率，与
Figure BDA0002996552880000035
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure BDA0002996552880000036
表示预测的类别置信度。
相应地，本发明实施例还提供了一种基于深度学习的实时布匹缺陷检测系统，包括：
采集模块：采集不同种类布匹缺陷图像，构建缺陷数据集；
扩充模块：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
标注模块：对扩充后的缺陷数据集进行标注处理；
构建模块：构建深度学习目标检测网络进行布匹缺陷检测；
训练模块：训练布匹缺陷检测网络；
检测模块：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
进一步地，采集模块中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
进一步地，扩充模块中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))，生成对抗网络的优化公式为：
Figure BDA0002996552880000037
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure BDA0002996552880000041
表示期望，
Figure BDA0002996552880000042
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure BDA0002996552880000043
表示生成器G生成图像能够骗过判别器的期望。
进一步地，构建模块中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure BDA0002996552880000044
其中xi表示输入，yi表示输出，ai是(1,+∞)区间内的固定参数。
进一步地，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure BDA0002996552880000045
Figure BDA0002996552880000046
Figure BDA0002996552880000047
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi,yi,wi,hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure BDA0002996552880000048
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure BDA0002996552880000049
否则该值为0，
Figure BDA00029965528800000410
表示第i个网格的第j个anchor box不负责预测该目标的概率，与
Figure BDA00029965528800000411
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure BDA00029965528800000412
表示预测的类别置信度。
本发明的有益效果为：
本发明使用深度学习的技术，针对缺陷样本过少的问题，使用生成对抗网络得到大量近似真实缺陷的图像数据，以达到数据扩充的目的，从而提升模型性能，并且选择检测速度和检测精度均较高的深度学习目标检测网络来进行缺陷检测，能够有效实现布匹缺陷实时检测的目的，与传统图像处理技术相比，能够省去人工设计特征，提高缺陷检测系统鲁棒性，且大幅提升检测性能，并且能够解放人力，进一步提高纺织业智能化程度。
附图说明
图1是本发明实施例的基于深度学习的实时布匹缺陷检测方法的流程图。
图2是本发明实施例基于生成对抗网络进行数据集扩充的原理图。
图3是本发明实施例基于深度学习目标检测算法的原理图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例的基于深度学习的实时布匹缺陷检测方法首先利用生成对抗网络来生成需要的缺陷数据，然后再利用深度学习目标检测网络进行训练，训练得到最优模型之后将其保存，在测试时将模型文件加载进网络，此时输入一张布匹图像，本发明实施例的基于深度学习的实时布匹缺陷检测系统就能自动通过模型推断出结果。
请参照图1～图3，本发明实施例的基于深度学习的实时布匹缺陷检测方法，包括：
步骤1：建立布匹图像数据采集环境，采集不同种类布匹缺陷图像，构建缺陷数据集；
步骤2：先对缺陷数据集的图像进行常规数据扩充，即对图像进行平移、旋转等操作，获得一定数量的新数据，再使用生成对抗网络对缺陷数据集进行数据扩充；
步骤3：对扩充后的缺陷数据集进行标注处理；
步骤4：构建深度学习目标检测网络进行布匹缺陷检测；
步骤5：训练布匹缺陷检测网络；
步骤6：利用工业摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
在步骤1中，建立布匹图像数据采集环境，采集不同种类布匹缺陷的数据集。在本实施方式中，通过构建自动抓拍图像系统来建立布匹图像数据采集环境，所构建的自动抓拍图像系统包括硬件模块有：布匹传送带、工业高速摄像机、一台计算机，将摄像机置于定点传送带的上方，传送带以匀速传送布匹，高速摄像机快速抓取布匹图像，并将其输出保存在计算机中。其中，摄像机抓取的图像为完整高清图像且图像高度和宽度应为512的倍数。缺陷类别包括正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓及其他。
在步骤2中，首先进行常规数据扩充，如平移、旋转、对称、缩放、裁剪、填充、左右翻转、颜色变换等操作，然后利用生成对抗网络对缺陷数据集进行数据扩充。第一步的数据扩充是为了之后训练生成对抗网络时有较多真实数据，以取得更好效果。然后使用生成对抗网络进行进一步的数据扩充，生成对抗网络由生成器G和判别器D组成，生成器G采用U-Net的网络架构，输入为512*512*3的图像，分别表示图像的高度、宽度和通道数，网络的左半部分可以看作是编码器，将图像的特征进行提取，右半部分则是解码器，将图像还原成512*512*3大小且带有缺陷的图像，以达到缺陷图像生成的目的。判别器D采用多层ResNet的网络结构，输入一张512*512*3的图像，输出一个0～1之间的数值，该数值表示输入图像是否真实的概率。经过对抗训练之后，生成对抗网络会达到一种平衡状态，此时生成器G生成的缺陷图像近似真实缺陷图像，D(G(z))≈0.5,从而达到了缺陷数据扩充的目的，优化公式为：
Figure BDA0002996552880000061
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像。D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure BDA0002996552880000062
表示期望，
Figure BDA0002996552880000063
表示判别器D判别样本是不是从pdata(x)中取出来的期望，
Figure BDA0002996552880000064
表示生成器G生成图像能够骗过判别器的期望，对该公式而言，minGmaxDV(D,G)，即对于判别器D来说要尽量使公式最大化，即判断能力强，而对生成器G来说要尽量是公式小，即使得生成的数据接近真实样本。具体如图2所示。
在步骤3中，对扩充后的缺陷数据集进行标注处理。标签文件按照VOC格式建立，标签类别则为缺陷种类，包括正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓及其他。
在步骤4中，构建深度学习目标检测网络进行布匹缺陷检测。具体为使用YOLOv3进行目标检测，该网络的backbone为Darknet-53，是由一些3*3的卷积层、1*1的卷积层和一些残差块构成。YOLOv3有三个不同特征尺度的输出，分别是13*13*m，26*26*m，52*52*m，其中m表示每个格子有多少个值，比如使用VOC数据集训练，目标检测种类为20，YOLOv3中每个cell有3个box，每个box有(x,y,w,h,confidence)5个基本参数，分别表示目标的坐标和置信度，所以此时m＝3*(5+20)＝75。YOLOv3在类别预测的代价函数上用逻辑回归层来对每个类别做二分类，主要用到sigmoid函数，该函数将输出约束在0～1的范围中，若该值大于0.5，这表示属于该类，因此一个框就可预测多个类别，其具体公式如下：
Figure BDA0002996552880000071
其中，z表示输入，σ(z)表示输出。
YOLOv3中使用Leaky ReLU作为激活函数，其表达式为：
Figure BDA0002996552880000072
其中xi表示输入，yi表示输出，ai是(1,+∞)区间内的固定参数。
使用batch normalization作为正则化。
在YOLOv3中，整体loss分为位置坐标loss、置信度loss以及类别loss三部分。
Figure BDA0002996552880000073
Figure BDA0002996552880000074
Figure BDA0002996552880000075
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi,yi,wi,hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure BDA0002996552880000081
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure BDA0002996552880000082
否则该值为0，
Figure BDA0002996552880000083
表示第i个网格的第j个anchor box不负责预测该目标的概率，与
Figure BDA0002996552880000084
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure BDA0002996552880000085
表示预测的类别置信度，包括包含目标的可能性以及边界框的准确度(与真实框的IOU)。其具体网络架构请参考图3。
在步骤5中，训练布匹缺陷检测网络。将步骤3中得到的数据集按照7：3的比例划分训练集和测试集，通过反向传播约束步骤4中的总loss，使其尽可能小，在训练集和测试集上分别评估训练模型优劣，最后不断调整训练参数得到最优模型。
在步骤6中，将步骤S5中得到的最优模型参数文件加载进模型中，利用工业摄像机对布匹在传送带上进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中，使用性能较好的GPU如2080Ti来进行运算，能够达到实时检测的效果，从而能够实时判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
本发明实施例的基于深度学习的实时布匹缺陷检测系统包括：
采集模块：采集不同种类布匹缺陷图像，构建缺陷数据集；
扩充模块：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
标注模块：对扩充后的缺陷数据集进行标注处理(标签文件按照VOC格式建立，标签类别则为缺陷种类，包括正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓及其他)；
构建模块：构建深度学习目标检测网络进行布匹缺陷检测；
训练模块：训练布匹缺陷检测网络；
检测模块：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
作为一种实施方式，采集模块中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
作为一种实施方式，扩充模块中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))。生成器G采用U-Net的网络架构，输入为512*512*3的图像，分别表示图像的高度、宽度和通道数，网络的左半部分可以看作是编码器，将图像的特征进行提取，右半部分则是解码器，将图像还原成512*512*3大小且带有缺陷的图像，以达到缺陷图像生成的目的。判别器D采用多层ResNet的网络结构，输入一张512*512*3的图像，输出一个0～1之间的数值，该数值表示输入图像是否真实的概率。经过对抗训练之后，生成对抗网络会达到一种平衡状态，此时生成器G生成的缺陷图像近似真实缺陷图像，D(G(z))≈0.5,从而达到了缺陷数据扩充的目的，生成对抗网络的优化公式为：
Figure BDA0002996552880000091
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure BDA0002996552880000092
表示期望，
Figure BDA0002996552880000093
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure BDA0002996552880000094
表示生成器G生成图像能够骗过判别器的期望。对该公式而言，minGmaxDV(D,G)，即对于判别器D来说要尽量使公式最大化，即判断能力强，而对生成器G来说要尽量是公式小，即使得生成的数据接近真实样本，具体如图2所示。
作为一种实施方式，构建模块中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure BDA0002996552880000095
其中xi表示输入，yi表示输出，ai是(1,+∞)区间内的固定参数。
作为一种实施方式，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure BDA0002996552880000096
Figure BDA0002996552880000101
Figure BDA0002996552880000102
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi,yi,wi,hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure BDA0002996552880000103
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure BDA0002996552880000104
否则该值为0，
Figure BDA0002996552880000105
表示第i个网格的第j个anchor box不负责预测该目标的概率，与
Figure BDA0002996552880000106
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure BDA0002996552880000107
表示预测的类别置信度。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (10)

1.一种基于深度学习的实时布匹缺陷检测方法，其特征在于，包括：
步骤1：采集不同种类布匹缺陷图像，构建缺陷数据集；
步骤2：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
步骤3：对扩充后的缺陷数据集进行标注处理；
步骤4：构建深度学习目标检测网络进行布匹缺陷检测；
步骤5：训练布匹缺陷检测网络；
步骤6：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
2.如权利要求1所述的基于深度学习的实时布匹缺陷检测方法，其特征在于，步骤1中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
3.如权利要求1所述的基于深度学习的实时布匹缺陷检测方法，其特征在于，步骤2中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))，生成对抗网络的优化公式为：
Figure FDA0002996552870000011
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure FDA0002996552870000012
表示期望，
Figure FDA0002996552870000013
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure FDA0002996552870000014
表示生成器G生成图像能够骗过判别器的期望。
4.如权利要求1所述的基于深度学习的实时布匹缺陷检测方法，其特征在于，步骤4中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure FDA0002996552870000021
其中xi表示输入，yi表示输出，ai是(1，+∞)区间内的固定参数。
5.如权利要求4所述的基于深度学习的实时布匹缺陷检测方法，其特征在于，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure FDA0002996552870000022
Figure FDA0002996552870000023
Figure FDA0002996552870000024
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi，yi，wi，hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure FDA0002996552870000025
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure FDA0002996552870000026
否则该值为0，
Figure FDA0002996552870000027
表示第i个网格的第j个anchorbox不负责预测该目标的概率，与
Figure FDA0002996552870000028
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure FDA0002996552870000029
表示预测的类别置信度。
6.一种基于深度学习的实时布匹缺陷检测系统，其特征在于，包括：
采集模块：采集不同种类布匹缺陷图像，构建缺陷数据集；
扩充模块：先对缺陷数据集的图像进行数据扩充，再使用生成对抗网络对缺陷数据集进行数据扩充；
标注模块：对扩充后的缺陷数据集进行标注处理；
构建模块：构建深度学习目标检测网络进行布匹缺陷检测；
训练模块：训练布匹缺陷检测网络；
检测模块：利用摄像机对布匹进行实时图像抓取，将抓取的图像输入到训练好的布匹缺陷检测网络中判断图中是否存在缺陷并确定缺陷类别，定位缺陷，最后将结果保存到输出文件中。
7.如权利要求6所述的基于深度学习的实时布匹缺陷检测系统，其特征在于，采集模块中，布匹缺陷种类分为正常、黑点、划痕、孔、油渍、毛斑、破边、缺经、缺纬、吊弓中的一种或多种，并将采集的图像的比例切割成512*512大小进行分类。
8.如权利要求6所述的基于深度学习的实时布匹缺陷检测系统，其特征在于，扩充模块中，生成对抗网络由一个生成器G和一个判别器D构成，生成器G接收一个正常的布匹图像z，然后生成带有指定缺陷的图像G(z)，再经过判别器D判断图像是否属于原始数据集，得到D(G(z))，生成对抗网络的优化公式为：
Figure FDA0002996552870000031
其中，x表示真实布匹缺陷图像，z表示输入生成器G的正常布匹图像，G(z)表示生成器G生成的缺陷图像，D(x)表示判别器D判断真实缺陷图像是否真实的概率，该值越接近1越好，D(G(z))表示判别器D判断生成器G生成的图像是否真实的概率，pdata表示真实数据的分布，pz表示生成器输入图像的分布，
Figure FDA0002996552870000032
表示期望，
Figure FDA0002996552870000033
表示判别器D判别样本是否是从pdata(x)中取出来的期望，
Figure FDA0002996552870000034
表示生成器G生成图像能够骗过判别器的期望。
9.如权利要求6所述的基于深度学习的实时布匹缺陷检测系统，其特征在于，构建模块中，采用YOLOv3检测网络架构，并采用Leaky ReLU作为激活函数，其表达式为：
Figure FDA0002996552870000035
其中xi表示输入，yi表示输出，ai是(1，+∞)区间内的固定参数。
10.如权利要求9所述的基于深度学习的实时布匹缺陷检测系统，其特征在于，在YOLOv3中，整体loss分为位置坐标损失lbox、置信度损失lobj以及类别损失lcls三部分，公式如下所示：
Figure FDA0002996552870000036
Figure FDA0002996552870000037
Figure FDA0002996552870000038
lloss＝lbox+lobj+lcls；
其中，λcoord表示定位误差的权值；xi，yi，wi，hi表示预测的目标框的位置信息，分别表示框的左上角处的横坐标，纵坐标以及框的宽度和高度；S2表示网格数有S*S个，具体为13*13，26*26，52*52，B表示每个网格产生B个候选框anchor box，
Figure FDA0002996552870000041
表示第i个网格的第j个anchor box负责预测这个目标的概率，如果负责，则
Figure FDA0002996552870000042
否则该值为0，
Figure FDA0002996552870000043
表示第i个网格的第j个anchorbox不负责预测该目标的概率，与
Figure FDA0002996552870000044
正好相反；pi(c)表示属于类别c的概率；ci表示类别标签置信度，
Figure FDA0002996552870000045
表示预测的类别置信度。
CN202110334060.7A 2021-03-29 2021-03-29 基于深度学习的实时布匹缺陷检测方法及系统 Active CN112802016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334060.7A CN112802016B (zh) 2021-03-29 2021-03-29 基于深度学习的实时布匹缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334060.7A CN112802016B (zh) 2021-03-29 2021-03-29 基于深度学习的实时布匹缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN112802016A true CN112802016A (zh) 2021-05-14
CN112802016B CN112802016B (zh) 2023-08-08

Family

ID=75815934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334060.7A Active CN112802016B (zh) 2021-03-29 2021-03-29 基于深度学习的实时布匹缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN112802016B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298190A (zh) * 2021-07-05 2021-08-24 四川大学 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法
CN113686878A (zh) * 2021-09-03 2021-11-23 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN113888485A (zh) * 2021-09-23 2022-01-04 浙江工业大学 一种基于深度学习的磁芯表面缺陷的检测方法
CN114119607A (zh) * 2022-01-20 2022-03-01 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN114332084A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于深度学习的pcb表面缺陷检测方法
CN114398818A (zh) * 2021-06-02 2022-04-26 江苏盛邦纺织品有限公司 基于深度学习的纺织提花检测方法及系统
CN114973335A (zh) * 2022-07-29 2022-08-30 深圳叮当科技技术有限公司 基于深度学习的工地安全行为监测方法、装置及电子设备
CN116484259A (zh) * 2023-04-28 2023-07-25 北京建筑大学 一种城市管网缺陷位置定位分析方法和系统
CN117011289A (zh) * 2023-09-27 2023-11-07 广州中浩控制技术有限公司 用于软胶囊生产的质量检验、系统、介质及计算机设备
CN118656597A (zh) * 2024-08-16 2024-09-17 深圳市宝田精工科技有限公司 基于深度学习实现通讯模具组件的效果分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110930470A (zh) * 2019-11-18 2020-03-27 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的布匹缺陷图像生成方法
CN111028204A (zh) * 2019-11-19 2020-04-17 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
CN111862059A (zh) * 2020-07-25 2020-10-30 苏州臻识信息科技有限公司 一种基于深度学习多层特征融合的布匹缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110930470A (zh) * 2019-11-18 2020-03-27 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的布匹缺陷图像生成方法
CN111028204A (zh) * 2019-11-19 2020-04-17 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
CN111862059A (zh) * 2020-07-25 2020-10-30 苏州臻识信息科技有限公司 一种基于深度学习多层特征融合的布匹缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岳慧慧;白瑞林;: "基于改进YOLOv3的木结缺陷检测方法研究", 自动化仪表, no. 03 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法
CN114398818A (zh) * 2021-06-02 2022-04-26 江苏盛邦纺织品有限公司 基于深度学习的纺织提花检测方法及系统
CN114398818B (zh) * 2021-06-02 2024-05-24 中科维卡(苏州)自动化科技有限公司 基于深度学习的纺织提花检测方法及系统
CN113298190A (zh) * 2021-07-05 2021-08-24 四川大学 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法
CN113686878A (zh) * 2021-09-03 2021-11-23 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN113686878B (zh) * 2021-09-03 2024-02-09 太原理工大学 一种特钢棒材表面缺陷多级联合检测方法及系统
CN113888485A (zh) * 2021-09-23 2022-01-04 浙江工业大学 一种基于深度学习的磁芯表面缺陷的检测方法
CN114119607A (zh) * 2022-01-20 2022-03-01 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统
CN114332084A (zh) * 2022-03-11 2022-04-12 齐鲁工业大学 一种基于深度学习的pcb表面缺陷检测方法
CN114973335A (zh) * 2022-07-29 2022-08-30 深圳叮当科技技术有限公司 基于深度学习的工地安全行为监测方法、装置及电子设备
CN116484259A (zh) * 2023-04-28 2023-07-25 北京建筑大学 一种城市管网缺陷位置定位分析方法和系统
CN117011289A (zh) * 2023-09-27 2023-11-07 广州中浩控制技术有限公司 用于软胶囊生产的质量检验、系统、介质及计算机设备
CN118656597A (zh) * 2024-08-16 2024-09-17 深圳市宝田精工科技有限公司 基于深度学习实现通讯模具组件的效果分析方法及系统
CN118656597B (zh) * 2024-08-16 2025-01-07 深圳市宝田精工科技有限公司 基于深度学习实现通讯模具组件的效果分析方法及系统

Also Published As

Publication number Publication date
CN112802016B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN112802016A (zh) 基于深度学习的实时布匹缺陷检测方法及系统
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN108520114B (zh) 一种纺织布疵点检测模型及其训练方法和应用
CN112102224B (zh) 一种基于深度卷积神经网络的布匹疵点识别方法
CN114842019B (zh) 一种电池板表面缺陷检测方法、系统、存储介质及设备
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
CN109509187A (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN115170475A (zh) 一种基于深度学习方法的无纺布缺陷检测方法
CN111951218A (zh) 一种混合深度学习模型的口红质检系统
Ma et al. A hierarchical attention detector for bearing surface defect detection
CN111986145A (zh) 一种基于Faster-RCNN的轴承滚子瑕疵检测方法
Luo et al. A lightweight detector based on attention mechanism for fabric defect detection
CN116703919A (zh) 一种基于最优传输距离损失模型的表面杂质检测方法
CN109975307A (zh) 基于统计投影训练的轴承表面缺陷检测系统及检测方法
CN115457026A (zh) 一种基于改进YOLOv5的纸病检测方法
CN114972246A (zh) 一种基于深度学习的模切产品表面缺陷检测方法
CN119067920A (zh) 一种基于yolov8双目视觉的木板缺陷在线检测方法
CN111709429A (zh) 一种基于卷积神经网络的机织物结构参数识别方法
CN112927222B (zh) 一种基于混合改进Faster R-CNN实现多种类光伏阵列热斑检测方法
Zhang et al. Defect detection of bottled liquor based on deep learning
CN116630269A (zh) 一种改进YOLOv5s的布匹瑕疵检测方法
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及系统
CN115239615A (zh) 基于ctpn的布匹缺陷检测方法
CN114235810A (zh) 一种基于面阵工业相机的布匹瑕疵自动检测方法
CN111488785A (zh) 基于窑内图像的回转窑工况检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210514

Assignee: Jinan Sihai Migu Network Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037683

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Foshan Sihai Migu Network Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037682

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Haikou Migu Network Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037681

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Haisi Enterprise Management Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037657

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: SHENZHEN MIGOU NETWORK TECHNOLOGY Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037655

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Bangqi Technology Innovation Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037649

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Tianqu XingKong Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980039401

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Manderson Investment Development Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980038695

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210514

Assignee: Shenzhen Xiaochao Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040188

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Zhuoya Automation Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040186

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Qianhaiji Weiye Industrial Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040185

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Wan District Communication Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980039393

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Yimei Smart Technology (Shenzhen) Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980039386

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen kuaizun Design Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980039086

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Kuaizhun Education Consulting Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980039080

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Yijia Yizhuang Energy Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980038986

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Zhidian New Energy Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980038984

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Huashun Tiancheng Energy Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980038708

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Dexin Quan Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980038655

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Wengu Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980038618

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Daowei Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037692

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: SHENZHEN BOBEITE TECHNOLOGY DEVELOPMENT Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037689

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Touchu Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980037688

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210514

Assignee: Shenzhen Huashun Yunqi Technology Service Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980041967

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241224

Application publication date: 20210514

Assignee: Shenzhen Yueya'er Network Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980041609

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241224

Application publication date: 20210514

Assignee: Zhiyun (Shenzhen) Industrial Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040607

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241224

Application publication date: 20210514

Assignee: Shenzhen Fengtang Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040519

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Xinhao Industrial Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040500

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Guanbiao Technical Service Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040467

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Rongshi Network Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040201

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Jingfeng Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040199

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Juwuyou Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040198

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen shichuangsheng Electronic Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040197

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Xuanyu Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040196

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Aokai Network Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040195

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241220

Application publication date: 20210514

Assignee: Shenzhen Yijia Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040194

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Fenglin Information Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040193

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241220

Application publication date: 20210514

Assignee: Shaanxi Juliusanluwu Information Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040191

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Bingchengtai Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040190

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241220

Application publication date: 20210514

Assignee: Chengdu Innovation Sanluwu Information Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040189

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Shenzhen Lvyang Environmental Protection Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040187

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

Application publication date: 20210514

Assignee: Jiajingjie Environmental Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040177

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen city wall Creative Technology Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040176

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Mingji Agricultural Development Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040174

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Ruofei Culture Communication Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040172

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen shengxin'an information consulting enterprise

Assignor: SHENZHEN University

Contract record no.: X2024980040171

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Wenchuang Intellectual Property Service Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040170

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Yingqi Consulting Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040168

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Shanyi Culture Media Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040167

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241224

Application publication date: 20210514

Assignee: Shenzhen yunduan smart IOT Culture Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040166

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: SHENZHEN SAIDIXING TECHNOLOGY Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040163

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Shenzhen Xinggongchang Technology Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980040158

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241223

Application publication date: 20210514

Assignee: Communication Infinite Software Technology (Shenzhen) Co.,Ltd.

Assignor: SHENZHEN University

Contract record no.: X2024980039405

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20241219

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210514

Assignee: SHENZHEN SUPERWORKER TECHNOLOGY CO.,LTD.

Assignor: SHENZHEN University

Contract record no.: X2025980002233

Denomination of invention: Real time fabric defect detection method and system based on deep learning

Granted publication date: 20230808

License type: Common License

Record date: 20250120