CN115100124A - 一种基于云服务的图像缺陷检测系统 - Google Patents

一种基于云服务的图像缺陷检测系统 Download PDF

Info

Publication number
CN115100124A
CN115100124A CN202210663412.8A CN202210663412A CN115100124A CN 115100124 A CN115100124 A CN 115100124A CN 202210663412 A CN202210663412 A CN 202210663412A CN 115100124 A CN115100124 A CN 115100124A
Authority
CN
China
Prior art keywords
defect detection
image defect
image
detection model
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210663412.8A
Other languages
English (en)
Inventor
吴宗泽
梁晓沣
魏聪
龚文超
任志刚
黄梓豪
刘臻铭
郭马萨迪
郑杰
周坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210663412.8A priority Critical patent/CN115100124A/zh
Publication of CN115100124A publication Critical patent/CN115100124A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于云服务的图像缺陷检测系统，涉及图像检测的技术领域，解决了当前综合在中央处理器上进行图像缺陷检测的方式检测速度慢、效率低，无法满足多个用户对缺陷图像检测的问题，客户端用于多个用户上传待检测图像，多个用户能够在客户端的请求端口发出缺陷检测的请求指令，并将若干个图像缺陷检测模型部署于云服务器上，然后根据用户需求对其训练，每一个图像缺陷检测模型均匹配有相应的图像缺陷检测功能和监听端口，对图像缺陷检测模型进行调用预处理，再利用监听端口监听客户端，保证部署于云服务器上的图像缺陷检测模型被调用的准确性，实现检测速度快，效率高，实现多个用户的高并发图像缺陷检测。

Description

一种基于云服务的图像缺陷检测系统
技术领域
本发明涉及图像检测的技术领域，特别涉及一种基于云服务的图像缺陷检测系统。
背景技术
云服务，又称为云计算服务，通过网络以按需、易扩展的方式获得所需服务，它是一种新兴的商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算能力、存储控件和各种软件服务，不仅计算能力强，而且还是PC的理想替代品；深度学习是一种具有多个卷积层的深度神经网络结构，基于深度学习在大量数据中的强大学习能力和特征提取能力，将深度学习技术应用在图像缺陷检测中，可以提高图像缺陷检测质量。
目前，图像缺陷检测技术主要有人工肉眼识别和计算机识别的方式，依靠人工肉眼识别的方式不仅耗费时间，还会漏检或者过检，计算机识别的方式主要是基于深度学习的理论，如现有技术中公开了一种目标检测模型构建方法，该方案总体上结合深度学习技术，构建深度卷积神经网络，将待检测图像输入深度卷积神经网络进行预测，可得到待检测图像的检测结果，但深度卷积神经网络的预测和训练过程均在中央处理器上进行，占用电脑内存量大，且检测速度慢，因此需要高性能、高配置的硬件和环境部署，而且仅能对单个图像进行缺陷检测，无法实现对多个用户的高并发图像进行缺陷检测。
发明内容
为解决当前综合在中央处理器上进行图像缺陷检测的方式检测速度慢、效率低，无法满足对多个用户缺陷图像进行检测的问题，本发明提出一种基于云服务的图像缺陷检测系统，能够实现检测速度快，效率高，实现多个用户的高并发图像缺陷检测。
为了达到上述技术效果，本发明的技术方案如下：
一种基于云服务的图像缺陷检测系统，所述系统包括：
客户端，用于多个用户上传待检测图像，客户端上设有请求端口；
若干个图像缺陷检测模型，部署于云服务器上，用于检测待检测图像的缺陷，每一个图像缺陷检测模型均匹配有相应的图像缺陷检测功能；
训练判断模块，部署于云服务器上，用于判断图像缺陷检测模型是否需要训练，若是，则利用云服务器的GPU集群，对需要训练的图像缺陷检测模型进行在线训练，获得训练好的图像缺陷检测模型，训练好的图像缺陷检测模型等待调用预处理；否则，对不需要训练的图像缺陷检测模型进行调用预处理；
请求传输模块，每一个图像缺陷检测模型均设有监听端口，用户根据缺陷检测需求，选择对应的图像缺陷检测模型进行调用，并通过客户端的请求端口发出缺陷检测的请求指令至监听端口；
监听判断模块，用于监听客户端，判断图像缺陷检测模型的监听端口是否接收到客户端的请求端口发出缺陷检测的请求指令，若是，则监听成功，采用Socket通信连接技术，图像缺陷检测模型与客户端相互通信，被调用的图像缺陷检测模型对待检测图像进行图像缺陷检测处理；否则，继续监听；
分析模块，用于分析图像缺陷检测处理结果，并将结果传输至客户端。
在本技术方案中，首先客户端用于多个用户上传待检测图像，多个用户能够在客户端的请求端口发出缺陷检测的请求指令，并将若干个图像缺陷检测模型部署于云服务器上，利用云服务器的GPU集群，加快对需要训练的图像缺陷检测模型的训练速度，每一个图像缺陷检测模型均匹配有相应的图像缺陷检测功能和监听端口，然后对不需要训练和训练好的图像缺陷检测模型进行调用预处理，使不需要训练和训练好的图像缺陷检测模型能够成功被调用，此外，用户通过请求端口发出缺陷检测的请求指令至监听端口，如果监听端口接收到客户端的请求端口发出请求指令的信息，证明请求端口与监听端口一致，利用Socket通信连接技术，使部署于云服务器上的图像缺陷检测模型与客户端相互通信，保证部署于云服务器上的图像缺陷检测模型被调用的准确性，实现检测速度快，效率高，实现多个用户的高并发图像缺陷检测。
优选地，所述请求传输模块、监听判断模块和分析模块也均部署于云服务器上，避免了在中央处理器上进行计算处理。
优选地，图像缺陷检测模型是否需要训练是根据用户需求选择的，图像缺陷检测模型本身具备统计功能，统计分析其自身历史被使用情况并反馈至用户，用户选择使用频次大于频次阈值的图像缺陷检测模型进行训练。
优选地，调用预处理是指对训练好的图像缺陷检测模型或不需要训练的图像缺陷检测模型进行监听准备，将训练好的图像缺陷检测模型或不需要训练的图像缺陷检测模型的监听端口部署在云服务器上监听客户端的请求端口，基于IO多路复用技术event poll，主动查询已经安全登录客户端的用户是否上传了待检测图像，将预进行缺陷检测的请求指令主动发送到云服务器上的handler接口，并分配到不同的处理线程中处理，处理线程分为One-Stage第一线程和Two-Stage第二线程，两条线程中含有不同的协程，每个协程分别代表一个图像缺陷检测模型，用户上传的待检测图像按顺序存储于处理队列中，并按一定顺序被缺陷检测，不同协程之间能互相跳转。
优选地，对需要训练的图像缺陷检测模型进行在线训练的具体步骤包括：
S1.获取一定数量的图像样本，组成图像数据集；
S2.标注每一个图像样本的缺陷位置的真实边界框，得到分别对应于每一个图像样本的图像标注样本；
S3.对图像数据集进行预处理，将图像数据集中的图像样本对应的图像标注样本划分为训练集、验证集和测试集；
S4.将训练集中的图像标注样本输入需要训练的图像缺陷检测模型，图像缺陷检测模型经过训练集中的图像标注样本的n轮训练，再采用损失函数衡量该图像缺陷检测模型训练的效果；
S5.在客户端调节图像缺陷检测模型的超参数，将验证集中的图像标注样本输入训练过程中的图像缺陷检测模型，生成图像标注样本的检测框，再利用验证集对训练过程中的图像缺陷检测模型进行评估，输出检测框和真实边界框的交集与检测框和真实边界框的并集之比，即交并比IOU，判断交并比IOU是否大于第一阈值，若是，则固定得到该交并比IOU结果的超参数，执行步骤S6；否则，返回S4；
S6.将测试集输入训练过程中的图像缺陷检测模型，根据输出结果得到衡量检测精度的均值平均精度mAP，设定第二阈值，判断均值平均精度mAP是否大于第二阈值，若是，则输出该图像缺陷检测模型；否则，返回步骤S4。
在此，将图像数据集中的图像样本对应的图像标注样本划分为训练集、验证集和测试集，利用训练集对图像缺陷检测模型进行训练，然后利用验证集对训练过程中的图像缺陷检测模型进行评估，并利用测试集测试图像缺陷检测模型的有效性，最后得出训练好的图像缺陷检测模型；
优选地，在步骤S4中，在训练过程中采用梯度下降的方式更新需要训练的图像缺陷检测模型的普通参数和权重。
优选地，在步骤S5中，所述超参数包括迭代次数和学习率，学习率按照0.1、0.001、0.0001、0.00001的顺序去调整。
优选地，在步骤S6中，图像缺陷检测模型利用测试集测试，输出测试集的图像标注样本中缺陷位置的预测边界框以及该预测边界框的分类概率，其中，设定不同置信度阈值，判断分类概率是否大于等于置信度阈值，若是，则将预测边界框内的目标划分为正样本；否则，将预测边界框内的目标划分为负样本，然后对正负样本进行分析处理，得到若干组准确率P和召回率R。
优选地，在步骤S6中，判断分类概率时会出现正确判断和错误判断的情况，对准确率P的计算公式如下：
Figure BDA0003692052590000041
其中，TP表示正确判断为正样本的数量，FP表示错误判断为正样本的数量；对召回率R的计算公式如下：
Figure BDA0003692052590000042
其中，FN表示错误判断为负样本的数量；
在每一组准确率P和召回率R中，将R作为横坐标，P作为纵坐标，得到若干个坐标点(R，P)，利用上述坐标点(R，P)绘制RP曲线，RP曲线上会出现若干个峰值点，每一个峰值点往左画一条线段直到与上一个峰值点的垂直线相交，将画出的线段与坐标轴围起来的面积设为平均精度AP，图像标注样本设有缺陷类别标签，对均值平均精度mAP的计算公式如下：
Figure BDA0003692052590000043
其中，q是不同的缺陷类别，AP是平均精度，AP(q)是所有缺陷类别的平均精度，QR是缺陷类别集合。
优选地，图像缺陷检测模型的整个在线训练过程均部署在云服务器的GPU集群。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于云服务的图像缺陷检测系统，首先客户端用于多个用户上传待检测图像，多个用户能够在客户端的请求端口发出缺陷检测的请求指令，并将若干个图像缺陷检测模型部署于云服务器上，利用云服务器的GPU集群，加快对需要训练的图像缺陷检测模型的训练速度，每一个图像缺陷检测模型均匹配有相应的图像缺陷检测功能和监听端口，然后对不需要训练和训练好的图像缺陷检测模型进行调用预处理，使不需要训练和训练好的图像缺陷检测模型能够成功被调用，此外，用户通过请求端口发出缺陷检测的请求指令至监听端口，如果监听端口接收到客户端的请求端口发出缺陷检测的请求指令，证明请求端口与监听端口一致，利用Socket通信连接技术，使部署于云服务器上的图像缺陷检测模型与客户端相互通信，保证部署于云服务器上的图像缺陷检测模型被调用的准确性，实现检测速度快，效率高，实现多个用户的高并发图像缺陷检测。
附图说明
图1表示本发明实施例中1提出的一种基于云服务的图像缺陷检测系统的结构图；
图2表示本发明实施例1中提出的多路IO复用高并发处理工作框图；
图3表示本发明实施例中2提出的图像缺陷检测模型进行在线训练的步骤图；
图4表示本发明实施例3中提出的RP曲线。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好地说明本实施例，附图某些部位会有省略、放大或缩小，并不代表实际尺寸，“上”“下”等部位方向的描述非对本专利的限制；
对于本领域技术人员来说，附图中某些公知内容说明可能省略是可以理解的；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
图1表示本发明实施例中1提出的一种基于云服务的图像缺陷检测系统的结构图，参见图1，包括以下系统：
客户端11，用于多个用户上传待检测图像，客户端上设有请求端口；
若干个图像缺陷检测模型12，部署于云服务器上，用于检测待检测图像的缺陷，每一个图像缺陷检测模型均匹配有相应的图像缺陷检测功能；
训练判断模块13，部署于云服务器上，用于判断图像缺陷检测模型是否需要训练，图像缺陷检测模型是否需要训练是根据用户需求选择的，图像缺陷检测模型本身具备统计功能，统计分析其自身历史被使用情况并反馈至用户，用户选择使用频次大于频次阈值的图像缺陷检测模型进行训练，若判断结果为是需要训练，则利用云服务器的GPU集群，对需要训练的图像缺陷检测模型进行在线训练，获得训练好的图像缺陷检测模型，训练好的图像缺陷检测模型等待调用预处理；否则，对不需要训练的图像缺陷检测模型进行调用预处理；
在训练判断模块13中，调用预处理是指对训练好的图像缺陷检测模型或不需要训练的图像缺陷检测模型进行监听准备，将训练好的图像缺陷检测模型或不需要训练的图像缺陷检测模型的监听端口部署于云服务器上并监听客户端的请求端口，基于IO多路复用技术event poll，主动查询已经安全登录客户端的用户是否上传了待检测图像，参见图2，将预进行缺陷检测的请求指令主动发送到云服务器上的handler接口，并分配到不同的处理线程中处理，处理线程分为One-Stage第一线程和Two-Stage第二线程，两条线程中含有不同的协程，每个协程分别代表一个图像缺陷检测模型，用户上传的待检测图像按顺序存储于处理队列中，并按一定顺序被缺陷检测，不同协程之间能互相跳转，即不同的图像缺陷检测模型可以互相跳转，比如第1图像缺陷检测模型可以跳转到第n+1图像缺陷检测模型，在调用一个图像缺陷检测模型时，可以暂时停止该图像缺陷检测模型，而调用另一个图像缺陷检测模型，其中，采用协程可以自定义线程的运行方向，避免了一个用户传入大量检测图片，要等待另一个用户的图片缺陷检测处理完后，才能进行处理的问题，保证每个用户能在短时间内完成图像缺陷检测；
请求传输模块14，每一个图像缺陷检测模型均设有监听端口，用户根据缺陷检测需求，选择对应的图像缺陷检测模型进行调用，并通过客户端的请求端口发出缺陷检测的请求指令至监听端口，每一个图像缺陷检测模型的监听端口均不同，为保证调用图像缺陷检测模型的准确性，客户端的请求端口需向监听端口发出缺陷检测的请求指令，监听端口接收到信息后才能保证客户端和图像缺陷检测模型完成连接，实现通信和数据传输；
监听判断模块15，用于监听客户端，传统的select/poll技术，当多个用户在客户端安全登陆后，会存在有不进行图像缺陷检测的用户，select/poll技术每次调用会线性扫描全部的客户端设备状态，客户端设备状态是指用户在客户端上传待检测图像和不上传待检测图像，导致检测性能下降，因此，在本监听判断模块，利用了IO多路复用的技术eventpoll，时刻主动监听客户端是否传入了照片，在同一时刻保证多个用户进行图像缺陷检测，提高检测性能，并判断图像缺陷检测模型的监听端口是否接收到客户端的请求端口发出缺陷检测的请求指令，若是，则监听成功，Socket通信连接技术是指网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket，建立网络通信连接至少要一对端口号，当端口号一致，服务端和客户端就能完成长连接，实现数据的传输，故本实施例采用Socket通信连接技术，图像缺陷检测模型与客户端相互通信，被调用的图像缺陷检测模型对待检测图像进行图像缺陷检测处理；否则，继续监听；
分析模块16，用于分析图像缺陷检测处理的结果，并将结果传输至客户端。
实施例2
参见图3，对需要训练的图像缺陷检测模型进行在线训练的具体步骤包括：
S1.获取一定数量图像样本，组成图像数据集；
S2.标注每一个图像样本的缺陷位置的真实边界框，得到分别对应于每一个图像样本的图像标注样本；
S3.对图像数据集进行预处理，将图像数据集中的图像样本对应的图像标注样本划分为训练集、验证集和测试集；
S4.将训练集中的图像标注样本输入需要训练的图像缺陷检测模型，图像缺陷检测模型经过训练集中的图像标注样本的n轮训练，再采用损失函数衡量该图像缺陷检测模型训练的效果；在训练过程中采用梯度下降的方式更新需要训练的图像缺陷检测模型的普通参数和权重；
S5.在客户端调节图像缺陷检测模型的超参数，将验证集中的图像标注样本输入训练过程中的图像缺陷检测模型，生成图像标注样本的检测框，再利用验证集对训练过程中的图像缺陷检测模型进行评估，输出检测框和真实边界框的交集与检测框和真实边界框的并集之比，即交并比IOU，判断交并比IOU是否大于第一阈值，若是，则固定得到该交并比IOU结果的超参数，执行步骤S6；否则，返回S4；所述超参数包括迭代次数和学习率，学习率按照0.1、0.001、0.0001、0.00001的顺序去调整；
S6.将测试集输入训练过程中的图像缺陷检测模型，根据输出结果得到衡量检测精度的均值平均精度mAP，设定第二阈值，判断均值平均精度mAP是否大于第二阈值，若是，则输出该图像缺陷检测模型；否则，返回步骤S4。
其中，图像缺陷检测模型的整个在线训练过程均部署在云服务器的GPU集群。
实施例3
参见图3及图4，在步骤S6中，图像缺陷检测模型利用测试集测试，输出测试集的图像标注样本中缺陷位置的预测边界框以及该预测边界框的分类概率，其中，设定3组置信度阈值，分别为0.9、0.8和0.7，判断分类概率是否大于等于置信度阈值，若是，则将预测边界框内的目标划分为正样本；否则，将预测边界框内的目标划分为负样本，然后对正负样本进行分析处理，得到与每一组置信度阈值对应的准确率P和召回率R；判断分类概率时会出现正确判断和错误判断的情况，对准确率P的计算公式如下：
Figure BDA0003692052590000081
其中，TP表示正确判断为正样本的数量，FP表示错误判断为正样本的数量；
对召回率R的计算公式如下：
Figure BDA0003692052590000082
其中，FN表示错误判断为负样本的数量；
设置第一组阈值置信度阈值为0.9，得到召回率R为0.33，准确率P为1；设置第二组阈值置信度阈值为0.8，得到召回率R为0.33，准确率P为0.5；设置第三组阈值置信度阈值为0.7，得到召回率R为0.67，准确率P为0.67；在每一组准确率P和召回率R中，将R作为横坐标，P作为纵坐标，得到3个坐标点(R，P)，分别为(0.33，1)、(0.33，0.5)和(0.67，0.67)，利用上述坐标点(R，P)绘制RP曲线，RP曲线上会出现2个峰值点，每一个峰值点往左画一条线段直到与上一个峰值点的垂直线相交，将画出的线段与坐标轴围起来的面积设为平均精度AP，图像标注样本设有缺陷类别标签，对均值平均精度mAP的计算公式如下：
Figure BDA0003692052590000083
其中，q是不同的缺陷类别，AP是平均精度，AP(q)是所有缺陷类别的平均精度，QR是缺陷类别集合。
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于云服务的图像缺陷检测系统，其特征在于，所述系统包括：
客户端，用于多个用户上传待检测图像，客户端上设有请求端口；
若干个图像缺陷检测模型，部署于云服务器上，用于检测待检测图像的缺陷，每一个图像缺陷检测模型均匹配有相应的图像缺陷检测功能；
训练判断模块，部署于云服务器上，用于判断图像缺陷检测模型是否需要训练，若是，则利用云服务器的GPU集群，对需要训练的图像缺陷检测模型进行在线训练，获得训练好的图像缺陷检测模型，训练好的图像缺陷检测模型等待调用预处理；否则，对不需要训练的图像缺陷检测模型进行调用预处理；
请求传输模块，每一个图像缺陷检测模型均设有监听端口，用户根据缺陷检测需求，选择对应的图像缺陷检测模型进行调用，并通过客户端的请求端口发出缺陷检测的请求指令至监听端口；
监听判断模块，用于监听客户端，判断图像缺陷检测模型的监听端口是否接收到客户端的请求端口发出缺陷检测的请求指令，若是，则监听成功，采用Socket通信连接技术，图像缺陷检测模型与客户端相互通信，被调用的图像缺陷检测模型对待检测图像进行图像缺陷检测处理；否则，继续监听；
分析模块，用于分析图像缺陷检测处理的结果，并将结果传输至客户端。
2.根据权利要求1所述的基于云服务的图像缺陷检测系统，其特征在于，所述请求传输模块、监听判断模块和分析模块也均部署于云服务器上。
3.根据权利要求2所述的基于云服务的图像缺陷检测系统，其特征在于，图像缺陷检测模型是否需要训练是根据用户需求选择的，图像缺陷检测模型本身具备统计功能，统计分析其自身历史被使用情况并反馈至用户，用户选择使用频次大于频次阈值的图像缺陷检测模型进行训练。
4.根据权利要求3所述的基于云服务的图像缺陷检测系统，其特征在于，调用预处理是指对训练好的图像缺陷检测模型或不需要训练的图像缺陷检测模型进行监听准备，将训练好的图像缺陷检测模型或不需要训练的图像缺陷检测模型的监听端口部署在云服务器上监听客户端的请求端口，基于IO多路复用技术event poll，主动查询已经安全登录客户端的用户是否上传了待检测图像，将预进行缺陷检测的请求指令主动发送到云服务器上的handler接口，并分配到不同的处理线程中处理，处理线程分为One-Stage第一线程和Two-Stage第二线程，两条线程中含有不同的协程，每个协程分别代表一个图像缺陷检测模型，用户上传的待检测图像按顺序存储于处理队列中，并按一定顺序被缺陷检测，不同协程之间能互相跳转。
5.根据权利要求2所述的基于云服务的图像缺陷检测系统，其特征在于，对需要训练的图像缺陷检测模型进行在线训练的具体步骤包括：
S1.获取一定数量的图像样本，组成图像数据集；
S2.标注每一个图像样本的缺陷位置的真实边界框，得到分别对应于每一个图像样本的图像标注样本；
S3.对图像数据集进行预处理，将图像数据集中的图像样本对应的图像标注样本划分为训练集、验证集和测试集；
S4.将训练集中的图像标注样本输入需要训练的图像缺陷检测模型，图像缺陷检测模型经过训练集中的图像标注样本的n轮训练，再采用损失函数衡量该图像缺陷检测模型训练的效果；
S5.在客户端调节图像缺陷检测模型的超参数，将验证集中的图像标注样本输入训练过程中的图像缺陷检测模型，生成图像标注样本的检测框，再利用验证集对训练过程中的图像缺陷检测模型进行评估，输出检测框和真实边界框的交集与检测框和真实边界框的并集之比，即交并比IOU，判断交并比IOU是否大于第一阈值，若是，则固定得到该交并比IOU结果的超参数，执行步骤S6；否则，返回S4；
S6.将测试集输入训练过程中的图像缺陷检测模型，根据输出结果得到衡量检测精度的均值平均精度mAP，设定第二阈值，判断均值平均精度mAP是否大于第二阈值，若是，则输出该图像缺陷检测模型；否则，返回步骤S4。
6.根据权利要求5所述的基于云服务的图像缺陷检测系统，其特征在于，在步骤S4中，在训练过程中采用梯度下降的方式更新需要训练的图像缺陷检测模型的普通参数和权重。
7.根据权利要求5所述的基于云服务的图像缺陷检测系统，其特征在于，在步骤S5中，所述超参数包括迭代次数和学习率，学习率按照0.1、0.001、0.0001、0.00001的顺序去调整。
8.根据权利要求5所述的基于云服务的图像缺陷检测系统，其特征在于，在步骤S6中，图像缺陷检测模型利用测试集测试，输出测试集的图像标注样本中缺陷位置的预测边界框以及该预测边界框的分类概率，其中，设定不同置信度阈值，判断分类概率是否大于等于置信度阈值，若是，则将预测边界框内的目标划分为正样本；否则，将预测边界框内的目标划分为负样本，然后对正负样本进行分析处理，得到若干组准确率P和召回率R。
9.根据权利要求8所述的基于云服务的图像缺陷检测系统，其特征在于，在步骤S6中，判断分类概率时会出现正确判断和错误判断的情况，对准确率P的计算公式如下：
Figure FDA0003692052580000031
其中，TP表示正确判断为正样本的数量，FP表示错误判断为正样本的数量；
对召回率R的计算公式如下：
Figure FDA0003692052580000032
其中，FN表示错误判断为负样本的数量；
在每一组准确率P和召回率R中，将R作为横坐标，P作为纵坐标，得到若干个坐标点(R，P)，利用上述坐标点(R，P)绘制RP曲线，RP曲线上会出现若干个峰值点，每一个峰值点往左画一条线段直到与上一个峰值点的垂直线相交，将画出的线段与坐标轴围起来的面积设为平均精度AP，图像标注样本设有缺陷类别标签，对均值平均精度mAP的计算公式如下：
Figure FDA0003692052580000033
其中，q是不同的缺陷类别，AP是平均精度，AP(q)是所有缺陷类别的平均精度，QR是缺陷类别集合。
10.根据权利要求5所述的基于云服务的图像缺陷检测系统，其特征在于，图像缺陷检测模型的整个在线训练过程均部署在云服务器的GPU集群。
CN202210663412.8A 2022-06-13 2022-06-13 一种基于云服务的图像缺陷检测系统 Pending CN115100124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210663412.8A CN115100124A (zh) 2022-06-13 2022-06-13 一种基于云服务的图像缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210663412.8A CN115100124A (zh) 2022-06-13 2022-06-13 一种基于云服务的图像缺陷检测系统

Publications (1)

Publication Number Publication Date
CN115100124A true CN115100124A (zh) 2022-09-23

Family

ID=83291116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210663412.8A Pending CN115100124A (zh) 2022-06-13 2022-06-13 一种基于云服务的图像缺陷检测系统

Country Status (1)

Country Link
CN (1) CN115100124A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843625A (zh) * 2023-06-05 2023-10-03 广东粤桨产业科技有限公司 工业质检场景的缺陷检测模型部署方法、系统及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843625A (zh) * 2023-06-05 2023-10-03 广东粤桨产业科技有限公司 工业质检场景的缺陷检测模型部署方法、系统及设备

Similar Documents

Publication Publication Date Title
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
CN109308490B (zh) 用于生成信息的方法和装置
EP3989104A1 (en) Facial feature extraction model training method and apparatus, facial feature extraction method and apparatus, device, and storage medium
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
CN107579858A (zh) 云主机的告警方法及装置、通信系统
CN115100124A (zh) 一种基于云服务的图像缺陷检测系统
CN111274084A (zh) 故障诊断方法、装置、设备及计算机可读存储介质
CN113821668A (zh) 数据分类识别方法、装置、设备及可读存储介质
CN112465055A (zh) 一种基于卷积神经网络的网络故障诊断方法
CN115686280A (zh) 深度学习模型管理系统、方法、计算机设备及存储介质
CN111476349A (zh) 一种模型测试方法及服务器
CN114327890A (zh) 一种多指标融合的容器配额推荐方法和系统
CN113902743A (zh) 一种基于云端计算的糖尿病视网膜病变的识别方法及装置
CN113704505A (zh) 一种基于智慧教育的大数据用户需求分析方法及服务器
CN114066438A (zh) 基于模型的监控数据展示方法、装置、设备和存储介质
CN112861809A (zh) 基于多目标视频分析的课堂抬头检测系统及其工作方法
CN112614570A (zh) 样本集标注、病理图像分类、分类模型构建方法及装置
CN115577797B (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
CN113259145A (zh) 网络切片的端到端组网方法、组网装置及网络切片设备
WO2023024578A1 (zh) 一种配置决策装置的方法、装置及相关设备
CN108985341A (zh) 一种神经网络模型的训练集评估方法及系统
CN111783869B (zh) 训练数据筛选方法、装置、电子设备及存储介质
CN114723074A (zh) 聚类联邦学习框架下的主动学习客户选择方法和装置
CN107743077A (zh) 一种评估信息‑物理融合系统网络性能的方法及装置
CN114692706A (zh) 模型训练方法、系统、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination