CN110554047A - 产品缺陷检测数据处理方法、装置、系统和设备 - Google Patents

产品缺陷检测数据处理方法、装置、系统和设备 Download PDF

Info

Publication number
CN110554047A
CN110554047A CN201910844469.6A CN201910844469A CN110554047A CN 110554047 A CN110554047 A CN 110554047A CN 201910844469 A CN201910844469 A CN 201910844469A CN 110554047 A CN110554047 A CN 110554047A
Authority
CN
China
Prior art keywords
product
defect detection
model
training
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910844469.6A
Other languages
English (en)
Other versions
CN110554047B (zh
Inventor
沈小勇
张文杰
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911273653.6A priority Critical patent/CN111024708B/zh
Priority to CN201910844469.6A priority patent/CN110554047B/zh
Publication of CN110554047A publication Critical patent/CN110554047A/zh
Application granted granted Critical
Publication of CN110554047B publication Critical patent/CN110554047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本申请涉及一种产品缺陷检测数据处理方法、装置、系统和设备，所述方法包括：接收产品缺陷检测模型生成请求，所述产品缺陷检测模型生成请求携带模型训练参数，所述模型训练参数根据用户的参数配置操作确定，所述模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别，得到训练样本；根据所述训练样本进行模型训练，生成目标缺陷检测模型，所述目标缺陷检测模型用于根据待测产品对应的待测图片对所述待测产品进行缺陷检测，得到所述待测产品的缺陷检测结果。上述方法得到的模型，产品缺陷检测效率高以及灵活性高。

Description

产品缺陷检测数据处理方法、装置、系统和设备
技术领域
本申请涉及产品检测领域，特别是涉及产品缺陷检测数据处理方法、装置、系统和设备。
背景技术
产品质量是制造业最为重视的生产指标之一，为了保证产品质量，在产品生产过程中对产品进行缺陷检测成为不可或缺的工序。例如，在摄像头生产车间，需要将生产过程中产生的有缺陷的摄像头挑选出来，避免有缺陷的摄像头直接流入到下一工序中。
目前，在对产品进行缺陷检测时，依赖于技术工人进行肉眼识别，人工识别存在个人对缺陷检测标准的理解差异和疲劳等因素，导致缺陷识别效率低。
发明内容
基于此，有必要针对上述缺陷识别效率低的问题，提供一种产品缺陷检测数据处理方法、装置、系统和设备。
一方面，提供了一种产品缺陷检测数据处理方法，所述方法包括:接收产品缺陷检测模型生成请求，所述产品缺陷检测模型生成请求携带模型训练参数，所述模型训练参数根据用户的参数配置操作确定，所述模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别，得到训练样本；根据所述训练样本进行模型训练，生成目标缺陷检测模型，所述目标缺陷检测模型用于根据待测产品对应的待测图片对所述待测产品进行缺陷检测，得到所述待测产品的缺陷检测结果。
一方面，提供了一种产品缺陷检测数据处理系统，所述系统包括：模型训练节点，接收产品缺陷检测模型生成请求，所述产品缺陷检测模型生成请求携带模型训练参数，根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别，得到训练样本，根据所述训练样本进行模型训练，生成目标缺陷检测模型，所述模型训练参数根据用户的参数配置操作确定，所述模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；产品缺陷检测节点，根据产品缺陷检测任务获取待测产品对应的待测图片，将所述待测图片到所述目标缺陷检测模型中，得到所述待测产品的缺陷检测结果。
一方面，提供了一种产品缺陷检测数据处理装置，所述装置包括:生成请求接收模块，用于接收产品缺陷检测模型生成请求，所述产品缺陷检测模型生成请求携带模型训练参数，所述模型训练参数根据用户的参数配置操作确定，所述模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；训练样本得到模块，用于根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别，得到训练样本；模型训练模块，用于根据所述训练样本进行模型训练，生成目标缺陷检测模型，所述目标缺陷检测模型用于根据待测产品对应的待测图片对所述待测产品进行缺陷检测，得到所述待测产品的缺陷检测结果。
在一些实施例中，所述模型训练参数包括缺陷学习类别，所述训练样本得到模块用于：获取所述缺陷学习类别对应的训练图片以及各个所述训练图片分别对应的缺陷类别，得到训练样本，其中，所述目标缺陷检测模型将所述缺陷学习类别作为候选缺陷类别，根据所述待测图片从所述候选缺陷类别中筛选得到所述待测产品的目标缺陷类别。
在一些实施例中，所述产品缺陷检测模型生成请求还携带模型对应的产品相关信息，所述装置还包括：对应关系建立模块，用于根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系。
在一些实施例中，所述装置还包括：检测任务接收模块，用于接收产品缺陷检测任务，所述产品缺陷检测任务携带目标产品相关信息；目标缺陷检测模型确定模块，用于根据所述目标缺陷检测模型与产品相关信息的对应关系，确定所述目标产品相关信息对应的目标缺陷检测模型；目标缺陷类别得到模块，用于将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
在一些实施例中，所述模型对应的产品相关信息包括待测产品对应的制程信息、类别信息或者生产环境信息中的至少一种。
在一些实施例中，所述产品缺陷检测任务还携带待测产品对应的图片存储位置信息，所述目标缺陷类别得到模块用于：根据所述图片存储位置信息从产品图片存储节点中获取对应的目标图片，作为所述产品缺陷检测任务对应的待测产品的图片，所述产品图片存储节点用于存储对所述待测产品进行拍摄得到的图片；将所述目标图片输入到所述目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
在一些实施例中，所述模型训练模块用于：获取各个所述训练图片对应的存在缺陷的区域，作为候选区域，所述候选区域是根据所述训练图片对应的缺陷类别的图片特征，从所述训练图片中筛选得到的；根据各个所述训练图片对应的候选区域以及对应的缺陷类别进行模型训练，生成目标缺陷检测模型。
在一些实施例中，所述待测产品为多个，所述缺陷检测结果包括所述待测产品的目标缺陷类别，所述装置还包括：处理方式确定模块，用于获取所述待测产品的目标缺陷类别对应的处理方式，根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类，得到各个处理方式对应的产品标识集合，向生产终端输出各个处理方式对应的产品标识集合。
在一些实施例中，所述生成请求接收模块用于：接收用户对应的生产终端发送的产品缺陷检测模型生成请求，所述模型训练参数为用户在所述生产终端显示的参数配置界面中配置的。
一方面，提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述产品缺陷检测数据处理方法的步骤。
一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述产品缺陷检测数据处理方法的步骤。
上述产品缺陷检测数据处理方法、装置、系统和设备，可以进行模型训练得到产品缺陷检测模型，基于产品缺陷检测模型对产品的缺陷进行检测，因此效率高。而且，模型训练参数是产品缺陷检测模型生成请求携带的，根据用户的参数配置操作确定，包括缺陷学习类别或者训练图片信息中的至少一种，因此用户可以根据实际的产品缺陷检测需要配置训练参数，使得模型训练得到的产品缺陷检测模型满足生产需要且能够对产品的缺陷进行自动检测，灵活性高且检测效率高。
附图说明
图1为一些实施例中提供的产品缺陷检测数据处理方法的应用环境图；
图2A为一些实施例中产品缺陷检测数据处理方法的流程图；
图2B为一些实施例中参数配置界面的示意图；
图3为一些实施例中配置产品相关信息的界面的示意图；
图4为一些实施例中产品缺陷检测数据处理方法的流程图；
图5为一些实施例中模型评估界面的示意图；
图6为一些实施例中产品缺陷检测数据处理系统的结构框图；
图7为一些实施例中产品缺陷检测数据处理系统的架构图；
图8为一些实施例中服务系统对应的应用界面的示意图；
图9为一些实施例中模型训练的产品模块图；
图10为一些实施例中概览页的示意图；
图11为一些实施例中进行缺陷检测以及模型训练的流程图；
图12为一些实施例中产品缺陷检测系统对应的系统架构图；
图13为一些实施例中产品缺陷检测系统对应的部署架构图；
图14为一些实施例中产品缺陷检测数据处理装置的结构框图；
图15为一些实施例中计算机设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
以下对本申请实施例的产品缺陷检测数据处理方法涉及的技术进行解释。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术。本申请实施例提供的方法，利用计算机视觉技术，对待测图片进行缺陷检测，因此可以确定待测产品存在的缺陷。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及基于人工智能以及计算机视觉对产品缺陷进行检测，具体通过如下实施例进行说明。
本申请实施例提供的方案还可以涉及区块链相关技术，例如可以将待测产品的缺陷检测结果存储到区块链中，也可以由区块链节点执行缺陷检测。通过将待测产品的缺陷检测结果存储到区块链的数据区块中，可以保障缺陷检测结果的安全性和可靠性，而且由于区块链的不可篡改性，可以避免他人为了利益，篡改产品缺陷检测结果，进而保障了查询得到的产品缺陷检测结果的真实性。
在一些实施例中，将待测产品的缺陷检测结果存储到区块链时，区块链节点可以生成产品缺陷检测结果对应的结果查询码，结果查询码可以是对产品缺陷检测结果进行哈希得到的，这样可以保证结果查询码的唯一性。当区块链节点接收到携带结果查询码的缺陷检测结果查询请求时，可根据结果查询码从数据区块中获取对应的产品缺陷检测结果，并返回到查询端。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上。其中业务请求可以是产品缺陷检测结果存储请求，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
图1为一些实施例中提供的产品缺陷检测数据处理方法的应用环境图，如图1所示，在该应用环境中，包括服务节点110、产品缺陷检测节点120、模型训练节点130以及生产企业对应的设备140。生产企业对应的设备140可以是MES(Manufacturing ExecutionSystem，制造执行系统)中的设备。生产企业对应的设备140可以称为生产终端，例如可以是工厂中的管理人员的电脑，电脑中可以安装相应的生产管理应用程序，也可以是用于生产产品的制造设备。产品缺陷检测数据处理系统可以包括服务节点110、产品缺陷检测节点120以及模型训练节点130。服务节点110用于与生产企业对应的设备110进行通信，提供产品缺陷检测服务。例如向生产企业对应的设备140发送缺陷检测结果，接收生产企业对应的设备140发送的产品缺陷检测模型生成请求，根据产品缺陷检测模型生成请求控制模型训练节点130进行模型训练。模型训练节点130用于进行模型训练，得到目标缺陷检测模型，产品缺陷检测节点120上部署有目标缺陷检测模型，用于根据待测产品的图片进行缺陷检测，得到产品所存在的缺陷。
服务节点110、产品缺陷检测节点120或者模型训练节点130等节点可以是独立的服务器，也可以是是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
各个节点之间可以通过网络等通讯连接方式进行连接，本申请在此不做限制。生产企业对应的设备140可以通过网络与服务节点110进行连接。当然，生产企业对应的设备140也可以与产品缺陷检测节点120进行连接，也可以与模型训练节点130连接。
可以理解，上述应用环境仅是一种示例，并不构成对本申请中产品缺陷检测数据处理系统的限制，例如产品缺陷检测数据处理系统还可以包括图片标注系统以及图片存储系统。产品缺陷检测数据处理系统中还可以不包括服务节点。而是由产品缺陷检测节点120与生产企业对应的设备140进行交互。
如图2A所示，在一些实施例中，提出了一种产品缺陷检测数据处理方法，本实施例主要以该方法应用于上述图1中的产品缺陷检测数据处理系统来举例说明。当然也可以是由其中的部分节点执行所有的步骤，例如，由模型训练节点130执行，具体可以包括以下步骤：
步骤S202，接收产品缺陷检测模型生成请求，产品缺陷检测模型生成请求携带模型训练参数，模型训练参数根据用户的参数配置操作确定，模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种。
具体地，产品缺陷检测模型生成请求用于请求生成产品缺陷检测模型。产品缺陷检测模型生成请求可以是生产终端发送的，生产终端是生产用户对应的终端。生产用户是指生产产品的工厂对应的用户。例如工厂中的研发工程师或者工艺工程师。生产用户可以通过账号以及密码在生产终端上登录产品缺陷检测数据处理系统。模型训练参数是指与模型训练相关的参数。可以包括缺陷学习类别或者训练图片信息中的至少一种，还可以包括模型的类型、模型中隐层的层数、模型的准确率要求、对模型进行性能评估的测试集信息或者模型训练时所需要配置的计算机资源等中的至少一个。模型的类型例如可以是CNN(Convolutional Neural Networks，卷积神经网络)。模型对应的缺陷学习类别是指模型所要学习的缺陷类别。缺陷学习类别的个数可以根据需要设置，例如1个或者多个。多个是指两个以上，两个以上包括两个。产品缺陷检测模型为分类模型。分类模型可以是二分类，则分类结果可以是包括缺陷或者不包括缺陷。分类模型也可以是三分类以上。例如对于三分类，分类结果可以为不存在缺陷，存在A缺陷以及存在B缺陷三种。A缺陷以及B缺陷是产品缺陷检测模型生成请求中携带的。训练图片信息用于确定训练图片。例如产品缺陷检测模型生成请求可以携带训练图片、训练图片的标识或者训练图片的存储位置中的至少一种。
模型训练参数根据用户的参数配置操作确定，配置操作可以是选择操作或者增加操作的至少一种，选择操作是指从候选参数中选择目标参数，增加操作是指增加新的参数。例如，可以是从界面上显示的缺陷学习类别中选择类别，可以是增加新的缺陷学习类别。参数配置操作可以是屏幕触摸操作、手势操作、语音操作或者鼠标输入操作中的一种或多种。产品缺陷检测模型生成请求可以是用户对应的生产终端发送的。用户可以在生产终端中显示的参数配置界面配置模型训练参数。例如生产终端上可以安装有生产管理应用程序。生产终端可以显示参数配置界面。用户可以根据需要在参数配置界面配置模型训练参数。由于产品生产过程中，生产时间、站点或者工艺参数中的任意一个或者多个不同都可能会导致产品的缺陷不同。或者是不同产品，对应的缺陷检测标准也可能不同。而不同的缺陷检测标准，则获取的训练图片是不同的。例如，如果缺陷检测标准高，则对训练图片的缺陷进行标注时，也需要执行严格的标注标准。如果产品的缺陷不同，则模型所要学习的缺陷类别也不同。通过参数配置界面，可以根据生产业务场景灵活配置模型训练参数。例如根据待测产品对应的缺陷配置缺陷学习类别。根据产品缺陷检测标准配置训练图片，训练图片的缺陷标注标准根据产品检测标注确定。训练图片可以预先存储到系统中，系统中可以配置不同的产品缺陷检测标准对应的训练图片。或者是由用户根据产品缺陷检测标准选择对应的训练图片。
如图2B所示，为参数配置界面的示意图，生产用户可以根据需要选择缺陷学习类别以及输入训练图片存储路径，还可以添加新的缺陷。点击“浏览”按键，可以进入从服务器或者本地存储的图片中选取图片的界面。当参数配置完毕后，可以点击“提交模型生成请求”，以发送产品缺陷检测模型生成请求。
在一些实施例中，产品缺陷检测模型生成请求还可以包括其他的信息，例如模型的名称。
步骤S204，根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别，得到训练样本。
具体地，训练样本用于进行模型训练，包括训练图片以及对应的标签，标签为对应的缺陷类别。训练样本可以有多个，例如1万个。当模型训练参数包括缺陷学习类别时，可以获取各个缺陷学习类别分别对应的图片，作为训练图片，当然还可以获取不存在缺陷的图片，作为负样本。当模型训练参数包括训练图片信息时，可以根据训练图片信息获取得到训练图片。例如，模型训练参数中包括训练图片为存储在A文件夹的图片，且缺陷学习类别为H以及B。则可以在A文件夹中获取缺陷类别为H的图片以及缺陷类别为B的图片，作为训练图片。
在一些实施例中，可以预先存储用于进行模型训练的样本图片，例如，可以获取生产过程中对产品拍摄得到的图片，由人工标注缺陷的类别或者是否含有缺陷。当标注完成后，上传到系统中进程存储。当需要生成模型时，系统可以向生产终端返回选择训练图片的选项信息，选项信息中包括图片的标识，例如图片的文件夹名称，用户根据选项信息选择图片进行训练。
步骤S206，根据训练样本进行模型训练，生成目标缺陷检测模型，目标缺陷检测模型用于根据待测产品对应的待测图片对待测产品进行缺陷检测，得到待测产品的缺陷检测结果。
具体地，目标缺陷检测模型是用于进行缺陷检测的模型。在进行模型训练时，采用的是有监督的训练方法。将训练样本中的训练图片输入到模型中，得到模型预测的缺陷类别，根据模型预测的缺陷类别与训练图片实际的缺陷类别的差异计算得到损失值，利用梯度下降方法朝着损失值降低的方向调整模型参数，直至模型收敛，得到目标检测模型。模型收敛可以包括指模型的损失值小于预设值或者是训练次数达到预设次数中的至少一种。待测产品的缺陷检测结果可以是产品是否包括缺陷。在一些实施例中可以包括缺陷的类别。待测产品是指需要进行缺陷检测的产品。
本实施例提供的产品缺陷检测数据处理方法，可以进行模型训练得到产品缺陷检测模型，基于产品缺陷检测模型对产品的缺陷进行检测，因此效率高。而且，模型训练参数是产品缺陷检测模型生成请求携带的，根据用户的参数配置操作确定，包括缺陷学习类别或者训练图片信息中的至少一种，因此用户可以根据实际的产品缺陷检测需要配置训练参数，使得模型训练得到的产品缺陷检测模型满足生产需要且能够对产品的缺陷进行自动检测，灵活性高且检测效率高。
产品缺陷检测数据处理系统上配置了如何进行模型训练的方法，这样可以把复杂的模型训练过程简化，当接收到模型生成请求时，可以根据模型训练的方法进行模型训练，因此，生产用户可以在不具备相关的机器学习专业知识的情况下，根据生产需要配置缺陷学习类别或者训练图片信息中的至少一种，模型训练节点便可以根据模型训练参数，采用配置的模型训练方法，根据训练图片自动的进行模型训练，生成缺陷检测模型，从而降低了生产用户使用模型进行缺陷检测的门槛，提高了模型的生成效率。例如，产品缺陷检测数据处理系统上可以配置有模型的结构、模型参数的初始值、计算损失值的函数、模型训练时根据损失值调整模型参数的规则以及模型收敛条件。当得到训练图片时，训练图片自动输入到模型中，得到预测缺陷，系统根据预测缺陷、实际缺陷以及损失值计算函数计算得到损失值，根据损失值以及调整模型参数的规则调整模型参数。调整模型参数的规则可以包括模型的参数每次调整的步长或者学习率中的至少一个。可以多次重复上述训练图片自动输入到模型中，得到预测缺陷，系统根据预测缺陷以及实际缺陷，以及损失值计算函数计算得到损失值，根据损失值以及调整模型参数的规则调整模型参数的步骤，直至模型收敛。因此配置的模型训练方法相当于模型的模具，通过这个模具，输入不同的缺陷学习类别或者训练图片信息中的至少一种，便可训练出适合不同业务场景(不同生产需求)的模型。
在一些实施例中，系统可能已经包括缺陷检测模型，因此可以是在原有的缺陷检测模型上继续进行训练。也可以是从新训练模型，例如可以对模型中的隐层参数进行随机设置，基于随机设置的隐层参数进行模型训练。参数配置界面还可以配置是继续训练已有的模型还是重新训练模型。因此可以实现从无到有创建模型，也可以对已有的模型的参数进行更新，即模型可以随着生产的变化，不断通过新的训练图片进行迭代升级。
在一些实施例中，当系统已经部署有缺陷检测模型时，由于已经部署的缺陷检测模型也是根据图片进行训练得到的。因此可以在生产终端上展示历史图片以及新图片分别对应的选项信息。用户可以选择历史图片以及新图片中的至少一种作为本次进行模型训练的图片。历史图片是指训练已有的缺陷检测模型时所利用的训练图片。新图片是指历史图片之外的图片，例如可以在历史图片之后，生产产品时产品进行拍摄得到的图片。当用户选择历史图片和新图片进行训练时，则训练得到的模型既可以学习得到检测最新出现的缺陷的参数，也可以保留对既往缺陷的检测能力。
在一些实施例中，模型训练参数包括缺陷学习类别，根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别，得到训练样本包括：获取缺陷学习类别对应的训练图片以及各个训练图片分别对应的缺陷类别，得到训练样本，其中，目标缺陷检测模型将缺陷学习类别作为候选缺陷类别，根据待测图片从候选缺陷类别中筛选出待测产品的目标缺陷类别。
具体地，当模型训练参数包括缺陷学习类别，则可以获取缺陷学习类别对应的训练图片以及该训练图片对应的缺陷类别。因此，得到的目标缺陷检测模型中缺陷学习类别作为候选缺陷类别，当获取到对待测产品进行拍摄，得到的待测图片后，可以将待测图片输入到目标缺陷检测模型中，目标缺陷检测模型可以输出各个候选缺陷类别对应的概率，将概率最大的缺陷类别作为目标缺陷类别。
在一些实施例中，产品缺陷检测模型生成请求还携带模型对应的产品相关信息，产品缺陷检测数据处理方法还包括：根据模型对应的产品相关信息建立目标缺陷检测模型与产品相关信息的对应关系。
具体地，产品相关信息是与产品相关的信息。例如产品的生产时间，产品的批号等信息。产品相关信息可以是产品信息配置界面上配置的。产品信息配置界面与模型参数配置界面可以为同一界面，也可以是不同界面。不同的产品相关信息，对应的模型可能是不同的，当产品缺陷检测模型生成请求还携带模型对应的产品相关信息，建立目标缺陷检测模型与产品相关信息的对应关系。
在一些实施例中，产品相关信息可以包括待测产品对应的制程信息、类别信息或者生产环境信息中的至少一种。制程信息表示产品当前对应的制造流程。一个产品，可能要经过多个制造流程。例如，一个摄像头，包括镜座、芯片以及基板三个主要的零件。则生产流程可以包括flip chip(倒装芯片)、倒装后进行加热以及安装镜座三个流程，产品当前可以是在flip chip制程，需要对经过flip chip制程生产得到的产品进行缺陷检测。flip chip是指倒装芯片，将芯片安装在基板中。类别信息表示产品的类别。产品可以根据需要进行分类。例如，根据制造参数对产品进行分类。不同的制造参数对应不同的类别。也可以是根据产品的功能进行分类。例如，对于液晶面板产品可以分为扭曲向列型面板以及广视角面板。生产环境信息是与产品的生产环境有关的参数，例如所在的厂区、生产线信息等。还可以包括温度、厂区洁净度或者湿度中的一种或多种信息。
本申请实施例中，通过建立目标缺陷检测模型与产品相关信息的对应关系，因此可以区分不同的业务场景对应的缺陷检测模型。例如不同的产品类别，对应的缺陷或者模型参数可能是不同的，如果均采用相同的模型进行缺陷检测，则缺陷准确度低。而工厂中，所生产的产品种类一般为多个，对应的产品相关信息可能在不断进行变化，生产人员需要根据所生产的产品灵活确定缺陷检测策略，因此对应的缺陷检测模型是不同的，通过建立目标缺陷检测模型与产品相关信息的对应关系，可以有针对性的利用对应的检测模型对产品图片进行缺陷检测。
如图3所示，为一些实施例中配置产品相关信息的界面的示意图。图3中，站点表示产品所处的制造流程，厂区表示生产环境信息。不同的厂区代表不同的生产环境。如图3所示,可以采用树状图的形式展示不同层级的产品相关信息的配置过程。鼠标悬浮到任一层级，便可激活相应的操作流，即激活对该层级的产品相关信息的配置过程。图3中，厂区属于第一层级，一个厂区可以有一个或多个厂别，即不同的工厂。不同的厂别可以有一个或多个站点。不同站点还可以有一个或多个类别的产品。例如，图3中，T01表示厂区，b001以及b002表示厂别。3051、3052、3053以及3054表示站点。CP001～CP005表示产品的类别。当点击站点名称时，可以在该站点下添加产品、移除产品或者删除站点。如图3所示，生产终端上还可以显示行业配置界面，用于配置产品对应的行业。还可以包括任务类型配置界面以及计算资源配置界面。任务类型配置界面用于配置任务的类型，任务可以包括对图片进行分割、对图片进行分类，以及对图片进行分类以及分割等类型。计算资源配置界面用于配置模型训练时所使用的资源或者使用模型时所使用的资源，资源可以为GPU(Graphics ProcessingUnit，图形处理器)或者CPU(central processing unit，中央处理器)资源中的至少一个。
在一些实施例中，如图4所示，产品缺陷检测数据处理方法还可以包括以下步骤：
步骤S402,接收产品缺陷检测任务，产品缺陷检测任务携带目标产品相关信息。
具体地，产品缺陷检测任务用于触发产品缺陷检测。目标产品相关信息是指该产品缺陷检测任务对应的产品的产品相关信息。目标产品相关信息可以包括待测产品对应的制程信息、类别信息或者生产环境信息中的至少一种。产品缺陷检测任务可以是MES系统发送的。
在一些实施例中，产品缺陷检测任务中还可以携带待测产品的产品标识以及该产品标识对应的图片的图片标识。因此当得到根据图片得到检测结果时，可以根据图片标识获取得到对应的产品标识，返回检测结果以及对应的产品标识。例如，可以携带液晶面板的标识以及对应的图片标识。
步骤S404,根据目标缺陷检测模型与产品相关信息的对应关系确定目标产品相关信息对应的目标缺陷检测模型。
具体地，当接收到产品缺陷检测任务，可以根据目标缺陷检测模型与产品相关信息的对应关系，获取目标产品相关信息对应的目标缺陷检测模型。例如，系统上部署有多个目标缺陷检测模型。模型1对应制程1，模型2对应制程2。则当产品相关信息包括制程2时，则将模型2作为目标缺陷检测模型。
在一些实施例中，缺陷检测任务是实时的，当制造设备开始生产，则通过制造设备上的拍摄设备拍摄图片，并存储到图片存储系统。MES系统向产品缺陷检测数据处理系统发送消息，即发送缺陷检测任务。产品缺陷检测数据处理系统根据任务中携带的产品相关信息确定对应的目标缺陷检测模型。
步骤S406,将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
具体地，一个产品的待测图片可以有一张或多张。例如，对于液晶面板，由于液晶面板比较大，则可以拍摄多张图片，以对液晶面板进行全面的缺陷检测。产品缺陷检测任务可以携带待测图片，也可以携带待测图片的存储位置信息。因此可以获取产品缺陷检测任务对应的待测图片，将待测图片输入到目标产品相关信息对应的目标缺陷检测模型中，由该模型对图片进行处理，得到目标缺陷类别，作为该图片对应的待测产品的缺陷类别。
本申请实施例中，通过根据产品相关信息获取对应的目标缺陷检测模型，利用产品相关信息对应的目标缺陷检测模型进行模型检测，使得产品检测更具有针对性，实现精细化检测。
在一些实施例中，待测产品对应的图片存储位置信息，产品的图片可以是预先存储在图片存储系统中的。将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别包括：根据图片存储位置信息从产品图片存储节点中获取对应的目标图片，作为产品缺陷检测任务对应的待测产品的图片，产品图片存储节点用于存储对待测产品进行拍摄得到的图片；将目标图片输入到目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
具体地，图片存储位置信息用于表示图片所存储的位置，例如可以是图片的存储路径。对待测产品进行拍摄得到的图片是存储在图片存储系统中的。在对产品进行拍摄时，可以是边拍摄边上传到图片存储系统中，当需要检测时，则触发产品缺陷检测任务，并携带待测产品对应的图片存储位置信息。由于检测任务与图片的上传是分别进行的，图片存储在图片存储节点中，检测任务中携带的是图片存储位置，因此可以减少检测任务的数据量。得到图片存储位置信息对应的图片后，产品缺陷检测节点可以将该图片作为目标图片，将该目标图片输入到目标产品相关信息对应的目标缺陷检测模型中，可以得到该图片对应的产品所存在的缺陷类别，即目标缺陷类别。
在一些实施例中，根据训练样本进行模型训练，生成目标缺陷检测模型包括：获取各个训练图片对应的存在缺陷的区域，作为候选区域，候选区域是根据训练图片对应的缺陷类别的图片特征，从训练图片中筛选得到的；根据各个训练图片对应的候选区域以及对应的缺陷类别进行模型训练，生成目标缺陷检测模型。
具体地，候选区域是存在缺陷的区域，可以预先设置各个缺陷类别对应的图片特征，图片特征用于表示图片的特性，可以是图片本身，也可以是颜色特征或者纹理特征中的至少一个。可以对候选图片进行分割，得到多个图像区域，基于缺陷类别的图片特征，与训练图片中的各个图像区域进行相似度计算，将相似度大于预设相似度的区域作为候选区域。例如可以是采用模板匹配的方法筛选得到候选区域。模板匹配是指对于模板图片和搜索图片，在搜索图片中找到与模板图片相似的区域作为候选区域，相似可以是指相似度大于预设相似度。本申请实施例中，搜索图片为训练图片，模板图片为缺陷类别对应的图片。
训练图片对应的缺陷类别是已经确定的，例如是人工标注的。预先设定好了各个缺陷类别对应的图片特征。当得到候选区域后，将候选区域作为模型的输入，将对应的缺陷类别作为模型期望的输出，进行模型训练，根据模型预测得到的输出以及模型期望的输出的差异得到损失值，朝着损失值变小的方向调整模型参数，得到目标缺陷检测模型。
本申请实施例中，在得到训练图片后，根据训练图片对应的缺陷类别的图片特征，从训练图片中筛选得到存在缺陷的候选区域，再利用候选区域进行模型训练，可以使得训练得到的模型更加准确。因为一般而言，训练图片比较大，而缺陷比较小，除了缺陷外，训练图片还包括没有缺陷的区域，故可以筛选更能反映缺陷的特征的候选区域，利用该候选区域进行模型训练，从而能够学习到更准确的模型参数。而且，候选区域是由计算机设备自动确定的，无需由人工标注缺陷在图片中的位置也可以训练得到准确的模型，减少了人力成本。
在一些实施例中，待测产品为多个，缺陷检测结果包括待测产品的目标缺陷类别，产品缺陷检测数据处理方法还可以包括以下步骤：获取待测产品的目标缺陷类别对应的处理方式，根据待测产品的目标缺陷类别对应的处理方式对待测产品的产品标识进行分类，得到各个处理方式对应的产品标识集合，向生产终端输出各个处理方式对应的产品标识集合。
具体地，产品标识用于对产品进行标识。可以是按照预设的规则生成产品标识。例如根据产品的生产顺序以及排放位置生成标识。不同的缺陷类别对应的处理方式是不同的。有些缺陷类别的产品需要报废。有些缺陷则可以进行进一步优化，优化的方式也可以不同，例如优化方式可以为补充胶水或者去除污垢。例如，如果缺陷为玻璃缺角，则该玻璃需要报废处理。可以预先设置各个缺陷类别分别对应的处理方式。产品标识集合中可以包括一个或多个产品对应的标识。对于每一种处理方式，可以对应一个产品标识集合。得到产品标识集合后，输出各个处理方式对应的产品标识集合到生产终端，这样生产人员可以根据产品标识确定到各个需要处理的产品以及对应的处理方式，根据对应的处理方式对该产品进行处理，方便且高效。
在一些实施例中，可以利用测试集对模型的性能进行评估，可以根据测试样本集对训练得到的中间缺陷检测模型进行测试，得到测试样本集中各个测试图片对应的预测缺陷，根据预测缺陷以及测试图片对应的实际缺陷确定缺陷识别错误的测试图片，向发送产品缺陷检测模型生成请求的生产终端输出缺陷识别错误的测试图片对应的预测缺陷以及实际缺陷。使得生产终端上可以显示缺陷识别错误的测试图片对应的预测缺陷以及实际缺陷。这样，用户可以根据缺陷识别错误的测试图片对应的预测缺陷以及实际缺陷，确定测试集中的图片是否标注错误，使得生产人员可以参考标注情况调整标注标准，缺陷识别错误的测试图片可以是指人工标注与模型输出不一致的图片。
在一些实施例中，可以输出标注错误的图片，使得生产人员重新进行图片的标注，利用重新标注后的图片重新进行模型训练。
在一些实施例中，还可以输出利用测试集对模型进行性能评估后，得到的性能评估结果，例如模型对应的准确率以及召回率。生产终端可以显示模型对应的准确率以及召回率。使得生产人员可以知晓模型训练的状况。例如，如图5所示，生产终端中可以显示模型的性能评估结果。可以是各个序列对应的性能评估结果，一个序列可以是指一个缺陷类别对应的训练图片。当点击序列时，可以显示该序列对应的样本信息。例如误判样本的信息，误判样本是指缺陷识别错误的样本，真实类别是指该图片真实的缺陷的类别，推测类别是指模型输出的类别。训练图片的分辨率可以是600*400。
在一些实施例中，以下以产品为液晶面板为例，对本申请提供的方法进行说明，包括以下步骤：
1、上传训练图片以及对应的缺陷类别。
例如，在液晶面板的生产过程中，如果生产人员发现液晶面板出现了新的缺陷(以下称为X缺陷)，需要对X缺陷进行检测时，则可以获取存在X缺陷的液晶面板的图片，并对该图片的缺陷进行标注，将该图片对应的缺陷类别标注为X。然后将标注了缺陷类别的图片上传到训练图片存储系统。
2、接收产品缺陷检测模型生成请求，产品缺陷检测模型生成请求携带模型训练参数，模型训练参数根据用户的参数配置操作确定，模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种。
例如，生产用户可以在参数界面上添加H为新的缺陷学习类别以及选择图片的存储路径，向模型训练节点发送产品缺陷检测模型生成请求，模型训练参数包括训练图片的存储路径以及要学习的缺陷类别为H缺陷以及B缺陷。
在一些实施例中，产品缺陷检测模型生成请求还包括产品相关信息，例如假设H缺陷以及B缺陷是在D工厂E站点产生的，则产品相关信息包括D工厂E站点的标识，例如名称。
3、根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别，得到训练样本。
例如，可以根据存储路径获取H缺陷对应的训练图片以及B缺陷的训练图片。当然还可以获取不存在缺陷的图片，作为训练图片。
4、根据训练样本进行模型训练，生成目标缺陷检测模型。
例如，目标缺陷检测模型为用于对液晶面板的H缺陷以及B缺陷进行缺陷检测的模型。
5、建立目标缺陷检测模型与产品相关信息的对应关系。
例如，目标缺陷检测模型与产品相关信息D工厂E站点对应。
6、接收产品缺陷检测任务，产品缺陷检测任务携带目标产品相关信息、液晶面板的产品标识、待测图片的存储路径以及图片的标识。
例如，当液晶面板在D工厂E站点中生产时，产品缺陷检测任务中携带D工厂E站点的名称。
7、根据目标缺陷检测模型与产品相关信息的对应关系，确定目标产品相关信息对应的目标缺陷检测模型。
例如，根据D工厂E站点的名称，获取D工厂E站点的对应的目标缺陷检测模型。
8、将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
例如，可以根据待测图片的存储路径到该存储路径对应的位置，获取图片的标识对应的图片，将图片输入到目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。例如，可以得到图片1对应的缺陷类别为H缺陷，图片2对应的缺陷类别为B缺陷。
9、获取待测产品的目标缺陷类别对应的处理方式，根据待测产品的目标缺陷类别对应的处理方式对待测产品的产品标识进行分类，得到各个处理方式对应的产品标识集合，向生产终端输出各个处理方式对应的产品标识集合。
具体地，假设H缺陷对应的处理方式为报废，B缺陷对应的处理方式为修补。则可以获取H缺陷对应的产品标识，组成H缺陷对应的产品标识集合。获取B缺陷对应的产品标识，组成B缺陷对应的产品标识集合。
本申请实施例的产品缺陷检测数据处理方法可以用于对工厂生产的产品进行缺陷检测。由于工厂中，产品的缺陷检测随着产品的时间、工艺参数、站点以及缺陷检测标准的变化而变化，因此要求产品缺陷检测模型也能够根据要求随时进行更新或者生产新的模型，本申请实施例提供的方法，可以将复杂的模型训练方法封装，与模型训练有关的缺陷学习类别或者训练图片信息中的至少一个则支持用户根据需要进行灵活配置，因此工厂的人员可以随时根据生产需求进行参数配置，实现快速从0到1和1到N的模型构建，得到满足需求的产品缺陷检测模型，其中N是指模型的版本。
在一些实施例中，如图6所示，提出了一种产品缺陷检测数据处理系统，包括模型训练节点130以及产品缺陷检测节点120。
模型训练节点130，接收产品缺陷检测模型生成请求，产品缺陷检测模型生成请求携带模型训练参数，根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别，得到训练样本，根据训练样本进行模型训练，生成目标缺陷检测模型，模型训练参数根据用户的参数配置操作确定，模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种，
产品缺陷检测节点120，根据产品缺陷检测任务获取待测产品对应的待测图片，将待测图片到目标缺陷检测模型中，得到待测产品的缺陷检测结果。
在一些实施例中，产品缺陷检测模型生成请求还携带模型对应的产品相关信息；模型训练节点130，根据模型对应的产品相关信息建立目标缺陷检测模型与产品相关信息的对应关系，模型对应的产品相关信息包括待测产品对应的制程信息、类别信息、生产时间或者生产环境信息中的至少一种。
在一些实施例中，产品缺陷检测节点120，接收产品缺陷检测任务，产品缺陷检测任务携带目标产品相关信息，根据目标缺陷检测模型与产品相关信息的对应关系，确定目标产品相关信息对应的目标缺陷检测模型，将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
在一些实施例中，待测产品为多个，缺陷检测结果包括待测产品的目标缺陷类别，产品缺陷检测数据处理系统还包括服务节点110，获取待测产品的目标缺陷类别对应的处理方式，根据待测产品的目标缺陷类别对应的处理方式对待测产品的产品标识进行分类，得到各个处理方式对应的产品标识集合，向生产终端输出各个处理方式对应的产品标识集合。
在一些实施例中，产品缺陷检测数据处理系统还可以包括图片存储系统，用于存储在对产品进行拍摄得到的图片。图片存储系统可以包括训练图片存储系统以及待测图片存储系统。训练图片存储系统用于存储训练所需要的测试图片和训练图片。待测图片存储系统用于存储待测产品对应的图片。
在一些实施例中，如图7所示，为一些实施例中产品缺陷检测数据处理系统的架构图，如图7所示，产品缺陷检测数据处理系统包括服务系统(对应图1的服务节点)，产品缺陷检测系统(对应图1的产品缺陷检测节点)、(对应图1的模型训练节点)、图片存储系统以及图片标注系统。每个系统相互之间可以以微服务的方式进行解耦，以减少部署成本，提高系统的可维护性。当然具体的架构并不局限于此，在实际的客户部署中可以进行调整，并且定制化对应的功能。例如可以是包括产品缺陷检测系统和模型训练系统。各个系统之间可以通过HTTP/TCP协议进行通信连接。微服务的基本思想在于考虑围绕着业务领域组件来创建应用，这些应用可独立地进行开发、管理和加速。在分散的组件中使用微服务云架构和平台，使部署、管理和服务功能交付变得更加简单。API(Application ProgrammingInterface，应用程序编程接口)为预先定义的函数。告警处理可以是在当缺陷结果满足预设条件时则进行告警，预设条件可以是缺陷产品数量大于预设值或者缺陷率大于预设缺陷率。订阅推送可以向终端推送订阅的信息。自动不良分类可以根据处理方式进行分类。
服务系统是一整套自动化缺陷检测系统，提供基于Web(网络)的管理和控制台界面，可以按工厂进行部署，可以承担工厂对应的缺陷检测任务的实时监听、调度、分配、MES集成、设备运行数据以及检测结果分发等任务；服务系统可以通过FTP(File TransferProtocol，文件传输协议)与工厂中的智能制造系统进行直接对接，以进行检测任务和消息交换，实现人工智能模型与工厂端的信息系统的完美对接。服务系统还可以提供模型版本管理、调用配置自定义缺陷计算规则、以及对AI推理系统的请求进行负载均衡的功能。缺陷计算规则是指处理方式与缺陷所要满足的条件的对应关系。例如对于某一个缺陷，可以设置当缺陷满足A条件则就要修补，满足B条件就要报废等。举个具体的例子，对应污垢，可以是当污垢面积大于第一阈值时则需要报废，当污垢小于第二阈值时则可以进行清洗。由于缺陷检测系统中可能包括多个设备，缺陷检测任务也可以包括多个业务，因此可以给对缺陷检测系统的设备进行轮询，确定是否可以提供缺陷检测任务，以实现缺陷检测系统的负载均衡。
如图8所示，服务系统可以提供不同模型的管理，提供站点开单规则、处理方式确定规则配置，提供实时数据统计工具以及复判工具组件。处理方式确定规则配置用于确定产品的处理方式。数据统计组件可以实时统计线上数据报表情况，实时查看利用AOI(Automatic Optic Inspection，自动光学检测)进行拍摄得到的图片的不同类别缺陷占比情况和模型的上线效果。其中，待测图片可以是AOI初步判断存在缺陷的产品对应的图片。“开单建议管理”用于配置根据不同缺陷，确定是否需要开产品信息单给相关人员审阅的策略文档。复判工具组件支持模型判完的图片进行二次人工核实复判，以确认模型的真实处理效果。“账号权限”用于配置不同账号权限。自动光学检测设备是基于光学原理来对生产制造过程中遇到的缺陷进行检测的设备。
在一些实施例中，服务系统提供缺陷检测系统的数据大屏和监控系统等系统对应的任务的统计分析。数据大屏是将数据可视化。例如统计检测结果中各个缺陷类别的产品数量，并按照预设规则进行展示。
图片标注系统，可以提供图片标注服务，其中图片标注可以是半自动化的，可以由人工标注产品的缺陷类别，再由图片标注系统确定存在缺陷的候选区域。以根据候选区域进行模型训练，这样可以大大减少人力标注成本和标注周期。图片标注系统还可以具备人工审查功能，即可以将已标注的图片返回到终端中，以进行人工审查，用标注准确的图片进行模型训练，确保训练图片的准确性和有效性。
产品缺陷检测系统，是训练好的目标检测模型的部署平台，可以提供计算引擎、缺陷检测模型、计算接口调用、GPU资源管理等服务封装层。可以进行智能调节，实现负载均衡以及服务高可用。
产品缺陷检测系统是利用模型进行缺陷预测的平台，对应的平台可以包括服务配置管理模块和微服务管理模块两个部分。对于服务配置管理模块，可以在用于进行模型服务配置的页面创建模型服务配置，通过将模型服务与所需计算资源(例如CPU和GPU资源)打包，可以配置和定义可启动的模型服务单实例，启动该模型服务配置，可以完成模型服务的部署。对于微服务管理模块，可在对应的页面查看服务运行情况。在启动服务的过程中，可以根据业务需求采取手动或自动的方式调节服务的范围，从而达到对服务的精细化控制与管理。
模型训练系统，可以提供新模型训练、模型迭代提升、模型在线评估、题库测试以及模型镜像管理等功能，让用户可以根据新数据和历史数据创建新的缺陷检测模型，将判断错误的图片标注后进行模型重训。模型镜像功能是指设置了模型训练的方法。可以根据用户配置的模型训练参数，利用模型训练方法进行模型训练。
模型训练系统对应的平台可以包括概览页显示、用户管理、主数据管理、数据集管理、模型镜像、模型库和在线评估七大模块，在登录前可以提供登录页，如图9所示。模型库可以存储多个不同的模型。在线评估用于根据测试数据集评估模型的性能。可以用准确率以及召回率表示。题库是指测试样本，模型对比可以通过对比不同模型的性能，从而选择最优的模型。题库数据集是指测试数据集。因此模型训练系统集数据处理、模型训练、评估、预测于一体，提供模型训练的全流程能力。其中概览对应的页面可以如图10所示，主数据模块是用于对产品相关信息进行配置的模块，行业主数据指与行业有关的数据。
上述产品缺陷检测数据处理系统对应的架构图，产品缺陷检测数据处理系统实时性和通用性好，可扩展性高，具备通用、行业、定制算法，可满足不同业务场景需求，通过模型训练系统可持续提升模型精度，缺陷识别速度高、准确率好以及效率高。其中，目标缺陷检测模型可以是深度学习神经网络模型，通过深度学习技术、并且结合图像处理技术，例如图像分割技术。可以实现产品缺陷的自动检测，节省人力成本。而且可以减少半成品在生产过程中等待时间，因此提升单位时间为产品产量。进一步地，由于检测准确度高，因此可以提升各个流程的良率，从而提升总体最终良率。
本申请实施例提供的系统可以应用于液晶面板、半导体、消费电子、汽车、新能源(光伏面板、动力电池等)等制造领域中。例如可以对手机屏幕进行缺陷检测。
在一些实施例中，进行缺陷检测以及模型训练的流程图可以如图11所示。正方形中的框中的数字表示模型训练流程中的步骤，圆形中的框中的数字表示缺陷检测流程中的步骤。由图11可以看出，MES系统可通消息总线与服务系统进行消息的交换，服务系统可对消息进行解析，解析得到产品缺陷检测任务，通过http(HyperText Transfer Protocol,超文本传输协议)请求的方式发送产品缺陷检测请求到产品缺陷检测系统，产品缺陷检测系统从存储生产产品的产品图片存储系统中获取对应的图片进行缺陷检测，得到检测结果并返回给服务系统。服务系统根据目标缺陷类别对应的处理方式(业务规则)对待测产品的产品标识进行分类，得到各个处理方式对应的产品标识集合，向MES系统输出处理方式对应的产品标识集合。其中，服务系统可以调度产品缺陷检测系统中的模型，产品缺陷检测系统可以进行虚拟化处理,图片存储系统中存储有图片以及对应的描述文件。模型训练系统中可以新建模型，也可以对模型进行迭代提升，可以对模型进行测试。
在模型训练流程中，服务系统可以添加训练图片(训练数据集)到训练图片存储系统。还可以添加测试图片(测试数据集)到训练图片存储系统。其中，添加的测试数据集以及训练数据集是用户通过生产终端进行配置的。图片标注系统可以输出图片到对应的终端，由人工进行标注，得到图片的标签，即缺陷类型。然后再自动检测得到图片对应的存在缺陷的区域，作为候选区域，从而实现半自动的标注，当然也可以输出标注了候选区域的训练图片，由人工进行审查，以确定候选区域是存在缺陷的区域。模型训练节点根据产品缺陷检测模型生成请求进行模型训练以及模型性能的评估，得到目标检测模型后，部署到产品缺陷检测系统。
如图12所示，为一些实施例中产品缺陷检测系统对应的系统架构图，产品缺陷检测系统是由多个设备组成的集群，负载均衡设备对接收到的产品缺陷检测请求(也称为推理请求)进行负载均衡处理，推理服务节点用于提供产品缺陷检测服务，可以有多个推理服务节点，一个推理服务节点可以提供多个推理服务，一个推理服务可以部署有一个产品缺陷检测模型。管理终端对KE(Kubernetes Engine)控制台以及推理服务控制台进行管理,例如设置相关的参数等。KE可以提供以容器为核心的、高度可扩展的高性能容器管理服务。推理服务后台用于将任务下发到应用程序接口服务器(API Server)，应用程序接口服务器具有调度功能，可以调度对应的推理服务模型提供产品缺陷检测服务。API Server接收用户通过发来的请求，按照路由规则分发。分布式存储系统可以是etcd存储系统，etcd是用于配置共享和服务发现的键值存储系统。API Server可以与etcd系统进行交互。API Server可以调用相应的插件或者组件。例如可以是kubelet、gpu(Graphics Processing Unit，图形处理器)对应的插件或者docker等节点组件。kubernetes是一个分布式的集群管理系统，用于对容器进行生命周期的管理。Docker是指应用容器引擎。数据库可以是MYSQL数据库。MySQL是一个关系型数据库管理系统。
如图13所示，为一些实施例中产品缺陷检测系统对应的部署架构图。产品缺陷检测系统可以包括服务提供节点、GPU管理节点、存储系统以及KE管理节点。KE管理节点可以有多台。管理用户可以通过管理终端对服务提供节点进行管理，同时也可以通过服务提供节点完成产品缺陷检测系统的参数的配置。服务提供节点可以对应多个MYSQL数据库，可以对数据库进行容器化处理。其中生产用户对应的终端可以向产品缺陷检测系统发送产品缺陷检测请求。KE(Kubernetes Engine)管理节点以及GPU管理节点可以有一台或者多台，具体根据需要设置。可以利用存储系统进行数据的存储，存储系统可以是NAS(NetworkAttached Storage：网络附属存储)存储系统。服务提供节点与KE管理节点可以是同一个节点。存储系统、KE管理节点以及GPU管理节点可以通过交换机进行交互。服务提供节点用于提供产品缺陷检测服务，KE管理节点可以提供云容器管理服务。
如图14所示，在一些实施例中，提供了一种产品缺陷检测数据处理装置，该产品缺陷检测数据处理装置可以集成于上述的产品缺陷检测数据处理系统中，具体可以包括生成请求接收模块1402、训练样本得到模块1404以及模型训练模块1406。
生成请求接收模块1402，用于接收产品缺陷检测模型生成请求，产品缺陷检测模型生成请求携带模型训练参数，模型训练参数根据用户的参数配置操作确定，模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；
训练样本得到模块1404，用于根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别，得到训练样本；
模型训练模块1406，用于根据训练样本进行模型训练，生成目标缺陷检测模型，目标缺陷检测模型用于根据待测产品对应的待测图片对待测产品进行缺陷检测，得到待测产品的缺陷检测结果。
在一些实施例中，模型训练参数包括缺陷学习类别，训练样本得到模块1404用于：获取缺陷学习类别对应的训练图片以及各个训练图片分别对应的缺陷类别，得到训练样本，其中，目标缺陷检测模型将缺陷学习类别作为候选缺陷类别，根据待测图片从候选缺陷类别中筛选得到待测产品的目标缺陷类别。
在一些实施例中，产品缺陷检测模型生成请求还携带模型对应的产品相关信息，产品缺陷检测数据处理装置还包括：对应关系建立模块，用于根据模型对应的产品相关信息建立目标缺陷检测模型与产品相关信息的对应关系。
在一些实施例中，产品缺陷检测数据处理装置还包括：
检测任务接收模块，用于接收产品缺陷检测任务，产品缺陷检测任务携带目标产品相关信息；
目标缺陷检测模型确定模块，用于根据目标缺陷检测模型与产品相关信息的对应关系，确定目标产品相关信息对应的目标缺陷检测模型；
目标缺陷类别得到模块，用于将产品缺陷检测任务对应的待测图片输入到目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
在一些实施例中，模型对应的产品相关信息包括待测产品对应的制程信息、类别信息或者生产环境信息中的至少一种。
在一些实施例中，产品缺陷检测任务还携带待测产品对应的图片存储位置信息，目标缺陷类别得到模块用于：根据图片存储位置信息从产品图片存储节点中获取对应的目标图片，作为产品缺陷检测任务对应的待测产品的图片，产品图片存储节点用于存储对待测产品进行拍摄得到的图片；将目标图片输入到目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
在一些实施例中，模型训练模块1406用于：
获取各个训练图片对应的存在缺陷的区域，作为候选区域，候选区域是根据训练图片对应的缺陷类别的图片特征，从训练图片中筛选得到的；
根据各个训练图片对应的候选区域以及对应的缺陷类别进行模型训练，生成目标缺陷检测模型。
在一些实施例中，待测产品为多个，缺陷检测结果包括待测产品的目标缺陷类别，装置还包括：处理方式确定模块，用于获取待测产品的目标缺陷类别对应的处理方式，根据目标缺陷类别对应的处理方式对待测产品的产品标识进行分类，得到各个处理方式对应的产品标识集合，向生产终端输出各个处理方式对应的产品标识集合。
在一些实施例中，生成请求接收模块1402用于：接收用户对应的生产终端发送的产品缺陷检测模型生成请求，模型训练参数为用户在生产终端显示的参数配置界面中配置的。
图15示出了一些实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的节点，例如模型训练节点130。如图15所示，该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现产品缺陷检测数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行产品缺陷检测数据处理方法。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，本申请提供的产品缺陷检测数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成该产品缺陷检测数据处理装置的各个程序模块，比如，图14所示的生成请求接收模块1402、训练样本得到模块1404以及模型训练模块1406。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的产品缺陷检测数据处理方法中的步骤。
例如，图14所示的计算机设备可以通过如图14所示的产品缺陷检测数据处理装置中的生成请求接收模块1402接收产品缺陷检测模型生成请求，产品缺陷检测模型生成请求携带模型训练参数，模型训练参数根据用户的参数配置操作确定，模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；通过训练样本得到模块1404根据模型训练参数获取对应的训练图片以及获取训练图片对应的缺陷类别，得到训练样本；通过模型训练模块1406根据训练样本进行模型训练，生成目标缺陷检测模型，目标缺陷检测模型用于根据待测产品对应的待测图片对待测产品进行缺陷检测，得到待测产品的缺陷检测结果。
在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述产品缺陷检测数据处理方法的步骤。此处产品缺陷检测数据处理方法的步骤可以是上述各个实施例的产品缺陷检测数据处理方法中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述产品缺陷检测数据处理方法的步骤。此处产品缺陷检测数据处理方法的步骤可以是上述各个实施例的产品缺陷检测数据处理方法中的步骤。
应该理解的是，虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种产品缺陷检测数据处理方法，所述方法包括:
接收产品缺陷检测模型生成请求，所述产品缺陷检测模型生成请求携带模型训练参数，所述模型训练参数根据用户的参数配置操作确定，所述模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；
根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别，得到训练样本；
根据所述训练样本进行模型训练，生成目标缺陷检测模型，所述目标缺陷检测模型用于根据待测产品对应的待测图片对所述待测产品进行缺陷检测，得到所述待测产品的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，所述模型训练参数包括缺陷学习类别，所述根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别，得到训练样本包括：
获取所述缺陷学习类别对应的训练图片以及各个所述训练图片分别对应的缺陷类别，得到训练样本，其中，所述目标缺陷检测模型将所述缺陷学习类别作为候选缺陷类别，根据所述待测图片从所述候选缺陷类别中筛选得到所述待测产品的目标缺陷类别。
3.根据权利要求1所述的方法，其特征在于，所述产品缺陷检测模型生成请求还携带模型对应的产品相关信息，所述方法还包括：
根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
接收产品缺陷检测任务，所述产品缺陷检测任务携带目标产品相关信息；
根据所述目标缺陷检测模型与产品相关信息的对应关系，确定所述目标产品相关信息对应的目标缺陷检测模型；
将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
5.根据权利要求3所述的方法，其特征在于，所述模型对应的产品相关信息包括待测产品对应的制程信息、类别信息或者生产环境信息中的至少一种。
6.根据权利要求4所述的方法，其特征在于，所述产品缺陷检测任务还携带待测产品对应的图片存储位置信息，所述将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别包括：
根据所述图片存储位置信息从产品图片存储节点中获取对应的目标图片，作为所述产品缺陷检测任务对应的待测产品的图片，所述产品图片存储节点用于存储对所述待测产品进行拍摄得到的图片；
将所述目标图片输入到所述目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
7.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本进行模型训练，生成目标缺陷检测模型包括：
获取各个所述训练图片对应的存在缺陷的区域，作为候选区域，所述候选区域是根据所述训练图片对应的缺陷类别的图片特征，从所述训练图片中筛选得到的；
根据各个所述训练图片对应的候选区域以及对应的缺陷类别进行模型训练，生成目标缺陷检测模型。
8.根据权利要求1所述的方法，其特征在于，所述待测产品为多个，所述缺陷检测结果包括所述待测产品的目标缺陷类别，所述方法还包括：
获取所述待测产品的目标缺陷类别对应的处理方式，根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类，得到各个处理方式对应的产品标识集合，向生产终端输出各个处理方式对应的产品标识集合。
9.根据权利要求1所述的方法，其特征在于，所述接收产品缺陷检测模型生成请求包括：
接收用户对应的生产终端发送的产品缺陷检测模型生成请求，所述模型训练参数为用户在所述生产终端显示的参数配置界面中配置的。
10.一种产品缺陷检测数据处理系统，所述系统包括：
模型训练节点，接收产品缺陷检测模型生成请求，所述产品缺陷检测模型生成请求携带模型训练参数，根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别，得到训练样本，根据所述训练样本进行模型训练，生成目标缺陷检测模型，所述模型训练参数根据用户的参数配置操作确定，所述模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；
产品缺陷检测节点，根据产品缺陷检测任务获取待测产品对应的待测图片，将所述待测图片到所述目标缺陷检测模型中，得到所述待测产品的缺陷检测结果。
11.根据权利要求10所述的系统，其特征在于，所述产品缺陷检测模型生成请求还携带模型对应的产品相关信息；
所述模型训练节点，根据所述模型对应的产品相关信息建立所述目标缺陷检测模型与产品相关信息的对应关系。
12.根据权利要求11所述的系统，其特征在于，
所述产品缺陷检测节点，接收产品缺陷检测任务，所述产品缺陷检测任务携带目标产品相关信息，根据所述目标缺陷检测模型与产品相关信息的对应关系，确定所述目标产品相关信息对应的目标缺陷检测模型，将所述产品缺陷检测任务对应的待测图片输入到所述目标产品相关信息对应的目标缺陷检测模型中，得到目标缺陷类别。
13.根据权利要求10所述的系统，其特征在于，所述待测产品为多个，所述缺陷检测结果包括所述待测产品的目标缺陷类别，所述系统还包括：
服务节点，获取所述待测产品的目标缺陷类别对应的处理方式，根据所述目标缺陷类别对应的处理方式对所述待测产品的产品标识进行分类，得到各个处理方式对应的产品标识集合，向生产终端输出各个处理方式对应的产品标识集合。
14.一种产品缺陷检测数据处理装置，所述装置包括:
生成请求接收模块，用于接收产品缺陷检测模型生成请求，所述产品缺陷检测模型生成请求携带模型训练参数，所述模型训练参数根据用户的参数配置操作确定，所述模型训练参数包括缺陷学习类别或者训练图片信息中的至少一种；
训练样本得到模块，用于根据所述模型训练参数获取对应的训练图片以及获取所述训练图片对应的缺陷类别，得到训练样本；
模型训练模块，用于根据所述训练样本进行模型训练，生成目标缺陷检测模型，所述目标缺陷检测模型用于根据待测产品对应的待测图片对所述待测产品进行缺陷检测，得到所述待测产品的缺陷检测结果。
15.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至9中任一项权利要求所述产品缺陷检测数据处理方法的步骤。
CN201910844469.6A 2019-09-06 2019-09-06 产品缺陷检测数据处理方法、装置、系统和设备 Active CN110554047B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911273653.6A CN111024708B (zh) 2019-09-06 2019-09-06 产品缺陷检测数据处理方法、装置、系统和设备
CN201910844469.6A CN110554047B (zh) 2019-09-06 2019-09-06 产品缺陷检测数据处理方法、装置、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844469.6A CN110554047B (zh) 2019-09-06 2019-09-06 产品缺陷检测数据处理方法、装置、系统和设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911273653.6A Division CN111024708B (zh) 2019-09-06 2019-09-06 产品缺陷检测数据处理方法、装置、系统和设备

Publications (2)

Publication Number Publication Date
CN110554047A true CN110554047A (zh) 2019-12-10
CN110554047B CN110554047B (zh) 2021-07-02

Family

ID=68739539

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910844469.6A Active CN110554047B (zh) 2019-09-06 2019-09-06 产品缺陷检测数据处理方法、装置、系统和设备
CN201911273653.6A Active CN111024708B (zh) 2019-09-06 2019-09-06 产品缺陷检测数据处理方法、装置、系统和设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911273653.6A Active CN111024708B (zh) 2019-09-06 2019-09-06 产品缺陷检测数据处理方法、装置、系统和设备

Country Status (1)

Country Link
CN (2) CN110554047B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127417A (zh) * 2019-12-20 2020-05-08 江苏理工学院 一种基于sift特征匹配和改进的ssd算法的软包装卷料印刷缺陷检测方法
CN111126621A (zh) * 2019-12-17 2020-05-08 北京九章云极科技有限公司 在线模型训练方法及装置
CN111179241A (zh) * 2019-12-25 2020-05-19 成都数之联科技有限公司 一种面板缺陷检测和分类方法及系统
CN111242317A (zh) * 2020-01-09 2020-06-05 深圳供电局有限公司 管理应用的方法、装置、计算机设备和存储介质
CN111339220A (zh) * 2020-05-21 2020-06-26 深圳新视智科技术有限公司 缺陷映射方法
CN111462043A (zh) * 2020-03-05 2020-07-28 维库（厦门）信息技术有限公司 一种基于Internet网络的缺陷检测方法、装置、设备和介质
CN111640091A (zh) * 2020-05-14 2020-09-08 阿丘机器人科技(苏州)有限公司 产品缺陷的检测方法及计算机存储介质
CN111708561A (zh) * 2020-06-17 2020-09-25 杭州海康消防科技有限公司 算法模型更新系统、方法、装置及电子设备
CN112085027A (zh) * 2020-08-31 2020-12-15 深圳思谋信息科技有限公司 图像分割模型生成系统、方法、装置和计算机设备
CN112085019A (zh) * 2020-08-31 2020-12-15 深圳思谋信息科技有限公司 字符识别模型生成系统、方法、装置和计算机设备
CN112085078A (zh) * 2020-08-31 2020-12-15 深圳思谋信息科技有限公司 图像分类模型生成系统、方法、装置和计算机设备
CN112102263A (zh) * 2020-08-31 2020-12-18 深圳思谋信息科技有限公司 缺陷检测模型生成系统、方法、装置和计算机设备
CN112464495A (zh) * 2020-12-14 2021-03-09 广东省科学院智能制造研究所 一种模具结构的缺陷检测方法及装置
CN112604977A (zh) * 2020-11-07 2021-04-06 泰州芯源半导体科技有限公司 利用大数据服务的目标分类平台及方法
CN112766059A (zh) * 2020-12-30 2021-05-07 深圳市裕展精密科技有限公司 产品加工品质的检测方法、检测装置
CN112967226A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的高反光制品检测系统、方法及介质
WO2021120186A1 (zh) * 2019-12-20 2021-06-24 京东方科技集团股份有限公司 分布式产品缺陷分析系统、方法及计算机可读存储介质
WO2021120179A1 (zh) * 2019-12-20 2021-06-24 京东方科技集团股份有限公司 产品制造消息处理方法、设备和计算机存储介质
US20210209488A1 (en) * 2019-12-20 2021-07-08 Boe Technology Group Co., Ltd. Inference computing apparatus, model training apparatus, inference computing system
CN113344886A (zh) * 2021-06-11 2021-09-03 长江存储科技有限责任公司 晶圆表面缺陷检测方法和设备
CN113793333A (zh) * 2021-11-15 2021-12-14 常州微亿智造科技有限公司 应用于工业质检的缺陷图片生成方法及装置
CN114169248A (zh) * 2021-12-14 2022-03-11 广域铭岛数字科技有限公司 产品缺陷数据分析方法、系统、电子设备及可读存储介质
CN114445685A (zh) * 2022-04-07 2022-05-06 江苏智云天工科技有限公司 缺陷检测模型的训练方法及装置
TWI772009B (zh) * 2020-05-29 2022-07-21 日商斯庫林集團股份有限公司 基板處理裝置、基板處理方法、學習用資料的生成方法、學習方法、學習裝置、學習完畢模型的生成方法以及學習完畢模型
CN116167313A (zh) * 2023-02-22 2023-05-26 深圳市摩尔芯创科技有限公司 一种用于集成电路设计的训练数据生成方法和系统
CN116385838A (zh) * 2023-06-02 2023-07-04 成都数之联科技股份有限公司 模型训练及缺陷检测方法、装置、介质、设备及程序产品
US11982999B2 (en) 2020-10-30 2024-05-14 Beijing Zhongxiangying Technology Co., Ltd. Defect detection task processing method, device, apparatus and storage medium

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784369A (zh) * 2020-07-06 2020-10-16 广东工业大学 基于联盟区块链的竞争式产品检测方法
CN112183342B (zh) * 2020-09-28 2022-07-12 国网安徽省电力有限公司检修分公司 一种带有模板的综合型换流站缺陷识别方法
CN114945817A (zh) * 2020-10-30 2022-08-26 京东方科技集团股份有限公司 基于缺陷检测的任务处理方法、装置及设备及存储介质
US20220189005A1 (en) * 2020-12-16 2022-06-16 Baker Hughes Holdings Llc Automatic inspection using artificial intelligence models
CN112905702A (zh) * 2021-02-25 2021-06-04 福州大学 一种设备缺陷评价系统及方法
CN114723682A (zh) * 2022-03-22 2022-07-08 厦门微亚智能科技有限公司 产品缺陷管理方法、系统及计算机可读存储介质
CN114463010B (zh) * 2022-04-13 2022-06-17 南京金宁汇科技有限公司 基于双层链的本地节点区块数据完整性检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766940A (zh) * 2017-11-20 2018-03-06 北京百度网讯科技有限公司 用于生成模型的方法和装置
CN108257122A (zh) * 2018-01-09 2018-07-06 北京百度网讯科技有限公司 基于机器视觉的纸张缺陷检测方法、装置及服务器
CN108564104A (zh) * 2018-01-09 2018-09-21 北京百度网讯科技有限公司 产品缺陷检测方法、装置、系统、服务器及存储介质
CN109670583A (zh) * 2018-12-27 2019-04-23 浙江省公众信息产业有限公司 去中心化的数据分析方法、系统以及介质
CN110102511A (zh) * 2019-05-23 2019-08-09 北京阿丘机器人科技有限公司 一种产品外观的视觉检测系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030051026A1 (en) * 2001-01-19 2003-03-13 Carter Ernst B. Network surveillance and security system
JP2015081838A (ja) * 2013-10-23 2015-04-27 東洋製罐株式会社 凹み缶・座屈缶検査装置
US10176428B2 (en) * 2014-03-13 2019-01-08 Qualcomm Incorporated Behavioral analysis for securing peripheral devices
US10757121B2 (en) * 2016-03-25 2020-08-25 Cisco Technology, Inc. Distributed anomaly detection management
WO2018119587A1 (zh) * 2016-12-26 2018-07-05 深圳前海达闼云端智能科技有限公司 数据处理方法、装置、系统及信息采集设备
WO2018120129A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 数据查询方法、装置及节点设备
CN107423426B (zh) * 2017-08-02 2020-06-02 众安信息技术服务有限公司 一种区块链块数据的数据归档方法及电子设备
CN108399389B (zh) * 2018-03-01 2020-05-08 路志宏 机器视觉的多机监管系统、方法及客户机、服务器、存储介质
CN108563548B (zh) * 2018-03-19 2020-10-16 创新先进技术有限公司 异常检测方法及装置
CN109358177A (zh) * 2018-11-01 2019-02-19 华东师范大学 一种基于区块链的土壤改良跟踪检测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766940A (zh) * 2017-11-20 2018-03-06 北京百度网讯科技有限公司 用于生成模型的方法和装置
CN108257122A (zh) * 2018-01-09 2018-07-06 北京百度网讯科技有限公司 基于机器视觉的纸张缺陷检测方法、装置及服务器
CN108564104A (zh) * 2018-01-09 2018-09-21 北京百度网讯科技有限公司 产品缺陷检测方法、装置、系统、服务器及存储介质
CN109670583A (zh) * 2018-12-27 2019-04-23 浙江省公众信息产业有限公司 去中心化的数据分析方法、系统以及介质
CN110102511A (zh) * 2019-05-23 2019-08-09 北京阿丘机器人科技有限公司 一种产品外观的视觉检测系统及方法

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126621A (zh) * 2019-12-17 2020-05-08 北京九章云极科技有限公司 在线模型训练方法及装置
CN111127417A (zh) * 2019-12-20 2020-05-08 江苏理工学院 一种基于sift特征匹配和改进的ssd算法的软包装卷料印刷缺陷检测方法
WO2021120179A1 (zh) * 2019-12-20 2021-06-24 京东方科技集团股份有限公司 产品制造消息处理方法、设备和计算机存储介质
WO2021120186A1 (zh) * 2019-12-20 2021-06-24 京东方科技集团股份有限公司 分布式产品缺陷分析系统、方法及计算机可读存储介质
US20210209488A1 (en) * 2019-12-20 2021-07-08 Boe Technology Group Co., Ltd. Inference computing apparatus, model training apparatus, inference computing system
US11880968B2 (en) 2019-12-20 2024-01-23 Boe Technology Group Co., Ltd. Distributed computing system for product defect analysis
CN111127417B (zh) * 2019-12-20 2024-02-06 江苏理工学院 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN113632099A (zh) * 2019-12-20 2021-11-09 京东方科技集团股份有限公司 分布式产品缺陷分析系统、方法及计算机可读存储介质
CN111179241A (zh) * 2019-12-25 2020-05-19 成都数之联科技有限公司 一种面板缺陷检测和分类方法及系统
CN111242317A (zh) * 2020-01-09 2020-06-05 深圳供电局有限公司 管理应用的方法、装置、计算机设备和存储介质
CN111242317B (zh) * 2020-01-09 2023-11-24 深圳供电局有限公司 管理应用的方法、装置、计算机设备和存储介质
CN111462043A (zh) * 2020-03-05 2020-07-28 维库（厦门）信息技术有限公司 一种基于Internet网络的缺陷检测方法、装置、设备和介质
CN111462043B (zh) * 2020-03-05 2023-10-24 维库（厦门）信息技术有限公司 一种基于Internet网络的缺陷检测方法、装置、设备和介质
CN111640091A (zh) * 2020-05-14 2020-09-08 阿丘机器人科技(苏州)有限公司 产品缺陷的检测方法及计算机存储介质
CN111640091B (zh) * 2020-05-14 2023-08-22 阿丘机器人科技(苏州)有限公司 产品缺陷的检测方法及计算机存储介质
CN111339220B (zh) * 2020-05-21 2020-08-28 深圳新视智科技术有限公司 缺陷映射方法
WO2021232606A1 (zh) * 2020-05-21 2021-11-25 深圳新视智科技术有限公司 缺陷映射方法
CN111339220A (zh) * 2020-05-21 2020-06-26 深圳新视智科技术有限公司 缺陷映射方法
TWI772009B (zh) * 2020-05-29 2022-07-21 日商斯庫林集團股份有限公司 基板處理裝置、基板處理方法、學習用資料的生成方法、學習方法、學習裝置、學習完畢模型的生成方法以及學習完畢模型
CN111708561B (zh) * 2020-06-17 2024-01-05 杭州海康消防科技有限公司 算法模型更新系统、方法、装置及电子设备
CN111708561A (zh) * 2020-06-17 2020-09-25 杭州海康消防科技有限公司 算法模型更新系统、方法、装置及电子设备
CN112102263A (zh) * 2020-08-31 2020-12-18 深圳思谋信息科技有限公司 缺陷检测模型生成系统、方法、装置和计算机设备
CN112085078A (zh) * 2020-08-31 2020-12-15 深圳思谋信息科技有限公司 图像分类模型生成系统、方法、装置和计算机设备
CN112085019A (zh) * 2020-08-31 2020-12-15 深圳思谋信息科技有限公司 字符识别模型生成系统、方法、装置和计算机设备
CN112085027A (zh) * 2020-08-31 2020-12-15 深圳思谋信息科技有限公司 图像分割模型生成系统、方法、装置和计算机设备
US11982999B2 (en) 2020-10-30 2024-05-14 Beijing Zhongxiangying Technology Co., Ltd. Defect detection task processing method, device, apparatus and storage medium
CN112604977B (zh) * 2020-11-07 2021-12-28 北京创想开盈科贸有限公司 利用大数据服务的目标分类平台及方法
CN112604977A (zh) * 2020-11-07 2021-04-06 泰州芯源半导体科技有限公司 利用大数据服务的目标分类平台及方法
CN112464495A (zh) * 2020-12-14 2021-03-09 广东省科学院智能制造研究所 一种模具结构的缺陷检测方法及装置
CN112766059B (zh) * 2020-12-30 2024-05-03 富联裕展科技(深圳)有限公司 产品加工品质的检测方法、检测装置
CN112766059A (zh) * 2020-12-30 2021-05-07 深圳市裕展精密科技有限公司 产品加工品质的检测方法、检测装置
CN112967226A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的高反光制品检测系统、方法及介质
CN113344886A (zh) * 2021-06-11 2021-09-03 长江存储科技有限责任公司 晶圆表面缺陷检测方法和设备
US11783474B1 (en) 2021-11-15 2023-10-10 Changzhou Microintelligence Co., Ltd. Defective picture generation method and apparatus applied to industrial quality inspection
WO2023082760A1 (zh) * 2021-11-15 2023-05-19 常州微亿智造科技有限公司 应用于工业质检的缺陷图片生成方法及装置
CN113793333A (zh) * 2021-11-15 2021-12-14 常州微亿智造科技有限公司 应用于工业质检的缺陷图片生成方法及装置
CN114169248B (zh) * 2021-12-14 2023-03-14 广域铭岛数字科技有限公司 产品缺陷数据分析方法、系统、电子设备及可读存储介质
CN114169248A (zh) * 2021-12-14 2022-03-11 广域铭岛数字科技有限公司 产品缺陷数据分析方法、系统、电子设备及可读存储介质
CN114445685A (zh) * 2022-04-07 2022-05-06 江苏智云天工科技有限公司 缺陷检测模型的训练方法及装置
CN116167313B (zh) * 2023-02-22 2023-09-12 深圳市摩尔芯创科技有限公司 一种用于集成电路设计的训练数据生成方法和系统
CN116167313A (zh) * 2023-02-22 2023-05-26 深圳市摩尔芯创科技有限公司 一种用于集成电路设计的训练数据生成方法和系统
CN116385838A (zh) * 2023-06-02 2023-07-04 成都数之联科技股份有限公司 模型训练及缺陷检测方法、装置、介质、设备及程序产品

Also Published As

Publication number Publication date
CN111024708A (zh) 2020-04-17
CN111024708B (zh) 2022-02-22
CN110554047B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN110554047B (zh) 产品缺陷检测数据处理方法、装置、系统和设备
Hassan et al. Enhanced QoS-based model for trust assessment in cloud computing environment
US20210209488A1 (en) Inference computing apparatus, model training apparatus, inference computing system
CN110287316A (zh) 一种告警分类方法、装置、电子设备及存储介质
CN112860676B (zh) 应用于大数据挖掘和业务分析的数据清洗方法及云服务器
Prajapat et al. Real-time discrete event simulation: a framework for an intelligent expert system approach utilising decision trees
Lugaresi et al. Generation and tuning of discrete event simulation models for manufacturing applications
CN110516714A (zh) 一种特征预测方法、系统及引擎
CN110597719A (zh) 一种用于适配测试的图像聚类方法、装置及介质
CN114840387A (zh) 微服务监控方法、装置、计算机设备和存储介质
CN112686717A (zh) 一种广告召回的数据处理方法及系统
Markiegi et al. Search-based product line fault detection allocating test cases iteratively
US20230054912A1 (en) Asset Error Remediation for Continuous Operations in a Heterogeneous Distributed Computing Environment
KR102269616B1 (ko) 공장 없는 제조 기업을 위한 스마트 제조 솔루션 시스템
Kovalyov Distributed energy resources management: from digital twin to digital platform
Ariansyah et al. Digital twin development: a step by step guideline
US20100299167A1 (en) Technology enterprise management apparatus and method therefor
KR102133901B1 (ko) 스마트팩토리의 모니터링과 관리시스템을 위한 보안 시스템
US20240113872A1 (en) Industrial automation blockchain data management
Lacueva-Pérez et al. SHION (smart thermoplastic injection): An interactive digital twin supporting real-time shopfloor operations
KR20200021132A (ko) 인공지능을 이용한 예측 방법
US20240106667A1 (en) Tokenized industrial automation software
US20240106665A1 (en) Industrial blockchain enabled automation control
US20240104520A1 (en) INDUSTRIAL SECURITY USING BLOCKCHAIN OR NFTs
EP4345713A1 (en) Performance-based smart contracts in industrial automation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant