CN117036227A - 数据处理方法、装置、电子设备、介质及程序产品 - Google Patents

数据处理方法、装置、电子设备、介质及程序产品 Download PDF

Info

Publication number
CN117036227A
CN117036227A CN202211154727.6A CN202211154727A CN117036227A CN 117036227 A CN117036227 A CN 117036227A CN 202211154727 A CN202211154727 A CN 202211154727A CN 117036227 A CN117036227 A CN 117036227A
Authority
CN
China
Prior art keywords
candidate
sampling
region
defect detection
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211154727.6A
Other languages
English (en)
Inventor
张博深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211154727.6A priority Critical patent/CN117036227A/zh
Publication of CN117036227A publication Critical patent/CN117036227A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请实施例公开了数据处理方法、装置、电子设备、介质及程序产品，可应用于数据处理技术领域。其中方法包括：调用初始缺陷检测模型确定样本产品图像中的多个候选区域以及每个候选区域的前景概率；根据每个正向候选区域的前景损失特征确定出多个第一采样候选区域；从多个第一采样候选区域中采样得到多个第二采样候选区域，并调用初始缺陷检测模型确定多个第二采样候选区域分别对应的分类概率集和位置偏移信息，以对初始缺陷检测模型进行训练，并利用训练得到的目标缺陷检测模型进行缺陷检测。采用本申请实施例，有助于提升对产品的缺陷检测的效率和准确性。本申请实施例还可应用于云技术、人工智能、智慧交通、辅助驾驶、智能家电等各种场景。

Description

数据处理方法、装置、电子设备、介质及程序产品
技术领域
本申请涉及数据处理技术领域，尤其涉及数据处理方法、装置、电子设备、介质及程序产品。
背景技术
工业缺陷质检是指对生产制造过程中的工业产品进行质量检测，也就是检测产品中的缺陷，目前，检测产品中的缺陷的方法一般是由相关人员进行人工目检，采用这种方法需要耗费大量人力资源，效率低下，且准确性较低。
发明内容
本申请实施例提供了一种数据处理方法、装置、电子设备、介质及程序产品，有助于提升对产品的缺陷检测的效率和准确性。
一方面，本申请实施例公开了一种数据处理方法，所述方法包括：
获取样本产品图像，并调用初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率；所述样本产品图像标注有样本缺陷区域；
根据所述多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域；所述正向候选区域与所述样本缺陷区域之间的重叠度大于重叠度阈值；
从所述多个第一采样候选区域中采样得到多个第二采样候选区域，并调用所述初始缺陷检测模型确定所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息；所述分类概率集中包括第二采样候选区域属于每种缺陷类别的概率，所述位置偏移信息用于指示第二采样候选区域与所述样本缺陷区域的位置偏差；
根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用所述目标缺陷检测模型对产品图像进行缺陷检测。
一方面，本申请实施例公开了一种数据处理装置，所述装置包括：
获取单元，用于获取样本产品图像，并调用初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率；所述样本产品图像标注有样本缺陷区域；
处理单元，用于根据所述多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域；所述正向候选区域与所述样本缺陷区域之间的重叠度大于重叠度阈值；
所述处理单元，还用于从所述多个第一采样候选区域中采样得到多个第二采样候选区域，并调用所述初始缺陷检测模型确定所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息；所述分类概率集中包括第二采样候选区域属于每种缺陷类别的概率，所述位置偏移信息用于指示第二采样候选区域与所述样本缺陷区域的位置偏差；
所述处理单元，还用于根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用所述目标缺陷检测模型对产品图像进行缺陷检测。
一方面，本申请实施例提供了一种电子设备，电子设备包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于执行如下步骤：
获取样本产品图像，并调用初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率；所述样本产品图像标注有样本缺陷区域；
根据所述多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域；所述正向候选区域与所述样本缺陷区域之间的重叠度大于重叠度阈值；
从所述多个第一采样候选区域中采样得到多个第二采样候选区域，并调用所述初始缺陷检测模型确定所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息；所述分类概率集中包括第二采样候选区域属于每种缺陷类别的概率，所述位置偏移信息用于指示第二采样候选区域与所述样本缺陷区域的位置偏差；
根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用所述目标缺陷检测模型对产品图像进行缺陷检测。
一方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时，用于执行如下步骤：
获取样本产品图像，并调用初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率；所述样本产品图像标注有样本缺陷区域；
根据所述多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域；所述正向候选区域与所述样本缺陷区域之间的重叠度大于重叠度阈值；
从所述多个第一采样候选区域中采样得到多个第二采样候选区域，并调用所述初始缺陷检测模型确定所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息；所述分类概率集中包括第二采样候选区域属于每种缺陷类别的概率，所述位置偏移信息用于指示第二采样候选区域与所述样本缺陷区域的位置偏差；
根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用所述目标缺陷检测模型对产品图像进行缺陷检测。
一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令被处理器执行时可实现上述一方面提供的方法。
采用本申请实施例，能够获取样本产品图像，并调用初始缺陷检测模型确定样本产品图像中的多个候选区域，从而根据该多个候选区域的前景损失特征从多个正向候选区域中确定出多个第一采样候选区域，并再从多个采样候选区域中采样得到多个第二采样候选区域，以便于基于这多个第二采样候选区域对初始缺陷检测模型进行训练，如可以调用初始缺陷检测模型确定每个第二采样候选区域对应分类概率集和位置偏移信息，并基于每个第二采样候选区域对应分类概率集和位置偏移信息对初始缺陷检测模型进行训练，进而可以基于训练得到的目标缺陷检测模型对产品图像进行缺陷检测。一方面，本申请能够训练得到一个目标缺陷检测模型用于对产品进行自动的缺陷检测，满足了产品缺陷检测的自动化、智能化需求，提高了产品的缺陷检测的效率；另一方面，在对缺陷检测产品模型进行训练时，可以对生成的多个候选区域进行两次采样，即可以基于前景损失特征确定多个第一采样候选区域，以便于加速模型的收敛，并从多个第一采样候选区域中再次采样得到多个第二采样候选区域，以便于减少样本产品图像中标注错误的样本缺陷区域对模型训练造成的影响，提升训练得到的模型的准确性，有助于提升对产品的缺陷检测的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理系统的结构示意图；
图2是本申请实施例提供的一种数据处理方法的流程示意图；
图3是本申请实施例提供的一种样本产品图像的效果示意图；
图4是本申请实施例提供的一种样本产品图像的效果示意图；
图5是本申请实施例提供的一种初始缺陷检测模型的训练过程的示意图；
图6是本申请实施例提供的一种数据处理方法的流程示意图；
图7是本申请实施例提供的一种缺陷检测过程的示意图；
图8是本申请实施例提供的一种数据处理装置的结构示意图；
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请实施例提出一种数据处理方案，能够获取样本产品图像，并调用初始缺陷检测模型确定样本产品图像中的多个候选区域，从而根据该多个候选区域的前景损失特征从多个正向候选区域中确定出多个第一采样候选区域，并再从多个采样候选区域中采样得到多个第二采样候选区域，以便于基于这多个第二采样候选区域对初始缺陷检测模型进行训练，如可以调用初始缺陷检测模型确定每个第二采样候选区域对应分类概率集和位置偏移信息，并基于每个第二采样候选区域对应分类概率集和位置偏移信息对初始缺陷检测模型进行训练，进而可以基于训练得到的目标缺陷检测模型对产品图像进行缺陷检测。一方面，本申请能够训练得到一个目标缺陷检测模型用于对产品进行自动的缺陷检测，满足了产品缺陷检测的自动化、智能化需求，提高了产品的缺陷检测的效率；另一方面，在对缺陷检测产品模型进行训练时，可以对生成的多个候选区域进行两次采样，即可以基于前景损失特征确定多个第一采样候选区域，以便于加速模型的收敛，并从多个第一采样候选区域中再次采样得到多个第二采样候选区域，以便于减少样本产品图像中标注错误的样本缺陷区域对模型训练造成的影响，提升训练得到的模型的准确性，有助于提升对产品的缺陷检测的准确性。
在一种可能的实施方式中，本申请实施例可以应用于一种数据处理系统。请参见图1，图1是本申请实施例提供的一种数据处理系统的结构示意图，该数据处理系统中可以包括客户端和数据处理后台。该客户端可以用于选择需要进行缺陷检测的产品图像，进而客户端将选择的产品图像上传至数据处理后台进行缺陷检测。该进行缺陷检测的产品图像可以为是对需要进行缺陷检测的产品的拍摄的图像，该产品图像可以在拍摄后存储于存储区域中，进而用户可以从存储区域中选择产品图像上传至数据处理后台，以便于进行缺陷检测；该产品图像也可以为现场拍摄的图像，即用户可以现场对产品的进行拍摄，并将拍摄的图像上传数据处理后台进行缺陷检测。在一个实施例中，需要进行缺陷检测的产品可以为工业产品，如阀门、管件、仪表、工具等工业中间品，又如电器、设备等最终工业品，此处不做限制。该数据处理后台可以为该客户端所在设备，也可以不为该客户端所在设备(例如某个服务器或者其他用户设备)，此处不做限制。
数据处理后台可以执行上述数据处理方案，以得到目标缺陷检测模型，进而在接收到客户端发送的产品图像后，利用该目标缺陷检测模型对产品图像进行缺陷检测，得到缺陷检测结果。可选的，该缺陷检测结果可以指示产品图像中存在缺陷的区域以及该区域中的缺陷的缺陷类别，进而可以向客户端发送该缺陷检测结果。客户端在接收到缺陷检测结果后，可以显示标注有缺陷区域和缺陷类别的产品图像，以供用户查看检测到的产品图像中的缺陷。可以理解的是，采用该数据处理系统进行缺陷检测，满足了产品缺陷检测的自动化、智能化需求，提高了产品的缺陷检测的准确性；并且，由于在对缺陷检测产品模型进行训练时，可以对生成的多个候选区域进行两次采样，以便于减少样本产品图像中标注错误的样本缺陷区域对模型训练造成的影响，提升训练得到的模型的准确性，有助于提升对产品的缺陷检测的准确性。
在一种可能的实施方式中，本申请实施例还可以应用于人工智能技术领域，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
需要进行说明的是，本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时)，结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本申请的技术方案可运用在电子设备中，如上述的数据处理设备。该电子设备可以是终端，也可以是服务器，或者也可以是用于进行数据处理的其他设备，本申请不做限定。可选的。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器、智能音箱、智能家电等。
可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
基于上述的描述，本申请实施例提出一种数据处理方法。请参见图2，图2是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由上述的电子设备执行。该数据处理方法可以包括以下步骤。
S201、获取样本产品图像，并调用初始缺陷检测模型确定样本产品图像中的多个候选区域以及每个候选区域的前景概率。
其中，该样本产品图像可以为用于对初始缺陷检测模型进行训练的产品图像，样本产品图像标注有样本缺陷区域，该样本缺陷区域可以为对产品图像标注的最能表征缺陷所在位置的区域。产品图像可以为针对产品需要进行缺陷检测的部位拍摄的图像，如拍摄的产品的表面的图像，进而可以对拍摄的产品图像标注对应的样本缺陷区域，从而可以得到标注有样本缺陷区域的样本产品图像。
例如，请参见图3，图3是本申请实施例提供的一种样本产品图像的效果示意图，可以看到，在该样本产品图像中存在一个标注框(如图3中的301所示)，该标注框所指示的区域即为样本缺陷区域。
在一种可能的实施方式中，该样本产品图像还可以标注有样本缺陷区域对应的样本缺陷类别。样本缺陷类别用于指示样本缺陷区域中的缺陷所属的类别。该样本缺陷类别属于缺陷类别集，该缺陷类别集可以包括多种缺陷类别。例如，该缺陷类别可以为划伤、辊印、凹坑、粗糙、波纹、毛刺等等类型、此处不做限制。
该初始缺陷检测模型可以为需要进行训练的用于进行缺陷检测的模型，该初始缺陷检测模型可以为没有经过训练的基础模型或者训练过但未满足测试条件的模型等等。该初始缺陷检测模型可以为深度神经网络，如该初始缺陷检测模型可以为一种目标检测模型。
该候选区域可以为产品图像中有较大可能属于前景的区域，也称候选框，该前景概率可以为一个区域属于前景的概率，即前景概率用于表征候选区域属于前景的可能性，也就是说，候选区域所对应的前景概率需要大于或等于一定阈值(即前景概率阈值)，前景概率阈值用于指示一个区域被确定为候选区域所需的前景概率的最小值。前景(foreground)可以为与背景(background)相对的概念，表示一个区域中存在需要检测的内容。例如，在样本产品图像中存在一个脏污异物(实际不为产品缺陷)，即该脏污异物相对于产品表面来说为前景内容，在样本产品中存在一个划伤的缺陷，该划伤导致痕迹相对于产品表面来说也为前景内容，在通过初始缺陷检测模型进行检测时，极有可能将该脏污异物或该划伤的缺陷所在区域判定为有较大可能属于前景的区域(即候选区域)，对应的前景概率大于或等于前景概率阈值。
在一个实施例中，任一候选区域可以具有对应的位置信息。可选的，任一候选区域的位置信息可以通过对应的区域坐标信息(也称区域位置信息)进行表征。例如，任一候选区域的区域坐标信息可以表示为候选区域的左上角坐标(x,y)以及宽w和高h，即可以表示为[x,y,w,h]。
在一种可能的实施方式中，调用初始缺陷检测模型确定样本产品图像中的多个候选区域以及每个候选区域的前景概率，具体可以包括以下步骤:
①调用初始缺陷检测模型对样本产品图像进行特征提取处理，得到样本产品图像对应的样本图像特征。该样本图像特征可以用于表征样本产品图像的图像信息，该样本图像特征可以表征为对应的特征图。在一个实施例中，该初始缺陷检测模型可以包括特征提取网络，该特征提取网络可以用对输入缺陷检测模型的产品图像进行特征提取处理，得到对应的图像特征。该特征提取网络可以为一个深度神经网络，如可以为CNN网络(一种神经网络)，从而基于该CNN网络对样本产品图像进行特征提取，得到对应的特征图(即样本图像特征)。例如，生成特征图的方式可以通过以下公式(公式1)进行表示。
F＝f(x；θ) 公式1
其中，f( )表示特征提取网络，如CNN网络，θ表示CNN网络的权重，x表示输入的产品图像，F表示输入的产品图像x的特征图(即图像特征)，由此可以基于初始缺陷检测模型中的特征提取网络对输入的产品图像进行处理，得到对应的图像特征。
②基于图像特征确定样本产品图像中的多个候选区域，以及每个候选区域的前景概率，每个候选区域的前景概率均大于或等于前景概率阈值。在一个实施例中，基于图像特征确定样本产品图像中的多个候选区域，可以基于初始缺陷检测模型中的候选区域生成网络进行确定。该候选区域生成网络可以为RPN网络(Region Proposal Network，一种用于生成候选框的神经网络)。例如，候选区域的生成方式可以通过以下公式(公式2)进行表示。
ProposalN＝RPN(F；θrpn)
Proposali∈[x，y，w，h，conf] 公式2
其中，ProposalN表示基于候选区域生成网络(如RPN网络)所生成的N个候选区域。RPN()表示RPN候选区域生成网络，θrpn表示RPN候选区域生成网络的网络参数，F表示输入初始缺陷检测模型的产品图像的图像特征。可以理解的是，针对任一候选区域Proposali可以表示为一个[x，y，w，h，conf]的五维向量，其中前面4个维度表示候选区域的位置信息，即候选区域的左上角坐标(x，y)以及宽w和高h，最后一位conf则表示候选区域的前景概率。
S202、根据多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据每个正向候选区域的前景损失特征从多个正向候选区域中确定出多个第一采样候选区域。
其中，正向候选区域与样本缺陷区域之间的重叠度大于重叠度阈值。该重叠度阈值可以为将候选区域确定为正向候选区域所需的重叠度最小值。该重叠度用于指示候选区域与样本缺陷区域之间的重叠的程度，候选区域与样本缺陷区域之间重叠的区域越多，则对应的重叠度越高，候选区域与样本缺陷区域之间重叠的区域越小，则对应的重叠度越低。
在一种可能的实施方式中，重叠度可以表示为候选区域与样本缺陷区域之间的区域交并比，则确定正向候选区域的方法可以包括以下步骤：①分别确定多个候选区域与样本缺陷区域之间的区域交并比。该区域交并比(IOU，也可简称交并比)可以用于指示任一候选区域与样本缺陷区域重叠的区域(即候选区域与样本缺陷区域之间的交集区域)占候选区域与样本缺陷区域的并集区域的比例，由此表示候选区域与样本缺陷区域之间的重叠度。候选区域与样本缺陷区域之间的区域交并比越大，则对应的重叠度越大，候选区域与样本缺陷区域之间的区域交并比越小，则对应的重叠度越小。
②将多个候选区域中区域交并比大于交并比阈值的候选区域确定为正向候选区域。该交并比阈值可以为将候选区域确定为正向候选区域所需的区域交并比的最小值。例如，该交并比阈值为0.4，若候选区域a与样本缺陷区域之间的交并比为0.6，则可以将候选区域a确定为正向候选区域，若候选区域a与样本缺陷区域之间的交并比为0.3，则可以不将候选区域a确定为正向候选区域。
在一个实施例中，该重叠度还可以通过候选区域与样本缺陷区域重叠的区域(即候选区域与样本缺陷区域之间的交集区域)占候选区域与样本缺陷区域的区域总和的比例，此处不做限制。
该前景损失特征可以根据候选区域的前景概率生成，该前景损失特征可以表示为损失值。前景概率越高，则前景损失特征越小，前景概率越低，则前景损失特征越高。
例如，任一候选区域的前景损失特征可以通过以下公式(公式3)进行表示。
Lcls＝-log(conf) 公式3
其中，Lcls表示前景损失特征，conf表示候选区域的前景概率，由此可以根据任一正向候选区域的前景概率得到该任一正向候选区域的前景损失特征。
该第一采样候选区域可以为从正向候选区域中筛选得到的部分候选区域。该第一采样候选区域可以为前景损失特征较大的部分正向候选区域。可以理解的是，通常对于神经网络模型而言，在对神经网络模型进行训练的过程中，分类损失(如本申请的前景损失特征)较大的候选区域往往对于模型的学习更有利，因为其可以产生更大的梯度用于参数更新，进而可以使得模型的收敛速度加快，提升模型训练的效率。由此可以通过采样得到前景损失特征较大的多个第一采样候选区域，从而在对初始缺陷检测模型的训练过程中，加快初始缺陷检测模型的收敛速度，提升初始缺陷检测模型的训练效率。
在一个可能的实施方式中，该第一采样候选区域可以为前景损失特征排序处于前K的正向候选区域，K为正整数。或者，该第一采样候选区域也可以为前景损失特征大于一定前景损失阈值的正向候选区域。或者，该第一采样候选区域可以为前景损失特征排序处于前K个，且大于一定前景损失阈值的正向候选区域。
在一个实施例中，如上述，该第一采样候选区域可以为前景损失特征排序处于前K的正向候选区域，那么根据每个正向候选区域的前景损失特征从多个正向候选区域中确定出多个第一采样候选区域，具体可以包括以下步骤：①将多个正向候选区域按照前景损失特征从大到小的顺序进行排序。②将排序处于前K个的正向候选区域确定为第一采样候选区域，得到多个第一采样候选区域。由此可以得到多个正向候选区域中，前景损失特征较大的K个第一采样候选区域。其中，K的取值可以为预设的固定数值，如，K为10，则可以从多个正向候选区域中确定10个第一采样候选区域；K的取值也可以为根据预设的比例与正向候选区域的数量得到的数值，例如，K为50％，则当正向候选区域的数量为16时，K＝16*50％＝8，进而可以从多个正向候选区域中确定8个第一采样候选区域。
在一个实施例中，如上述，该第一采样候选区域可以为前景损失特征排序处于前K个，且大于一定前景损失阈值的正向候选区域，那么根据每个正向候选区域的前景损失特征从多个正向候选区域中确定出多个第一采样候选区域，具体可以包括以下步骤：①将多个正向候选区域按照前景损失特征从大到小的顺序进行排序。②将排序处于前K个，且前景损失特征大于前景损失阈值的正向候选区域确定为第一采样候选区域，得到多个第一采样候选区域。其中，K为正整数。K的确定方式可以参照上述描述，此处不做赘述，由此可以得到前景损失特征排序处于前K的正向候选区域作为第一采样候选区域，以提升模型训练过程的收敛速度。
S203、从多个第一采样候选区域中采样得到多个第二采样候选区域，并调用初始缺陷检测模型确定多个第二采样候选区域分别对应的分类概率集和位置偏移信息。
其中，该第二采样候选区域可以为从多个第一采样候选区域中筛选得到的部分候选区域。进而可以基于所确定的多个第二采样候选区域对初始缺陷检测模型进行训练，可以减少错误标注的样本缺陷区域对初始缺陷检测模型训练的影响，提升训练得到的缺陷检测模型对于噪声标注信息的抗干扰能力。
在一种可能的实施方式中，从多个第一采样候选区域中采样得到多个第二采样候选区域，可以为从多个第一采样候选区域中随机筛选部分第一采样候选区域，得到多个第二采样候选区域。
可以理解的是，通常对神经网络模型的训练可以基于标注好的样本数据(也称训练数据)进行训练，如对为神经网络模型的初始缺陷检测模型的训练，可以基于标注有样本缺陷区域和对应的样本缺陷类别的样本产品图像进行训练，但是基于标注好的数据对模型进行训练，通常需要依赖于大量标注准确的训练数据，若样本数据标注错误，则容易导致训练得到的模型的预测准确性较低，也就是模型对噪声标签的抗干扰能力较弱。目前的一些用于检测缺陷的模型，是基于上述的多个正向候选区域对模型进行模型训练，若样本产品图像中存在一些不是缺陷而被错误标注为缺陷的样本缺陷区域，则会使得模型随着训练的进行，所生成的正向候选区域向错误标注的样本缺陷区域进行靠近，导致训练得到的模型对于缺陷的检测准确性较低。而本申请通过对多个第一次采样候选区域进行随机采样，可以减少基于错误标注的样本缺陷区域进行模型训练的机会，从而提升模型对噪声标签的抗干扰能力，增强训练得到的缺陷检测模型的鲁棒性，并提升训练得到的缺陷检测模型对于缺陷的检测准确性。
例如，对于工业场景，很多时候由于产线、车间的环境问题，会在产品(如零件)表面产生一些灰尘、絮状脏污等等，此时通过摄像头拍摄得到的产品表面图像中，真实的缺陷很多时候和这些脏污异物特征非常类似，这就导致标注人员在标注时候很难准确标注，不可避免的产生了很多错误标注的样本缺陷区域。请参见图4，图4是本申请实施例提供的一种样本产品图像的效果示意图，如图4所示，只有如图4中的401所示的区域为真实的缺陷所在的区域，但是标注人员对其余的形态和缺陷比较类似的位置也进行了标注，即产生了图4中的401、402和403所指示的标注框对应的错误标注区域，因此，在训练过程中确定多个正向候选区域后，可以通过随机采样得到多个第二采样后续按区域以对初始缺陷检测模型进行训练，由此减少基于错误标注的样本缺陷区域重叠度高的正向候选区域进行模型训练的机会，从而提升模型对噪声标签的抗干扰能力，提升训练得到的缺陷检测模型对于缺陷的检测准确性。
分类概率集中包括第二采样候选区域属于每种缺陷类别的概率。位置偏移信息用于指示通过初始缺陷检测模型所确定的第二采样候选区域与样本缺陷区域的位置偏差。可选的，任一第二采样候选区域的位置偏差信息可以参考上述候选区域的区域坐标信息进行表示，如可以通过第二采样候选区域于样本缺陷区域的左上角坐标的位置差异、宽的差异以及高的差异进行表示。可以理解的是，针对每个第二采样候选区域存在一个对应的分类概率和一个对应的位置偏移信息。例如，上述缺陷类别集中可以包括缺陷1、缺陷2、缺陷3、缺陷4，则针对任一第二采样候选区域，可以得到该任一第二采样候选区域分别属于缺陷1、缺陷2、缺陷3、缺陷4的分类概率，并且可以得到该任一第二采样候选区域的与样本缺陷区域的位置偏移信息。
在一种可能的实施方式中，该初始缺陷检测模型可以包括一个缺陷识别子网络，进而可以基于缺陷识别子网络确定多个第二采样候选区域分别对应的分类概率集和位置偏移信息。该缺陷识别子网络可以为一个神经网络，如可以为RCNN网络(一种神经网络)。
在一个实施例中，在基于缺陷识别子网络确定多个第二采样候选区域分别对应的分类概率集和位置偏移信息时，可以将每个第二采样候选区域映射回到样本图像特征中，以得到每个的第二采样候选区域对应的区域特征，然后基于每个的第二采样候选框对应的区域特征确定每个第二采样候选区域分别对应的分类概率集和位置偏移信息。在一个实施例中，将每个第二采样候选区域映射回到样本图像特征中，以得到每个的第二采样候选区域对应的区域特征，可以采用感兴趣区域池化(RoI Pooling)进行处理，此处不做赘述。
S204、根据多个第二采样候选区域分别对应的分类概率集和位置偏移信息对初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用目标缺陷检测模型对产品图像进行缺陷检测。
其中，在对初始缺陷检测模型进行训练的过程中，可以使得第二采样候选区域的位置偏移信息逐渐减小，即第二采样候选区域与样本缺陷区域之间的位置差异逐渐减小，并且可以使得第二采样候选区域的分类概率集中最大的分类概率对应的缺陷类别以更大置信度与样本缺陷类别相同。
在一种可能的实施方式中，对初始缺陷检测模型进行训练，可以通过样本缺陷区域对应的样本缺陷类别、多个第二采样候选区域分别对应的分类概率集和位置偏移信息对初始缺陷检测模型进行训练。例如，可以根据多个第二采样候选区域分别对应的分类概率集与样本缺陷类别确定分类损失值，并根据多个第二采样候选区域的位置偏移信息确定回归损失值，进而基于分类损失值与回归损失值对初始缺陷检测模型的模型参数进行优化以得到目标缺陷检测模型。
在一种可能的实施方式中，对初始缺陷检测模型进行训练，还可以通过上述多个候选区域、每个候选区域的前景概率、样本缺陷区域、样本缺陷区域对应的样本缺陷类别、多个第二采样候选区域分别对应的分类概率集和位置偏移信息对初始缺陷检测模型进行训练。
在一个实施例中，如上述，样本产品图像标注有样本缺陷区域对应的样本缺陷类别，那么，根据多个第二采样候选区域分别对应的分类概率集和位置偏移信息对初始缺陷检测模型进行训练，得到目标缺陷检测模型，具体可以包括以下步骤：
①根据多个候选区域的前景概率确定第一分类损失特征，并根据多个候选区域与所述样本缺陷区域之间的位置偏差确定第一回归损失特征。其中，该第一分类损失特征，也可以称为第一分类损失值，可以根据基于每个候选区域的前景概率确定的前景损失特征进行确定，如可以根据每个候选区域的前景损失特征的平均值确定第一分类损失值，每个候选区域对应的前景损失特征的确定方式可以参照上述描述，此处不做赘述。该第一回归损失特征，也可以称为第一回归损失值，可以根据多个候选区域与所述样本缺陷区域之间的位置偏差进行确定，如可以根据多个候选区域与所述样本缺陷区域之间的位置偏差的平均值进行确定。可以理解的是，若多个候选区域与所述样本缺陷区域之间的位置偏差的平均值越大，则第一回归损失特征越大，若多个候选区域与所述样本缺陷区域之间的位置偏差的平均值越小，则第一回归损失特征越小。该第一分类损失特征和第一回归损失特征可以用于对初始缺陷检测模型进行训练，具体可以对初始缺陷检测模型的候选区域生成模型进行训练，随着模型训练的进行，第一分类损失特征与第二回归损失特征逐渐减小。
在一种可能的实施方式中，任一候选区域与样本缺陷区域之间的位置偏差也可以称为候选区域回归损失特征。例如，任一候选区域的候选区域回归损失特征可以通过以下公式(公式4)进行表示。
Lreg＝|box-GT| 公式4
其中，其中，Lcls表示候选区域回归损失特征，box表示候选区域的区域坐标信息，GT表示样本缺陷区域的区域坐标信息，由此可以根据任一候选区域的区域坐标信息与样本缺陷区域的区域坐标信息之间的偏差得到该任一候选区域的候选区域回归损失特征。
②根据多个第二采样候选区域分别对应的分类概率集与样本缺陷类别确定第二分类损失特征，并根据多个第二采样候选区域的位置偏移信息确定第二回归损失特征。其中，该第二分类损失特征，也可以称为第二分类损失值，可以表征多个第二采样候选区域的分类概率集中针对每个缺陷类别的分类概率与标注的针对每个缺陷类别的概率之间的差异，该标注的针对每个缺陷类别的概率可以根据样本缺陷类别确定，如样本缺陷类别对应的概率为1，其余类别对应的概率为0，则随着模型训练的进行，使得第二分类损失特征逐渐减小，即使得各个第二采样候选区域分别对应的分类概率集逐渐与标注的针对每个缺陷类别的概率趋近。
该第二回归损失特征，也可以称为第二回归损失值，可以表征多个第二采样候选区域与样本缺陷区域的位置偏差，即位置偏移信息，则随着模型训练的进行，使得第二回归损失特征逐渐减小，即使得各个第二采样候选区域的位置偏移信息与样本缺陷区域之间的偏差逐渐减小。
③根据第一分类损失特征、第一回归损失特征、第二分类损失特征和第二回归损失特征对初始缺陷检测模型进行训练，得到目标缺陷检测模型。可以理解的是，根据上述得到的第一分类损失特征、第一回归损失特征、第二分类损失特征和第二回归损失特征对初始缺陷检测模型进行整体的训练，即可以对缺陷检测模型中的特征提取网络、候选区域生成网络、缺陷识别子网络的模型参数的进行参数优化，进而可以使得初始缺陷检测模型逐步具有更准确地检测输入的产品图像的缺陷所在区域的能力，并且可以更准确地确定出缺陷所在区域对应的缺陷类别，以便于通过训练得到目标缺陷检测模型进行缺陷检测。
在一种可能的实施方式中，初始缺陷检测模型经过训练得到目标缺陷检测模型后，可以基于对目标缺陷检测模型进行测试，当测试通过时，则将测试通过的目标缺陷检测模型应用于对产品图像进行缺陷检测；当测试不通过时，则将此次训练得到目标缺陷检测模型再次作为初始缺陷检测模型进行训练，以得到能够测试通过的目标缺陷检测模型。
在一个实施例中，利用目标缺陷检测模型对产品图像进行缺陷检测，可以调用目标缺陷检测模型对需要进行检测的产品图像进行处理，得到缺陷检测结果。该缺陷检测结果用于指示检测到的产品图像的缺陷。可选的，该缺陷检测结果可以用于指示产品图像中的缺陷所在区域以及缺陷对应的缺陷类别。可选的，若目标缺陷检测模型未检测到缺陷所在区域，则该缺陷检测结果可以为空，即表示检测到产品图像中不存在缺陷。
此处结合图示对整初始缺陷检测模型的训练过程进行阐述，请参见图5，图5是本申请实施例提供的一种初始缺陷检测模型的训练过程的示意图。首先可以获取针对初始缺陷检测模型的样本产品图像(如图5中的501所示)。然后获取样本产品图像的样本图像特征(如图5中的502所示)，具体可以基于初始缺陷检测模型的特征提取网络如CNN网络进行获取；然后基于该样本图像特征确定出多个候选区域以及每个候选区域的前景概率(如图5中的503所示)，如可以通过RPN网络进行确定；进而从多个候选区域中确定出多个第一采样候选区域(如图5中的504所示)，具体可以根据正向候选区域的前景概率确定前景损失特征，然后将前景损失特征排序处于前K个的正向候选区域确定为第一采样候选区域；进而从多个第一采样候选区域中随机采样得到多个第二采样候选区域(如图5中的505所示)。进而可以确定每个第二采样候选区域的位置偏移信息和分类概率集(如图5中的506所示)，如可以通过RCNN网络进行确定。然后可以基于每个候选区域的前景概率确定第一分类损失特征(如图5中的507所示)，基于多个候选区域与样本缺陷区域之间的位置偏差确定第一回归损失特征(如图5中的508所示)，并基于每个第二采样候选区域分类概率集确定第二分类损失特征(如图5中的509所示)，基于每个第二采样候选区域的位置偏移信息确定第二回归损失特征(如图5中的510所示)，从而基于上述的第一分类损失特征、第一回归损失特征、第二分类损失特征和第二回归损失特征对初始缺陷检测模型进行训练，得到目标缺陷检测模型(如图5中的511所示)，以便于后续利用该目标缺陷检测模型进行缺陷检测。
采用本申请实施例，能够获取样本产品图像，并调用初始缺陷检测模型确定样本产品图像中的多个候选区域，从而根据该多个候选区域的前景损失特征从多个正向候选区域中确定出多个第一采样候选区域，并再从多个采样候选区域中采样得到多个第二采样候选区域，以便于基于这多个第二采样候选区域对初始缺陷检测模型进行训练，如可以调用初始缺陷检测模型确定每个第二采样候选区域对应分类概率集和位置偏移信息，并基于每个第二采样候选区域对应分类概率集和位置偏移信息对初始缺陷检测模型进行训练，进而可以基于训练得到的目标缺陷检测模型对产品图像进行缺陷检测。一方面，本申请能够训练得到一个目标缺陷检测模型用于对产品进行自动的缺陷检测，满足了产品缺陷检测的自动化、智能化需求，提高了产品的缺陷检测的效率；另一方面，在对缺陷检测产品模型进行训练时，可以对生成的多个候选区域进行两次采样，即可以基于前景损失特征确定多个第一采样候选区域，以便于加速模型的收敛，并从多个第一采样候选区域中再次采样得到多个第二采样候选区域，以便于减少样本产品图像中标注错误的样本缺陷区域对模型训练造成的影响，提升训练得到的模型的准确性，有助于提升对产品的缺陷检测的准确性。
请参见图6，图6是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由上述的电子设备执行。该数据处理方法可以包括以下步骤。
S601、获取样本产品图像，并调用初始缺陷检测模型确定样本产品图像中的多个候选区域以及每个候选区域的前景概率。
S602、根据多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据每个正向候选区域的前景损失特征从多个正向候选区域中确定出多个第一采样候选区域。
步骤S601-S602可以参照步骤S201-S202的相关描述，此处不做赘述。
S603、从多个第一采样候选区域中采样得到多个第二采样候选区域，并调用初始缺陷检测模型确定多个第二采样候选区域分别对应的分类概率集和位置偏移信息。
在一种可能的实施方式中，从多个第一采样候选区域中采样得到多个第二采样候选区域，可以包括以下步骤：①获取针对多个第一采样候选区域的采样比例。采样比例用于指示需要采样得到的第二采样候选区域的数量。②根据采样比例从多个第一采样候选区域采样得到多个第二采样候选区域。在一个实施例中，该采用比例可以为需要采样的候选区域数量占第一候选区域的数量的比例。例如，采样比例为1/2，若第一采样候选区域的数量为20个，则根据采样比例与第一采样候选区域的数量，可以得到需要采样的候选区域的数量为20*1/2＝10，则可以从20个第一采样候选区域中随机采样得到10个第二采样候选区域。
在一种可能的实施方式中，本申请可以根据实际的应用场景确定采样比例，例如，针对一些很容易出现标注错误的应用场景，经常容易将不是缺陷的区域标注为缺陷区域，则可以确定稍微小一点的采样比例，以采样得到更少比例的第二采样候选区域，减少基于被错误标注为缺陷的样本缺陷区域进行模型训练的机会，以便于提升训练得到的模型的预测准确性。
S604、根据多个第二采样候选区域分别对应的分类概率集和位置偏移信息对初始缺陷检测模型进行训练，得到目标缺陷检测模型。
S605、获取待检测产品的目标产品图像。
其中，该待检测产品可以为需要进行缺陷检测的产品。该目标产品图像可以为对待检测产品需要进行缺陷检测的区域拍摄的图像，如可以为待检测产品的表面进行拍摄，得到目标产品图像。
S606、调用目标缺陷检测模型确定目标产品图像对应的目标图像特征，并根据目标图像特征确定目标产品图像中的多个目标候选区域。
其中，该目标图像特征可以为表征目标产品图像的图像信息的图像特征，该目标图像特征可以表征为对应的特征图。可以理解的是，该目标缺陷检测模型与上述的初始缺陷检测模型的模型结构相同，在对初始检测模型进行训练的过程中，通过对模型参数的不断调整，使得训练得到的目标缺陷检测模型具备准确地识别产品图像中的缺陷区域以及缺陷区域对应的缺陷类别的能力。
在一个实施例中，该目标图像特征可以通过目标缺陷检测模型中的特征提取网络进行特征提取处理得到。可以理解的是，目标缺陷检测模型中的特征提取网络能够准确地提取到适用于缺陷检测的目标产品图像的特征图，从而有助于后续准确地进行缺陷检测。
该目标候选区域可以为目标缺陷检测模型基于目标产品图像所确定的候选区域。针对目标候选区域的相关描述可以参照上述候选区域的相关描述，此处不做赘述。可以理解的是，任一目标候选区域具有对应的位置信息，如可以表示为对应的区域坐标信息，每个目标候选区域可以关联有对应的前景概率，且前景概率大于或等于前景概率阈值。
在一个实施例中，根据目标图像特征确定目标产品图像中的多个目标候选区域，可以基于目标缺陷检测模型中的候选区域生成网络(如RPN网络)进行确定。可以理解的是，目标缺陷检测模型中的候选区域生成网络能够准确地提取到属于前景的目标候选区域，从而有助于后续准确地进行缺陷检测。
S607、调用目标缺陷检测模型确定多个目标候选区域的位置偏移信息与每个目标候选区域的分类概率集。
其中，确定多个目标候选区域的位置偏移信息与每个目标候选区域的分类概率集的方法，可以参见上述确定多个第二采样候选区域的位置偏移信息与每个目标候选区域的分类概率集的相关描述，此处不做赘述。在一个实施例中，可以通过目标缺陷检测模型中的缺陷识别子网络确定多个目标候选区域的位置偏移信息与每个目标候选区域的分类概率集。可以理解的是，目标缺陷检测模型中的缺陷识别子网络具有识别每个目标候选区域对应的位置偏移信息和针对每种缺陷类别的分类概率的能力，由此可以快速地确定多个目标候选区域的位置偏移信息与每个目标候选区域的分类概率集。
S608、根据多个目标候选区域的位置偏移信息与每个目标候选区域的分类概率集，确定目标产品图像的目标缺陷区域以及目标缺陷区域所对应的目标缺陷类别。
其中，该目标缺陷区域可以为基于目标缺陷检测模型所确定的目标产品图像中最能体现缺陷所在位置对应的区域。目标缺陷区域所对应的目标缺陷类别可以为该目标缺陷区域对应的的分类概率集中的最大的分类概率对应的缺陷类别。
在一个实施例中，基于多个目标候选区域的位置偏移信息可以确定多个偏移候选区域，每个偏移候选区域关联有对应的分类概率集，从多个偏移候选区域中确定出目标缺陷区域，并根据目标缺陷区域对应的分类概率集确定目标缺陷区域对应的目标缺陷类别。其中，基于多个目标候选区域的位置偏移信息可以确定多个偏移候选区域，相当于基于对应的位置偏移信息对每个目标候选区域进行微调，从而得到更接近于真实缺陷所在位置的多个偏移候选区域。在一个实施例中，从多个偏移候选区域中确定出目标缺陷区域，可以根据每个偏移候选区域的分类概率集中最大的分类概率(也可称为每个偏移候选区域对应的预测缺陷类别的分类概率)从多个偏移候选区域中确定出目标缺陷区域，例如通过非极大值抑制(NMS)的方式从多个偏移候选区域中确定出目标缺陷区域，此处不做赘述。在一个实施例中，根据目标缺陷区域对应的分类概率集确定目标缺陷区域对应的目标缺陷类别，可以为基于目标缺陷区域的分类概率集中最大的分类概率所对应的缺陷类别。
此处结合图像对获取目标产品图像中的目标缺陷区域的过程进行阐述。请参见图7，图7是本申请实施例提供的一种缺陷检测过程的示意图。首先可以执行步骤S701：获取目标产品图像，进而将目标产品图像输入目标缺陷检测模型(即Input Image)，进而在该目标缺陷检测模型中，执行步骤S702：特征提取，具体可以基于目标缺陷检测模型中的特征提取网络进行特征提取，如通过CNN网络中的卷积层(CONV Layers)进行提取特征(ExtractFeatures)，从而得到特征图(Feature Maps)，即目标产品特征。然后执行步骤S703：预测候选区域，具体可以调用目标缺陷检测模型中的候选区域生成网络基于目标产品特征确定出多个目标候选区域，以及每个目标候选区域的前景概率。进而执行S704：感兴趣区域池化(RoI Pooling)，从而对每个目标候选区域进行进一步的特征提取。然后执行S705：缺陷分类，具体可以调用缺陷检测模型中的缺陷识别子网络确定每个目标候选区域的分类概率集以及位置偏移信息。最后可以执行步骤S706：输出缺陷检测结果，也就是基于每个目标候选区域的分类概率集以及位置偏移信息确定出目标缺陷区域以及对应的目标缺陷类别，以得到并输出缺陷检测结果。
采用本申请实施例，能够获取样本产品图像，并调用初始缺陷检测模型确定样本产品图像中的多个候选区域，从而根据该多个候选区域的前景损失特征从多个正向候选区域中确定出多个第一采样候选区域，并再从多个采样候选区域中采样得到多个第二采样候选区域，以便于基于这多个第二采样候选区域对初始缺陷检测模型进行训练，如可以调用初始缺陷检测模型确定每个第二采样候选区域对应分类概率集和位置偏移信息，并基于每个第二采样候选区域对应分类概率集和位置偏移信息对初始缺陷检测模型进行训练，进而可以基于训练得到的目标缺陷检测模型对产品图像进行缺陷检测。一方面，本申请能够训练得到一个目标缺陷检测模型用于对产品进行自动的缺陷检测，满足了产品缺陷检测的自动化、智能化需求，提高了产品的缺陷检测的效率；另一方面，在对缺陷检测产品模型进行训练时，可以对生成的多个候选区域进行两次采样，即可以基于前景损失特征确定多个第一采样候选区域，以便于加速模型的收敛，并从多个第一采样候选区域中再次采样得到多个第二采样候选区域，以便于减少样本产品图像中标注错误的样本缺陷区域对模型训练造成的影响，提升训练得到的模型的准确性，有助于提升对产品的缺陷检测的准确性。
请参见图8，图8是本申请实施例提供的一种数据处理装置的结构示意图。可选的，该数据处理装置可以设置于上述电子设备中。如图8所示，本实施例中所描述的数据处理装置可以包括：
获取单元801，用于获取样本产品图像，并调用所述初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率；所述样本产品图像标注有样本缺陷区域；
处理单元802，用于根据所述多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域；所述正向候选区域与所述样本缺陷区域之间的重叠度大于重叠度阈值；
所述处理单元802，还用于从所述多个第一采样候选区域中采样得到多个第二采样候选区域，并调用初始缺陷检测模型确定所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息；所述分类概率集中包括第二采样候选区域属于每种缺陷类别的概率，所述位置偏移信息用于指示第二采样候选区域与所述样本缺陷区域的位置偏差；
所述处理单元802，还用于根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用所述目标缺陷检测模型对产品图像进行缺陷检测。
在一种实现方式中，所述处理单元802，具体用于：
将所述多个正向候选区域按照前景损失特征从大到小的顺序进行排序；
将排序处于前K个的正向候选区域确定为第一采样候选区域，得到所述多个第一采样候选区域，K为正整数。
在一种实现方式中，所述重叠度表示为候选区域与所述样本缺陷区域之间的区域交并比；所述处理单元802，还用于：
分别确定所述多个候选区域与所述样本缺陷区域之间的区域交并比；
将所述多个候选区域中区域交并比大于交并比阈值的候选区域确定为所述正向候选区域。
在一种实现方式中，所述处理单元802，具体用于：
获取针对所述多个第一采样候选区域的采样比例；所述采样比例用于指示需要采样得到的第二采样候选区域的数量；
根据所述采样比例从所述多个第一采样候选区域采样得到所述多个第二采样候选区域。
在一种实现方式中，所述处理单元802，具体用于：
调用所述初始缺陷检测模型对所述样本产品图像进行特征提取处理，得到所述样本产品图像对应的样本图像特征；
基于所述样本图像特征确定所述样本产品图像中的多个候选区域，以及每个候选区域的前景概率，所述每个候选区域的前景概率均大于或等于前景概率阈值。
在一种实现方式中，所述样本产品图像标注有样本缺陷区域对应的样本缺陷类别，所述处理单元802，具体用于：
根据所述多个候选区域的前景概率确定第一分类损失特征，并根据所述多个候选区域与所述样本缺陷区域之间的位置偏差确定第一回归损失特征；
根据所述多个第二采样候选区域分别对应的分类概率集与所述样本缺陷类别确定第二分类损失特征，并根据所述多个第二采样候选区域的位置偏移信息确定第二回归损失特征；
根据所述第一分类损失特征、所述第一回归损失特征、所述第二分类损失特征和所述第二回归损失特征对所述初始缺陷检测模型进行训练，得到所述目标缺陷检测模型。
在一种实现方式中，所述处理单元802，具体用于：
获取待检测产品的目标产品图像；
调用所述目标缺陷检测模型确定所述目标产品图像对应的目标图像特征，并根据所述目标图像特征确定所述目标产品图像中的多个目标候选区域；
调用所述目标缺陷检测模型确定所述多个目标候选区域的位置偏移信息与所述每个目标候选区域的分类概率集；
根据所述多个目标候选区域的位置偏移信息与所述每个目标候选区域的分类概率集，确定所述目标产品图像的目标缺陷区域以及所述目标缺陷区域所对应的目标缺陷类别。
请参见图9，图9是本申请实施例提供的一种电子设备的结构示意图。本实施例中所描述的电子设备，包括：处理器901、存储器902。可选的，该电子设备还可包括网络接口或供电模块等结构。上述处理器901、存储器902之间可以交互数据。
上述处理器901可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述网络接口可以包括输入设备和/或输出设备，例如该输入设备是可以是控制面板、麦克风、接收器等，输出设备可以是显示屏、发送器等，此处不一一列举。
上述存储器902可以包括只读存储器和随机存取存储器，并向处理器901提供程序指令和数据。存储器902的一部分还可以包括非易失性随机存取存储器。其中，所述处理器901调用所述程序指令时用于执行：
获取样本产品图像，并调用初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率；所述样本产品图像标注有样本缺陷区域；
根据所述多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域；所述正向候选区域与所述样本缺陷区域之间的重叠度大于重叠度阈值；
从所述多个第一采样候选区域中采样得到多个第二采样候选区域，并调用所述初始缺陷检测模型确定所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息；所述分类概率集中包括第二采样候选区域属于每种缺陷类别的概率，所述位置偏移信息用于指示第二采样候选区域与所述样本缺陷区域的位置偏差；
根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用所述目标缺陷检测模型对产品图像进行缺陷检测。
在一种实现方式中，所述处理器901，具体用于：
将所述多个正向候选区域按照前景损失特征从大到小的顺序进行排序；
将排序处于前K个的正向候选区域确定为第一采样候选区域，得到所述多个第一采样候选区域，K为正整数。
在一种实现方式中，所述重叠度表示为候选区域与所述样本缺陷区域之间的区域交并比；所述处理器901，还用于：
分别确定所述多个候选区域与所述样本缺陷区域之间的区域交并比；
将所述多个候选区域中区域交并比大于交并比阈值的候选区域确定为所述正向候选区域。
在一种实现方式中，所述处理器901，具体用于：
获取针对所述多个第一采样候选区域的采样比例；所述采样比例用于指示需要采样得到的第二采样候选区域的数量；
根据所述采样比例从所述多个第一采样候选区域采样得到所述多个第二采样候选区域。
在一种实现方式中，所述处理器901，具体用于：
调用所述初始缺陷检测模型对所述样本产品图像进行特征提取处理，得到所述样本产品图像对应的样本图像特征；
基于所述样本图像特征确定所述样本产品图像中的多个候选区域，以及每个候选区域的前景概率，所述每个候选区域的前景概率均大于或等于前景概率阈值。
在一种实现方式中，所述样本产品图像标注有样本缺陷区域对应的样本缺陷类别，所述处理器901，具体用于：
根据所述多个候选区域的前景概率确定第一分类损失特征，并根据所述多个候选区域与所述样本缺陷区域之间的位置偏差确定第一回归损失特征；
根据所述多个第二采样候选区域分别对应的分类概率集与所述样本缺陷类别确定第二分类损失特征，并根据所述多个第二采样候选区域的位置偏移信息确定第二回归损失特征；
根据所述第一分类损失特征、所述第一回归损失特征、所述第二分类损失特征和所述第二回归损失特征对所述初始缺陷检测模型进行训练，得到所述目标缺陷检测模型。
在一种实现方式中，所述处理器901，具体用于：
获取待检测产品的目标产品图像；
调用所述目标缺陷检测模型确定所述目标产品图像对应的目标图像特征，并根据所述目标图像特征确定所述目标产品图像中的多个目标候选区域；
调用所述目标缺陷检测模型确定所述多个目标候选区域的位置偏移信息与所述每个目标候选区域的分类概率集；
根据所述多个目标候选区域的位置偏移信息与所述每个目标候选区域的分类概率集，确定所述目标产品图像的目标缺陷区域以及所述目标缺陷区域所对应的目标缺陷类别。
可选的，该程序指令被处理器执行时还可实现上述实施例中方法的其他步骤，这里不再赘述。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述方法，比如执行上述电子设备执行的方法，此处不赘述。
可选的，本申请涉及的存储介质如计算机可读存储介质可以是非易失性的，也可以是易失性的。
可选的，该计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。其中，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令被处理器执行时可实现上述方法中的部分或全部步骤。例如，该计算机指令存储在计算机可读存储介质中。计算机设备(如上述的电子设备)的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法的实施例中所执行的步骤。例如，该计算机设备可以为终端，或者可以为服务器。
以上对本申请实施例所提供的数据处理方法、装置、电子设备、介质及程序产品进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种数据处理方法，其特征在于，所述方法包括：
获取样本产品图像，并调用初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率；所述样本产品图像标注有样本缺陷区域；
根据所述多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域；所述正向候选区域与所述样本缺陷区域之间的重叠度大于重叠度阈值；
从所述多个第一采样候选区域中采样得到多个第二采样候选区域，并调用所述初始缺陷检测模型确定所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息；所述分类概率集中包括第二采样候选区域属于每种缺陷类别的概率，所述位置偏移信息用于指示第二采样候选区域与所述样本缺陷区域的位置偏差；
根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用所述目标缺陷检测模型对产品图像进行缺陷检测。
2.根据权利要求1所述方法，其特征在于，所述根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域，包括：
将所述多个正向候选区域按照前景损失特征从大到小的顺序进行排序；
将排序处于前K个的正向候选区域确定为第一采样候选区域，得到所述多个第一采样候选区域，K为正整数。
3.根据权利要求1所述方法，其特征在于，所述重叠度表示为候选区域与所述样本缺陷区域之间的区域交并比；所述方法还包括：
分别确定所述多个候选区域与所述样本缺陷区域之间的区域交并比；
将所述多个候选区域中区域交并比大于交并比阈值的候选区域确定为所述正向候选区域。
4.根据权利要求1所述方法，其特征在于，所述从所述多个第一采样候选区域中采样得到多个第二采样候选区域，包括：
获取针对所述多个第一采样候选区域的采样比例；所述采样比例用于指示需要采样得到的第二采样候选区域的数量；
根据所述采样比例从所述多个第一采样候选区域采样得到所述多个第二采样候选区域。
5.根据权利要求1-4任一项所述方法，其特征在于，所述调用初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率，包括：
调用所述初始缺陷检测模型对所述样本产品图像进行特征提取处理，得到所述样本产品图像对应的样本图像特征；
基于所述样本图像特征确定所述样本产品图像中的多个候选区域，以及每个候选区域的前景概率，所述每个候选区域的前景概率均大于或等于前景概率阈值。
6.根据权利要求1-4任一项所述方法，其特征在于，所述样本产品图像标注有样本缺陷区域对应的样本缺陷类别；所述根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，包括：
根据所述多个候选区域的前景概率确定第一分类损失特征，并根据所述多个候选区域与所述样本缺陷区域之间的位置偏差确定第一回归损失特征；
根据所述多个第二采样候选区域分别对应的分类概率集与所述样本缺陷类别确定第二分类损失特征，并根据所述多个第二采样候选区域的位置偏移信息确定第二回归损失特征；
根据所述第一分类损失特征、所述第一回归损失特征、所述第二分类损失特征和所述第二回归损失特征对所述初始缺陷检测模型进行训练，得到所述目标缺陷检测模型。
7.根据权利要求1-4任一项所述方法，其特征在于，所述利用所述目标缺陷检测模型对产品图像进行缺陷检测，包括：
获取待检测产品的目标产品图像；
调用所述目标缺陷检测模型确定所述目标产品图像对应的目标图像特征，并根据所述目标图像特征确定所述目标产品图像中的多个目标候选区域；
调用所述目标缺陷检测模型确定所述多个目标候选区域的位置偏移信息与所述每个目标候选区域的分类概率集；
根据所述多个目标候选区域的位置偏移信息与所述每个目标候选区域的分类概率集，确定所述目标产品图像的目标缺陷区域以及所述目标缺陷区域所对应的目标缺陷类别。
8.一种数据处理装置，其特征在于，所述装置包括：
获取单元，用于获取样本产品图像，并调用初始缺陷检测模型确定所述样本产品图像中的多个候选区域以及每个候选区域的前景概率；所述样本产品图像标注有样本缺陷区域；
处理单元，用于根据所述多个候选区域中的多个正向候选区域的前景概率确定每个正向候选区域的前景损失特征，并根据所述每个正向候选区域的前景损失特征从所述多个正向候选区域中确定出多个第一采样候选区域；所述正向候选区域与所述样本缺陷区域之间的重叠度大于重叠度阈值；
所述处理单元，还用于从所述多个第一采样候选区域中采样得到多个第二采样候选区域，并调用所述初始缺陷检测模型确定所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息；所述分类概率集中包括第二采样候选区域属于每种缺陷类别的概率，所述位置偏移信息用于指示第二采样候选区域与所述样本缺陷区域的位置偏差；
所述处理单元，还用于根据所述多个第二采样候选区域分别对应的分类概率集和位置偏移信息对所述初始缺陷检测模型进行训练，得到目标缺陷检测模型，并利用所述目标缺陷检测模型对产品图像进行缺陷检测。
9.一种电子设备，其特征在于，包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
11.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7任一项所述方法。
CN202211154727.6A 2022-09-21 2022-09-21 数据处理方法、装置、电子设备、介质及程序产品 Pending CN117036227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211154727.6A CN117036227A (zh) 2022-09-21 2022-09-21 数据处理方法、装置、电子设备、介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211154727.6A CN117036227A (zh) 2022-09-21 2022-09-21 数据处理方法、装置、电子设备、介质及程序产品

Publications (1)

Publication Number Publication Date
CN117036227A true CN117036227A (zh) 2023-11-10

Family

ID=88625004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211154727.6A Pending CN117036227A (zh) 2022-09-21 2022-09-21 数据处理方法、装置、电子设备、介质及程序产品

Country Status (1)

Country Link
CN (1) CN117036227A (zh)

Similar Documents

Publication Publication Date Title
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN110910353B (zh) 一种工业假不良检测方法及系统
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN113516650B (zh) 基于深度学习的电路板塞孔缺陷检测方法及装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN111414878B (zh) 一种关于地块的社会属性分析、图像处理方法及装置
CN115631178A (zh) 自动晶圆缺陷检测方法、系统、设备及存储介质
CN115861170A (zh) 基于改进yolo v4算法的表面缺陷检测方法
CN103913150B (zh) 智能电能表电子元器件一致性检测方法
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
KR102174424B1 (ko) 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치
CN111429431A (zh) 一种基于卷积神经网络的元件定位识别方法
CN111539456A (zh) 一种目标识别方法及设备
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN116580232A (zh) 一种图像自动标注方法、系统及电子设备
CN116091416A (zh) 印制电路板组装缺陷检测、变化检测模型训练方法及装置
CN112149698A (zh) 一种困难样本数据的筛选方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination