CN117036670B - 质量检测模型的训练方法、装置、设备、介质及程序产品 - Google Patents
质量检测模型的训练方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN117036670B CN117036670B CN202211287148.9A CN202211287148A CN117036670B CN 117036670 B CN117036670 B CN 117036670B CN 202211287148 A CN202211287148 A CN 202211287148A CN 117036670 B CN117036670 B CN 117036670B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- target
- detection
- quality detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 667
- 238000012549 training Methods 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012216 screening Methods 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims abstract description 14
- 230000007547 defect Effects 0.000 claims description 44
- 238000002372 labelling Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 22
- 238000007689 inspection Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 abstract description 21
- 230000000694 effects Effects 0.000 abstract description 13
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 238000000605 extraction Methods 0.000 description 18
- 238000011176 pooling Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000004927 fusion Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003647 oxidation Effects 0.000 description 2
- 238000007254 oxidation reaction Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种质量检测模型的训练方法、质量检测方法、装置、设备、存储介质及计算机程序产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景；质量检测模型的训练方法包括：获取多个携带样本标签的图像样本；通过质量检测模型，分别对各图像样本进行检测，得到各图像样本的检测结果；基于各图像样本的检测结果和相应的样本标签，确定对应各图像样本的、质量检测模型的损失值；基于各图像样本对应的损失值，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；基于目标图像样本对应的损失值，更新质量检测模型的模型参数，以对质量检测模型进行训练；通过本申请，能够提高质量检测模型的训练效果。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种质量检测模型的训练方法、质量检测方法、装置、设备、存储介质及计算机程序产品。
背景技术
人工智能(AI，Artificial Intelligence)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
图像处理也是人工智能的一个重要应用方向。相关技术中，通过质量检测模型来对图像中的目标进行质量检测，在质量检测模型的训练过程中，通常采用标注人员所标注的训练样本直接进行模型训练。而由于标注人员大都脱离实物标注，比如，直接对拍摄产生的图像进行标注，其难以忽略成像模糊的缺陷；且不同标注人员难以统一标注标准。如此，导致训练所需的标注数据存在噪音，影响了模型的训练效果，也降低了模型的质量检测精度。
发明内容
本申请实施例提供一种质量检测模型的训练方法、质量检测方法、装置、设备、存储介质及计算机程序产品，能够提高质量检测模型的训练效果，使得基于质量检测模型的质量检测精度更高。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种质量检测模型的训练方法，包括：
获取多个携带样本标签的图像样本，每个所述图像样本包括一个检测目标；
通过质量检测模型，分别对各所述图像样本进行检测，得到各所述图像样本的检测结果，所述检测结果用于指示所述图像样本中检测目标的质量；
基于各所述图像样本的所述检测结果和相应的所述样本标签，确定对应各所述图像样本的、所述质量检测模型的损失值；
基于各所述图像样本对应的损失值，从多个所述图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；
基于所述目标图像样本对应的损失值，更新所述质量检测模型的模型参数，以对所述质量检测模型进行训练。
本申请实施例提供一种质量检测方法，应用于质量检测模型，包括：
获取待检测对象的待检测图像，所述待检测图像包括一个待检测目标；
通过所述质量检测模型，对所述待检测图像进行检测，得到所述待检测图像的目标检测结果，所述目标检测结果，用于指示所述待检测目标的质量；
基于所述目标检测结果，确定所述待检测对象的对象质量；
其中，所述质量检测模型，基于质量检测模型的训练方法训练得到。
上述方案中，当所述待检测目标为所述待检测对象包括的一个部分时，所述方法还包括：
获取所述待检测对象包括的各个目标部分的部分检测结果，所述目标部分，为所述待检测对象中除所述待检测目标之外的其他部分；
所述基于所述目标检测结果，确定所述待检测对象的对象质量，包括：
结合所述目标检测结果、以及各所述部分检测结果，确定所述待检测对象的对象质量。
本申请实施例还提供一种质量检测模型的训练装置，包括：
第一获取模块，用于获取多个携带样本标签的图像样本，每个所述图像样本包括一个检测目标；
第一检测模块，用于通过质量检测模型，分别对各所述图像样本进行检测，得到各所述图像样本的检测结果，所述检测结果用于指示所述图像样本中检测目标的质量；
第一确定模块，用于基于各所述图像样本的所述检测结果和相应的所述样本标签，确定对应各所述图像样本的、所述质量检测模型的损失值；
筛除模块，用于基于各所述图像样本对应的损失值，从多个所述图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；
更新模块，用于基于所述目标图像样本对应的损失值，更新所述质量检测模型的模型参数，以对所述质量检测模型进行训练。
上述方案中，所述第一获取模块，还用于获取不包括噪音样本的标准训练样本集，并基于所述标准训练样本集，对目标质量检测模型进行预训练，得到所述质量检测模型；所述第一获取模块，还用于获取包括所述多个携带样本标签的图像样本的噪音训练样本集；其中，所述噪音训练样本集包括噪音样本，所述噪音训练样本集的数据量大于所述标准训练样本集的数据量。
上述方案中，所述第一获取模块，还用于获取包括多个检测目标的目标图像样本；对所述目标图像样本进行检测区域识别，得到多个检测区域，每个所述检测区域包括一个所述检测目标；从所述目标图像样本中，提取各所述检测区域分别对应的部分图像，得到所述目标图像样本的多个检测图像；分别对各所述检测图像进行标注，得到多个携带样本标签的图像样本。
上述方案中，所述第一获取模块，还用于对所述目标图像样本进行特征提取，得到所述目标图像样本的图像特征图，所述图像特征图包括多个特征点；针对各所述特征点，确定以所述特征点为中心的多个候选区域框；从多个所述特征点的多个候选区域框中，确定包括各所述检测目标的多个目标候选区域框；针对各所述检测目标，对包括所述检测目标的多个目标候选区域框进行回归处理，得到包括所述检测目标的目标区域框，并将所述目标区域框所包围的区域作为所述检测区域。
上述方案中，所述第一获取模块，还用于对所述目标图像样本进行多种尺寸的特征图提取，得到尺寸不同的多个第一中间特征图；将所述多个第一中间特征图，分别转化为目标尺寸的第二中间特征图，所述目标尺寸，为所述多种尺寸中的最大尺寸；对多个所述第二中间特征图进行拼接处理，得到所述图像特征图。
上述方案中，所述第一获取模块，还用于针对多个所述特征点的各所述候选区域框，分别执行如下处理：通过区域候选网络模型，对所述候选区域框进行预测，得到区域框预测结果，所述区域框预测结果，用于指示所述候选区域是否包括所述检测目标；当所述区域框预测结果指示所述候选区域包括所述检测目标时，确定所述候选区域框为所述目标候选区域框。
上述方案中，多个所述图像样本的图像尺寸不同，所述第一检测模块，还用于通过所述质量检测模型，从所述图像特征图中，确定对应各所述图像样本的样本特征图；将各所述样本特征图，分别转化为具有目标特征图尺寸的检测特征图；分别对各所述检测特征图进行检测，得到各所述图像样本的检测结果。
上述方案中，所述质量检测模型包括M个级联的子质量检测模型；所述第一检测模块，还用于针对各所述图像样本，分别执行如下处理：通过所述M个级联的子质量检测模型中的第一个子质量检测模型，对所述图像样本进行检测，得到所述第一个子质量检测模型的中间检测结果；通过所述M个级联的子质量检测模型中的第j个子质量检测模型，对第(j-1)个子质量检测模型的中间检测结果进行检测，得到所述第j个子质量检测模型的中间检测结果；其中，所述M和所述j为大于1的整数，所述j小于或等于所述M；对所述j进行遍历，得到第M个子质量检测模型的中间检测结果，并将所述第M个子质量检测模型的中间检测结果，作为所述图像样本的检测结果。
上述方案中，所述第一检测模块，还用于通过质量检测模型，分别对各所述图像样本进行分类检测，得到各所述图像样本的第一检测结果，所述第一检测结果，用于指示所述图像样本中检测目标的质量类型；通过质量检测模型，分别对各所述图像样本进行回归检测，得到各所述图像样本的第二检测结果，所述第二检测结果，用于指示质量类型表征存在质量缺陷的检测目标，在所述图像样本中的位置信息。
上述方案中，所述筛除模块，还用于从多个所述图像样本中，筛除损失值小于第一损失值阈值的图像样本，得到多个困难图像样本；从多个所述困难图像样本中，筛除满足以下噪音样本条件之一的噪音图像样本，得到目标图像样本：损失值大于第二损失值阈值的噪音图像样本，损失值降序排序靠前的目标数量的噪音图像样本；其中，所述第二损失值阈值大于所述第一损失值阈值。
上述方案中，当所述目标图像样本的数量为多个时，所述筛除模块，还用于从多个所述目标图像样本中，筛除携带目标样本标签的目标图像样本，得到训练图像样本，所述目标样本标签，表征所述目标图像样本的检测结果是不确定的；相应的，所述更新模块，还用于基于所述训练图像样本对应的损失值，更新所述质量检测模型的模型参数。
本申请实施例还提供一种质量检测装置，应用于质量检测模型，包括：
第二获取模块，用于获取待检测对象的待检测图像，所述待检测图像包括一个待检测目标；
第二检测模块，用于通过所述质量检测模型，对所述待检测图像进行检测，得到所述待检测图像的目标检测结果，所述目标检测结果，用于指示所述待检测目标的质量；
第二确定模块，用于基于所述目标检测结果，确定所述待检测对象的对象质量；其中，所述质量检测模型，基于质量检测模型的训练方法训练得到。
上述方案中，所述当所述待检测目标为所述待检测对象包括的一个部分时，所述第二确定模块，还用于获取所述待检测对象包括的各个目标部分的部分检测结果，所述目标部分，为所述待检测对象中除所述待检测目标之外的其他部分；相应的，所述第二确定模块，还用于结合所述目标检测结果、以及各所述部分检测结果，确定所述待检测对象的对象质量。
本申请实施例还提供一种电子设备，包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的方法。
本申请实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行时，实现本申请实施例提供的方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的方法。
本申请实施例具有以下有益效果：
首先获取多个携带样本标签的图像样本，该每个图像样本包括一个检测目标；然后通过质量检测模型，分别对各图像样本进行检测，得到各图像样本的检测结果，该检测结果用于指示图像样本中检测目标的质量；再基于各图像样本的检测结果和相应的样本标签，确定对应各图像样本的、质量检测模型的损失值；从而基于各图像样本对应的损失值，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；最后基于目标图像样本对应的损失值，更新质量检测模型的模型参数，以对质量检测模型进行训练。
如此，通过质量检测模型针对各个图像样本的损失值，从多个图像样本中筛除噪音图像样本，从而仅基于除噪音图像样本之外的目标图像样本进行质量检测模型的训练，降低了噪音标注数据对于模型训练的影响，能够提高质量检测模型的训练效果，使得基于质量检测模型的质量检测精度更高。
附图说明
图1是本申请实施例提供的质量检测模型的实施场景示意图；
图2是本申请实施例提供的实施质量检测模型的训练方法的电子设备500的结构示意图；
图3是本申请实施例提供的质量检测模型的训练方法的流程示意图；
图4是本申请实施例提供的质量检测模型的训练方法的流程示意图；
图5是本申请实施例提供的质量检测模型的训练方法的流程示意图；
图6是本申请实施例提供的区域候选网络模型的处理流程示意图；
图7是本申请实施例提供的质量检测模型的训练方法的流程示意图；
图8是本申请实施例提供的特征提取模型的结构示意图；
图9是本申请实施例提供的特征提取模型的结构示意图；
图10是本申请实施例的目标图像样本的处理流程示意图；
图11是本申请实施例提供的质量检测模型的结构示意图；
图12是本申请实施例提供的质量检测方法的流程示意图；
图13是本申请实施例提供的待检测对象的检测点位的示意图；
图14是相关技术中提供的单步法的流程示意图；
图15是本申请实施例提供的质量检测模型的训练流程示意图；
图16是本申请实施例提供的样本标注的示意图；
图17是本申请实施例提供的测试结果的统计示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)客户端，终端中运行的用于提供各种服务的应用程序，例如支持质量检测的客户端。
2)响应于，用于表示所执行的操作所依赖的条件或状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
本申请实施例提供一种质量检测模型的训练方法、质量检测方法、装置、设备、存储介质及计算机程序产品，能够提高质量检测模型的训练效果，使得基于质量检测模型的质量检测精度更高。
下面说明本申请实施例提供的质量检测模型的实施场景。参见图1，图1是本申请实施例提供的质量检测模型的实施场景示意图，为实现支撑一个示例性应用，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线或有线链路实现数据传输。
终端400，用于响应于针对质量检测模型的训练指令，发送针对质量检测模型的训练请求至服务器200；
服务器200，用于接收并响应于针对质量检测模型的训练请求，获取多个携带样本标签的图像样本，该每个图像样本包括一个检测目标；通过质量检测模型，分别对各图像样本进行检测，得到各图像样本的检测结果，该检测结果用于指示图像样本中检测目标的质量；基于各图像样本的检测结果和相应的样本标签，确定对应各图像样本的、质量检测模型的损失值；基于各图像样本对应的损失值，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；基于目标图像样本对应的损失值，更新质量检测模型的模型参数；如此实现对质量检测模型的训练。之后，服务器200还可以将训练完成的质量检测模型发送至终端400，当然，也可以在终端400获取质量检测模型时再发送。
当需要对待检测对象进行质量检测时，可以在终端400触发针对待检测对象的质量检测指令；终端400响应于质量检测指令，发送质量检测模型的模型获取请求至服务器200；服务器200接收并响应于模型获取请求，发送质量检测模型至终端400；终端400接收质量检测模型，并获取待检测对象的待检测图像，该待检测图像包括一个待检测目标；通过质量检测模型，对待检测图像进行检测，得到待检测图像的目标检测结果，该目标检测结果，用于指示待检测目标的质量；基于目标检测结果，确定待检测对象的对象质量；输出待检测对象的对象质量，以供检测人员查看。
在一些实施例中，本申请实施例提供的质量检测模型的训练方法可以由各种电子设备实施，例如，可以由终端单独实施，也可以由服务器单独实施，也可以由终端和服务器协同实施。例如终端独自执行本申请实施例提供的质量检测模型的训练方法，或者，终端向服务器发送针对质量检测模型的训练请求，服务器根据接收的训练请求执行本申请实施例提供的质量检测模型的训练方法。本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
在一些实施例中，本申请实施例提供的实施质量检测模型的训练的电子设备可以是各种类型的终端设备或服务器。其中，服务器(例如服务器200)可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。终端(例如终端400)可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备(例如智能音箱)、智能家电(例如智能电视)、智能手表、车载终端等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例对此不做限制。
在一些实施例中，本申请实施例提供的质量检测模型的训练方法可以借助于云技术(Cloud Technology)实现，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源。作为示例，服务器(例如服务器200)还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的质量检测模型的训练方法，举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
在一些实施例中，多个服务器可组成为一区块链，而服务器为区块链上的节点，区块链中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。其中，本申请实施例提供的质量检测模型的训练方法所相关的数据(例如多个携带样本标签的图像样本，训练完成的质量检测模型，等等)可保存于区块链上。
下面说明本申请实施例提供的实施质量检测模型的训练方法的电子设备。参见图2，图2是本申请实施例提供的实施质量检测模型的训练方法的电子设备500的结构示意图。以电子设备500为图1所示的服务器为例，本申请实施例提供的实施质量检测模型的训练方法的电子设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
存储器550可以是可移除的，不可移除的或其组合。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。存储器550包括易失性存储器或非易失性存储器，也可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他电子设备，示例性的网络接口520包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
在一些实施例中，本申请实施例提供的质量检测模型的训练装置可以采用软件方式实现，图2示出了存储在存储器550中的质量检测模型的训练装置553，其可以是程序和插件等形式的软件，包括以下软件模块：第一获取模块5531、第一检测模块5532、第一确定模块5533、筛除模块5534和更新模块5535，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。
下面说明本申请实施例提供的质量检测模型的训练方法。在一些实施例中，本申请实施例提供的质量检测模型的训练方法可由各种电子设备实施，例如，可由终端单独实施，也可由服务器单独实施，也可由终端和服务器协同实施。以服务器实施为例，参见图3，图3是本申请实施例提供的质量检测模型的训练方法的流程示意图，本申请实施例提供的质量检测模型的训练方法包括：
步骤101：服务器获取多个携带样本标签的图像样本。
其中，每个图像样本包括一个检测目标。
在步骤101中，当对质量检测模型进行训练时，模型训练人员可以在终端触发针对质量检测模型的模型训练指令；终端响应于模型训练指令，发送针对质量检测模型的模型训练请求至服务器；当服务器接收到模型训练请求之后，响应于模型训练请求，获取用于训练质量检测模型的训练样本集，该训练样本集包括多个携带样本标签的图像样本，该每个图像样本包括一个检测目标，该质量检测模型用于对图像样本进行检测，以得到图像样本中检测目标的质量。
在实际应用中，该图像样本可以是通过拍摄对象样本得到的，该对象样本可以是工业产品，如笔记本电脑、显示屏、木地板、瓷砖、方盒、方瓶、车牌、门牌，等等。该图像样本可以包括对象样本的一部分(如显示屏的左半部分)，也可以包括对象样本的全部(整个显示屏)。该检测目标，位于当针对图像样本进行检测区域识别时，所识别得到的最可能需要检测的区域，该检测目标可以是：图像样本中的工业产品上存在的脏污、缺陷、划痕等。
在一些实施例中，服务器可通过如下方式得到待训练的质量检测模型：获取不包括噪音样本的标准训练样本集，并基于标准训练样本集，对目标质量检测模型进行预训练，得到质量检测模型；相应的，服务器可通过如下方式获取多个携带样本标签的图像样本：获取包括多个携带样本标签的图像样本的噪音训练样本集；其中，该噪音训练样本集包括噪音样本，该噪音训练样本集的数据量大于标准训练样本集的数据量。
在实际应用中，在对质量检测模型进行训练之前，可以对一个目标质量检测模型(如初始构建的质量检测模型)进行预训练，以得到经过预训练得到的质量检测模型，该经过预训练得到的质量检测模型具有相应的检测精度。在对目标质量检测模型进行预训练时，可以获取不包括噪音样本的标准训练样本集，从而基于标准训练样本集进行预训练。在实际实施时，该标准训练样本集中不包括噪音样本，可以是人工剔除噪音样本后所构建的。
在经过对目标质量检测模型进行预训练，得到经过预训练得到的质量检测模型之后，可以进一步对该得到的质量检测模型进行训练，得到检测精度更高的质量检测模型。此时，可以获取包括多个携带样本标签的图像样本的噪音训练样本集，该噪音训练样本集包括噪音样本，该噪音训练样本集的数据量大于标准训练样本集的数据量。如此，在该训练过程中，可以根据各个训练样本(即图像样本)所对应的损失值，对数据量更大的噪音训练样本集中的噪音样本进行自动筛除，无需人工剔除噪音样本来构建标准训练样本集，减少训练样本集构建所需的时长，提高模型的训练效率；且通过数据量更大的噪音训练样本集来进行训练，还能够提高模型的训练效果。
步骤102：通过质量检测模型，分别对各图像样本进行检测，得到各图像样本的检测结果。
在步骤102中，服务器获取到多个携带样本标签的图像样本之后，通过构建的待训练的质量检测模型，分别对各图像样本进行检测(即预测处理)，得到各图像样本的检测结果。其中，该检测结果用于指示图像样本中检测目标的质量，比如该检测结果可以包括：该检测目标是否存在质量问题(比如缺陷)，是什么类型的质量问题(比如划痕、制作规格错误、主体缺失一部分、破损等)，存在质量问题的检测目标的位置坐标，等等。该质量检测模型可以是基于神经网络构建的，比如卷积神经网络、深度神经网络等等。
在一些实施例中，参见图4，图4是本申请实施例提供的质量检测模型的训练方法的流程示意图。图4示出了图3中的步骤101可通过步骤1011-步骤1014实现：步骤1011，获取包括多个检测目标的目标图像样本；步骤1012，对目标图像样本进行检测区域识别，得到多个检测区域，每个检测区域包括一个检测目标；步骤1013，从目标图像样本中，提取各检测区域分别对应的部分图像，得到目标图像样本的多个检测图像；步骤1014，分别对各检测图像进行标注，得到多个携带样本标签的图像样本。
在步骤1011中，该目标图像样本中可以包括多个检测目标，该目标对象样本可以通过拍摄对象样本得到的，也可以是针对对象样本进行自动光学检测得到的。在步骤1012中，当获取到目标图像样本之后，对目标图像样本进行检测区域识别，得到目标图像样本中需要检测的多个检测区域，该每个检测区域包括一个检测目标。在步骤1013中，可以从目标图像样本中，提取各检测区域分别对应的部分图像，得到目标图像样本的多个检测图像。在步骤1014中，首先可以获取各检测图像的标注检测结果，该标注检测结果可以是人工标注的，也可以是机器标注的；然后针对各检测图像，将检测图像作为图像样本，并将检测图像的标注检测结果，作为图像样本的样本标签，从而得到携带样本标签的图像样本。
在一些实施例中，参见图5，图5是本申请实施例提供的质量检测模型的训练方法的流程示意图。图5示出了图4中的步骤1012可通过步骤10121-步骤10124实现：步骤10121，对目标图像样本进行特征提取，得到目标图像样本的图像特征图，该图像特征图包括多个特征点；步骤10122，针对各特征点，确定以特征点为中心的多个候选区域框；步骤10123，从多个特征点的多个候选区域框中，确定包括各检测目标的多个目标候选区域框；步骤10124，针对各检测目标，对包括检测目标的多个目标候选区域框进行回归处理，得到包括检测目标的目标区域框，并将目标区域框所包围的区域作为检测区域。
在步骤10121中，对目标图像样本进行特征提取，得到相应的图像特征图，该图像特征图包括多个特征点(即图像特征图中的像素点)，该特征提取的过程可通过特征提取模型实现。在步骤10122中，可以针对每个特征点，确定以特征点为中心的多个候选区域框，该多个候选区域框的尺寸大小是不同的。在步骤10123中，从多个特征点的多个候选区域框中，确定包括检测目标的多个目标候选区域框。在实际应用中，可以通过预先训练完成的区域候选网络模型，对各个候选区域框进行分类预测，从而确定哪些候选区域框包括检测目标，哪些候选区域框不包括检测目标。在步骤10124中，在针对各检测目标，确定包括该检测目标的多个目标候选区域框之后，对包括该检测目标的多个目标候选区域框进行回归处理，得到包括该检测目标的一个目标区域框，该目标区域框为多个目标候选区域框中最可能包括检测目标的目标候选区域框，从而将该目标区域框所包围的区域作为检测区域。在实际应用中，还可以通过预先训练完成的区域候选网络模型，对包括该检测目标的多个目标候选区域框进行回归预测，以得到包括该检测目标的目标区域框。
在一些实施例中，图5示出的步骤10123可通过如下步骤实现：针对多个特征点的各候选区域框，分别执行如下处理：通过区域候选网络模型，对候选区域框进行预测，得到区域框预测结果，该区域框预测结果，用于指示候选区域是否包括检测目标；当区域框预测结果指示候选区域包括检测目标时，确定候选区域框为目标候选区域框。在实际应用中，该区域候选网络模型可以是基于区域候选网络(Region Proposal Network，RPN)实现的。
作为示例，参见图6，图6是本申请实施例提供的区域候选网络模型的处理流程示意图。这里，该区域候选网络模型的输入为目标图像样本的图像特征图(feature map)，该图像特征图包括多个特征点；以特征点W为例，确定以特征点W为中心的k个候选区域框，图6所示的k＝9；通过区域候选网络模型，对多个特征点的多个候选区域框分别进行分类预测，得到区域框预测结果，从而针对同一检测目标，当区域框预测结果指示候选区域包括该检测目标时，将该候选区域框作为最可能包括该检测目标的目标候选区域框进行输出；如图6所示，输出的包括检测目标的目标候选区域框(proposals)有3个。
在一些实施例中，参见图7，图7是本申请实施例提供的质量检测模型的训练方法的流程示意图。图7示出了图5中的步骤10121可通过步骤201-步骤202实现：步骤201，对目标图像样本进行多种尺寸的特征图提取，得到尺寸不同的多个第一中间特征图；步骤202，将多个第一中间特征图，分别转化为目标尺寸的第二中间特征图，该目标尺寸，为多种尺寸中的最大尺寸；步骤203，对多个第二中间特征图进行拼接处理，得到图像特征图。
作为示例，步骤10121可以通过高分辨率网络模型(High-Resolution Net，HRNet)实现。参见图8-图9，图8-图9是本申请实施例提供的特征提取模型的结构示意图。这里，该特征提取模型为HRNet模型，包括特征图提取层和特征图融合层。如图8所示，特征图处理层模型包括4个stage，不同stage会输出不同尺寸的第一中间特征图，相邻特征图长宽尺寸相差2倍。这些第一中间特征图会输入至图9所示的特征图融合层中，该特征图融合层连接于特征图提取层之后，特征图融合层会对尺寸不同的多个第一中间特征图进行高低层的特征融合。具体地，将各个小尺寸的第一中间特征图进行上采样(upsampling)操作以恢复到最大尺寸的第一中间特征图的大小，得到具有同一尺寸的多个第二中间特征图，然后将具有同一尺寸的多个第二中间特征图进行堆叠(concat)操作，得到图9左上角所示的特征图，之后还可以再进行多次(如3次)下采样(conv-maxpooling)操作，得到图像特征图。
在一些实施例中，多个图像样本的图像尺寸不同；相应的，图3示出的步骤102可通过如下步骤实现：通过质量检测模型，从图像特征图中，确定对应各图像样本的样本特征图；将各样本特征图，分别转化为具有目标特征图尺寸的检测特征图；分别对各检测特征图进行检测，得到各图像样本的检测结果。
作为示例，参见图10，图10是本申请实施例的目标图像样本的处理流程示意图。这里，将目标图像样本输入特征提取模型，得到图像特征图；通过RPN对图像特征图进行检测区域识别，得到多个检测区域(proposals)，该检测区域所对应的图像即为图像样本；通过质量检测模型的区域池化处理层(即RoI pooling)，基于多个检测区域以及图像特征图，将对应检测区域的样本特征图采样为一个目标特征图尺寸的检测特征图，从而通过质量检测模型的检测层分别对各检测特征图进行检测，得到各图像样本的检测结果。
在一些实施例中，质量检测模型包括M个级联的子质量检测模型；相应的，图3示出的步骤102还可通过如下步骤实现：针对各图像样本，分别执行如下处理：通过M个级联的子质量检测模型中的第一个子质量检测模型，对图像样本进行检测，得到第一个子质量检测模型的中间检测结果；通过M个级联的子质量检测模型中的第j个子质量检测模型，对第(j-1)个子质量检测模型的中间检测结果进行检测，得到第j个子质量检测模型的中间检测结果；其中，M和j为大于1的整数，j小于或等于M；对j进行遍历，得到第M个子质量检测模型的中间检测结果，并将第M个子质量检测模型的中间检测结果，作为图像样本的检测结果。
作为示例，参见图11，图11是本申请实施例提供的质量检测模型的结构示意图。这里，质量检测模型包括3个级联的子质量检测模型H1、H3、H3，以及相应的区域池化处理层(即RoI pooling)。子质量检测模型的预测任务包括分类任务和回归任务，即H1输出分类预测结果C1和回归预测结果B1，H2输出输出分类预测结果C2和回归预测结果B2，H3输出分类预测结果C3和回归预测结果B3。其中，关于回归任务，RPN的输出B0，将作为proposal通过H1对应的RoI pooling进行操作，并基于H1输出B1；H1的输出B1，将作为proposal通过H2对应的RoI pooling进行操作，并基于H2输出B2；同理，H2的输出B2，将作为proposal通过H3对应的RoI pooling进行操作，并基于H3输出B3。如此，能够提高对小尺寸目标的检测能力。
在一些实施例中，图3示出的步骤102还可通过如下步骤实现：通过质量检测模型，分别对各图像样本进行分类检测，得到各图像样本的第一检测结果，第一检测结果，用于指示图像样本中检测目标的质量类型；通过质量检测模型，分别对各图像样本进行回归检测，得到各图像样本的第二检测结果，第二检测结果，用于指示质量类型表征存在质量缺陷的检测目标，在图像样本中的位置信息。
在实际应用中，本申请实施例提供的质量检测模型可以实现两个预测任务，即分类预测任务和回归预测任务。其中，(1)分类预测任务为，通过质量检测模型，分别对各图像样本进行分类检测，得到各图像样本的第一检测结果，该第一检测结果，用于指示图像样本中检测目标的质量类型，该质量类型包括：a)不存在质量缺陷(或质量问题)：检测目标为对象样本上的脏污、附着的异物等；b)存在质量缺陷(或质量问题)：检测目标为对象样本上的划痕、破损、制作规格错误、主体缺失一部分等。(2)回归预测任务为，通过质量检测模型，分别对各图像样本进行回归检测，得到各图像样本的第二检测结果，该第二检测结果，用于指示质量类型表征存在质量缺陷的检测目标，在图像样本中的位置信息。该位置信息实际为检测目标所在的检测区域的区域框的坐标信息。
步骤103：基于各图像样本的检测结果和相应的样本标签，确定对应各图像样本的、质量检测模型的损失值。
在步骤103中，在通过质量检测模型得到各图像样本的检测结果后，基于该图像样本的检测结果、以及该图像样本的样本标签，确定对应该图像样本的、质量检测模型的损失值。该损失值为质量检测模型的损失函数的值，该损失函数可以根据需要设置，比如可以是对数损失函数、交叉熵损失函数等。
步骤104：基于各图像样本对应的损失值，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本。
在步骤104中，根据对应各图像样本的、质量检测模型的损失值，对多个图像样本进行筛选，以去除多个图像样本中的噪音图像样本。在实际应用中，可以设置基于损失值的噪音样本条件，比如损失值高于损失值阈值的图像样本、损失值降序排序靠前的目标数量的图像样本。从而基于该噪音样本条件，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本。如此，可以减少噪音标注数据对于模型训练的影响。
步骤105：基于目标图像样本对应的损失值，更新质量检测模型的模型参数，以对质量检测模型进行训练。
在步骤105中，当对多个图像样本筛除噪音图像样本后，基于剩余的目标图像样本(即非噪音图像样本)对质量检测模型进行训练。在实际应用中，基于目标图像样本对应的损失值，更新质量检测模型的模型参数。具体地，当目标图像样本对应的损失值超出预设阈值时，首先，基于质量检测模型的损失函数，确定质量检测模型的误差信号；然后，将误差信号在质量检测模型中反向传播，并在传播的过程中更新质量检测模型中各个层的模型参数，以对质量检测模型进行训练。
在一些实施例中，图3示出的步骤104可通过如下步骤实现：从多个图像样本中，筛除损失值小于第一损失值阈值的图像样本，得到多个困难图像样本；从多个困难图像样本中，筛除满足以下噪音样本条件之一的噪音图像样本，得到目标图像样本：损失值大于第二损失值阈值的噪音图像样本，损失值降序排序靠前的目标数量的噪音图像样本。该第二损失值阈值大于第一损失值阈值。
在实际应用中，多个图像样本中包括困难图像样本，该困难图像样本，为多个图像样本中损失值不小于第一损失值阈值的图像样本，而损失值小于第一损失值阈值的图像样本则为简单图像样本。为了使质量检测模型的训练效果更好，可以采用困难图像样本对质量检测模型进行训练。同时，在本申请实施例中，困难图像样本中可能包括噪音图像样本，因此，需要对多个困难图像样本进行噪音图像样本的去除，即，从多个困难图像样本中，筛除满足以下噪音样本条件之一的噪音图像样本，得到目标图像样本。该噪音样本条件可以包括：损失值大于第二损失值阈值的图像样本为噪音图像样本，损失值降序排序靠前的目标数量的的图像样本为噪音图像样本。
在一些实施例中，当目标图像样本的数量为多个时，在图3示出的步骤104和步骤105之间，服务器还可以执行如下步骤：从多个目标图像样本中，筛除携带目标样本标签的目标图像样本，得到训练图像样本，该目标样本标签，表征目标图像样本的检测结果是不确定的；相应的，图3示出的步骤105可通过如下步骤实现：基于训练图像样本对应的损失值，更新质量检测模型的模型参数。
在实际应用中，在进行图像样本标注时，可能存在有些图像样本的样本标签不确定的情况，比如不确定该图像样本中的检测目标是否存在质量缺陷。因此，在筛除多个图像样本中的噪音图像样本后，还可以从得到的多个目标图像样本中，筛除携带目标样本标签的目标图像样本，得到训练图像样本。其中，该目标样本标签表征目标图像样本的检测结果是不确定的，即该目标图像样本的目标样本标签在标注时，被标注为检测结果是不确定(即不确定该图像样本中的检测目标是否存在质量缺陷)。基于此，在对质量检测模型进行训练时，基于训练图像样本对应的损失值，更新质量检测模型的模型参数。
应用本申请上述实施例，首先获取多个携带样本标签的图像样本，该每个图像样本包括一个检测目标；然后通过质量检测模型，分别对各图像样本进行检测，得到各图像样本的检测结果，以得到各图像样本中检测目标的质量；再基于各图像样本的检测结果和相应的样本标签，确定对应各图像样本的、质量检测模型的损失值；从而基于各图像样本对应的损失值，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；最后基于目标图像样本对应的损失值，更新质量检测模型的模型参数，以对质量检测模型进行训练。如此，通过质量检测模型针对各个图像样本的损失值，从多个图像样本中筛除噪音图像样本，从而仅基于除噪音图像样本之外的目标图像样本进行质量检测模型的训练，降低了噪音标注数据对于模型训练的影响，能够提高质量检测模型的训练效果，使得基于质量检测模型的质量检测精度更高。
下面说明本申请实施例提供的质量检测方法。在一些实施例中，本申请实施例提供的质量检测方法，应用于质量检测模型，该质量检测模型是基于上述质量检测模型的训练方法训练得到的。本申请实施例提供的质量检测方法可由各种电子设备实施，例如，可由终端单独实施，也可由服务器单独实施，也可由终端和服务器协同实施。以终端实施为例，参见图12，图12是本申请实施例提供的质量检测方法的流程示意图，本申请实施例提供的质量检测方法包括：
步骤301：终端获取待检测对象的待检测图像。
其中，该待检测图像包括一个待检测目标。
在实际应用中，该终端可以设置有支持质量检测的客户端。当需要对待检测对象进行质量检测时，可以在终端运行的客户端触发针对待检测对象的质量检测指令；终端响应于质量检测指令，发送质量检测模型的模型获取请求至服务器；服务器接收并响应于模型获取请求，发送质量检测模型至终端；终端接收到质量检测模型。此时，终端则可以基于该质量检测模型对待检测对象进行质量检测。
首先，终端获取待检测对象的待检测图像(即proposal)，该待检测图像包括一个待检测目标。在实际实施时，该待检测图像可通过如下方式得到：对包括待检测对象的对象图像进行待检测图像的提取，得到一个或者多个包括一个待检测目标的待检测图像。
示例性地，该待检测图像可以是通过拍摄待检测对象得到的，该待检测对象可以是工业产品，如笔记本电脑、显示屏、木地板、瓷砖、方盒、方瓶、车牌、门牌，等等。该待检测图像可以包括待检测对象的一部分(如显示屏的左半部分)，也可以包括待检测对象的全部(整个显示屏)。该待检测目标，位于当针对待检测图像进行检测区域识别时，所识别得到的最可能需要检测的区域，该待检测目标可以是：待检测图像中的工业产品上存在的脏污、缺陷、划痕等。
步骤302：通过质量检测模型，对待检测图像进行检测，得到待检测图像的目标检测结果。
其中，该目标检测结果，用于指示待检测目标的质量。
在步骤302中，通过质量检测模型对待检测图像进行检测，得到相应的目标检测结果，以得到待检测目标的质量。该目标检测结果可以包括(1)待检测目标的质量类型；(2)质量类型表征存在质量缺陷的待检测目标，在待检测图像中的位置信息，即待检测目标所在的检测区域的区域框的坐标信息。其中，该质量类型包括：a)不存在质量缺陷(或质量问题)：检测目标为对象样本上的脏污、附着的异物等；b)存在质量缺陷(或质量问题)：待检测目标为待检测对象上的划痕、破损、制作规格错误、主体缺失一部分等。
步骤303：基于目标检测结果，确定待检测对象的对象质量。
其中，该质量检测模型，基于上述质量检测模型的训练方法训练得到。
在一些实施例中，当待检测目标为待检测对象包括的一个部分时，终端还可获取待检测对象包括的各个目标部分的部分检测结果，该目标部分，为待检测对象中除待检测目标之外的其他部分；相应的，终端可通过如下方式基于目标检测结果，确定待检测对象的对象质量：结合目标检测结果、以及各部分检测结果，确定待检测对象的对象质量。在另一些实施例中，而当待检测目标为待检测对象的全部时，则可以将待检测目标的质量作为待检测对象的对象质量。
作为示例，参见图13，图13是本申请实施例提供的待检测对象的检测点位的示意图。这里，该待检测对象为笔记本电脑，包括131个检测点位，因此，在对该待检测对象进行检测时，可以获取各个检测点位的对象图像，然后针对各个检测点位执行如下处理：从对象图像中，提取一个或者多个包括一个待检测目标的待检测图像(即proposal)，该待检测目标则为待检测对象的一部分；从而基于质量检测模型，对各个待检测图像进行检测，得到相应的检测结果，以得到待检测目标的质量。如此，可以基于各个检测点位的对象图像中的待检测目标的质量，确定待检测对象的对象质量。
应用本申请上述实施例，首先获取多个携带样本标签的图像样本，该每个图像样本包括一个检测目标；然后通过质量检测模型，分别对各图像样本进行检测，得到各图像样本的检测结果，以得到各图像样本中检测目标的质量；再基于各图像样本的检测结果和相应的样本标签，确定对应各图像样本的、质量检测模型的损失值；从而基于各图像样本对应的损失值，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；最后基于目标图像样本对应的损失值，更新质量检测模型的模型参数，以对质量检测模型进行训练。如此，通过质量检测模型针对各个图像样本的损失值，从多个图像样本中筛除噪音图像样本，从而仅基于除噪音图像样本之外的目标图像样本进行质量检测模型的训练，降低了噪音标注数据对于模型训练的影响，能够提高质量检测模型的训练效果，使得基于质量检测模型的质量检测精度更高，从而也提高了待检测对象的对象质量检测精度。
下面将以工业场景中的质量检测为例，说明本申请实施例在一个实际的应用场景中的示例性应用。在工业场景中，可以通过目标检测算法来对工业产品(如笔记本电脑、显示屏、地板等)进行质量检测，如从外观上检测工业产品是否存在缺陷、存在什么类型的缺陷、缺陷的位置在哪里，等等。在实际应用中，可以对拍摄工业产品所得到的待检测图像进行目标检测，以确定待检测图像中工业产品上是否存在脏污、缺陷等目标，从而根据检测到的目标确定工业产品的质量。
在相关技术中，通常采用单步法(one-stage object detector)对待检测图像进行目标检测，常用的单步法包括RetinaNet和单步多框检测器(Single Shot MultiBoxDetector，SSD)。以RetinaNet为例，参见图14，图14是相关技术中提供的单步法的流程示意图，图14所示的是RetinaNet的结构。首先，RetinaNet通过一个ResNet分类网络提取待检测图像的多个特征图，然后通过卷积预测层，基于多个特征图输出对目标进行分类和回归，得到目标的预测坐标(box)。但是，相关技术中存在如下问题：1)目标检测算法使用ResNet作为特征提取的主干网络，难以捕获小目标的特征。在实际工业场景中，图像的分辨率非常大，能够达到120w像素，而需要检测出的缺陷则小至20个像素，从而使得有些缺陷目标由于较小而难以检测出来，导致质量检测精度不高。2)在目标检测算法的模型的训练方面，由于标注人员大都脱离实物标注，比如，直接对拍摄产生的图像进行标注，其难以忽略成像模糊的缺陷；且不同标注人员难以统一标注标准。如此，导致训练所需的标注数据存在噪音，影响模型的训练效果，进一步降低了质量检测精度。
基于此，本申请实施例提供一种质量检测模型(或称目标检测模型)的训练方法、以及基于质量检测模型的质量检测方法，可以适用于工业场景下的缺陷检测。在本申请实施例中，1)能够检测小尺度的目标(如缺陷)，更好地区分小尺度目标和背景，例如，可以使用高分辨率(High-Resolution Net，HRNet)作为特征提取的主干网络。2)通过级联的检测头结构，对同一个目标(proposal)进行多次级联的回归检测和分类检测，能够更好地对目标进行检测，输出更准确的检测结果，例如，可以使用级联的区域卷积神经网络(CascadeRegion Convolutional Neural Networks，Cascade RCNN)作为检测头。3)对于不确定检测结果(如不确定是否为缺陷)的训练样本，采用“模糊”标签进行标注，在模型训练过程中，忽略携带“模糊”标签的训练样本所对应的损失值的梯度回传，使得不确定样本不参与训练，能够去除训练样本中的部分噪音训练样本。4)对训练样本标注脏污、异物等非缺陷类别的标签，通过将这些非缺陷类别、和划伤等缺陷类别进行对抗训练，能够有效降低将脏污、异物误检为缺陷的可能。5)使用在线挖掘困难训练样本的方式，对损失值大于第一损失阈值的困难训练样本进行挖掘，通过将困难训练样本对应的损失值进行梯度回传实现模型训练；此外，在困难训练样本的挖掘过程中，还可以考虑噪音训练样本，即，将损失值降序排序靠前的目标数量(如10％)的训练样本作为噪音训练样本进行筛除，而不作为困难训练样本。
下面参见图15，图15是本申请实施例提供的质量检测模型的训练流程示意图。这里，该质量检测模型包括：特征提取模型(HRNet)、区域候选网络模型(RPN)、3个级联的子质量检测模型、以及各子质量检测模型对应的区域池化处理层(即RoI pooling)。其中，
第一步，将目标图片样本输入到用于检测的主干网络(即HRNet)中，生成用于分类和回归的图像特征图。
参见图8-图9，HRNet模型包括特征图提取层(如图8所示)和特征图融合层(如图9所示)。其中，特征图处理层模型包括4个stage，不同stage会输出不同尺寸的第一中间特征图，相邻特征图长宽尺寸相差2倍。在实际应用中，一般的CNN网络每个stage都是保持特征图分辨率重复进行conv+relu+bn操作，来提取高层语义特征的。Stage之间会有下采样操作，将不同分辨率特征图的stage进行串联。而HRNet除了以上操作外，在每个stage内部还将不同分辨率的特征图进行并联。在每个stage的最后会将并联的不同尺寸的特征图进行融合，得到最终stage输出的4个特征图。
继续的，最终stage输出的4个特征图会输入至图9所示的特征图融合层中，该特征图融合层连接于特征图提取层之后，特征图融合层会对尺寸不同的多个特征图进行高低层的特征融合。具体地，将各个小尺寸的特征图进行上采样(upsampling)操作以恢复到最大尺寸的特征图的大小，得到具有同一尺寸的多个特征图，然后将具有同一尺寸的多个特征图进行堆叠(concat)操作，得到图9左上角所示的特征图，之后还可以再进行多次(如3次)下采样(conv-maxpooling)操作，得到如图9所示的4个图像特征图。
第二步，通过RPN网络对图像特征图进行候选目标识别，生成多个proposal(候选目标)，并基于生成的proposal对图像特征图进行roipooling操作，得到尺寸统一的proposal的特征图。
参见图6，图6是本申请实施例提供的区域候选网络模型的处理流程示意图。这里，该区域候选网络模型的输入为目标图像样本的图像特征图(feature map)，该图像特征图包括多个特征点；以特征点W为例，确定以特征点W为中心的k个候选区域框，图6所示的k＝9；最后对于每个候选区域框会进行分类和回归操作。对于分类为目标或者缺陷的候选区域框输出作为proposal；如图6所示，输出的包括目标的proposals有3个。
当对于图像特征图在proposal进行roipooling操作时，是将图像特征图中对应proposal的特征图采样为统一尺寸的特征图，这里的尺寸可以设置为7x7。
第三步，采用级联的子质量检测模型对proposal进行检测，得到检测结果。
参见图11，包括3个级联的子质量检测模型H1、H3、H3，以及相应的区域池化处理层(即RoI pooling)。子质量检测模型的预测任务包括分类任务和回归任务，即H1输出分类预测结果C1和回归预测结果B1，H2输出输出分类预测结果C2和回归预测结果B2，H3输出分类预测结果C3和回归预测结果B3。其中，关于回归任务，H1的输出B1，将作为proposal通过H2对应的RoI pooling进行操作，并基于H2输出B2；同理，H2的输出B2，将作为proposal通过H3对应的RoI pooling进行操作，并基于H3输出B3。同时，为了提升小目标的检测能力，在对正负样本进行划分时，三个级联步骤里，设置了不同的交并比(Intersection over Union，IOU)参数来划分正负样本，具体的参数数值可以设置为[0.3，0.4，0.5]。
第四步，基于各个proposal的检测结果以及相应的标签，确定proposal的loss，并基于各个proposal对应loss，对proposal进行筛选，即：对于loss大于第一损失值阈值的proposal作为困难样本，并将loss降序排序靠前的10％的困难样本作为噪音样本。从而得到目标图像样本，从而基于目标图像样本proposal对应的loss进行反向传播，计算梯度以更新网络参数。
参见图16，图16是本申请实施例提供的样本标注的示意图，包括人工质检和通过图像进行静态标注，如此，噪音样本的来源，主要有两点原因：(1)脱离实物标注，难以从图像准确判断成像模糊的缺陷；不同标注员难以统一标准。(2)多光源图像标注指数级别放大标注噪音，产线质检员可以在灯光下晃动物料进行判断。因此，提出了三点措施降低样本中噪音的方式，具体为：(1)使用不确定标签；(2)使用脏污，异物OK类标签；(3)采用带噪在线困难样本挖掘。特别的，对于(3)中的困难样本挖掘，将loss降序排序靠前的10％的困难样本作为噪音样本不进行回传。同时，在计算损失函数时，有ignore标签(图15中所示的ignore标签)的也不进行loss回传；此外对训练样本标注脏污、异物等非缺陷类别的标签(图15中所示的OK类标签)，通过将这些非缺陷类别、和划伤等缺陷类别进行对抗训练，能够有效降低将脏污、异物误检为缺陷的可能。
在实际应用中，本申请实施例适应各种产品的质量检测，比如应用于工业产品质检中的缺陷检测。示例性地，以检测点位较多的3C件：工业产品“笔记本电脑”为例，笔记本电脑外壳是由铝合金冲压后经过计算机数字控制(CNC，Computer numerical control)技术加工完成，经过一次阳极氧化技术后进行上色，本申请实施例可通过视觉自动化一体机(AOI，Automated Optical Inspection)来替代产线工人完成阳极氧化后的质量检测。如图13所示，笔记本电脑边框由于有弧面，且面积大，需要有131个点位进行成像，从而对各个点位的成像进行质量检测，能够提升131点位成像的电脑边框缺陷检测精度。
基于此，上述质量检测算法能够提升小目标的质量检测能力，并能够减轻噪音标注数据对于模型训练的影响，能够很好地降低产品质量检测的过杀率和漏检率。尤其对于3C场景中零件拍摄点位较多的产品，可以有效地降低产品质量检测的过杀率。参见图17，图17是本申请实施例提供的测试结果的统计示意图，这里，在使用产线上批量的数据进行测试时，最终的产线漏检率如图17中(1)所示，过杀率如图17中(2)所示。
应用本申请上述实施例，1)能够检测小尺度的目标(如缺陷)，更好地区分小尺度目标和背景；2)通过级联的检测头结构，对同一个目标(proposal)进行多次级联的回归检测和分类检测，能够更好地对目标进行检测，输出更准确的检测结果；3)对于不确定检测结果(如不确定是否为缺陷)的训练样本，采用“模糊”标签进行标注，在模型训练过程中，忽略携带“模糊”标签的训练样本所对应的损失值的梯度回传，使得不确定样本不参与训练，能够去除训练样本中的部分噪音训练样本；4)对训练样本标注脏污、异物等非缺陷类别的标签，通过将这些非缺陷类别、和划伤等缺陷类别进行对抗训练，能够有效降低将脏污、异物误检为缺陷的可能；5)对困难训练样本进行挖掘，在困难训练样本的挖掘过程中，还可以去除噪音训练样本，从而基于剩余的困难训练样本对应的损失值进行梯度回传实现模型训练，降低了噪音标注数据对于模型训练的影响，能够提高质量检测模型的训练效果，使得基于质量检测模型的质量检测精度更高，从而也提高了待检测对象的对象质量检测精度。
可以理解的是，在本申请实施例中，涉及到用户信息等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面继续说明本申请实施例提供的质量检测模型的训练装置553的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器550的质量检测模型的训练装置553中的软件模块可以包括：第一获取模块5531，用于获取多个携带样本标签的图像样本，每个所述图像样本包括一个检测目标；第一检测模块5532，用于通过质量检测模型，分别对各所述图像样本进行检测，得到各所述图像样本的检测结果，所述检测结果用于指示所述图像样本中检测目标的质量；第一确定模块5533，用于基于各所述图像样本的所述检测结果和相应的所述样本标签，确定对应各所述图像样本的、所述质量检测模型的损失值；筛除模块5534，用于基于各所述图像样本对应的损失值，从多个所述图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；更新模块5535，用于基于所述目标图像样本对应的损失值，更新所述质量检测模型的模型参数，以对所述质量检测模型进行训练。
在一些实施例中，所述第一获取模块5531，还用于获取不包括噪音样本的标准训练样本集，并基于所述标准训练样本集，对目标质量检测模型进行预训练，得到所述质量检测模型；所述第一获取模块5531，还用于获取包括所述多个携带样本标签的图像样本的噪音训练样本集；其中，所述噪音训练样本集包括噪音样本，所述噪音训练样本集的数据量大于所述标准训练样本集的数据量。
在一些实施例中，所述第一获取模块5531，还用于获取包括多个检测目标的目标图像样本；对所述目标图像样本进行检测区域识别，得到多个检测区域，每个所述检测区域包括一个所述检测目标；从所述目标图像样本中，提取各所述检测区域分别对应的部分图像，得到所述目标图像样本的多个检测图像；分别对各所述检测图像进行标注，得到多个携带样本标签的图像样本。
在一些实施例中，所述第一获取模块5531，还用于对所述目标图像样本进行特征提取，得到所述目标图像样本的图像特征图，所述图像特征图包括多个特征点；针对各所述特征点，确定以所述特征点为中心的多个候选区域框；从多个所述特征点的多个候选区域框中，确定包括各所述检测目标的多个目标候选区域框；针对各所述检测目标，对包括所述检测目标的多个目标候选区域框进行回归处理，得到包括所述检测目标的目标区域框，并将所述目标区域框所包围的区域作为所述检测区域。
在一些实施例中，所述第一获取模块5531，还用于对所述目标图像样本进行多种尺寸的特征图提取，得到尺寸不同的多个第一中间特征图；将所述多个第一中间特征图，分别转化为目标尺寸的第二中间特征图，所述目标尺寸，为所述多种尺寸中的最大尺寸；对多个所述第二中间特征图进行拼接处理，得到所述图像特征图。
在一些实施例中，所述第一获取模块5531，还用于针对多个所述特征点的各所述候选区域框，分别执行如下处理：通过区域候选网络模型，对所述候选区域框进行预测，得到区域框预测结果，所述区域框预测结果，用于指示所述候选区域是否包括所述检测目标；当所述区域框预测结果指示所述候选区域包括所述检测目标时，确定所述候选区域框为所述目标候选区域框。
在一些实施例中，多个所述图像样本的图像尺寸不同，所述第一检测模块5532，还用于通过所述质量检测模型，从所述图像特征图中，确定对应各所述图像样本的样本特征图；将各所述样本特征图，分别转化为具有目标特征图尺寸的检测特征图；分别对各所述检测特征图进行检测，得到各所述图像样本的检测结果。
在一些实施例中，所述质量检测模型包括M个级联的子质量检测模型；所述第一检测模块5532，还用于针对各所述图像样本，分别执行如下处理：通过所述M个级联的子质量检测模型中的第一个子质量检测模型，对所述图像样本进行检测，得到所述第一个子质量检测模型的中间检测结果；通过所述M个级联的子质量检测模型中的第j个子质量检测模型，对第(j-1)个子质量检测模型的中间检测结果进行检测，得到所述第j个子质量检测模型的中间检测结果；其中，所述M和所述j为大于1的整数，所述j小于或等于所述M；对所述j进行遍历，得到第M个子质量检测模型的中间检测结果，并将所述第M个子质量检测模型的中间检测结果，作为所述图像样本的检测结果。
在一些实施例中，所述第一检测模块5532，还用于通过质量检测模型，分别对各所述图像样本进行分类检测，得到各所述图像样本的第一检测结果，所述第一检测结果，用于指示所述图像样本中检测目标的质量类型；通过质量检测模型，分别对各所述图像样本进行回归检测，得到各所述图像样本的第二检测结果，所述第二检测结果，用于指示质量类型表征存在质量缺陷的检测目标，在所述图像样本中的位置信息。
在一些实施例中，所述筛除模块5534，还用于从多个所述图像样本中，筛除损失值小于第一损失值阈值的图像样本，得到多个困难图像样本；从多个所述困难图像样本中，筛除满足以下噪音样本条件之一的噪音图像样本，得到目标图像样本：损失值大于第二损失值阈值的噪音图像样本，损失值降序排序靠前的目标数量的噪音图像样本；其中，所述第二损失值阈值大于所述第一损失值阈值。
在一些实施例中，当所述目标图像样本的数量为多个时，所述筛除模块5534，还用于从多个所述目标图像样本中，筛除携带目标样本标签的目标图像样本，得到训练图像样本，所述目标样本标签，表征所述目标图像样本的检测结果是不确定的；相应的，所述更新模块5535，还用于基于所述训练图像样本对应的损失值，更新所述质量检测模型的模型参数。
应用本申请上述实施例，首先获取多个携带样本标签的图像样本，该每个图像样本包括一个检测目标；然后通过质量检测模型，分别对各图像样本进行检测，得到各图像样本的检测结果，以得到各图像样本中检测目标的质量；再基于各图像样本的检测结果和相应的样本标签，确定对应各图像样本的、质量检测模型的损失值；从而基于各图像样本对应的损失值，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；最后基于目标图像样本对应的损失值，更新质量检测模型的模型参数，以对质量检测模型进行训练。如此，通过质量检测模型针对各个图像样本的损失值，从多个图像样本中筛除噪音图像样本，从而仅基于除噪音图像样本之外的目标图像样本进行质量检测模型的训练，降低了噪音标注数据对于模型训练的影响，能够提高质量检测模型的训练效果，使得基于质量检测模型的质量检测精度更高。
下面说明本申请实施例提供的质量检测装置。本申请实施例提供的质量检测装置可以包括：第二获取模块，用于获取待检测对象的待检测图像，所述待检测图像包括一个待检测目标；第二检测模块，用于通过所述质量检测模型，对所述待检测图像进行检测，得到所述待检测图像的目标检测结果，所述目标检测结果，用于指示所述待检测目标的质量；第二确定模块，用于基于所述目标检测结果，确定所述待检测对象的对象质量；其中，所述质量检测模型，基于质量检测模型的训练方法训练得到。
在一些实施例中，所述当所述待检测目标为所述待检测对象包括的一个部分时，所述第二确定模块，还用于获取所述待检测对象包括的各个目标部分的部分检测结果，所述目标部分，为所述待检测对象中除所述待检测目标之外的其他部分；相应的，所述第二确定模块，还用于结合所述目标检测结果、以及各所述部分检测结果，确定所述待检测对象的对象质量。
应用本申请上述实施例，先获取多个携带样本标签的图像样本，该每个图像样本包括一个检测目标；然后通过质量检测模型，分别对各图像样本进行检测，得到各图像样本的检测结果，以得到各图像样本中检测目标的质量；再基于各图像样本的检测结果和相应的样本标签，确定对应各图像样本的、质量检测模型的损失值；从而基于各图像样本对应的损失值，从多个图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；最后基于目标图像样本对应的损失值，更新质量检测模型的模型参数，以对质量检测模型进行训练。如此，通过质量检测模型针对各个图像样本的损失值，从多个图像样本中筛除噪音图像样本，从而仅基于除噪音图像样本之外的目标图像样本进行质量检测模型的训练，降低了噪音标注数据对于模型训练的影响，能够提高质量检测模型的训练效果，使得基于质量检测模型的质量检测精度更高，从而也提高了待检测对象的对象质量检测精度。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序或计算机可执行指令，该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令，处理器执行该计算机可执行指令，使得该电子设备执行本申请实施例提供的方法。
本申请实施例还提供一种计算机可读存储介质，其中存储有计算机可执行指令，当计算机可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，HyperText Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，计算机可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (15)
1.一种质量检测模型的训练方法，其特征在于，所述方法包括：
获取多个携带样本标签的图像样本，每个所述图像样本包括一个检测目标；
通过质量检测模型，分别对各所述图像样本进行检测，得到各所述图像样本的检测结果，所述检测结果用于指示所述图像样本中检测目标的质量；
基于各所述图像样本的所述检测结果和相应的所述样本标签，确定对应各所述图像样本的、所述质量检测模型的损失值；
基于各所述图像样本对应的损失值，从多个所述图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；
基于所述目标图像样本对应的损失值，更新所述质量检测模型的模型参数，以对所述质量检测模型进行训练。
2.如权利要求1所述的方法，其特征在于，所述获取多个携带样本标签的图像样本之前，所述方法还包括：
获取不包括噪音样本的标准训练样本集，并基于所述标准训练样本集，对目标质量检测模型进行预训练，得到所述质量检测模型；
所述获取多个携带样本标签的图像样本，包括：
获取包括所述多个携带样本标签的图像样本的噪音训练样本集；
其中，所述噪音训练样本集包括噪音样本，所述噪音训练样本集的数据量大于所述标准训练样本集的数据量。
3.如权利要求1所述的方法，其特征在于，所述获取多个携带样本标签的图像样本，包括：
获取包括多个检测目标的目标图像样本；
对所述目标图像样本进行检测区域识别，得到多个检测区域，每个所述检测区域包括一个所述检测目标；
从所述目标图像样本中，提取各所述检测区域分别对应的部分图像，得到所述目标图像样本的多个检测图像；
分别对各所述检测图像进行标注，得到多个携带样本标签的图像样本。
4.如权利要求3所述的方法，其特征在于，所述对所述目标图像样本进行检测区域识别，得到多个检测区域，包括：
对所述目标图像样本进行特征提取，得到所述目标图像样本的图像特征图，所述图像特征图包括多个特征点；
针对各所述特征点，确定以所述特征点为中心的多个候选区域框；
从多个所述特征点的多个候选区域框中，确定包括各所述检测目标的多个目标候选区域框；
针对各所述检测目标，对包括所述检测目标的多个目标候选区域框进行回归处理，得到包括所述检测目标的目标区域框，并将所述目标区域框所包围的区域作为所述检测区域。
5.如权利要求4所述的方法，其特征在于，所述对所述目标图像样本进行特征提取，得到所述目标图像样本的图像特征图，包括：
对所述目标图像样本进行多种尺寸的特征图提取，得到尺寸不同的多个第一中间特征图；
将所述多个第一中间特征图，分别转化为目标尺寸的第二中间特征图，所述目标尺寸，为所述多种尺寸中的最大尺寸；
对多个所述第二中间特征图进行拼接处理，得到所述图像特征图。
6.如权利要求4所述的方法，其特征在于，所述从多个所述特征点的多个候选区域框中，确定包括各所述检测目标的多个目标候选区域框，包括：
针对多个所述特征点的各所述候选区域框，分别执行如下处理：
通过区域候选网络模型，对所述候选区域框进行预测，得到区域框预测结果，所述区域框预测结果，用于指示所述候选区域是否包括所述检测目标；
当所述区域框预测结果指示所述候选区域包括所述检测目标时，确定所述候选区域框为所述目标候选区域框。
7.如权利要求4所述的方法，其特征在于，多个所述图像样本的图像尺寸不同，所述通过质量检测模型，分别对各所述图像样本进行检测，得到各所述图像样本的检测结果，包括：
通过所述质量检测模型，从所述图像特征图中，确定对应各所述图像样本的样本特征图；
将各所述样本特征图，分别转化为具有目标特征图尺寸的检测特征图；
分别对各所述检测特征图进行检测，得到各所述图像样本的检测结果。
8.如权利要求1所述的方法，其特征在于，所述质量检测模型包括M个级联的子质量检测模型；所述通过质量检测模型，分别对各所述图像样本进行检测，得到各所述图像样本的检测结果，包括：
针对各所述图像样本，分别执行如下处理：
通过所述M个级联的子质量检测模型中的第一个子质量检测模型，对所述图像样本进行检测，得到所述第一个子质量检测模型的中间检测结果；
通过所述M个级联的子质量检测模型中的第j个子质量检测模型，对第(j-1)个子质量检测模型的中间检测结果进行检测，得到所述第j个子质量检测模型的中间检测结果；
其中，所述M和所述j为大于1的整数，所述j小于或等于所述M；
对所述j进行遍历，得到第M个子质量检测模型的中间检测结果，并将所述第M个子质量检测模型的中间检测结果，作为所述图像样本的检测结果。
9.如权利要求1所述的方法，其特征在于，所述通过质量检测模型，分别对各所述图像样本进行检测，得到各所述图像样本的检测结果，包括：
通过质量检测模型，分别对各所述图像样本进行分类检测，得到各所述图像样本的第一检测结果，所述第一检测结果，用于指示所述图像样本中检测目标的质量类型；
通过质量检测模型，分别对各所述图像样本进行回归检测，得到各所述图像样本的第二检测结果，所述第二检测结果，用于指示质量类型表征存在质量缺陷的检测目标，在所述图像样本中的位置信息。
10.如权利要求1所述的方法，其特征在于，所述从多个所述图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本，包括：
从多个所述图像样本中，筛除损失值小于第一损失值阈值的图像样本，得到多个困难图像样本；
从多个所述困难图像样本中，筛除满足以下噪音样本条件之一的噪音图像样本，得到目标图像样本：损失值大于第二损失值阈值的噪音图像样本，损失值降序排序靠前的目标数量的噪音图像样本；
其中，所述第二损失值阈值大于所述第一损失值阈值。
11.如权利要求1所述的方法，其特征在于，当所述目标图像样本的数量为多个时，所述从多个所述图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本之后，所述方法还包括：
从多个所述目标图像样本中，筛除携带目标样本标签的目标图像样本，得到训练图像样本，所述目标样本标签，表征所述目标图像样本的检测结果是不确定的；
所述基于所述目标图像样本对应的损失值，更新所述质量检测模型的模型参数，包括：
基于所述训练图像样本对应的损失值，更新所述质量检测模型的模型参数。
12.一种质量检测模型的训练装置，其特征在于，所述装置包括：
第一获取模块，用于获取多个携带样本标签的图像样本，每个所述图像样本包括一个检测目标；
第一检测模块，用于通过质量检测模型，分别对各所述图像样本进行检测，得到各所述图像样本的检测结果，所述检测结果用于指示所述图像样本中检测目标的质量；
第一确定模块，用于基于各所述图像样本的所述检测结果和相应的所述样本标签，确定对应各所述图像样本的、所述质量检测模型的损失值；
筛除模块，用于基于各所述图像样本对应的损失值，从多个所述图像样本中，筛除损失值满足噪音样本条件的噪音图像样本，得到目标图像样本；
更新模块，用于基于所述目标图像样本对应的损失值，更新所述质量检测模型的模型参数，以对所述质量检测模型进行训练。
13.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时，实现权利要求1至11任一项所述的方法。
15.一种计算机程序产品，包括计算机程序或计算机可执行指令，其特征在于，所述计算机程序或计算机可执行指令被处理器执行时，实现权利要求1至11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211287148.9A CN117036670B (zh) | 2022-10-20 | 2022-10-20 | 质量检测模型的训练方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211287148.9A CN117036670B (zh) | 2022-10-20 | 2022-10-20 | 质量检测模型的训练方法、装置、设备、介质及程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036670A CN117036670A (zh) | 2023-11-10 |
| CN117036670B true CN117036670B (zh) | 2024-06-07 |
Family
ID=88624960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211287148.9A Active CN117036670B (zh) | 2022-10-20 | 2022-10-20 | 质量检测模型的训练方法、装置、设备、介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036670B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046980A (zh) * | 2020-03-16 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种图像检测方法、装置、设备及计算机可读存储介质 |
| CN111291841A (zh) * | 2020-05-13 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 图像识别模型训练方法、装置、计算机设备和存储介质 |
| CN111626350A (zh) * | 2020-05-25 | 2020-09-04 | 腾讯科技（深圳）有限公司 | 目标检测模型训练方法、目标检测方法及装置 |
| CN111709471A (zh) * | 2020-06-12 | 2020-09-25 | 腾讯科技（深圳）有限公司 | 对象检测模型的训练方法以及对象检测方法、装置 |
| CN111863033A (zh) * | 2020-07-30 | 2020-10-30 | 北京达佳互联信息技术有限公司 | 音频质量识别模型的训练方法、装置、服务器和存储介质 |
| CN114882321A (zh) * | 2022-05-30 | 2022-08-09 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象检测方法和装置 |
| CN115147353A (zh) * | 2022-05-25 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 缺陷检测模型的训练方法、装置、设备、介质及程序产品 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109117862B (zh) * | 2018-06-29 | 2019-06-21 | 北京达佳互联信息技术有限公司 | 图像标签识别方法、装置及服务器 |
| CN110298298B (zh) * | 2019-06-26 | 2022-03-08 | 北京市商汤科技开发有限公司 | 目标检测及目标检测网络的训练方法、装置及设备 |
-
2022
- 2022-10-20 CN CN202211287148.9A patent/CN117036670B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046980A (zh) * | 2020-03-16 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种图像检测方法、装置、设备及计算机可读存储介质 |
| CN111291841A (zh) * | 2020-05-13 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 图像识别模型训练方法、装置、计算机设备和存储介质 |
| CN111626350A (zh) * | 2020-05-25 | 2020-09-04 | 腾讯科技（深圳）有限公司 | 目标检测模型训练方法、目标检测方法及装置 |
| CN111709471A (zh) * | 2020-06-12 | 2020-09-25 | 腾讯科技（深圳）有限公司 | 对象检测模型的训练方法以及对象检测方法、装置 |
| CN111863033A (zh) * | 2020-07-30 | 2020-10-30 | 北京达佳互联信息技术有限公司 | 音频质量识别模型的训练方法、装置、服务器和存储介质 |
| CN115147353A (zh) * | 2022-05-25 | 2022-10-04 | 腾讯科技（深圳）有限公司 | 缺陷检测模型的训练方法、装置、设备、介质及程序产品 |
| CN114882321A (zh) * | 2022-05-30 | 2022-08-09 | 北京百度网讯科技有限公司 | 深度学习模型的训练方法、目标对象检测方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| "Training Robust Object Detectors From Noisy Category Labels and Imprecise Bounding Boxes";Youjiang Xu;《 IEEE Transactions on Image Processing》;20210616;全文 * |
| "基于改进SSD网络的目标检测关键技术研究";贾建;《基于改进SSD网络的目标检测关键技术研究》;20190415;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036670A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102220174B1 (ko) | 머신러닝 학습 데이터 증강장치 및 증강방법 | |
| CN111797890A (zh) | 一种用于检测输电线路设备缺陷的方法及系统 | |
| WO2020124247A1 (en) | Automated inspection system and associated method for assessing the condition of shipping containers | |
| Alzraiee et al. | Detecting of pavement marking defects using faster R-CNN | |
| CN113420673B (zh) | 垃圾分类方法、装置、设备及存储介质 | |
| CN113591645A (zh) | 一种基于区域卷积神经网络的电力设备红外图像识别方法 | |
| CN111210412A (zh) | 一种包装检测方法、装置、电子设备及存储介质 | |
| CN115471487A (zh) | 绝缘子缺陷检测模型构建及绝缘子缺陷检测方法、装置 | |
| CN110349138A (zh) | 基于实例分割框架的目标物体的检测方法及装置 | |
| CN116645586A (zh) | 一种基于改进YOLOv5的港口集装箱损伤检测方法及系统 | |
| CN117710756B (zh) | 一种目标检测及模型训练方法、装置、设备、介质 | |
| CN117036670B (zh) | 质量检测模型的训练方法、装置、设备、介质及程序产品 | |
| CN113496212A (zh) | 箱式结构的文本识别方法、装置及电子设备 | |
| Liang et al. | Deep Bayesian U-Nets for Efficient, Robust and Reliable Post-Disaster Damage Localization | |
| CN115438945A (zh) | 基于电力设备巡检的风险识别方法、装置、设备及介质 | |
| CN115512267A (zh) | 视频行为识别方法、系统、装置及设备 | |
| CN113392770A (zh) | 变电站作业人员典型违章行为检测方法及系统 | |
| CN113935466A (zh) | 数据中心智能巡检机器人多任务学习方法 | |
| CN117893477B (zh) | 一种基于ai图像识别的智能安全检查系统 | |
| CN117474457B (zh) | 一种危化和工贸设备应急管理执法检查智能辅助系统 | |
| CN115565201B (zh) | 禁忌图片识别方法、设备及存储介质 | |
| Pamnani et al. | DOT-HAZMAT: An Android Application for Detection of Hazardous Materials (HAZMAT) Signs | |
| Pinca | Development of Real-Time Detection of Philippine Traffic Signs Using YOLOv4-Tiny | |
| CN117036482A (zh) | 目标对象定位方法、装置、拍摄设备、芯片、设备及介质 | |
| CN117371553A (zh) | 智能运维系统的机器学习模型迭代方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |