CN117292179A - 基于质检场景的难例筛选方法、系统、设备及存储介质 - Google Patents
基于质检场景的难例筛选方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN117292179A CN117292179A CN202311191363.3A CN202311191363A CN117292179A CN 117292179 A CN117292179 A CN 117292179A CN 202311191363 A CN202311191363 A CN 202311191363A CN 117292179 A CN117292179 A CN 117292179A
- Authority
- CN
- China
- Prior art keywords
- category
- feature vector
- input image
- deep learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000007689 inspection Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000013136 deep learning model Methods 0.000 claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 5
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- RVCKCEDKBVEEHL-UHFFFAOYSA-N 2,3,4,5,6-pentachlorobenzyl alcohol Chemical compound OCC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl RVCKCEDKBVEEHL-UHFFFAOYSA-N 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于质检场景的难例筛选方法、系统、设备及存储介质，其方法包括：获取输入图像；将输入图像输入至预设的深度学习模型，得到特征向量和特征向量对应的类别信息；类别信息包括特征向量的所属类别和所属类别的特征矩阵；通过特征矩阵的协方差计算特征向量和所属类别之间的马氏距离；通过输入图像输入至深度学习模型得到的置信度熵值、分类损失和马氏距离，计算得到难例值；通过难例值和难例阈值对比计算，得到输入图像的难例分类结果。本发明能够对多个类别的缺陷特征进行提取，同时通过计算所属类别的马氏距离、置信度熵值和分类损失，通过多个指标加权进行难例筛选，提高难例筛选的准确度。
Description
技术领域
本发明涉及质检难例分类技术领域，尤其是涉及一种基于质检场景的难例筛选方法、系统、设备及存储介质。
背景技术
在质检场景下，难例筛选通过降低标注数量来达到来降低模型维护成本的目的，难例筛选一般通过数据的不确定性以及多样性进行是否是难例的判定。
但是目前的难例筛选方法采用在整个数据集上学习一个全局距离矩阵来计算图像之间的相似度。但由于各种环境因素的影响，同一图像特征在不同摄像头下的图像差异较大，测试集中的难例样本特征分布不规律，全局度量模型很难取得较高的判别能力，也不能够对质检场景中的多个缺陷特征进行高质量地提取。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于质检场景的难例筛选方法、系统、设备及存储介质，能够对多个类别的缺陷特征进行提取，同时通过计算所属类别的马氏距离、置信度熵值和分类损失，通过多个指标加权进行难例筛选，提高难例筛选的准确度。
第一方面，本发明的实施例提供了一种基于质检场景的难例筛选方法，所述基于质检场景的难例筛选方法包括：
获取输入图像；
将所述输入图像输入至预设的深度学习模型，得到特征向量和所述特征向量对应的类别信息；所述类别信息包括所述特征向量的所属类别和所述所属类别的特征矩阵；
通过所述特征矩阵的协方差计算所述特征向量和所述所属类别之间的马氏距离；
通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值；
通过所述难例值和难例阈值对比计算，得到所述输入图像的难例分类结果。
根据本发明实施例的方法，至少具有如下有益效果：
首先，将输入图像通过深度学习模型得到特征向量和特征向量对应的类别信息，通过深度学习模型能够准确地提取特征向量，同时深度学习模型的可学习性和易迁移性，能够适应更多任务场景，对多个类别缺陷进行特征提取；其次，通过特征矩阵的协方差计算特征向量和所属类别之间的马氏距离，马氏距离不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关，马氏距离可以排除变量之间的相关性的干扰；然后，通过在深度学习模型提取过程中的置信度熵值和分类损失结合计算得到的马氏距离，进行多指标地综合筛选，提高难例筛选的鲁棒性，同时提高了难例筛选的准确性；最后通过难例阈值继续宁统一标准化地筛选，为不同任务场景的精度要求提供多样化的选择。
根据本发明的一些实施例，所述所属类别的特征矩阵通过如下步骤得到：
将已标注图像集输入至所述深度学习模型进行特征提取，得到所述已标注图像集的所有特征；
将所述所有特征根据所述已标注图像集的标注类别进行分类，得到每个所述所属类别的特征矩阵。
根据本发明的一些实施例，所述置信度熵值通过如下步骤得到：
将所述输入图像输入至所述深度学习模型，并计算所述输入图像在每个所述所属类别的置信度；
根据所述置信度计算得到所述输入图像的置信度熵值。
根据本发明的一些实施例，所述分类损失通过如下步骤得到：
在所述深度学习模型中增加分支网络；
通过所述分支网络对所述输入图像进行损失回归，得到所述分类损失。
根据本发明的一些实施例，所述通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值，包括：
通过所述已标注图像集和所述深度学习模型计算得到所述置信度熵值、所述分类损失和所述马氏距离之间的最佳权重；
根据所述最佳权重对所述置信度熵值、所述分类损失和所述马氏距离进行加权平均，得到所述难例值。
根据本发明的一些实施例，所述将已标注图像集输入至所述深度学习模型进行特征提取，得到所述已标注图像集的所有特征，包括：
将所述已标注图像集输入至所述深度学习模型，并根据所述深度学习模型得到所述已标注图像集的深层特征和浅层特征；
通过所述已标注图像集的标注、所述深层特征和所述浅层特征，得到所述已标注图像集的所有特征。
根据本发明的一些实施例，通过所述深度学习模型的模型精度和模型计算速度确定所述特征矩阵的维度。
第二方面，本发明的实施例提供了一种基于质检场景的难例筛选系统，所述基于质检场景的难例筛选系统包括：
图像获取模块，用于获取输入图像；
特征向量计算模块，用于将所述输入图像输入至预设的深度学习模型，得到特征向量和所述特征向量对应的类别信息；所述类别信息包括所述特征向量的所属类别和所述所属类别的特征矩阵；
马氏距离计算模块，用于通过所述特征矩阵的协方差计算所述特征向量和所述所属类别之间的马氏距离；
难例值计算模块，用于通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值；
难例分类模块，用于通过所述难例值和难例阈值对比计算，得到所述输入图像的难例分类结果。
第三方面，本发明的实施例提供了一种电子设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的基于质检场景的难例筛选方法。
第四方面，本发明的实施例提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的基于质检场景的难例筛选方法。
需要注意的是，本发明的第二方面和第三方面与现有技术之间的有益效果与第一方面的插件快速接入方法的有益效果相同，此处不再细述。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提供的一种基于质检场景的难例筛选方法的流程图；
图2是本发明一实施例提供的所属类别的特征矩阵计算的流程图；
图3是本发明一实施例提供的置信度熵值计算的流程图；
图4是本发明一实施例提供的分类损失计算的流程图；
图5是本发明一实施例提供的通过输入图像输入至深度学习模型得到的置信度熵值、分类损失和马氏距离计算得到难例值的流程图；
图6是本发明一实施例提供的将已标注图像集输入至深度学习模型进行特征提取得到已标注图像集的所有特征的流程图；
图7是本发明一实施例提供的一种基于质检场景的难例筛选系统的结构示意图；
图8是本发明一实施例提供的电子设备的结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1，在本发明的一些实施例中，提供了一种基于质检场景的难例筛选方法，基于质检场景的难例筛选方法包括：
步骤S100、获取输入图像。
步骤S200、将输入图像输入至预设的深度学习模型，得到特征向量和特征向量对应的类别信息；类别信息包括特征向量的所属类别和所属类别的特征矩阵。
步骤S300、通过特征矩阵的协方差计算特征向量和所属类别之间的马氏距离。
步骤S400、通过输入图像输入至深度学习模型得到的置信度熵值、分类损失和马氏距离，计算得到难例值。
步骤S500、通过难例值和难例阈值对比计算，得到输入图像的难例分类结果。
首先，步骤S200将输入图像通过深度学习模型得到特征向量和特征向量对应的类别信息，通过深度学习模型能够准确地提取特征向量，同时深度学习模型的可学习性和易迁移性，能够适应更多任务场景，对多个类别缺陷进行特征提取；其次，步骤S300通过特征矩阵的协方差计算特征向量和所属类别之间的马氏距离，马氏距离不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关，马氏距离可以排除变量之间的相关性的干扰；然后，步骤S400通过在深度学习模型提取过程中的置信度熵值和分类损失结合计算得到的马氏距离，进行多指标地综合筛选，提高难例筛选的鲁棒性，同时提高了难例筛选的准确性；最后步骤S500通过难例阈值继续宁统一标准化地筛选，为不同任务场景的精度要求提供多样化的选择。
参照图2，在本发明的一些实施例中，所属类别的特征矩阵通过如下步骤得到：
步骤S210、将已标注图像集输入至深度学习模型进行特征提取，得到已标注图像集的所有特征。
需要说明的是，已标注图像集是通过人工标定好缺陷特征的图像集。
步骤S220、将所有特征根据已标注图像集的标注类别进行分类，得到每个所属类别的特征矩阵。
需要说明的是，标准差与方差是描述一维数据的，当存在多维数据时，通常需要知道每个维数的变量中间是否存在关联。协方差就是衡量多维数据集中，变量之间相关性的统计量。如果两个变量之间的协方差为正值，则这两个变量之间存在正相关，若为负值，则为负相关，因此需要建立特征矩阵便于通过协方差来多变量之间的相关性。
通过对每个类别的特征矩阵的计算，能够为后续的马氏距离的计算以及各类别的置信度提供数据基础，同时通过已标注图像集的特征提取，保证特征矩阵的真实性和准确性。
参照图3，在本发明的一些实施例中，置信度熵值通过如下步骤得到：
步骤S311、将输入图像输入至深度学习模型，并计算输入图像在每个所属类别的置信度。
需要说明的是，置信度也称为可靠度，或置信水平、置信系数，即在抽样对总体参数作出估计时，由于样本的随机性，其结论总是不确定的。因此，采用一种概率的陈述方法，也就是数理统计中的区间估计法，即估计值与总体参数在一定允许的误差范围以内，其相应的概率有多大，这个相应的概率称作置信度。
步骤S312、根据置信度计算得到输入图像的置信度熵值。
需要说明的是，在信息论中，熵是对不确定性的一种度量。信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性越大，熵也越大。根据熵的特性，可以通过计算熵值来判断一个事件的随机性及无序程度，也可以用熵值来判断某个指标的离散程度，指标的离散程度越大，该指标对综合评价的影响越大。因此通过置信度熵值能够作为一个指标来判断所属类别的准确性。
为了防止马氏距离受到同一图像特征在不同摄像头下的图像差异较大的影响，通过计算输入图像的置信度熵值，保证输入图像的所属类别的准确性，提高难例筛选的准确度。
参照图4，在本发明的一些实施例中，分类损失通过如下步骤得到：
步骤S321、在深度学习模型中增加分支网络。
需要说明的是，分支网络是已经训练完成的回归模型，在回归模型中已经定义好损失函数，在训练回归模型的同时进行损失函数的参数调整。
步骤S322、通过分支网络对输入图像进行损失回归，得到分类损失。
分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。这时，输入变量X可以是密散的，也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数，称为分类器。分类器对新的输入进行输出的预测，称为分类，因此通过分类损失度量预测错误程度，为特征向量的提取和所属类别提供判断标准，提高难例筛选的鲁棒性。
参照图5，在本发明的一些实施例中，通过输入图像输入至深度学习模型得到的置信度熵值、分类损失和马氏距离，计算得到难例值，包括：
步骤S301、通过已标注图像集和深度学习模型计算得到置信度熵值、分类损失和马氏距离之间的最佳权重。
需要说明的是，权重法是一种客观赋权法。其思想在于用两项指标，分别是对比强度和冲突性指标。对比强度使用标准差进行表示，如果数据标准差越大说明波动越大，权重会越高；冲突性使用相关系数讲行表示，如果指标之间的相关系数值越大，说明冲突性越小，那么其权重也就越低。对于多指标多对象的综合评价问题，通过最佳权重去消除一些相关性较强的指标的影响，减少指标之间信息上的重鲁更有利于得到可信的评价结果。
步骤S302、根据最佳权重对置信度熵值、分类损失和马氏距离进行加权平均，得到难例值。
通过最佳权重平衡置信度熵值、分类损失和马氏距离的重要程度，为难例筛选方法提供多标准并且适用于任务场景的难例筛选标准，提高难例筛选的准确性和泛化性。
参照图6，在本发明的一些实施例中，将已标注图像集输入至深度学习模型进行特征提取，得到已标注图像集的所有特征，包括：
步骤S211、将已标注图像集输入至深度学习模型，并根据深度学习模型得到已标注图像集的深层特征和浅层特征。
需要说明的是，在进行浅层特征提取时，能够利用更多的细粒度特征信息，而且此时特征图每个像素点对应的感受野重叠区域还很小，这就保证了网络能够捕获更多细节。浅层特征具有更高的分辨率在进行深层特征提取时，随着下采样或卷积次数增加，感受野逐渐增加，感受野之间重桑区域也不断增加，此时的像素点代表的信息是一个区域的信息，获得的是这块区域或相邻区域之间的特征信息，相对不够细粒度、分辨率较低，但语义信息丰富。因此对于多类别的难例筛选，不同类别的进行不同层次的特征提取能够增大特征提取的效率，也能够在训练模型时，加快收敛，提升整个难例筛选的效率。
步骤S212、通过已标注图像集的标注、深层特征和浅层特征，得到已标注图像集的所有特征。
通过不同层次特征的不同特征提取，能够增大特征提取的效率，并且加快模型收敛，提高整个难例筛选方法的效率。
在本发明的一些实施例中，通过深度学习模型的模型精度和模型计算速度确定特征矩阵的维度。
通过深度学习模型的模型精度和模型计算速度之间的平衡决定特征矩阵的维度，更加合理和充分地利用算力资源，降低难例筛选方法的成本。
需要说明的是，一般情况下特征维度越大，精度会越高，但是特征匹配的时间会越长，所以需要基于不同场景进行对比实验，对精度和时间进行平衡。
为了方便本领域技术人员理解，本发明的一个具体实施例，提供一种基于质检场景的难例筛选方法,包括如下步骤：
第一步、收集质检场景。
PCB缺陷检测：封孔破、POFV孔不良、塞孔不良、孔内毛刺、开路、短路、缺口、欠腐蚀、过腐蚀、铜粒、余胶、划伤、余铜和板损。
PCBA缺陷检测：偏位、少件、反白、立碑、侧立、反向、短路、翘脚、空焊、少锡和漏铜。
笔记本外观缺陷检测：划伤、脏污、磕碰、亮斑、毛丝和异物。
第二步、统计特征分布。
(1)通过深度学习模型对已标注图像集进行特征提取，质检场景中某个类别有N张照片，通过特征提取后则得到N*256维度的特征矩阵，其中，特征提取的维度主要取决于模型精度以及模型计算速度的平衡，一般情况下特征维度越大，精度会越高，但是特征匹配的时间会越长，所以需要基于不同场景进行对比实验，对精度和时间进行平衡。
(2)计算每个类别的特征矩阵的协方差并保存。
第三步、计算输入图像的难例值，对比阈值得到难例分类结果。
(1)通过深度学习模型对输入图像进行特征提取并分类，得到1*256维的向量和类别信息。
(2)通过特征矩阵的协方差计算特征向量和所属类别之间的马氏距离；
通过输入图像输入至深度学习模型得到的置信度熵值、分类损失和马氏距离，计算得到难例值；
(3)通过难例值和难例阈值对比计算，得到输入图像的难例分类结果。
参照图7，本发明的一个实施例，还提供了一种基于质检场景的难例筛选系统，包括图像获取模块1001、特征向量计算模块1002、马氏距离计算模块1003、难例值计算模块1004和难例分类模块1005，其中：
图像获取模块1001，用于获取输入图像。
特征向量计算模块1002，用于将输入图像输入至预设的深度学习模型，得到特征向量和特征向量对应的类别信息；类别信息包括特征向量的所属类别和所属类别的特征矩阵。
马氏距离计算模块1003，用于通过特征矩阵的协方差计算特征向量和所属类别之间的马氏距离。
难例值计算模块1004，用于通过输入图像输入至深度学习模型得到的置信度熵值、分类损失和马氏距离，计算得到难例值。
难例分类模块1005，用于通过难例值和难例阈值对比计算，得到输入图像的难例分类结果。
需要说明的是，由于本实施例中的一种基于质检场景的难例筛选系统与上述的一种基于质检场景的难例筛选方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
参考图8，本发明的另一个实施例，还提供了一种电子设备，该电子设备6000可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。
具体的，电子设备6000包括：一个或多个控制处理器6001和存储器6002，图8中以一个控制处理器6001与一个存储器6002为例，控制处理器6001和存储器6002可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器6002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的一种电子设备对应的程序指令/模块；
控制处理器6001通过运行存储在存储器6002中的非暂态软件程序、指令以及模块，从而执行一种基于质检场景的难例筛选方法的各种功能应用以及数据处理，即实现上述方法实施例的一种基于质检场景的难例筛选方法。
存储器6002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储一种基于质检场景的难例筛选方法的使用所创建的数据等。此外，存储器6002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器6002可选包括相对于控制处理器6001远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备6000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一个或者多个模块存储在存储器6002中，当被该一个或者多个控制处理器6001执行时，执行上述方法实施例中的一种基于质检场景的难例筛选方法，例如执行以上描述的图1至图6的方法步骤。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
需要说明的是，由于本实施例中的一种电子设备与上述的一种基于质检场景的难例筛选方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
本发明的一个实施例，还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行：如上述实施例的基于质检场景的难例筛选方法。
需要说明的是，由于本实施例中的一种计算机可读存储介质与上述的一种基于质检场景的难例筛选方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储数据(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的数据并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何数据递送介质。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于质检场景的难例筛选方法，其特征在于，所述基于质检场景的难例筛选方法包括：
获取输入图像；
将所述输入图像输入至预设的深度学习模型，得到特征向量和所述特征向量对应的类别信息；所述类别信息包括所述特征向量的所属类别和所述所属类别的特征矩阵；
通过所述特征矩阵的协方差计算所述特征向量和所述所属类别之间的马氏距离；
通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值；
通过所述难例值和难例阈值对比计算，得到所述输入图像的难例分类结果。
2.根据权利要求1所述的基于质检场景的难例筛选方法，其特征在于，所述所属类别的特征矩阵通过如下步骤得到：
将已标注图像集输入至所述深度学习模型进行特征提取，得到所述已标注图像集的所有特征；
将所述所有特征根据所述已标注图像集的标注类别进行分类，得到每个所述所属类别的特征矩阵。
3.根据权利要求1所述的基于质检场景的难例筛选方法，其特征在于，所述置信度熵值通过如下步骤得到：
将所述输入图像输入至所述深度学习模型，并计算所述输入图像在每个所述所属类别的置信度；
根据所述置信度计算得到所述输入图像的置信度熵值。
4.根据权利要求1所述的基于质检场景的难例筛选方法，其特征在于，所述分类损失通过如下步骤得到：
在所述深度学习模型中增加分支网络；
通过所述分支网络对所述输入图像进行损失回归，得到所述分类损失。
5.根据权利要求2所述的基于质检场景的难例筛选方法，其特征在于，所述通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值，包括：
通过所述已标注图像集和所述深度学习模型计算得到所述置信度熵值、所述分类损失和所述马氏距离之间的最佳权重；
根据所述最佳权重对所述置信度熵值、所述分类损失和所述马氏距离进行加权平均，得到所述难例值。
6.根据权利要求2所述的基于质检场景的难例筛选方法，其特征在于，所述将已标注图像集输入至所述深度学习模型进行特征提取，得到所述已标注图像集的所有特征，包括：
将所述已标注图像集输入至所述深度学习模型，并根据所述深度学习模型得到所述已标注图像集的深层特征和浅层特征；
通过所述已标注图像集的标注、所述深层特征和所述浅层特征，得到所述已标注图像集的所有特征。
7.根据权利要求1所述的基于质检场景的难例筛选方法，其特征在于，通过所述深度学习模型的模型精度和模型计算速度确定所述特征矩阵的维度。
8.一种基于质检场景的难例筛选系统，其特征在于，所述基于质检场景的难例筛选系统包括：
图像获取模块，用于获取输入图像；
特征向量计算模块，用于将所述输入图像输入至预设的深度学习模型，得到特征向量和所述特征向量对应的类别信息；所述类别信息包括所述特征向量的所属类别和所述所属类别的特征矩阵；
马氏距离计算模块，用于通过所述特征矩阵的协方差计算所述特征向量和所述所属类别之间的马氏距离；
难例值计算模块，用于通过所述输入图像输入至所述深度学习模型得到的置信度熵值、分类损失和所述马氏距离，计算得到难例值；
难例分类模块，用于通过所述难例值和难例阈值对比计算，得到所述输入图像的难例分类结果。
9.一种电子设备，其特征在于：包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于质检场景的难例筛选方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于质检场景的难例筛选方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311191363.3A CN117292179A (zh) | 2023-09-14 | 2023-09-14 | 基于质检场景的难例筛选方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311191363.3A CN117292179A (zh) | 2023-09-14 | 2023-09-14 | 基于质检场景的难例筛选方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117292179A true CN117292179A (zh) | 2023-12-26 |
Family
ID=89240146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311191363.3A Pending CN117292179A (zh) | 2023-09-14 | 2023-09-14 | 基于质检场景的难例筛选方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117292179A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800700A (zh) * | 2019-01-15 | 2019-05-24 | 哈尔滨工程大学 | 一种基于深度学习的水下声信号目标分类识别方法 |
| CN112232450A (zh) * | 2020-12-15 | 2021-01-15 | 浙江啄云智能科技有限公司 | 一种综合多阶段的难例样本挖掘方法、目标检测方法 |
| CN113723361A (zh) * | 2021-09-18 | 2021-11-30 | 西安邮电大学 | 一种基于深度学习的视频监测方法及设备 |
| WO2022105197A1 (en) * | 2020-11-17 | 2022-05-27 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image detection |
| CN116228754A (zh) * | 2023-05-08 | 2023-06-06 | 山东锋士信息技术有限公司 | 一种基于深度学习和全局差异性信息的表面缺陷检测方法 |
-
2023
- 2023-09-14 CN CN202311191363.3A patent/CN117292179A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800700A (zh) * | 2019-01-15 | 2019-05-24 | 哈尔滨工程大学 | 一种基于深度学习的水下声信号目标分类识别方法 |
| WO2022105197A1 (en) * | 2020-11-17 | 2022-05-27 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image detection |
| CN112232450A (zh) * | 2020-12-15 | 2021-01-15 | 浙江啄云智能科技有限公司 | 一种综合多阶段的难例样本挖掘方法、目标检测方法 |
| CN113723361A (zh) * | 2021-09-18 | 2021-11-30 | 西安邮电大学 | 一种基于深度学习的视频监测方法及设备 |
| CN116228754A (zh) * | 2023-05-08 | 2023-06-06 | 山东锋士信息技术有限公司 | 一种基于深度学习和全局差异性信息的表面缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王朝轩: "基于机器视觉的西林瓶表面缺陷研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》, 15 June 2022 (2022-06-15), pages 016 - 633 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921206B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
| CN111444921A (zh) | 划痕缺陷检测方法、装置、计算设备和存储介质 | |
| CN112016401A (zh) | 基于跨模态行人重识别方法及装置 | |
| CN105121620A (zh) | 图像处理设备、图像处理方法、程序和存储介质 | |
| CN116612306B (zh) | 基于计算机视觉的法兰盘智能对位方法及系统 | |
| CN114697212A (zh) | 设备参数处理方法、设备、系统及介质 | |
| CN112766218A (zh) | 基于非对称联合教学网络的跨域行人重识别方法和装置 | |
| CN115294114A (zh) | 一种基于ecu电路焊接的质量检测方法 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| CN117705815B (zh) | 一种基于机器视觉的印刷缺陷检测方法 | |
| CN114898154A (zh) | 一种增量式目标检测方法、装置、设备及介质 | |
| CN111967450B (zh) | 自动驾驶模型用样本获取方法、训练方法、装置及系统 | |
| CN114581654A (zh) | 一种基于互感器状态监测方法及装置 | |
| CN116993725B (zh) | 一种柔性电路板智能贴片信息处理系统 | |
| CN116843677A (zh) | 钣金件的外观质量检测系统及其方法 | |
| CN116052061B (zh) | 事件监测方法、装置、电子设备及存储介质 | |
| CN117292179A (zh) | 基于质检场景的难例筛选方法、系统、设备及存储介质 | |
| CN114821194B (zh) | 一种设备运行状态识别方法及装置 | |
| CN116091416A (zh) | 印制电路板组装缺陷检测、变化检测模型训练方法及装置 | |
| CN115620083A (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
| CN115204323A (zh) | 基于种子多特征的聚类及综合的方法、系统、设备及介质 | |
| CN114022873A (zh) | 仪表状态检测方法、电子设备及存储介质 | |
| CN113705672A (zh) | 图像目标检测的阈值选取方法、系统、装置及存储介质 | |
| CN115272249B (zh) | 一种缺陷检测方法、装置、计算机设备和存储介质 | |
| CN117346657B (zh) | 一种基于5g相机的事件触发方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |